レンタルサーバーを替えてからWordPressを最新のものに更新しようとすると「名前を付けて保存」ウィンドウが表示されて更新できない状態が続き悩まされました。update-core.phpのパーミッションの問題という情報が多かったのですが私の場合は違いました。
以前のレンタルサーバーの時に以下の記事を読んでwp-adminフォルダ内に.htaccessを置いていたのが原因だったようです。
セーフモードによる制限と対処方法 – WordPress Codex 日本語版
よって、.htaccessファイルを削除したら普通に更新できるようになりました。