きゅあったーメンテナンスでの話

嶽内の森

2017-09-19

前略

鴉河雛です

というわけで、きゅあったーメンテナンスでのことをまとめておきます。

まず、Docker側で問題が発生しました

前々回のメンテナンスでDockerの容量不足に陥った際に対策をとっていたため、問題ないと判断していましたが、

docker-compose buildの際に一時フォルダに12GBのファイルが作成され、SSDの空き容量が空になりました。

その復旧として、Dockerの削除・再インストールを行い時間がかかってしまいました。

また、docker-compose buildが2時間以上かかる異常な状態となっていたため、余計に時間がかかっています。

次に、buildが終わった後のmigrateで処理が終わらない現象が発生しました

権限のアップデートで2時間近く動かない状態が続いたため、処理を中断。

v1.6.1へアップデートしてから(作業はv1.6.0へのアップデートだったが作業中にv1.6.1がリリースされた)

再度実施するが状況は改善せず、仕事が控えているため就寝せねばならず一旦サービスを停止する形になりました。

復旧に向けて

当初、v1.5.1に戻す予定でしたがDockerの問題が残っていたため、急遽Dockerを使わない方針に変更しました。

Dockerを使わないことで復旧することはできましたが、Redisを初期化したことによりホームTLは消えてしまいました。

今後ホームは直らないと思われますので、ご了承ください。

対策を調査中ですが、影響はなさそうです。

その他重大なエラーは発生していません。

とりあえず急ぎの共有です