Umbrelがあやうくお陀仏しそうになった件
皆様、お久しぶりです!滷肉飯(ルーローハン)系ビットコイナー(?)のLightningfoxです。ちょっとUmbrelがあやうくお陀仏しそうになったストーリーをおふざけを交えながら記しておこうと思います。
序章
私は今年の7月にDiamond HandsをきっかけにUmbrelを使ってビットコインノードとLNノードを建てて、約5ヶ月ぐらいUmbrelを運用し続けています。
昨日(12月11日)に久しぶりにUmbrelのダッシュボードにアクセスしようと思い、umbrel.localを開いたのですがうんともすんとも言わずただ真っ白な画面が表示されるだけでした。
localでアクセスできないことはルーターの故障等で過去にも何度かあったので今回も同じ理由だろうと思い、Tor経由でのアクセスを試みましたが同様にアクセスすることができませんでした。
若干パニックになっていたのもあり、ssh経由でのアクセスして再起動することが頭から抜けていたので、ダメと分かっていながらも電源をブチ切りして再起動することにしました。
これが全ての始まりでした...
Umbrelくん、瀕死
再起動したところ上記のような画面が表示されてしまいました...
まず私はUmbrel Communityで同様のケースがないかを調べるために Error: System service failedと表示された時の対処法を探して、sshからアクセスして試して再起動してみました。しかし...
状況は改善しませんでした。私は元々パソコンとかにはそこまで詳しい方ではないので、藁にもすがる思いでDiamond HandsのTelegramで解決策を仰ぎました。
その中で私は過去にソフトのバグで容量がいっぱいになってしまって起動できなくなった方がいたことを思い出し、ストレージの容量を調べてみました。
何ということでしょう... SSDとSDカード両方ともAvailable 0と空き容量がないことを示していました... OMG...
いろんな方に教えていただきSSDに関してはDockerのあるコンテナ内のlogファイルが429GBになったためにSSDの空き容量が0になったことがわかりました。
またDockerが起動していないということも判明し、素人考えでしたが空き容量がないためにDockerも起動できない状態になっているのだと思いました。
Diamond HandsのTelegramで質問しているとある方にlogファイルの中身を確認したらどのアプリのログかわかると言われたので早速確認してみました。
するとSimple Torrentに関するログでした。私はbitcoin.orgのBitcoin Core v22.0をファイル共有するためTorrentを入れていたのですが、ログの内容は全てBitcoin Coreを共有できない状態にあることを示すものでした。
このログについて消しても問題ないかを様々な方に聴き回りました... Diamond HandsのTelegramの方、香港人のMicrosoftエンジニアの友人、シリコンバレーでエンジニアをやってるネット友達等々...
意を決して429GBのログファイルを削除してみました。すると...
Docker動いたぁぁぁぁ!!!
おお!!ダッシュボードきたぁぁぁぁ!!と思ったのですが...
この状態で1時間待っても変わりませんでした...orz
Umbrelくん、完全復活
またわからなくなってしまったのでどうしようかなと思い、ふとrootが空き容量がなくなっていたことを思い出し、一つ一つファイルを見ていくと/var/logのディレクトリにあるdaemon.logとsyslogがそれぞれ13GBも容量があることがわかりました。
Diamond HandsのTelegramでこれがroot(SDカード)に保存されているものなのか、消しても問題ないものなのかを再度質問し、大丈夫そうだったので...
消してみました... すると...
きたぁぁぁぁ!!!!Umbrelくんは見事息を吹き返してくれました!!!
最後に
Umbrelが起動しなくなった原因はSimple Torrentのアプリが他のピアと通信できないというErrorを吐き続けてそれがlogファイルに蓄積されていき最終的に全てのディスク容量を埋め尽くしてしまったことでした。
Simple Torrentには悪いですが、Bitcoin Core v22.0の共有は別のマシンでやりたいと思い、削除しました...
今回、改めてDiamond HandsのTelegramが素晴らしいコミュニティーであることを再認識し、私のようなビットコインフルノード初心者だけでは絶対にUmbrelを復旧することは不可能だったと思います。
アドバイスいただいた方々に異国の地より心から感謝御礼を申し上げます。滷肉飯コイナー(自称)としてこれからもフルノードを大事に運営していきます。
ではまた次回の記事でお会いしましょう!下次見面👋
"Umbrelが起動しなくなった原因はSimple Torrentのアプリが他のピアと通信できないというErrorを吐き続けてそれがlogファイルに蓄積されていき最終的に全てのディスク容量を埋め尽くしてしまったことでした。"
トラブルの原因まで突き止められていて素晴らしいと思いました。
きっとこの情報が誰かの役に立つ日がくると思います。