本日発生した障害のご報告 (2011/11/30)
本日 Backlog のバージョンアップを行ったことが原因となる障害が
発生しましたので、その内容と今後の対策についてご報告いたします。
まずはじめに、このたびの障害により、皆様に多大なるご迷惑を
おかけしました事をお詫びいたします。
【障害内容】
Backlog へのアクセスしづらい、もしくは出来ないといった状況が
全スペースで発生いたしました。同現象は
2011年11月30日 9時58分 〜 11時27分
の間、断続的に発生し、最終的にバージョンアップ以前の状態に
Backlog を戻すことにより収束いたしました。
【障害発生前後の対応】
リリース後、8:00 頃に新機能にかかわるデータ取得処理に
時間がかかっていることが判明し、処理の見直しを行いました。
また、障害検知直前の 9:50 頃にも、データ取得の効率化を
計る為の設定をデータベースに追加いたしましたが、それを上回る
負荷が発生により、9:58 頃に障害検知に至りました。
障害検知後、データ取得の負荷を低減させるべく、Backlog の
再起動を行いましたが大きな効果が得られなかったため、
全てのユーザの設定を以前のダッシュボードを利用するように
設定を変更し、状況を監視しておりました。
それでも状況に改善がみられなかったため、11:00 頃にバージョンアップ
前の Backlog に差し戻すことを決定し、11:27 頃に全スペース
でサービスが復旧いたしました。
【今後の対策】
今回の障害は、新機能によるサーバへのアクセスの増加、
及びデータ処理に関わる負荷の増加が要因ですが、
具体的な原因、対策方法は只今調査、検討中です。
その作業が進み次第、また改めて今後の具体的な対策案や
バージョンアップ時期等についてこのサイト上でアナウンスをさせて頂きます。
このたびの障害により、Backlog を日常業務にてご活用頂いている
皆様に多大なるご迷惑をおかけしたことをお詫びするとともに、
今後このような事が発生せぬよう、Backlog 運営チーム一同
あらためて、一層のサービス改善に取り組んで参りたいと存じます。
今後とも Backlog を何卒よろしくお願いいたします。
