「3.11ステップアップメンテナンス」の編集履歴（バックアップ）一覧はこちら

3.11ステップアップメンテナンス - (2017/03/09 (木) 02:51:13) の１つ前との変更点

追加された行は緑色になります。

削除された行は赤色になります。

[[ステップアップメンテナンス]]再び……と当初は思われていたが思いもかけない方向に
//ぶっちゃけステップアップどころのレベルじゃないと思われ。終わった辺りで「3月第2週大規模メンテナンス」なり改題した方がいいと思う
// でも日が日故に「メゼポルタ大○災」とかはやめた方がいいと思われ

*顛末
**2016年3月9日（水）発端
3/9のメンテナンスでは、ゲームデータベースサーバーのハードウェア交換とソフトバージョンUPが実施された。
これは公式によると、
「狩人祭ボーナス試練での高負荷(入魂に時間がかかったりする。ピークタイム時にはアナウンスが出たことも)」対策、
及び「各種メニューの表示速度改善」を図るべく計画されたようだ。
過去にはサーバー機器の故障という理由での緊急メンテナンスも何度かあったが、
今回は老朽化(故障する可能性が上がっている)ではなく陳腐化(スペックが不足してきている)の方面か。

その3/9の定期メンテナンス終了後サーバー1のみサーバーに障害が発生しており、
同日の17:15～19:00に[[緊急メンテナンス>http://cog-members.mhf-g.jp/sp/news/10953.html]]が行われた。

*2016年3月11日（金）重大不具合発生
しかしながら、翌3/10夜ごろから再びサーバーが不安定となり、
その対応のために金曜の11日10～12時にかけて臨時メンテナンスを実施する予定だった。
…が、夜～深夜にかけて報告された不具合が、
特定ワールドに入れない、落とされたあとログインできない、データがロールバックされている
など想定以上だったらしく、緊急メンテナンスに繰り上げされ時間も前倒しして真夜中の3:50から行われることになった。

しかし終了予定25分前の11:35、以下の告知が…

(以下[[公式>http://cog-members.mhf-g.jp/sp/news/10960.html]]から引用)
 データベースサーバー障害の影響により、
 データの巻き戻りをともなう
 深刻な不具合が発生している状況を確認しております。
 本件への調査および対応のため、
 17:00までメンテナンスを延長させていただきます。
 この度は多大なご迷惑をおかけし、大変申し訳ございません。
 今しばらくお待ちくださいますようお願いいたします。
 
 また本件につきましては、各種コース利用権の補償
 および、ご迷惑をおかけしていることへのお詫びの実施を
 検討させていただいております。
 詳細につきましては、決まり次第改めてお知らせいたします。

メンテナンスも5時間延長されることになり、各種補償の検討も予定されることになった。
更に16:30になって再度19:00までの延長が告知された。
そして最終的には2016年3月9日(水) 6:30時点までのロールバック、
つまり&bold(){11日19時に定期メンテナンス終了と変わらない状態}となってしまった
(データが巻き戻ってしまうため、単純に2日間プレイできないより事態としては深刻である)。

この補償として、3/16までサーバー1の全アカウントに対し狩人応援コースとプレミアムコースが付与され、
1000NP、おためし小判Ｇ5枚(これは定期メンテ延長に伴う補償との合算)が配布される。
また[[ウラガンキン解禁記念イベント>みんなで!ウラガンキン大狩猟!]]の目標値についても緩和が行われることに。

**2016年3月12日（土） 止まらない緊急メンテナンス、アクセス制限の実施

昨日の長大メンテが終了しホッとしたのもつかの間、13時前後にログインできなくなる障害が短時間だが発生した。
普段ならば特に触れないままで済ませる程度の障害だが、前日の事で神経質になっていたためか[[しっかり告知>http://cog-members.mhf-g.jp/sp/news/10969.html]]された。
そして悪夢再び、同日16：30～18：00、まで機器の調整で再度メンテナンスが始まってしまい、更に17:50頃に19:00まで延長告知。
19:00になりインできた…と思いきや再び落とされ、同時に21時までの再延長が告知された。
[[21時でなんとか終了した>http://cog-members.mhf-g.jp/sp/news/10971.html]]ようだが、
「引き続きサーバー動向に注視し、何か問題があれば速やかに対処を行なわせていただきます」とのことなので何かと心配ではある。
そして21:00の再開以降、アクセス制限を施しているにも関わらず再び高負荷状態が発生、
21：50から作業終了時間&bold(){未定}で[[緊急メンテナンスが行われた>http://cog-members.mhf-g.jp/sp/news/10972.html]]。
当初23:00に進捗状況を告知、その23:00が3:00に再び告知との内容であったためいつまで続くのかと思われたが、
[[予定より早い24:00に終了>http://cog-members.mhf-g.jp/sp/news/10971.html]]となった。

これによりアクセス制限と言うものが掛けられてしまった。
ログイン失敗する場合は制限に引っかかったと見て良いだろう。(´・ω・｀)とせざる負えない状態。

ちなみにこの日の緊急メンテの原因は、当初の分について言えば平たく言えば「前日の緊急メンテとは別の部分での設定漏れ」とのこと。
場合によっては1時間ほどロールバックしている(最新のデータ保存に失敗している)場合があるとのこと。
(恐らく前日の分とは別口で)1000NP・おためし小判20枚・スペリア20枚・回復G2×20個の補償が行われることになっており、こちらの配布は1回目のメンテ終了後すぐに始まっている。

**3/14（月）　臨時メンテナンス
上記の通り3/13はアクセス制限がかかりながらもメンテナンスなしで越すことができたが、
翌日に度重なるサーバー障害の対策のため[[臨時メンテナンス>http://cog-members.mhf-g.jp/sp/news/10973.html]]を行うこととなった。
日曜日にサーバーを止めるわけにはいかないため月曜になったと思われる。
こちらは延長も無く15:00に無事終了。
また、サーバー負荷対策が完了したということでアクセス制限も15:30に解除されている。

メンテナンス終了と同時に以下の[[追加補償が発表された>http://members.mhf-g.jp/apology/]]。
-サーバー1の全アカウントにHL/EXコース付与（※）
-不定期配信となっていたちびガンキンのクエストは3/16定期メンテナンス後からイベント終了まで常時配信
-95回狩人祭登録祭期間延長及び入魂祭期間延期
-各種RP4倍、剥ぎ+1などの報酬ブースト（※）
-「デイリーのススメ　秘伝天昇＆秘伝継承シリーズ」の開催期間を3月23日メンテナンス開始まで延長
-1日に受注できるデイリークエストの回数を3回に増量（※）
※：2016年3月16日（水）メンテナンス終了後～2016年3月23日（水）メンテナンス開始まで

また、当該期間に有効だったコースの補償は別口で行われる。
コース付与以外の設定は全てのアカウント(360、W1含む)が対象となる。

更に、ロールバックされた期間（3/9の定期メンテ～3/11の緊急メンテ開始まで）にプレイヤーが入手したアイテムについて、
メゼポルタ広場に帰還した段階で獲得しているものについてはデータが存在しており補償が可能であることが同日22：30に判明。
現在補償の対象となる（データが残っている）クエストを調査中のようだ。
ただしゼニー・Gゼニー・ギルド貢献Pは残念ながらデータが残っていなかったらしく補償の対象外となる。

**3/15（火）緊急メンテナンス再び→MHFが止まった一日
しかし23:20頃からクエスト後広場に戻るまでのローディングに数分かかるという事態が発生。
耐えかねて再ログインしようとするも入れないなどということが報告される。
そして日付が変わる直前・・・
通信切断の調査目的で、何度目かという[[緊急メンテ>http://cog-members.mhf-g.jp/sp/news/10980.html]]が告知された。
公式では23:30～となっているが実際は0時過ぎまでプレイが可能であった。
そして3/15/1:00の進捗報告により「急なログイン数増加によるデータベースサーバーのダウン」が原因と発表された。
追っての報告は3：00となったがその内容は・・・
「引き続き問題の調査を実施しているが、原因究明には繋がっていないため、修正まで長期化する可能性がある。
3月9日（水）のメンテナンス前までのサーバー構成への復元を第一に考えた検討、対応を行い、
早急にサービスの再開を行なえるよう作業を行うが、作業の検証と作業後の検証などを含めると、&bold(){10時間}ほどの時間を要する見込み」というものだった。
そして次回の進捗報告の11:00頃にて、一連の不具合の原因が''今後を見据えたサーバー増強そのもの''であったものの、
本件の&bold(){根本原因が不明}であり、最善策としてサーバー構成を安定していた3/9時点に戻すのが早いと判断された。
構成復旧の影響範囲が大きく、慎重な動作確認が必要なため、
現段階で最短21時頃がメンテナンス終了というアナウンスがなされた。
しかしながら、18:00に告知された進捗によると21:00の終了は難しいとのことで、
21:00により具体的な進捗及び今後の対応が告知されるようだ。

そして来る21:00、当日の復旧が難しいことが告知され、水曜定期メンテナンス時間も用いて復旧作業を継続することが明かされた。
よって、MHF初となる''丸1日プレイできない日''が誕生してしまうことになってしまった。
なお、21:00頃といいつつ実際に告知が更新されたのが21:15だった辺り、内情が伺える。
しっかり確認している人への配慮もあるのか、次回告知は23:00''まで''に行うことが予告された。

そして少し早い22:10に第一報が報じされた。
サーバー増強自体は全サーバーで行っており(つまりサーバー1のみ、新構成で致命的な問題が発生していた事になる)、
それを全て安定動作が確認されている旧段階に戻すことが発表され、
''全プラットフォームにてデータの引き継ぎが可能であるか検証中''であるとのことが報告された。
なお、仮に不可能と判断した場合は3/9定期メンテ開始前にロールバック、
つまり''3月第2週消滅''という最悪な結果になる可能性がある事も告知されている。
この起こりうる最悪の結果は&bold(){1鯖だけでなく4鯖・W1鯖も対象(つまり全アカウントのプレイデータのロールバック)}となる。
新構成でも比較的安定していたであろう4鯖・W1鯖の住人にとっては堪った物ではない。&s(){一方でその手のヤツらは狩コ発動のごとく元気になる}
// 実際はPS3/Vitaも被害を受けているのだけどガン無視するか、
// もしくは問題ない状態なのに無に帰したことを嘲笑する、という想定。
無論最悪の結果は回避すべく行動しているとのことで、翌16日10:00に結果を報告する予定である。
そしてメンテナンス終了予定時刻が17:00であることが告知された。
これによってメンテナンス時間は合計41時間30分という長丁場になり、
同時に緊急メンテナンス最長時間という、ある意味不名誉と言える記録まで更新してしまった。
(特に2016年のキーワードがキーワードだけに)

**3/16 運命の1日
そして運命の10/16 10:00(実際はやや遅れていた)……
その結果は……&sizex(4){&bold(){全てのデータが問題なく旧バージョンのサーバーに乗せられる}}ことが判明。
1週間消滅という最悪の結果を回避することはできたようだ。
一応書いておくと、1鯖は3/14緊急メンテ直前(23:30)のデータ、4鯖とW1鯖は3/16の定期メンテ開始時点のデータで再開される。

メンテは予定通り17時に終了したが、念には念をということでかログイン時のアクセス制限が再度設定されている。

この影響として、第3週である3/16予定の「極み咆えるジンオウガ」については、
翌17日に定期メンテナンス分となるアップデートメンテナンスを実施し、その後解禁という形が取られることが報じられている。

**3/17 収束
3/17のアップデートメンテナンスは滞りなく完了し、同日19:30にアクセス制限も解除された。
3/16より開始された補償に関してもこれといったトラブルは発生しておらず
(ただし多すぎて分かりにくいという声が多かったらしく、公式Twitterで具体的な内容を公開している。詳しくは後述)、

元々サーバー増強行為はハードウェア的な危機的状況(不具合が多発している、近い内に故障しそう、など)ではなく
負荷改善や応答速度の向上を目的としている節があるため、結果的にこれらの問題が先送りされただけとも言える。
データベースサーバープログラムとハードウェア交換はいずれ再び着手しないといけない事案であり、
これについては安全確実に出来る方法を検討しており、今回の件が落ち着いたら発表するとのこと。
こんなことが起きてしまった以上、どれだけ準備したとしてもユーザー・運営どちらも戦々恐々である。

**後日（サーバー強化再実施）
結果として、サーバー強化アプデは約一年後の2017/3/8に行われた。
前月以前より動画によるスケジュールと工程のお知らせをしたり、
テストサーバーでのプレイ・負荷試験などを踏まえた上で行われたこともあり、
（ついでに言えば定期イベントも暫くお休みするなど）相当慎重を期していたことが伺える。（参考→[[公式のサーバー強化テスト特設ページ>http://members.mhf-z.jp/contents/srv_test/]]）

当日の定期メンテは6:00～18:00という長丁場となった。
長時間メンテナンスのご協力へのお礼ということで、「HL&EXコースの無料開放（1週間）」、
「狩人応援コース（6時間分）×3の配布（3/29まで）」が行われた。
メンテ明け以降は特段サーバー不調のような様子も見られず、昨年の騒動が嘘のように穏やかである。

振り返ると、この間に行われたZアプデ・PS4参入の実行にも、
サーバー強化計画の頓挫がスケジュールに大きく影響していただろうことは想像に難くない。
また、後者が行われた週ではサーバーが耐えきれず、
「ログイン制限と臨時サーバーへの一時的な強制誘導」という状況を引き起こしてしまった。
計画ではサーバーの経過を確認後、5月以降に統合の見込みである。

*まとめ
**メンテ
|日付|時間|延長|種別|h
|3/9|6:30～16:40（10時間10分）|40分|定期|
|3/9|17:15～19:00（1時間45分）|-|緊急|
|3/11|3:50～19:00（15時間10分）|7時間|緊急|
|3/12|16:30～21:00（4時間30分）|3時間|緊急|
|3/12|21:50～24:00（2時間10分）|-|緊急|
|3/14|13:00～15:00（2時間）|-|臨時|
|3/14～16|23:30～17:00(41時間30分)|-|緊急|
|3/17|8:00～16:00(8時間)|-|臨時(3/16アップデートメンテナンスの延期)|
|合計|77時間15分(+8時間)|||h

**補償内容
|補償範囲|補償内容|受け取り方法|配布期日|h
|サーバー1|狩人応援コース＋プレミアムコースの付与|自動付与|3/11～3/16|
|~|NP1000、おためし小判Ｇ5枚|広場ガイド|3/30まで|
|~|1000NP、おためしＧ小判20枚、スペリア20枚、回復G2×20個|広場ガイド|3/30まで|
|~|3/9～3/14 23:30までに得られていたはずのアイテムを補償(後述)|武具工房&br()「取り出し専用倉庫」|3/16配布|
|~|購入アイテムの補償(後述)|後述|3/11、一部3/16|
|~|3/9～3/11の間に有効だった各種コース(HL等含む)の3日間クーポン|マイページ|3/23配布|
|~|猟団長の降格処理の見送り&br()3/11緊急メンテ時に降格したキャラクターは3/16に猟団長へと戻される|-|3/16実施|
|~|復帰区の権利+1週間(3/9～3/16メンテ終了まで復帰区が有効だったアカウントに対して実施)|自動付与|3/16実施|
|サーバー1、&br()かつ当該期間※にネットカフェ利用有|18,780NP|広場ガイド|3/17配布|
|~|秘伝魂の結晶1個(受け取り済みの場合)|武具工房&br()「取り出し専用倉庫」|3/16配布|
|全サーバー|HL・EX・プレミア・狩コ付与|自動付与|3/16～3/23|
|~|3000NP、きんぴか小判G100枚（上記とは別枠）|広場ガイド|3/30まで|
|~|狩人祭の登録祭を1週間延長|-|3/23から入魂祭&br()公式狩猟大会も3/17～3/22の間追加開催|
|~|報酬ブースト強化|自動付与|3/16～3/23|
|~|秘伝天昇＆秘伝継承シリーズ配信延長、デイリークエストの回数を3回に増量|-|3/16～3/23|
|~|ウラガンキンの不定期配信クエを常時配信に変更|-|3/16～3/23|
|~|精錬のススメ、未知なる脅威の来襲、たっぷりクエなどの配信|-|3/16(一部3/17)～3/23|

得られていたはずのアイテムについては、
・クリア報酬アイテム
・剥ぎ取り／採取で入手したアイテム（これらは広場に戻った時点のものが返却される)
・大討伐の褒賞
・ショップで購入・交換したアイテム
・カプリンクで入手したアイテム
が3/16のメンテ終了後に取り出し専用倉庫に配布される。(当初3/23予定だったが、前倒しされた)

クエストは今の所
・期間限定クエスト(烈種・始種・遷悠・イベントなども含まれる)
・ハンターズクエスト
・Ｇランククエスト
・特別クエスト
・プレミアムクエスト
・はじめてのクエスト
・秘伝書育成クエスト
・大討伐クエスト
・復帰クエスト
・猟団クエスト
が決定している。

なお該当期間について、当初3/9メンテ後～3/11メンテ終了の間に購入したものを補償するとなっていたが、
その後もサーバーが不安定な状態が持続していたことや、アカウントによっては小規模ロールバックも発生していた事から、
3月9日(水)定期メンテナンス終了後～3月14日(月)23:30に受け取った上記のアイテムが補償されることになった。

購入アイテムについては、上と同じ理由により3月9日(水)定期メンテナンス終了後～3月14日(月)23:30に受け取ったアイテム、イベントコードについて補償されることになった。
元々ガイドから受け取った購入アイテムはガイドから、イベコを入れた場合はそのイベコが再配布されている。
ガチャアイテムについては、「取り出し専用倉庫」に入っている。
ただし同週から販売された「ハリセンネコのワクワクびっくり箱」で引いたアイテムについては、
3/9～3/11のロールバック期間における確認可能なデータに入手記録が残っておらず、
確率で入手できるアイテムに関して、最大量のアイテムを購入数分補償するとのこと。
具体的には「ベンディ生産券×60、Nの塊×50、ルヴナン生産券×60、太陽のくさび石×50」である。
これについては受け取り倉庫ではなくガイドから直接受け取る形になる。

ネットカフェの接続補償については、
2016年3月9日(水)定期メンテナンス終了後～3月11日(金) 3:50が対象となる。
ちなみにNPについては当初接続時間に応じた配布を予定していたが、確認可能なデータに接続時間が残っておらず、
巻戻りが発生した可能性がある期間中に入手できる最大量のＮポイントを補償することになったとのこと。
受け取り方法も当初の直接配布ではなく、ガイドから受け取る形に変更されている。

武具工房の「取り出し専用倉庫」は1ページしかないが、&bold(){ランド移動またはログインしなおしで中身が更新される}。
ログイン制限が当面かかっている関係上、ランド移動で中身を更新して回収するとよいだろう。
%%スタンプカードのギルドからの推薦状を取り出す作業が待っているかもしれないが%%

**総括
結果としてサーバー1の3月第2週のプレイ不可能時間は、ロールバックの分を含めなかった場合でも&bold(){約77時間}、
ロールバック期間=プレイできなかった時間と換算した場合は&bold(){100時間超え}という超長時間になってしまった。
ログイン制限がかかりながら、という前提だが丸一日まともにプレイできてデータもしっかり反映されたのが&bold(){1週間の内3/13だけだった}ということからも今回の不具合の異常さがお分かりいただけるだろうか。

また、この不具合は&bold(){無関係のXbox 360・WiiUユーザーも含めた1週間の全データロールバックの可能性というオンゲとしてあるまじき破滅的な危機}にまで発展してしまっている。
幸い、全鯖データロールバックという最悪の展開は免れたが、
MHF運営曰く「どんな言葉やお詫びをもってしても、取り返すことのできない失態」である事は間違いなく、
ここからの信頼回復は並大抵の物ではないと思われるだろう。
規模、影響共にかつての[[朝鯖>http://www21.atwiki.jp/giurasu/pages/754.html]]やステップアップメンテナンスどころではない、悪い意味で歴史に残る&bold(){MHF史上最大最悪の不具合}となってしまったのは間違いない。
また、プロジェクトR第二弾は1日遅れで予告通りの内容が実施されたが、
定期開催イベント関係は実質本来の想定より1週間ずれた状態で進行しているし、今後の同時開催による負荷増大は懸念が残ったままである。

このMHF史上に残るであろう凄まじい不具合で唯一救いだったのは、
&bold(){ロールバックされた期間に入手したアイテムの大多数がプレイヤーの元に速やかに戻ってきた}こと。
これは今回の不具合がサーバー機器自体の故障ではなかったが故に可能であったことと推察できるが、
これが出来たのと出来なかったのでは、不具合対応に対する評価は天と地ほど変わっていただろう。
また、補償などの事後フォローについても疑問符がつけられるものはあまりなく、その点もある意味では救いだったと言える。

**豆知識
今回のように事故で過去のデータに戻ってしまう、もしくは意図的に過去のデータに戻すことをロールバックというが、
戻ったデータにそれ以降のログを順次反映させて障害発生時点のデータを復元しようとすることをロールフォワードという。
今回運営が行ったのは「ログからの抽出により失われたであろうアイテムを検索し、そのアイテムを取り出し専用倉庫に送る」ということなのでロールフォワードではない。

かなり大きな障害と不具合になってしまったが、過去には「メンテ失敗→データ全消失→サービス終了」と言う即死コンボが他のネトゲで起こったこともある。
ちなみにMHFも[[サービス開始直後のログイン障害で急遽3サーバーに増やした際、ありったけの機材をかき集めて無理矢理3サーバーにしたという逸話>http://www.4gamer.net/games/034/G003450/20151218190/]]が存在しており、上記即死コンボが起きてもおかしくない状態で3ヶ月ほど続けていたそうである。
運営とはかくも繊細さの要る業務なのだ。データベースのような大きな機器もそうだが、通常のメンテにも十分な注意を持って欲しいと願わざるを得ない。

**その後の不具合
3/17のピークタイムを超え、3/18現在でも特にトラブルは発生していない。
いつものように細かい不具合は発生しているようだが、サーバー不具合によるものではない(&s(){つまりいつもの奴})
-G級大討伐の支援クエストが、最終フェーズのみ3分間となっている(出発回数が増えるという結果であり、補償として追加されている天撃玉の獲得数が回数に連動して増える結果に……?&s(){戦闘参加者より増えることについてどう思うかは個人次第})
-剛種/HC/至天チケットの獲得を廃止したはずが、一挙両得シリーズのクックがまだ持っている(特異グラビモスの報酬は変更済、クックの方はG10直前になってやっと修正完了)
-マイトレ冒険屋の持ち帰りに表示されないアイテムあり(「ボックスにまとめて送る」でこの表示されていないアイテムも含めて正常に送られる。なお修正済と書かれていながらステータスは修正中と意味不明な状態、後日本当に修正された模様)
-インストール中に「CRCエラー」とのエラーメッセージが表示され、インストールを了することができない不具合&br()※セキュリティソフトによっては「なんとなく挙動がマルウェアっぽい」という理由でマルウェアと判断し隔離してしまうケースがあるらしく、それに引っかかったという説も。
// Nortonが結構この判断が過剰な模様(Windows 10のメールアプリ更新ですら引っかかることもある)

[[ステップアップメンテナンス]]再び……と当初は思われていたが思いもかけない方向に
//ぶっちゃけステップアップどころのレベルじゃないと思われ。終わった辺りで「3月第2週大規模メンテナンス」なり改題した方がいいと思う
// でも日が日故に「メゼポルタ大○災」とかはやめた方がいいと思われ

*顛末
**2016年3月9日（水）発端
3/9のメンテナンスでは、ゲームデータベースサーバーのハードウェア交換とソフトバージョンUPが実施された。
これは公式によると、
「狩人祭ボーナス試練での高負荷(入魂に時間がかかったりする。ピークタイム時にはアナウンスが出たことも)」対策、
及び「各種メニューの表示速度改善」を図るべく計画されたようだ。
過去にはサーバー機器の故障という理由での緊急メンテナンスも何度かあったが、
今回は老朽化(故障する可能性が上がっている)ではなく陳腐化(スペックが不足してきている)の方面か。

その3/9の定期メンテナンス終了後サーバー1のみサーバーに障害が発生しており、
同日の17:15～19:00に[[緊急メンテナンス>http://cog-members.mhf-g.jp/sp/news/10953.html]]が行われた。

*2016年3月11日（金）重大不具合発生
しかしながら、翌3/10夜ごろから再びサーバーが不安定となり、
その対応のために金曜の11日10～12時にかけて臨時メンテナンスを実施する予定だった。
…が、夜～深夜にかけて報告された不具合が、
特定ワールドに入れない、落とされたあとログインできない、データがロールバックされている
など想定以上だったらしく、緊急メンテナンスに繰り上げされ時間も前倒しして真夜中の3:50から行われることになった。

しかし終了予定25分前の11:35、以下の告知が…

(以下[[公式>http://cog-members.mhf-g.jp/sp/news/10960.html]]から引用)
 データベースサーバー障害の影響により、
 データの巻き戻りをともなう
 深刻な不具合が発生している状況を確認しております。
 本件への調査および対応のため、
 17:00までメンテナンスを延長させていただきます。
 この度は多大なご迷惑をおかけし、大変申し訳ございません。
 今しばらくお待ちくださいますようお願いいたします。
 
 また本件につきましては、各種コース利用権の補償
 および、ご迷惑をおかけしていることへのお詫びの実施を
 検討させていただいております。
 詳細につきましては、決まり次第改めてお知らせいたします。

メンテナンスも5時間延長されることになり、各種補償の検討も予定されることになった。
更に16:30になって再度19:00までの延長が告知された。
そして最終的には2016年3月9日(水) 6:30時点までのロールバック、
つまり&bold(){11日19時に定期メンテナンス終了と変わらない状態}となってしまった
(データが巻き戻ってしまうため、単純に2日間プレイできないより事態としては深刻である)。

この補償として、3/16までサーバー1の全アカウントに対し狩人応援コースとプレミアムコースが付与され、
1000NP、おためし小判Ｇ5枚(これは定期メンテ延長に伴う補償との合算)が配布される。
また[[ウラガンキン解禁記念イベント>みんなで!ウラガンキン大狩猟!]]の目標値についても緩和が行われることに。

**2016年3月12日（土） 止まらない緊急メンテナンス、アクセス制限の実施

昨日の長大メンテが終了しホッとしたのもつかの間、13時前後にログインできなくなる障害が短時間だが発生した。
普段ならば特に触れないままで済ませる程度の障害だが、前日の事で神経質になっていたためか[[しっかり告知>http://cog-members.mhf-g.jp/sp/news/10969.html]]された。
そして悪夢再び、同日16：30～18：00、まで機器の調整で再度メンテナンスが始まってしまい、更に17:50頃に19:00まで延長告知。
19:00になりインできた…と思いきや再び落とされ、同時に21時までの再延長が告知された。
[[21時でなんとか終了した>http://cog-members.mhf-g.jp/sp/news/10971.html]]ようだが、
「引き続きサーバー動向に注視し、何か問題があれば速やかに対処を行なわせていただきます」とのことなので何かと心配ではある。
そして21:00の再開以降、アクセス制限を施しているにも関わらず再び高負荷状態が発生、
21：50から作業終了時間&bold(){未定}で[[緊急メンテナンスが行われた>http://cog-members.mhf-g.jp/sp/news/10972.html]]。
当初23:00に進捗状況を告知、その23:00が3:00に再び告知との内容であったためいつまで続くのかと思われたが、
[[予定より早い24:00に終了>http://cog-members.mhf-g.jp/sp/news/10971.html]]となった。

これによりアクセス制限と言うものが掛けられてしまった。
ログイン失敗する場合は制限に引っかかったと見て良いだろう。(´・ω・｀)とせざる負えない状態。

ちなみにこの日の緊急メンテの原因は、当初の分について言えば平たく言えば「前日の緊急メンテとは別の部分での設定漏れ」とのこと。
場合によっては1時間ほどロールバックしている(最新のデータ保存に失敗している)場合があるとのこと。
(恐らく前日の分とは別口で)1000NP・おためし小判20枚・スペリア20枚・回復G2×20個の補償が行われることになっており、こちらの配布は1回目のメンテ終了後すぐに始まっている。

**3/14（月）　臨時メンテナンス
上記の通り3/13はアクセス制限がかかりながらもメンテナンスなしで越すことができたが、
翌日に度重なるサーバー障害の対策のため[[臨時メンテナンス>http://cog-members.mhf-g.jp/sp/news/10973.html]]を行うこととなった。
日曜日にサーバーを止めるわけにはいかないため月曜になったと思われる。
こちらは延長も無く15:00に無事終了。
また、サーバー負荷対策が完了したということでアクセス制限も15:30に解除されている。

メンテナンス終了と同時に以下の[[追加補償が発表された>http://members.mhf-g.jp/apology/]]。
-サーバー1の全アカウントにHL/EXコース付与（※）
-不定期配信となっていたちびガンキンのクエストは3/16定期メンテナンス後からイベント終了まで常時配信
-95回狩人祭登録祭期間延長及び入魂祭期間延期
-各種RP4倍、剥ぎ+1などの報酬ブースト（※）
-「デイリーのススメ　秘伝天昇＆秘伝継承シリーズ」の開催期間を3月23日メンテナンス開始まで延長
-1日に受注できるデイリークエストの回数を3回に増量（※）
※：2016年3月16日（水）メンテナンス終了後～2016年3月23日（水）メンテナンス開始まで

また、当該期間に有効だったコースの補償は別口で行われる。
コース付与以外の設定は全てのアカウント(360、W1含む)が対象となる。

更に、ロールバックされた期間（3/9の定期メンテ～3/11の緊急メンテ開始まで）にプレイヤーが入手したアイテムについて、
メゼポルタ広場に帰還した段階で獲得しているものについてはデータが存在しており補償が可能であることが同日22：30に判明。
現在補償の対象となる（データが残っている）クエストを調査中のようだ。
ただしゼニー・Gゼニー・ギルド貢献Pは残念ながらデータが残っていなかったらしく補償の対象外となる。

**3/15（火）緊急メンテナンス再び→MHFが止まった一日
しかし23:20頃からクエスト後広場に戻るまでのローディングに数分かかるという事態が発生。
耐えかねて再ログインしようとするも入れないなどということが報告される。
そして日付が変わる直前・・・
通信切断の調査目的で、何度目かという[[緊急メンテ>http://cog-members.mhf-g.jp/sp/news/10980.html]]が告知された。
公式では23:30～となっているが実際は0時過ぎまでプレイが可能であった。
そして3/15/1:00の進捗報告により「急なログイン数増加によるデータベースサーバーのダウン」が原因と発表された。
追っての報告は3：00となったがその内容は・・・
「引き続き問題の調査を実施しているが、原因究明には繋がっていないため、修正まで長期化する可能性がある。
3月9日（水）のメンテナンス前までのサーバー構成への復元を第一に考えた検討、対応を行い、
早急にサービスの再開を行なえるよう作業を行うが、作業の検証と作業後の検証などを含めると、&bold(){10時間}ほどの時間を要する見込み」というものだった。
そして次回の進捗報告の11:00頃にて、一連の不具合の原因が''今後を見据えたサーバー増強そのもの''であったものの、
本件の&bold(){根本原因が不明}であり、最善策としてサーバー構成を安定していた3/9時点に戻すのが早いと判断された。
構成復旧の影響範囲が大きく、慎重な動作確認が必要なため、
現段階で最短21時頃がメンテナンス終了というアナウンスがなされた。
しかしながら、18:00に告知された進捗によると21:00の終了は難しいとのことで、
21:00により具体的な進捗及び今後の対応が告知されるようだ。

そして来る21:00、当日の復旧が難しいことが告知され、水曜定期メンテナンス時間も用いて復旧作業を継続することが明かされた。
よって、MHF初となる''丸1日プレイできない日''が誕生してしまうことになってしまった。
なお、21:00頃といいつつ実際に告知が更新されたのが21:15だった辺り、内情が伺える。
しっかり確認している人への配慮もあるのか、次回告知は23:00''まで''に行うことが予告された。

そして少し早い22:10に第一報が報じされた。
サーバー増強自体は全サーバーで行っており(つまりサーバー1のみ、新構成で致命的な問題が発生していた事になる)、
それを全て安定動作が確認されている旧段階に戻すことが発表され、
''全プラットフォームにてデータの引き継ぎが可能であるか検証中''であるとのことが報告された。
なお、仮に不可能と判断した場合は3/9定期メンテ開始前にロールバック、
つまり''3月第2週消滅''という最悪な結果になる可能性がある事も告知されている。
この起こりうる最悪の結果は&bold(){1鯖だけでなく4鯖・W1鯖も対象(つまり全アカウントのプレイデータのロールバック)}となる。
新構成でも比較的安定していたであろう4鯖・W1鯖の住人にとっては堪った物ではない。&s(){一方でその手のヤツらは狩コ発動のごとく元気になる}
// 実際はPS3/Vitaも被害を受けているのだけどガン無視するか、
// もしくは問題ない状態なのに無に帰したことを嘲笑する、という想定。
無論最悪の結果は回避すべく行動しているとのことで、翌16日10:00に結果を報告する予定である。
そしてメンテナンス終了予定時刻が17:00であることが告知された。
これによってメンテナンス時間は合計41時間30分という長丁場になり、
同時に緊急メンテナンス最長時間という、ある意味不名誉と言える記録まで更新してしまった。
(特に2016年のキーワードがキーワードだけに)

**3/16 運命の1日
そして運命の10/16 10:00(実際はやや遅れていた)……
その結果は……&sizex(4){&bold(){全てのデータが問題なく旧バージョンのサーバーに乗せられる}}ことが判明。
1週間消滅という最悪の結果を回避することはできたようだ。
一応書いておくと、1鯖は3/14緊急メンテ直前(23:30)のデータ、4鯖とW1鯖は3/16の定期メンテ開始時点のデータで再開される。

メンテは予定通り17時に終了したが、念には念をということでかログイン時のアクセス制限が再度設定されている。

この影響として、第3週である3/16予定の「極み咆えるジンオウガ」については、
翌17日に定期メンテナンス分となるアップデートメンテナンスを実施し、その後解禁という形が取られることが報じられている。

**3/17 収束
3/17のアップデートメンテナンスは滞りなく完了し、同日19:30にアクセス制限も解除された。
3/16より開始された補償に関してもこれといったトラブルは発生しておらず
(ただし多すぎて分かりにくいという声が多かったらしく、公式Twitterで具体的な内容を公開している。詳しくは後述)、

元々サーバー増強行為はハードウェア的な危機的状況(不具合が多発している、近い内に故障しそう、など)ではなく
負荷改善や応答速度の向上を目的としている節があるため、結果的にこれらの問題が先送りされただけとも言える。
データベースサーバープログラムとハードウェア交換はいずれ再び着手しないといけない事案であり、
これについては安全確実に出来る方法を検討しており、今回の件が落ち着いたら発表するとのこと。
こんなことが起きてしまった以上、どれだけ準備したとしてもユーザー・運営どちらも戦々恐々である。

**後日（サーバー強化再実施）
結果として、サーバー強化アプデは約一年後の2017/3/8に行われた。
前月以前より動画によるスケジュールと工程のお知らせをしたり、
テストサーバーでのプレイ・負荷試験などを踏まえた上で行われたこともあり、
（ついでに言えば定期イベントも暫くお休みするなど）相当慎重を期していたことが伺える。（参考→[[公式のサーバー強化テスト特設ページ>http://members.mhf-z.jp/contents/srv_test/]]）

当日の定期メンテは6:00～18:00という長丁場となった。
長時間メンテナンスのご協力へのお礼ということで、「HL&EXコースの無料開放（1週間）」、
「狩人応援コース（6時間分）×3の配布（3/29まで）」が行われた。
メンテ明け以降は特段サーバー不調のような様子も見られず、昨年の騒動が嘘のように穏やかである。

再実施には大きく期間が空いてしまったが、振り返るとZアプデ・PS4参入という大きな転換点が控えてたのは大きいだろう。
逆に、サーバー強化計画の頓挫がこれらの実行スケジュールに大きく影響しただろうことは想像に難くない。
特に大きくボロが出てしまったのはPS4リリースが行われた週。旧式サーバーが大量の新規ユーザー増加に耐えきれず、
「ログイン制限と臨時サーバーへの一時的な強制誘導」という状況を引き起こしてしまった。
（計画ではサーバーの経過を確認後、5月以降に統合の見込みである。）

*まとめ
**メンテ
|日付|時間|延長|種別|h
|3/9|6:30～16:40（10時間10分）|40分|定期|
|3/9|17:15～19:00（1時間45分）|-|緊急|
|3/11|3:50～19:00（15時間10分）|7時間|緊急|
|3/12|16:30～21:00（4時間30分）|3時間|緊急|
|3/12|21:50～24:00（2時間10分）|-|緊急|
|3/14|13:00～15:00（2時間）|-|臨時|
|3/14～16|23:30～17:00(41時間30分)|-|緊急|
|3/17|8:00～16:00(8時間)|-|臨時(3/16アップデートメンテナンスの延期)|
|合計|77時間15分(+8時間)|||h

**補償内容
|補償範囲|補償内容|受け取り方法|配布期日|h
|サーバー1|狩人応援コース＋プレミアムコースの付与|自動付与|3/11～3/16|
|~|NP1000、おためし小判Ｇ5枚|広場ガイド|3/30まで|
|~|1000NP、おためしＧ小判20枚、スペリア20枚、回復G2×20個|広場ガイド|3/30まで|
|~|3/9～3/14 23:30までに得られていたはずのアイテムを補償(後述)|武具工房&br()「取り出し専用倉庫」|3/16配布|
|~|購入アイテムの補償(後述)|後述|3/11、一部3/16|
|~|3/9～3/11の間に有効だった各種コース(HL等含む)の3日間クーポン|マイページ|3/23配布|
|~|猟団長の降格処理の見送り&br()3/11緊急メンテ時に降格したキャラクターは3/16に猟団長へと戻される|-|3/16実施|
|~|復帰区の権利+1週間(3/9～3/16メンテ終了まで復帰区が有効だったアカウントに対して実施)|自動付与|3/16実施|
|サーバー1、&br()かつ当該期間※にネットカフェ利用有|18,780NP|広場ガイド|3/17配布|
|~|秘伝魂の結晶1個(受け取り済みの場合)|武具工房&br()「取り出し専用倉庫」|3/16配布|
|全サーバー|HL・EX・プレミア・狩コ付与|自動付与|3/16～3/23|
|~|3000NP、きんぴか小判G100枚（上記とは別枠）|広場ガイド|3/30まで|
|~|狩人祭の登録祭を1週間延長|-|3/23から入魂祭&br()公式狩猟大会も3/17～3/22の間追加開催|
|~|報酬ブースト強化|自動付与|3/16～3/23|
|~|秘伝天昇＆秘伝継承シリーズ配信延長、デイリークエストの回数を3回に増量|-|3/16～3/23|
|~|ウラガンキンの不定期配信クエを常時配信に変更|-|3/16～3/23|
|~|精錬のススメ、未知なる脅威の来襲、たっぷりクエなどの配信|-|3/16(一部3/17)～3/23|

得られていたはずのアイテムについては、
・クリア報酬アイテム
・剥ぎ取り／採取で入手したアイテム（これらは広場に戻った時点のものが返却される)
・大討伐の褒賞
・ショップで購入・交換したアイテム
・カプリンクで入手したアイテム
が3/16のメンテ終了後に取り出し専用倉庫に配布される。(当初3/23予定だったが、前倒しされた)

クエストは今の所
・期間限定クエスト(烈種・始種・遷悠・イベントなども含まれる)
・ハンターズクエスト
・Ｇランククエスト
・特別クエスト
・プレミアムクエスト
・はじめてのクエスト
・秘伝書育成クエスト
・大討伐クエスト
・復帰クエスト
・猟団クエスト
が決定している。

なお該当期間について、当初3/9メンテ後～3/11メンテ終了の間に購入したものを補償するとなっていたが、
その後もサーバーが不安定な状態が持続していたことや、アカウントによっては小規模ロールバックも発生していた事から、
3月9日(水)定期メンテナンス終了後～3月14日(月)23:30に受け取った上記のアイテムが補償されることになった。

購入アイテムについては、上と同じ理由により3月9日(水)定期メンテナンス終了後～3月14日(月)23:30に受け取ったアイテム、イベントコードについて補償されることになった。
元々ガイドから受け取った購入アイテムはガイドから、イベコを入れた場合はそのイベコが再配布されている。
ガチャアイテムについては、「取り出し専用倉庫」に入っている。
ただし同週から販売された「ハリセンネコのワクワクびっくり箱」で引いたアイテムについては、
3/9～3/11のロールバック期間における確認可能なデータに入手記録が残っておらず、
確率で入手できるアイテムに関して、最大量のアイテムを購入数分補償するとのこと。
具体的には「ベンディ生産券×60、Nの塊×50、ルヴナン生産券×60、太陽のくさび石×50」である。
これについては受け取り倉庫ではなくガイドから直接受け取る形になる。

ネットカフェの接続補償については、
2016年3月9日(水)定期メンテナンス終了後～3月11日(金) 3:50が対象となる。
ちなみにNPについては当初接続時間に応じた配布を予定していたが、確認可能なデータに接続時間が残っておらず、
巻戻りが発生した可能性がある期間中に入手できる最大量のＮポイントを補償することになったとのこと。
受け取り方法も当初の直接配布ではなく、ガイドから受け取る形に変更されている。

武具工房の「取り出し専用倉庫」は1ページしかないが、&bold(){ランド移動またはログインしなおしで中身が更新される}。
ログイン制限が当面かかっている関係上、ランド移動で中身を更新して回収するとよいだろう。
%%スタンプカードのギルドからの推薦状を取り出す作業が待っているかもしれないが%%

**総括
結果としてサーバー1の3月第2週のプレイ不可能時間は、ロールバックの分を含めなかった場合でも&bold(){約77時間}、
ロールバック期間=プレイできなかった時間と換算した場合は&bold(){100時間超え}という超長時間になってしまった。
ログイン制限がかかりながら、という前提だが丸一日まともにプレイできてデータもしっかり反映されたのが&bold(){1週間の内3月13日だけだった}ということからも今回の不具合の異常さがお分かりいただけるだろうか。

また、この不具合は&bold(){無関係のXbox 360・WiiUユーザーも含めた1週間の全データロールバックの可能性というオンゲとしてあるまじき破滅的な危機}にまで発展してしまっている。
幸い、全鯖データロールバックという最悪の展開は免れたが、
MHF運営曰く「どんな言葉やお詫びをもってしても、取り返すことのできない失態」である事は間違いなく、
ここからの信頼回復は並大抵の物ではないと思われる。
加えてその後も、短期的に見ても定期開催イベント関係が本来の想定より早速1週間ずれた状態で進行したり、
長期的にはPS4リリース時に悪影響が出て対応を迫られるなど、今回の不祥事が&bold(){一年以上}に渡って禍根を残してしまった。
規模、影響共にかつての[[朝鯖>http://www21.atwiki.jp/giurasu/pages/754.html]]やステップアップメンテナンスどころではない、悪い意味で歴史に残る&bold(){MHF史上最大最悪の不具合}となってしまったのは間違いない。

このMHF史上に残るであろう凄まじい不具合で唯一救いだったのは、
&bold(){ロールバックされた期間に入手したアイテムの大多数がプレイヤーの元に速やかに戻ってきた}こと。
これは今回の不具合がサーバー機器自体の故障ではなかったが故に可能であったことと推察できるが、
これが出来たのと出来なかったのでは、不具合対応に対する評価は天と地ほど変わっていただろう。
また、補償などの事後フォローについても疑問符がつけられるものはあまりなく、その点もある意味では救いだったと言える。

**豆知識
今回のように事故で過去のデータに戻ってしまう、もしくは意図的に過去のデータに戻すことをロールバックというが、
戻ったデータにそれ以降のログを順次反映させて障害発生時点のデータを復元しようとすることをロールフォワードという。
今回運営が行ったのは「ログからの抽出により失われたであろうアイテムを検索し、そのアイテムを取り出し専用倉庫に送る」ということなのでロールフォワードではない。

かなり大きな障害と不具合になってしまったが、過去には「メンテ失敗→データ全消失→サービス終了」と言う即死コンボが他のネトゲで起こったこともある。
ちなみにMHFも[[サービス開始直後のログイン障害で急遽3サーバーに増やした際、ありったけの機材をかき集めて無理矢理3サーバーにしたという逸話>http://www.4gamer.net/games/034/G003450/20151218190/]]が存在しており、上記即死コンボが起きてもおかしくない状態で3ヶ月ほど続けていたそうである。
運営とはかくも繊細さの要る業務なのだ。データベースのような大きな機器もそうだが、通常のメンテにも十分な注意を持って欲しいと願わざるを得ない。

**その後の不具合
3/17のピークタイムを超え、3/18現在でも特にトラブルは発生していない。
いつものように細かい不具合は発生しているようだが、サーバー不具合によるものではない(&s(){つまりいつもの奴})
-G級大討伐の支援クエストが、最終フェーズのみ3分間となっている(出発回数が増えるという結果であり、補償として追加されている天撃玉の獲得数が回数に連動して増える結果に……?&s(){戦闘参加者より増えることについてどう思うかは個人次第})
-剛種/HC/至天チケットの獲得を廃止したはずが、一挙両得シリーズのクックがまだ持っている(特異グラビモスの報酬は変更済、クックの方はG10直前になってやっと修正完了)
-マイトレ冒険屋の持ち帰りに表示されないアイテムあり(「ボックスにまとめて送る」でこの表示されていないアイテムも含めて正常に送られる。なお修正済と書かれていながらステータスは修正中と意味不明な状態、後日本当に修正された模様)
-インストール中に「CRCエラー」とのエラーメッセージが表示され、インストールを了することができない不具合&br()※セキュリティソフトによっては「なんとなく挙動がマルウェアっぽい」という理由でマルウェアと判断し隔離してしまうケースがあるらしく、それに引っかかったという説も。
// Nortonが結構この判断が過剰な模様(Windows 10のメールアプリ更新ですら引っかかることもある)