2019年11月26日

【Pay】楽天ペイの障害、原因判明 データセンターでUPS外して作業→停電→システム障害

■【Pay】楽天ペイの障害、原因判明 データセンターでUPS外して作業→停電→システム障害(2ちゃんねるSC)

引用ここから〜〜〜〜〜〜〜〜
1 サーバル ★ ▼ 2019/11/26(火) 21:03:20.86 ID:ET7vslJr9.net
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
2019/11/26 14:55

 九州電力の通信子会社QTnet(福岡市)のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。


まだ22社が復旧できていない

[画像タップで拡大表示]

 今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。

 今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかったりと、発生から3日経過後も電源停止の影響が残っている。

https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06551/




2 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:03:34.15 ID:afBhnbZy0.net
素人か


4 :名無しさん@1周年 ▼ 2019/11/26(火) 21:04:28.62 ID:D2CRVH8P0.net
>>1
賠償金大変だこれ


5 :名無しさん@1周年 ▼ 2019/11/26(火) 21:04:43.10 ID:MwdudBQv0.net
結局人なんだよなあ


6 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:05:05.33 ID:2Jwbk2mk0.net
じゃあ人為ミスだな
大事なサーバーをUPSに繋げないなんてどういう神経してるんだろ


7 :名無しさん@1周年 ▼ 2019/11/26(火) 21:05:07.66 ID:1MNIsaIi0.net
予備電源、予備電源


9 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:05:31.43 ID:XqO4gI3W0.net
馬鹿じゃねーのというところだけど、なぜこんな馬鹿なミスが起きたのか、だな。信じられんミスだけど。
賠償は10億じゃ済まんのじゃないか?


11 :名無しさん@1周年 ▼ 2019/11/26(火) 21:05:43.96 ID:/bd4nxHL0.net
電源ヨシ!


12 :名無しさん@1周年 ☆sage ▼ 2019/11/26(火) 21:06:02.73 ID:8P/Dx+9y0.net
楽天がやらかした?まあそんなもんだろ

QTがやらかした?えっマジか?


13 :名無しさん@1周年 ▼ 2019/11/26(火) 21:06:05.62 ID:BoDH1q0h0.net
バカジャネーノ


14 :名無しさん@1周年 ▼ 2019/11/26(火) 21:06:06.11 ID:G8P7GlNu0.net
血液同然のインフラでこのざまじゃねえーw


15 :名無しさん@1周年 ▼ 2019/11/26(火) 21:06:14.15 ID:N+vsZjtD0.net
こんなレベルじゃ危なくて利用できない


16 :名無しさん@1周年 ▼ 2019/11/26(火) 21:06:16.70 ID:ThlluYdS0.net
アホじゃねーの


17 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:06:38.88 ID:pbstSGHj0.net
これって現場では予見できない事なのか?
担当者が特に無能だったわけではなく、システムの盲点で相当に気付きにくいものなの?


賠償金発生するんかな?


22 :名無しさん@1周年 ▼ 2019/11/26(火) 21:07:27.60 ID:D2CRVH8P0.net
>>17
災害じゃなく誤ってシャットダウン⇒システム障害

賠償だろ


21 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:07:18.87 ID:tYtEM0PP0.net
予備系無いのかよ


23 :名無しさん@1周年 ▼ 2019/11/26(火) 21:07:46.62 ID:06IzVxR70.net
何のためのUPSなんだか


27 :名無しさん@1周年 ▼ 2019/11/26(火) 21:08:24.89 ID:exy9wBIS0.net
馬鹿なの?


30 :名無しさん@1周年 ▼ 2019/11/26(火) 21:08:42.66 ID:gblwxdzZ0.net
素人しか現場にいなかった


32 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:08:52.75 ID:/1PZyPFX0.net
だめじゃん

分かっていても分かっていなくても
繋がっている機器を外していいわけねーだろ


33 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:09:04.73 ID:JdxAayI90.net
人が育ってないんだろうな


54 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:12:38.00 ID:nG/f6Efq0.net
>>33
変わりの人材なんて幾らでも居る! → 結果
これが今の日本の姿


34 :名無しさん@1周年 ▼ 2019/11/26(火) 21:09:05.23 ID:eG4IaErX0.net
これって
データセンタ全体の電源が停止

楽天のサーバーはUPSがなかったから
即死
ってこと?


39 :名無しさん@1周年 ▼ 2019/11/26(火) 21:10:01.27 ID:D2CRVH8P0.net
>>34
作業するのに間違えてUPS外したんじゃねーかな、データセンターだから楽天は被害者


40 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:10:07.25 ID:ZQUJkK4U0.net
主電源+補助電源+予備電源
というシステムでないのか


41 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:10:08.11 ID:TeG0fL+C0.net
昔だが、DC法定点検で一応待機してたが、UPSどころか非常電源刺さってなくて落ちて偉いことになった。


43 :名無しさん@1周年 ▼ 2019/11/26(火) 21:10:30.48 ID:XqO4gI3W0.net
何のためのDCか分からんような話だな。
もうQTnetは新規のホスティングは取れず、既存客は当分タダで運用だろ。


44 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:10:30.42 ID:dwDltr+s0.net
やったのって、下請けの下請けの下請けの・・・


46 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:10:53.55 ID:z1KCJUXE0.net
九電とかQTnetはお堅いイメージがあるけどなあ
下請けにパワハラ的な丸投げか?


57 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:12:55.63 ID:drXxtywE0.net
受けるwww
大事な設備なのに金払わないで適当な業者にやらせたのかな


58 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:13:07.56 ID:nI6wv7gT0.net
UPS外して作業?
UPS故障でもしない限りなくね?


60 :名無しさん@1周年 ▼ 2019/11/26(火) 21:13:15.47 ID:TKwJD8ps0.net
なんだこれ楽天じゃなくて、その設備を更新していたQTネットとか言うところのチョンボですやん。
しかも九電の子会社って。おまえら電気のプロやないんか!


119 :名無しさん@1周年 ▼ 2019/11/26(火) 21:19:45 ID:QIjSrew10.net
>>60
設備屋顎で使ってるだけで、自分たちの手を動かすわけじゃないし
管理なんてそれこそやったことないし


66 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:13:40.73 ID:JlnM5xFB0.net
ペイが付くやつらはなんかやらかさないといけない決まりでもあるのか


67 :名無しさん@1周年 ▼ 2019/11/26(火) 21:13:45.03 ID:nA53UxGQ0.net
多くの企業がそうであるように、外注企業が作業したのかね?







73 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:14:57.00 ID:bILyXFwh0.net
わざわざUPSを外して作業したのか
さぞ生真面目な作業員だったんだろねー(棒
工賃安いからって最低限の教育受けさせてない馬鹿現場に寄越すなよ


74 :名無しさん@1周年 ▼ 2019/11/26(火) 21:15:04.18 ID:fzVpc97C0.net
てきとーな作業ならともかく、予備電源外して作業なんてあり得ない


75 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:15:06.04 ID:b1XUvYzc0.net
競合他社のスパイでも入り込んだんじゃないのか


76 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:15:07.82 ID:EaeGdPeF0.net
ド素人なんだけど7秒電源がストップすると復旧もままならないくらいひどいことになるの?
「あれ、つながんねーなー」程度の話じゃなくて?


79 :名無しさん@1周年 ▼ 2019/11/26(火) 21:15:26.53 ID:0CkPxXLA0.net
データセンターにもゆとり


92 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:17:14.34 ID:8upuuiP10.net
っっって、QTかよ!
電力のプロじゃねーか!

楽天マジで被害者じゃん!
何のためのデータセンターなのか


95 :名無しさん@1周年 ▼ 2019/11/26(火) 21:17:38.15 ID:PyDLg8ol0.net
こんなんだからAmazonやMSのクラウドがシェアとるんだよ


96 :名無しさん@1周年 ▼ 2019/11/26(火) 21:17:39.65 ID:QIjSrew10.net
お前ら純真無垢かよw世間向けの発表鵜呑みにしやがって

とある筋からの確からしい情報によると、これは掃除のおばちゃんがコードにつまづいたことが原因らしい
ガチで!


122 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:20:02 ID:/1PZyPFX0.net
>>96
掃除のおばちゃん!
いっつもどこからか出てくるな!!


110 :名無しさん@1周年 ▼ 2019/11/26(火) 21:18:51.17 ID:nA53UxGQ0.net
>QTネットの公開資料

障害原因

受電用屋内設備分電盤の過電流継電器の整定不具合により、常用受電が自動遮断しました。
遮断時は、常用受電から予備受電に無停電で切り替わる機能を有しておりますが、今回の電源設備更新作業にあたってこの機能を外して行う工程(10分間を予定)中に事故が発生したため、電源停止(7秒間)となりました。
その間当社からお客さまサーバ類への電源供給が失われ、お客さまサービスに影響を及ぼしました。


111 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:18:55.49 ID:devg86yn0.net
何が原因かすらもわからないってもうIT後進国やん…


113 :名無しさん@1周年 ▼ 2019/11/26(火) 21:19:07.83 ID:bodg0lVY0.net
ちょっとおもしろいw


114 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:19:08.88 ID:P/p+53D90.net
素人やろ・・・


118 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:19:45 ID:SUMf4l6o0.net
 
作業時の手順書も無いっぽいなw


121 :名無しさん@1周年 ▼ 2019/11/26(火) 21:20:01 ID:G8P7GlNu0.net
現場猫が大量にいる国、日本


124 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:20:07 ID:ehalF+ln0.net
ぞっとする


125 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:20:08 ID:Khq2vSdv0.net
想定外の盲点wwww


143 :名無しさん@1周年 ▼ 2019/11/26(火) 21:22:25 ID:zPgzvLd/0.net
ギャグみたいなことやってんな


144 :名無しさん@1周年 ▼ 2019/11/26(火) 21:22:29 ID:WMmw+NRi0.net
これから大規模停電が 定例化するらしてから

準備しよう


148 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:22:55 ID:Mtd0le6S0.net
ヒューマンエラーの中でも底辺レベルw


160 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:23:36.87 ID:J3CSUB+t0.net
Amazonだってこの前AWSで障害起こしたしな


161 :名無しさん@1周年 ▼ 2019/11/26(火) 21:23:51.60 ID:wOb0W8/z0.net
ケチって鯖一箇所だけしてるのが悪い
バックアップ体制は無し
携帯もそうなるんだろうなあ


163 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:24:06.38 ID:KLUYJmTa0.net
うちのビル、非常電源設備の点検交換作業でミスって
ビル丸ごとドカンと落としちまったことあるわ
こういうのって本来止めてやるべきなんだけど
今はサーバーを止められない時代になってるから
無茶な手順で綱渡り作業しちゃうんだよなあ


164 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:24:07.26 ID:mxu/unHK0.net
あるあるwww


169 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:24:57.31 ID:nI6wv7gT0.net
サーバーの予備サーバーが必要だな!


176 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:25:46.25 ID:6FZ4WMAI0.net
福島原発も2台ある予備電源を、同じ地下室に置いてて
どっちもだめになったんだっけ

2台あるなら、1台は地下、1台は高台にくらい分けとけ


186 :名無しさん@1周年 ▼ 2019/11/26(火) 21:26:48 ID:2au+DpMo0.net
何でもかんでも安く安くでやらせるからこうなる


200 :名無しさん@1周年 ▼ 2019/11/26(火) 21:28:38.12 ID:0Nt6K10i0.net
なんということでしょうw


205 :名無しさん@1周年 ▼ 2019/11/26(火) 21:29:25.29 ID:/dZ0C9zj0.net
ようするに
電源落ちたときはどうなる?
すぐに予備に切り替わります
ならいいか
で、やっちゃったんだろ


214 :名無しさん@1周年 ▼ 2019/11/26(火) 21:30:35.02 ID:iKV4YVmq0.net
データセンターの作業員って派遣の場合が多いから仕方ないな


224 :名無しさん@1周年 ▼ 2019/11/26(火) 21:31:18.13 ID:4WuOE3yi0.net
言ってもGoogleもAmazonもこの手の障害起こしてるから人間が作業してる限りなくならんだろうな


237 :名無しさん@1周年 sage ▼ 2019/11/26(火) 21:33:29.46 ID:gCyVnmO60.net
よし


〜〜〜〜〜〜〜〜引用ここまで



posted by nandemoarinsu at 23:08 | Comment(6) | 国内ニュース

この記事へのコメント
  1. Posted by at 2019年11月27日 00:15
    QTnetの発表がそのとおりなら、
    運が悪すぎた事故の側面もありそう。
  2. Posted by at 2019年11月27日 00:35
    東電も似たような感じで・・
  3. Posted by at 2019年11月27日 03:37
    なんで外した事をミスと決め込んでんだよw
    馬鹿はオマエラだwww
  4. Posted by at 2019年11月27日 09:04
    > 発生から3日経過後も電源停止の影響が残っている

    UPS非作動時の通信障害は仕方ないとして、これ話になんないだろ
    鯖が壊れましたと同義じゃん
  5. Posted by at 2019年11月27日 14:47
    QTnetは出てくるエンジニアが知的障害みたいなのしかいないからねぇ
    銀行系もいるのに、これだ
  6. Posted by at 2019年11月28日 11:49
    ここ数十年、日本企業は人件費を投資ではなくコスト扱いして削りに削って、企業の人材育成システムは崩壊したからな。
    特にIT系なんか一時は土方扱いされるほど酷かったしな。

    IT技術の重要性が増した1990年後半以降は、日本のバブル崩壊・平成大不況・失われた世代とほぼ重なる。
    日本のIT技術者のレベルが低いのも当然だわ。
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:



全ランキングはこちら



SEO対策:ニュースSEO対策:東亜SEO対策:海外SEO対策:政治SEO対策:マスコミ ブログパーツ