50自治体のシステム障害、ストレージメーカー(EMCジャパン)がコメント「ファームウエアを修正。現在は日本電子計算で業務復旧作業中」

1 ：ばーど ★：2019/12/11(水) 06:22:43 ID:2PZJGgfs9.net

　全国50の自治体で2019年12月4日に発生したシステム障害。不具合を引き起こした日本電子計算のIaaS「Jip-Base」で使っていたストレージ装置のメーカーであるEMCジャパン（米デルテクノロジーズの日本法人）は2019年12月10日、日経 xTECHにコメントを出した。

　EMCジャパンは、12月4日に同社ストレージ装置に故障が発生したことを認めたうえで、「障害発生後から日本電子計算と復旧対応を行ってきた。ファームウエアを修正するなどして12月6日午後10時15分にストレージの修復作業は完了し、日本電子計算へ納品した。現在は日本電子計算で業務復旧作業中であり、当社も復旧へ向け全力で協力している」と述べた。

　これに対して日本電子計算は12月10日、「12月6日にストレージ装置のファームウエアの修正は完了したが、いまだに読み書きできないデータがあるのも事実で、復旧に至っていない。その原因箇所がストレージ装置を含めシステムのどこなのか、さらにその内容も調査中で、現状は特定できていない」とコメントした。

2019/12/10 19:40
https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06671/

2 ：名無しさん＠１周年：2019/12/11(水) 06:26:20.25 ID:SK/xp0QZ0.net

中国製パーツてんこ盛りなんだろ？

3 ：名無しさん＠１周年：2019/12/11(水) 06:28:05 ID:z6t2+XIp0.net

ステレッペチャンケー

4 ：名無しさん＠１周年：2019/12/11(水) 06:31:21.53 ID:wzgu6/LH0.net

まだ直ってなかったんだ

5 ：名無しさん＠１周年：2019/12/11(水) 06:34:45 ID:P2fCW0D50.net

BIOS？　なんか、劣化してね？　日本

6 ：名無しさん＠１周年：2019/12/11(水) 06:35:37.70 ID:HJBfRvlY0.net

ジャップ
のシステムはゴミｗ

7 ：名無しさん＠１周年：2019/12/11(水) 06:36:17 ID:jl/B0Qvr0.net

で、そのストレージの中身はどこのメーカー製なの

8 ：名無しさん＠１周年：2019/12/11(水) 06:36:34 ID:TvG9d+QG0.net

>>5
日本関係ないだろ。

9 ：名無しさん＠１周年：2019/12/11(水) 06:39:20 ID:JMfHGKvE0.net

>>6
お前は、バカだろ？

ホルホルするなら、
お前の国を心配しろ。

10 ：名無しさん＠１周年：2019/12/11(水) 06:43:44 ID:6CbVI/cj0.net

重複排除使ってて不整合がおきたか？

11 ：名無しさん＠１周年：2019/12/11(水) 06:48:59.64 ID:nwY57CFC0.net

データ破損してそう

12 ：名無しさん＠１周年：2019/12/11(水) 06:59:00.43 ID:tQW+MQ860.net

SSDの長時間稼働バグだろ？
RAIDで同じSSD使ってたら悪夢だな

13 ：名無しさん＠１周年：2019/12/11(水) 07:02:18 ID:hxfwELod0.net

>>5
BIOSなくすとか逝っているそばからコレかよ

14 ：名無しさん＠１周年：2019/12/11(水) 07:04:53 ID:OyZlA69u0.net

別サーバーを立ててバックアップから戻してサービス復旧を
なんでやらないんだろう

15 ：名無しさん＠１周年：2019/12/11(水) 07:09:25.48 ID:bcaapGu10.net

日本電子計算って日本電子の子会社？

16 ：名無しさん＠１周年：2019/12/11(水) 07:10:33 ID:+Mh2RHim0.net

EMCとかHPでダメなら選択肢なくなるじゃんw
テラステーションとか3重くらいで組んだ方が安いし信頼性高そうw

17 ：名無しさん＠１周年：2019/12/11(水) 07:11:05 ID:AQO2AiHf0.net

>>8
役所に直接土下座するのは納入された業者と日本法人やろ。

18 ：名無しさん＠１周年：2019/12/11(水) 07:11:25 ID:PrgJGRVg0.net

>>6

うんこチョウセンジンは自分の国で親に売られた戦時売春婦の銅像でも磨きながらうんこでも食ってろ

19 ：名無しさん＠１周年：2019/12/11(水) 07:15:19.78 ID:hSRRi9xw0.net

ブロードリンク事件が派手すぎて助かったなコイツら

20 ：名無しさん＠１周年：2019/12/11(水) 07:21:45 ID:VMjSlLVy0.net

仮想専用線に割り込まれたんじゃね？ファームウェアの修正としか言ってないけどセキュリティシステムを
抜本的に変えない限り同じ障害が出そうだ

21 ：名無しさん＠１周年：2019/12/11(水) 07:25:34.89 ID:GvpgYcKU0.net

またEMCか

22 ：名無しさん＠１周年：2019/12/11(水) 07:36:07.27 ID:gk++l73H0.net

RAID5とかRAID6とか、データがバラバラになってるから
いざファームウェアのバグで障害が起きると復旧が非常に難しい
多少高くなってもRAID1+0にしとけばよかった

23 ：名無しさん＠１周年：2019/12/11(水) 07:38:26 ID:3sXgTEWE0.net

ＤＥＬＬのストレージ？

24 ：名無しさん＠１周年：2019/12/11(水) 07:39:07 ID:lajlFWUA0.net

>>22
知ったかのおっさん乙

25 ：名無しさん＠１周年：2019/12/11(水) 07:52:23.95 ID:FdYJHiEA0.net

>>24
事情をしってるゆとり降臨

26 ：名無しさん＠１周年：2019/12/11(水) 07:53:58.75 ID:6SHnPqQ60.net

DELL EMCめっちゃ色々ほざいててこれかいw

27 ：名無しさん＠１周年：2019/12/11(水) 07:58:54.78 ID:Ppf7MhKE0.net

ハードRAID、
ソフトRAIDを組合せばoK

28 ：名無しさん＠１周年：2019/12/11(水) 07:58:58.24 ID:dArXN9at0.net

>>22
ファームの不具合とRAIDとどういう関係があるのか・・・

29 ：名無しさん＠１周年：2019/12/11(水) 08:00:12 ID:BHi3kzE20.net

ﾋｪｯ、EMCかよ・・・

30 ：名無しさん＠１周年：2019/12/11(水) 08:01:35.32 ID:Y2wC2Owf0.net

これ何がおこってんの？
ssdの問題が引き金？

ＨＰでも早くパッチ当てないと
危ないぞみたいなニュース見たけど

31 ：名無しさん＠１周年：2019/12/11(水) 08:14:47 ID:XAHxH5hy0.net

リダンダントくんでないのけ

32 ：名無しさん＠１周年：2019/12/11(水) 08:15:31 ID:7dY/ANtp0.net

新キャラ登場かと思った

33 ：名無しさん＠１周年：2019/12/11(水) 08:25:00.63 ID:Akb2d/XF0.net

>>22
復旧させることを想定しないでraid5や6を組んでる方がアホだろ
そもそもファームのバグってストレージのファームの話だしそのストレージ捨てて復旧させればよいのでは

34 ：名無しさん＠１周年：2019/12/11(水) 08:32:47.03 ID:BSk+E/h/0.net

>>31
リタンダントは想定内の障害によるダウンタイムを最小限に抑える為のものだよ

今回の問題はファームのバグによる同時多発ストレージ障害だからなぁ

35 ：名無しさん＠１周年：2019/12/11(水) 08:40:15.92 ID:K6zlIErX0.net

>>33
壊れたストレージを捨てて生きてるドライブだけでサービスを継続するのなんて毎日のようにやってる。
今回のはそれで救えない障害ってこと。

36 ：名無しさん＠１周年：2019/12/11(水) 08:41:06.66 ID:BSk+E/h/0.net

>>33
ロールバック影響範囲が問題なので
そう簡単な事では無い

37 ：名無しさん＠１周年：2019/12/11(水) 08:42:12.49 ID:qkV3lJ2l0.net

これは年内に復旧できるかのう

コントローラの不具合からの
大規模障害は割りに聞く事案やで
何度も予防保守で夜間対応したわ

共同化やクラウド事業なら
別メーカーのストレージに
バックアップしないと障害で
会社が傾くで

38 ：名無しさん＠１周年：2019/12/11(水) 08:44:34.96 ID:BSk+E/h/0.net

>>35
RAID5で2台同時に飛んでロスト
リビルド中に別ドライブが障害発生でロスト
これは経験あるなぁ
まー自宅の鯖だし、バックアップで難を逃れたが

39 ：名無しさん＠１周年：2019/12/11(水) 08:53:12.93 ID:yKfOlYf60.net

>>37

通常はスナップショットでバックアップだろ。
他社製とかどうやって静止点とるのさ？

40 ：名無しさん＠１周年：2019/12/11(水) 08:57:55.38 ID:gJqnxVs40.net

職場で正に被害受けてて

でも逆に今の手計算の方が処理が楽
あんなん入力したり出力したりする必要の無さを感じるわ

41 ：名無しさん＠１周年：2019/12/11(水) 08:57:57.78 ID:YI7sZbuy0.net

冗長化してたろうからシャドウコピー系の不具合もありそうだな…恐ろしや

42 ：名無しさん＠１周年：2019/12/11(水) 09:00:53.37 ID:Uk3wDtrw0.net

Jap-Base

43 ：名無しさん＠１周年：2019/12/11(水) 09:01:13.37 ID:mbQGHO980.net

どの型やシリーズなの？

44 ：名無しさん＠１周年：2019/12/11(水) 09:04:16.10 ID:UU/YhtH20.net

AWSにしとけばよかったね

45 ：名無しさん＠１周年：2019/12/11(水) 09:04:24.43 ID:iBe5eu480.net

原因は？
単なるバグか？
「指令」か？

46 ：名無しさん＠１周年：2019/12/11(水) 09:06:42.66 ID:mSulsie30.net

>>15
日本電算はNTTデータグループ

47 ：名無しさん＠１周年：2019/12/11(水) 09:07:19.43 ID:jFMwh65K0.net

やっぱり丸投げ公務員最強やなw

48 ：名無しさん＠１周年：2019/12/11(水) 09:08:00.62 ID:tpQcpvVe0.net

Unityかぁw

49 ：名無しさん＠１周年：2019/12/11(水) 09:09:10.76 ID:jQsxdmKH0.net

>>33
なんもわかってなさそうだな

50 ：名無しさん＠１周年：2019/12/11(水) 09:09:48 ID:RijNXdyH0.net

またウンコDellかよ

51 ：名無しさん＠１周年：2019/12/11(水) 09:10:26.84 ID:w1uBzFxQ0.net

>>39
スナップショットはバックアップじゃないが...
それを考えるのが
キミの仕事やで(ニッコリ)

52 ：名無しさん＠１周年：2019/12/11(水) 09:10:56.91 ID:7ClhvQhc0.net

Raidってコントロールプレーン、ファームバグは　シングル　ポイント　フェイラー

53 ：名無しさん＠１周年：2019/12/11(水) 09:11:41 ID:VgDbHABj0.net

>>44
これ、ちゃんとしたところだったら複数のメーカーのストレージで構築してるから
復旧に１週間もかからない

54 ：名無しさん＠１周年：2019/12/11(水) 09:11:45 ID:mSulsie30.net

>>44
AWSも夏にやらかしたやん

55 ：名無しさん＠１周年：2019/12/11(水) 09:12:10.49 ID:VgDbHABj0.net

>>54
６時間で復旧な

56 ：名無しさん＠１周年：2019/12/11(水) 09:12:14.81 ID:Uk3wDtrw0.net

ハードウェアRAIDで冗長異常出まくるコントローラーのファームウェアか？

57 ：名無しさん＠１周年：2019/12/11(水) 09:12:28.41 ID:2zc9C0+70.net

>>39
readonlyのスナップショットから抜くか、
やってること同じだけどndmpとかで抜くかじゃん？

前者だとファイルバックアップで後者だとファイルシステム抜きだから
バックアップの速度が後者が優位だけど即時アクセスできるのは前者。

58 ：名無しさん＠１周年：2019/12/11(水) 09:13:22.09 ID:mSulsie30.net

>>55
復旧に6時間「も」かかったんだよｗ
>>1は論外だけどなｗ

59 ：名無しさん＠１周年：2019/12/11(水) 09:14:40 ID:u7ec0F7Y0.net

これは影響デカすぎるな

日本電子計算によると、このストレージ装置の特定のバージョンのファームウエアを使い、
さらに高速に読み書きするための並列処理機能を使う条件がそろったときに不具合が発生したと見ている。

60 ：名無しさん＠１周年：2019/12/11(水) 09:29:53 ID:uErNvcDO0.net

>>12
そっちは別件

そういえば時限爆弾の方のSSD製造メーカーって名前出てたっけ？
HPEのアナウンスじゃ特定のメーカーとしかなかったとか

61 ：名無しさん＠１周年：2019/12/11(水) 09:30:48.76 ID:+hqT5kbQ0.net

時限爆弾みたいな形だしな。
ソフトバンクがシステム障害おこして通信障害おこしたのと似てるかんじ。
電子証明書の期限切れみたいな話でないの。
業務全停止までおちいるとなるとコンピュータだけの問題という話ではないな。
控え選手がゼロだったということ。

62 ：名無しさん＠１周年：2019/12/11(水) 09:31:29.28 ID:Th0mhsD50.net

>>59
Fastキャッシュ機能のことだろ
使う方がアホな機能だぞ

63 ：名無しさん＠１周年：2019/12/11(水) 09:38:28.74 ID:fuvVdD9j0.net

>>60
サムスン

64 ：名無しさん＠１周年：2019/12/11(水) 09:58:07.46 ID:wD4m5S4h0.net

特定の位置にヘッドがこないといけないのに同期がとれてないのはまずいよな

65 ：名無しさん＠１周年：2019/12/11(水) 10:02:38.05 ID:TXxxkz/D0.net

>>23
unityみたいな安い機械使うからだな

早くしたいならxtreamioだし、公共系で使うならvmaxにしときゃ良かったのに

これは提案したemcと日本電子計算どちらも悪い
そもそも、入札制度が悪いってのもあるけどな
安けりゃいいとかいって、地場の設備屋にcvcf更改させてマシン室が停電とかひどいことになるなんて、よく聞く話

66 ：名無しさん＠１周年：2019/12/11(水) 10:03:14.57 ID:K6zlIErX0.net

>>61
いや控え選手がいないってのはまずない。
控え選手まで同時に倒れるような疫病（バグ）が発生したか、正選手がさっさと倒れてくれたら交代できたのに倒れずにトチ狂って暴れたか、そういうのだ。

67 ：名無しさん＠１周年：2019/12/11(水) 10:18:46.95 ID:HvW6r4ou0.net

HPのサーバーが一斉停止したのと根は同じやつなのか？

68 ：名無しさん＠１周年：2019/12/11(水) 12:04:57 ID:ds9zWLB70.net

データが消えたりしないの？

69 ：名無しさん＠１周年：2019/12/11(水) 12:30:52 ID:Th0mhsD50.net

>>68
データ自体は消えないがデータが格納されてる領域へのアクセス不可だったり
コントロール不可だったりしてるから
吹っ飛んでるのと同義

70 ：名無しさん＠１周年：2019/12/11(水) 14:25:33.28 ID:YI7sZbuy0.net

>>65
この手の問題は大体ソフトやファームの小さいバグより
構成として多重化を検討しきれてなかった提供元のほうが責任が大きいから多分EMCはセーフ

71 ：名無しさん＠１周年：2019/12/11(水) 15:05:11.53 ID:5BGJWe8G0.net

最近のストレージ装置はデータを単純に格納せずに装置側で重複排除や圧縮を掛けたりしているからね…
そこにデータを壊すようなバグがあったら恐ろしいことになる

72 ：名無しさん＠１周年：2019/12/11(水) 20:31:09.31 ID:YI7sZbuy0.net

だなぁ、製品何使ってたか知らんけど基本VRAIDでやってるから
予想ではファームぶっ壊れててデータ整合性あわないからディスクの中身チェックしながら復旧用のプログラムかパッチ検討してるレベルじゃないのこれ

過去データから戻せりゃ良かったんだけどそれだと復旧出来ないポイントがあるんだろうな…

73 ：名無しさん＠１周年：2019/12/12(木) 00:29:19.76 ID:d5C4TjbB0.net

『世界では過去に類例の報告を4件』もある、既知問題だったんだ。
だから、firmwareも既に出来ていたんだろうな。
そうじゃなければ、4-5日で出てくるとは思えない。　
ということは、firmware 当ててなかった管理者の責任に問題があった
ということだよな。

74 ：名無しさん＠１周年：2019/12/12(木) 01:32:11.98 ID:Qn5rvUS90.net

>>73
国産クラウドに期待しちゃいけない
運用者は多重請負の素人

75 ：名無しさん＠１周年：2019/12/12(木) 08:38:15.36 ID:aoiqrs450.net

>>74
オンプレでも同じだね、運用はどこも請負派遣のオンパレード

76 ：名無しさん＠１周年：2019/12/12(Thu) 09:27:37 ID:hJz6ttor0.net

>>73
うわーそれはアカンわEMCは完全無罪だな…

77 ：名無しさん＠１周年：2019/12/12(Thu) 10:16:23 ID:QRtsb5LU0.net

>>76
ベンダーからレポートが出てたかどうか次第
内部ではバグ対応ファームを作ってたとしてもQAがまだで公開されてないかもしれない

自分は某サーバベンダーのRAIDカードで、DMA絡みのバグを踏んでデータが破損した例を知ってるけど、
この時は初の例っぽくてベンダーの人が調査してた

78 ：名無しさん＠１周年：2019/12/12(木) 10:18:24.56 ID:tsLWAkly0.net

世界よ！これが日本のアイテーだ！！

79 ：名無しさん＠１周年：2019/12/12(Thu) 11:01:41 ID:RwopQ6B90.net

HDD内の組み込みのファームウエアの事か？
それ一台一台書き換えるの大変だな
で、どこの国が必死に直してるの？ｗ

80 ：名無しさん＠１周年：2019/12/12(木) 11:08:37.47 ID:4Ca81zPU0.net

>>16
Netapp使え

81 ：名無しさん＠１周年：2019/12/12(木) 11:51:47.33 ID:qC9J4R1X0.net

中野区オワタ

82 ：名無しさん＠１周年：2019/12/12(木) 12:02:44.35 ID:xHs8xhSK0.net

練馬区と中野区だけじゃなかったのか。

企業もあるんじゃないの？

83 ：名無しさん＠１周年：2019/12/12(木) 12:08:42.26 ID:Qn5rvUS90.net

>>82
地方自治体用クラウドみたい

84 ：名無しさん＠１周年：2019/12/12(木) 12:10:23.28 ID:xHs8xhSK0.net

>>83
サンクス

85 ：名無しさん＠１周年：2019/12/12(木) 12:20:44.85 ID:hJz6ttor0.net

>>77
あーなるほどまだ公開されてなかったケースはあるか…でも4例もあるなら既に公開してると思うけどなインパクトでかいし

86 ：名無しさん＠１周年：2019/12/12(木) 12:22:21.84 ID:xHs8xhSK0.net

>>79
SSD じゃないの？

87 ：名無しさん＠１周年：2019/12/12(木) 12:22:40.72 ID:ZhsrrjFO0.net

バックアップを取っていなかったのか
それともバックアップも一緒に吹っ飛んだのか
なかなか復旧しないね

88 ：名無しさん＠１周年：2019/12/12(木) 12:32:43.71 ID:xHs8xhSK0.net

こんなスレがありました。

「NTTクラウドのデータ、ぜんぶ消してみた」　原因はDELL EMC Unity 500オールフラッシュストレージ
https://hayabusa9.5ch.net/test/read.cgi/news/1576024728/

89 ：名無しさん＠１周年：2019/12/12(木) 13:05:36.62 ID:hJz6ttor0.net

>>87
報道出てないから実情分からんけど動き出してる部分もあるんじゃないのかな

90 ：名無しさん＠１周年：2019/12/12(Thu) 13:24:57 ID:xx0rhhxX0.net

大阪府和泉市はおおむね業務再開とのこと。
お疲れ！

91 ：名無しさん＠１周年：2019/12/12(Thu) 16:20:33 ID:zgtfPtyJ0.net

浦安市　サービス再開

92 ：名無しさん＠１周年：2019/12/12(木) 16:23:22.56 ID:oRPgC5990.net

やっぱ紙が最強だな

93 ：名無しさん＠１周年：2019/12/12(Thu) 16:46:27 ID:hJz6ttor0.net

1週間ちょうどくらいだったな

94 ：名無しさん＠１周年：2019/12/12(木) 16:49:08.68 ID:zgtfPtyJ0.net

クラウドのご利用は計画的に

95 ：名無しさん＠１周年：2019/12/12(Thu) 17:10:45 ID:zgtfPtyJ0.net

というか、何にせよ全体重かけてしまうのはいかんね。

96 ：名無しさん＠１周年：2019/12/12(Thu) 18:15:01 ID:X5RnJada0.net

図書館が使えなくてつらい

97 ：名無しさん＠１周年：2019/12/12(木) 18:40:17.79 ID:zgtfPtyJ0.net

富里市も窓口再開してるね

98 ：名無しさん＠１周年：2019/12/12(木) 18:42:21.63 ID:zgtfPtyJ0.net

クラウドのメリットは絶大だけど、トラブったら怖い。それが少しわかった。

99 ：名無しさん＠１周年：2019/12/12(木) 18:43:38.40 ID:6d5e9Vez0.net

EMCだったのか。。。

100 ：名無しさん＠１周年：2019/12/12(木) 21:06:51.77 ID:Q5cxO2Of0.net

中野区議会議員 いながきじゅん子
@i_junko
4日からの中野区のシステム障害でいまだホームページの閲覧やメールの送受信ができない。
一昨日の総務委員会を傍聴して、この件に関し、何だかまるで他人事みたいな答弁がとても気になった。
もっと危機感をもって業者さん任せにせず復旧に全力で取り組んで欲しい。
午後4:50 · 2019年12月12日·Twitter for iPhone

〜

101 ：名無しさん＠１周年：2019/12/12(木) 21:17:26.79 ID:Qyt4YJ+h0.net

EMC(電磁両立性)なんて変な名前つけるからだろう

102 ：名無しさん＠１周年：2019/12/12(木) 21:18:47.53 ID:aDrKhcH50.net

>>5
どこにBIOSなんて書いてあんのよ
ファームウェアだろ

103 ：名無しさん＠１周年：2019/12/12(Thu) 21:40:19 ID:Q5cxO2Of0.net

練馬区のシステム障害は、回復の見通しが立たないまま9日目に。
図書館のサイトは全くアクセスできないまま。
区民サービスの大幅な低下は言うまでもなく、庁内の事務処理も深刻なダメージ。委託会社のアナウンスも9日のまま
情報化”“IT化”のあまりに貧相な現実

池尻成二@ikesans

104 ：名無しさん＠１周年：2019/12/12(木) 21:45:51.15 ID:/LSpl7Rj0.net

システムを構築したやつのレベルと掛けた費用の差がこういうときに出てくるのですよ

105 ：名無しさん＠１周年：2019/12/12(Thu) 21:46:32 ID:Q5cxO2Of0.net

練馬区

区システムの障害および復旧状況について
トップページ区政情報広報お知らせ一覧（広報）区システムの障害および復旧状況について
更新日：2019年12月12日
この度は、区のシステムの大規模な障害により、多大なるご不便・ご迷惑をおかけしお詫び申し上げます。
12月4日（水曜）の午前11時頃から、区の20のシステムに障害が発生していましたが、
区公式ホームページの更新と区外部とのメールの送受信システムが8日（日曜）までに復旧いたしました。
現在、その他のシステムにつきましても復旧に向けて作業を進めておりますが、
完全復旧するまでには、もうしばらく時間がかかる見込みです。
今回のシステム障害は、区が利用している民間データセンターの機器障害によるもので、
記憶装置を管理するソフトウェアの故障が原因と特定しています。
なお、障害によるデータの流出・漏洩はありません。
障害が長期におよび真に申し訳ございません。
引き続き復旧を急ぐとともに、今後このような障害を引き起こさないよう対策を講じてまいります。
復旧のお知らせについては、こちらのページに随時更新していきます。
【未復旧のシステム】
図書館ホームページの閲覧、小中学校のホームページの閲覧、ねりまっぷ 等

106 ：名無しさん＠１周年：2019/12/12(木) 21:50:48.89 ID:Ijei0de90.net

うちの会社のサーバーDellなんだけど正直大丈夫なんだろうか。

107 ：名無しさん＠１周年：2019/12/12(木) 21:55:20.88 ID:Q5cxO2Of0.net

システム障害による納税業務への影響について（復旧作業完了のお知らせ）

更新日：令和元年12月12日 ページID：P0025856 印刷する
システム障害による納税業務への影響について（復旧作業完了のお知らせ）
納税課・保険収納課で利用している納税システムで発生しておりましたシステム障害につきまして、令和元年12月12日に復旧作業が完了いたしました。
多大なるご不便・ご迷惑をお掛けいたしまして、大変申し訳ございませんでした。
なお、システム障害によるデータの流出・漏洩はございません。

108 ：名無しさん＠１周年：2019/12/12(木) 21:55:51.61 ID:Q5cxO2Of0.net

>>107
八王子市ね

109 ：名無しさん＠１周年：2019/12/12(木) 22:25:59.28 ID:3CZGd1JQ0.net

結局

デルのストレージが
ヤッチマッタ

って、話なんでしょ？

110 ：名無しさん＠１周年：2019/12/12(木) 22:34:20.17 ID:zspijdxR0.net

クラウド使ってるとこうなるってことだな。

111 ：名無しさん＠１周年：2019/12/12(Thu) 23:05:21 ID:JyVOqW000.net

日本製にすればいいのに

112 ：名無しさん＠１周年：2019/12/12(木) 23:46:24.58 ID:rsYCIt7p0.net

EMCの値段でトラブルは許されないな。

113 ：名無しさん＠１周年：2019/12/13(金) 00:02:02.08 ID:phaiKYwK0.net

国産クラウドは8日も停止するのか。ちなみにいくら払ってるの？

114 ：名無しさん＠１周年：2019/12/13(金) 01:02:00.36 ID:R/cz7CWL0.net

バックアップはスナップショットじゃなくて2台のUNITYでレプリケーションしてたんだろ

115 ：名無しさん＠１３周年：2019/12/13(金) 01:49:35.96 ID:AqBjN53Lt

テープバックアップこそ最強

116 ：名無しさん＠１周年：2019/12/13(金) 04:50:11 ID:xuY3uOaP0.net

>>5
アメリカ製なんですが？

117 ：名無しさん＠１周年：2019/12/13(金) 05:17:14 ID:OZ6V/eUz0.net

>>113
まだ復旧見込みがあるだけファーストサーバーの事故よりは進化してるだろw

118 ：名無しさん＠１周年：2019/12/13(金) 06:56:36.48 ID:Il8osb+/0.net

Unitiyってなんぞやとおもって調べたら
https://www.networld.co.jp/product/emc/pro_info/unity/
これのことらしい

いわゆるDell製のストレージパッケージですね。
このファームにバグがあったと

119 ：名無しさん＠１周年：2019/12/13(金) 06:59:13 ID:Il8osb+/0.net

SSDとHDD＋SSDのハイブリッドがあるんやな

高速化を併用したら障害発生とか、どういう状況なんやろなあ

120 ：名無しさん＠１周年：2019/12/13(金) 07:00:01.98 ID:I6BlFO9e0.net

EMCはもうゴミです

121 ：名無しさん＠１周年：2019/12/13(金) 07:20:10.01 ID:FvfcPqAu0.net

*

【HDD流出】最高裁などもブロードリンクと契約５９件 「流出可能性低い」
https://asahi.5ch.net/test/read.cgi/newsplus/1576144047/l50

*

122 ：名無しさん＠１周年：2019/12/13(金) 07:40:30 ID:l2+YsShI0.net

師走でくそ忙しいのに公務員様ぶちギレ案件

123 ：名無しさん＠１周年：2019/12/13(金) 08:30:55 ID:YmS6+m1j0.net

>>85
4例ぐらいだと出してない可能性のほうが高そう

>ストレージの修復作業は完了し
（データが残ってたとは言っていない）

124 ：名無しさん＠１周年：2019/12/13(金) 12:47:06.17 ID:PdBlIJq/0.net

>>123
データはおそらく残ってる
ただ整合性がとれてないから
付き合わせ作業に永遠の時間が掛かってる

125 ：名無しさん＠１周年：2019/12/13(金) 12:47:45.13 ID:IC4aL5lP0.net

なんかいまさら興味をもってみはじめたんだけど、これ、同じ原因の障害が複数のシステムで時間かハッキングかなんかのトリガーで発生したってこと？
それとも一つの障害がクリティカルで自治体間に波及しちゃってるって話？

126 ：名無しさん＠１周年：2019/12/13(金) 12:53:10.01 ID:PdBlIJq/0.net

>>125
各自治体に鯖を提供してるNTTクラウドに引っ付けてるストレージで障害が起きたから全体に波及した

127 ：名無しさん＠１周年：2019/12/13(金) 13:10:15.43 ID:IC4aL5lP0.net

>>126
それはなんだか恥ずかしいね･･･
おなじようなのがいろいろ道づれとか、一週間も復旧しないとか。　

障害検知した時点ですぐ止めて一時間前くらいのロールバックに切り替えるとかできないもんだったのかねえ（当方大規模システムには素人なので検討違いだったらゴメン）

AWSの営業が捗りそう。

128 ：名無しさん＠１周年：2019/12/13(金) 13:37:33.31 ID:DjZZvhA30.net

自治体ごとに復旧方針がバラバラで暗礁に乗り上げてんじゃね

129 ：名無しさん＠１周年：2019/12/13(金) 13:40:19.26 ID:CMIsnlyv0.net

例えばwebコンテンツと納税管理データなんて復旧方針が全く異なるであろう物がごっちゃに入ってるわけでしょ？
そりゃ難航するわw

130 ：名無しさん＠１３周年：2019/12/13(金) 14:27:47.95 ID:k8B9fBMDl

復旧要員も派遣とかだったりしてｗ

131 ：名無しさん＠１周年：2019/12/13(金) 15:04:03.61 ID:5wA6kifU0.net

自治体でも図書館関係はもう割りきればいいだろう。

132 ：名無しさん＠１周年：2019/12/13(金) 16:10:08.91 ID:pRCFzEYE0.net

>>127
AWSだろうがAzureだろうがGCPだろうがストレージ障害で吹っ飛んだデータの復旧保証はないよ

我々は壊れにくい高信頼なストレージサービスを提供します
でも万が一に備えてデータを復旧できるようにしておくのは
クラウド利用者側の責任です

というのが彼らのスタンス

133 ：名無しさん＠１周年：2019/12/13(金) 16:15:32.55 ID:xauRYRP40.net

>>132
事例的には？

134 ：名無しさん＠１３周年：2019/12/13(金) 16:25:16.40 ID:G7lviw2nL

土砂運搬トラックは10トン積載のものが多いみたいだが、
本当は30トンか40トン積載のものを造れそうなのだが。
普通の20トントラック(積み荷は段ボール等の普通のもの)でさえ、10トン土砂運搬トラックの基底部の半分くらいの厚みしかない。
おかしい。簡単に30トンか40トン積載可能の土砂運搬トラックを造れそうなのだが。

騙されたと思って、一度必ず土砂運搬トラックを詳しく調べて欲しい。側面部がやたら低い、町でよく見る大型のトラックだ。
年間3000億円以上の工事詐欺の可能性が十分にある。

福岡県糟屋郡新宮町湊坂2-5-13
田中寛喜

135 ：名無しさん＠１３周年：2019/12/13(金) 16:51:53.53 ID:4p9V07sv6

>>14
パソコンレベルと一緒にすんな。

136 ：名無しさん＠１周年：2019/12/13(金) 16:54:02.18 ID:pRCFzEYE0.net

>>133
AWSのEBS障害の例

https://forums.aws.amaz○n.com/message.jspa?messageID=531947

URLそのままだと5chに貼れなかったので一部伏せ字

137 ：名無しさん＠１周年：2019/12/13(金) 17:26:01 ID:xauRYRP40.net

afr0.1-0.5って数字がでてるけど、件ののシステムはどんなもんだったんだろうな？

138 ：名無しさん＠１周年：2019/12/13(金) 22:00:48 ID:BACYCgGW0.net

結局

ＤＥＬＬのハード（それのソフトウェア）が
やっちまったと

逆ＨＰ（ＤＥＣにタンデム）みたいな

139 ：名無しさん＠１周年：2019/12/13(金) 22:02:34.17 ID:FvfcPqAu0.net

【青森】弘前市職員2700人分の情報流出か　氏名住所給与最終学歴　
https://asahi.5ch.net/test/read.cgi/newsplus/1576203885/l50
,

140 ：名無しさん＠１周年：2019/12/13(金) 22:06:01.77 ID:BACYCgGW0.net

>>139
マイナンバー信者「漏れて困る奴は、

朝鮮人か犯罪者だけ！！」

141 ：名無しさん＠１周年：2019/12/14(土) 02:23:42.74 ID:gIcZURcu0.net

しばらく復旧できそうにないから、別システムで構築しなおすみたいだね
（バックアップがあるなら）そっちの方が早そうではある
2-3日で復旧できなかったら、さっさとあきらめてプランBにすればよかったのに
-----
「別クラウドで再構築」、10日目突入の50自治体システム障害に進展
https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06701/

142 ：名無しさん＠１周年：2019/12/14(土) 02:27:37.53 ID:rf6Vok7n0.net

意見募集.
http://www.soumu.go.jp/menu_news/s-news/02cyber01_04000001_00083.html

143 ：名無しさん＠１周年：2019/12/14(土) 02:58:04.39 ID:0ug0XM680.net

>>141
思わぬおおごとになったな…
中のSEは真っ青だろう

144 ：名無しさん＠１周年：2019/12/14(土) 03:00:54 ID:S2bQWDfe0.net

「クラウド上では本番機とバックアップ機など2重化の構成にしていた」（東浦町）という複数の自治体の証言からすると、
なぜ日本電子計算のクラウド内部で冗長化機能が働かなかったかに注目が集まる。しかし同社は、自治体にも対外的
にも詳細な説明を行っていない。ある自治体担当者によると、「障害の発生箇所であるストレージ装置も冗長化していたが、
冗長化の機能がうまく動かなかったとの説明しか日本電子計算から受けていない」という。

コスト削減やろｗ

145 ：名無しさん＠１周年：2019/12/14(土) 03:03:39.31 ID:O8UxVKdP0.net

こういうの、現場のSEはどういうもんなの？

・今月残業代てんこ盛り確定でラッキー。障害がいつ復旧しようとしったことかよ。
・休みがつぶれて怒り心頭。いつ復旧するか目処がたたないから正月帰省の予約もできねえじゃん。

どっち？

146 ：名無しさん＠１周年：2019/12/14(土) 03:14:07.23 ID:Wk8xNaPm0.net

ストレージの機能を使って冗長化していたとしたら
ストレージ装置のファームの不具合でぶっ壊れたデータを待機系にも書き込んでいた可能性がある

147 ：名無しさん＠１周年：2019/12/14(土) 03:32:49.66 ID:jWHx2w4L0.net

>>145
サーバ屋のエンジニアは1番目
客側のエンジニアは2番目

って感じだな。

148 ：名無しさん＠１周年：2019/12/14(土) 03:34:58.71 ID:jWHx2w4L0.net

>>144
同じ業者にバックアップ系を置いてたって馬鹿丸出しだなw
そつなく予め用意してたバックアップサーバに切り替えた自治体もあるみたいだから、いまだに障害から復帰出来てない自治体はポンコツ。

149 ：名無しさん＠１周年：2019/12/14(土) 03:40:23 ID:wL6PPGY40.net

いくら二重化をしても偶発故障ではない製品不良による障害は防げない可能性が高い。
同じメーカの部品が使われていたら、その部品が同じようなタイミングで壊れる欠陥
を持って居たら、二重化しても同時に壊れてどうにもならない。
たとえば、N回書き込んだら動作しなくなるとか、M時間後に動作不良になるなど。
回数や時間などが原因の場合は、部品の経年変化などとは違い、ほぼ同時に動作不良
になるから、二重化していてもどうにもならない。
　なるべくそういうリスクを避けたければ、わざと違うメーカーで異なる製造部品
を使うとか、ある程度時間をかけてエージングをしたものとあまり時間をかけて
エージングしていないものとを組み合わせるなどがいいだろう。
HDDなら、シーゲート製品とウェスタンデジタルの製品を組み合わせてRAIDあるいは
バックアップ装置にするなど。SSDなら東芝とサムスンを組み合わせてRAIDにする
など。同じ会社の部品を使う場合も、型番を違うものにするなど。

150 ：名無しさん＠１周年：2019/12/14(土) 03:49:50.46 ID:O8UxVKdP0.net

>>147
客側のエンジニアなんているの？
自分たちで開発できないから外注してるわけでしょ？

エンジニアったって、外注先に注文クレームつけるときに、他部署の連中と差別化のために
ちょいちょいIT系の専門用語混ぜながらクレーム言ってるだけの存在でしょ。「発注側のシステム担当社員」なんて。
「どーして動かないんだよー。ウィルス？PCに風邪薬かければいいんじゃねえーの？」とか吠える役員ジジイの横で、
「サーバーの○○系統でしょうか？復旧の見込みはいつ立ちますか？フォールトトレランスはどうなって云々」
みたいな、意味があるんだかないんだか自分でも分からんハッタリ言ってるだけでカッコがつくだけの。

151 ：名無しさん＠１周年：2019/12/14(土) 04:07:39 ID:edKDwvFF0.net

>>150
普通にいるよ。
クラウドっても要はレンタルサーバなんだから。

152 ：名無しさん＠１周年：2019/12/14(土) 07:27:38 ID:FWw0Mwok0.net

ストレージはバックアップじゃねーって言ってんのに、d2dで別ストレージにコピーしてるからテープローダーは要らないですってほざく客先SEが多い。データは自分ところで持ってなきゃだめだろ!

153 ：名無しさん＠１周年：2019/12/14(土) 07:27:58.97 ID:cH5tk4pP0.net

>>141
うおっ…完全復旧じゃなかったのか

>>145
3だな上から早くやれと指示されるも、恐らくマニュアル作って無いところをあれこれ試験しながら小さいトラブル起こしつつ進んで胃が痛くなり睡眠不足でダウンするまさにデスマーチ

俺はしーらね出来るのは派遣じゃねぇかな

154 ：名無しさん＠１周年：2019/12/14(土) 08:58:19.76 ID:HIOL9SHl0.net

データセンター間でのレプリケーションはコスト削減のためにしていなかったとかか？

155 ：名無しさん＠１周年：2019/12/14(土) 09:01:47.40 ID:YEipB3VK0.net

有料オプションだったんじゃね？
データ部分のバックアップも客の注文次第

156 ：名無しさん＠１周年：2019/12/14(土) 09:04:39 ID:Mu+v5YhQ0.net

NTTをぶっ壊す！NTTから国民を守る党が出現するのも時間の問題。

電話加入権詐欺とか総無能と結託してやりたい放題、NHKより酷いだろ？

157 ：名無しさん＠１周年：2019/12/14(土) 09:07:45 ID:Cvh1kk4v0.net

さすがＪＥＯＬ

158 ：名無しさん＠１周年：2019/12/14(土) 09:59:16.63 ID:HIOL9SHl0.net

AWSもEBSボリュームのデータは消える事があるので
バックアップやデータセンター間のレプリケーションは自分で設定しろって感じみたい
同一データセンター内の複製は自動でされるが、それで完全にデータ消失を防げる訳ではない

客がバックアップもレプリケーションもやってなくて
消えても客に賠償とかはしない

しかし、今年夏のAWSの障害は過熱が原因だから
一時的にサービスが使えなくなってもデータは消えてないよね？

159 ：名無しさん＠１周年：2019/12/14(土) 10:29:37 ID:wL6PPGY40.net

SSDが壊れた場合のデーター復旧はかなり困難。
HDDが壊れた場合もデーターの復旧には多大な手間と時間が掛かり、コストが高い。

160 ：名無しさん＠１周年：2019/12/14(土) 13:59:48.60 ID:j/ZVw4n10.net

どうすんだろ

161 ：名無しさん＠１周年：2019/12/14(土) 14:42:09.09 ID:aBLbZooU0.net

>>150
客側のエンジニアって要はベンダーやコンサルで運用管理や企画を受託してる奴ら
稀に元エンジニアが客側に入ることもあるけど

162 ：名無しさん＠１周年：2019/12/14(土) 15:00:20.69 ID:FEdozvoL0.net

>>100
業者任せにしなかったら、さらに被害拡大。こんなアホが議員やってるのか。

163 ：名無しさん＠１周年：2019/12/14(土) 15:21:49 ID:8lFFs2ma0.net

>>162
そもそもこういうときの担当業者もきまってない可能性が･･･

164 ：名無しさん＠１周年：2019/12/14(土) 16:49:23.94 ID:oRv0ADGo0.net

>>163
だろうな

165 ：名無しさん＠１周年：2019/12/14(土) 17:24:30.55 ID:gIcZURcu0.net

初めからamazon AWSとかMS Azureとかで構築しておけば10日も止まるとかもなかっただろうに
こういうトラブルがあったときに弱小企業だといろいろ限界があるんだろうな

166 ：名無しさん＠１周年：2019/12/14(土) 17:27:59.01 ID:uickWnkP0.net

>>165
LGWANに直接接続するプライベートクラウドのリージョンなので大規模システムの場合縮退運用まで考えておかないとこうなるって話

167 ：名無しさん＠１周年：2019/12/14(土) 17:32:35.30 ID:llDJZn/T0.net

>>100
複数データセンターで運用するために
もっと予算をよこせと言うべき

168 ：名無しさん＠１周年：2019/12/14(土) 17:34:55.08 ID:nFY/reQk0.net

>>46
N社の仕事はおとろしゅうて半年前に逃げてきたわ
関わるのは初めてじゃないけど、なんで段々指揮系が劣化してんだよ・・・

169 ：名無しさん＠１周年：2019/12/14(土) 17:35:56.50 ID:LQU1tkz60.net

>>167
どうせ富士ゼロックスシステムサービスに投げてんだろうからバックアップから他拠点での縮退運用まで料金払っとけって話だよな

170 ：名無しさん＠１周年：2019/12/14(土) 17:37:39.25 ID:yTk7G4GY0.net

>>7
hpで問題起こしてたSSDはサムスンだったな

171 ：名無しさん＠１周年：2019/12/14(土) 17:38:38.95 ID:Mu+v5YhQ0.net

>>168
電電公社だぞ？元役所だぞ。あんなの上層部の年金のために働かされるネズミ講だろ。

172 ：名無しさん＠１周年：2019/12/14(土) 17:40:49.34 ID:cFkYBCii0.net

で直ったの

173 ：名無しさん＠１周年：2019/12/14(土) 17:42:40.71 ID:b1z/sEAl0.net

練馬図書館は復旧してた

174 ：名無しさん＠１周年：2019/12/14(土) 17:43:16.85 ID:p9ST+nlA0.net

読み書き出来ない？

まだ修正終わってねぇじゃんw

175 ：名無しさん＠１周年：2019/12/14(土) 17:59:11.68 ID:FnwMfNgS0.net

>>167
なるほど。

176 ：名無しさん＠１周年：2019/12/14(土) 18:00:15.14 ID:FnwMfNgS0.net

>>168
天下のNがか。怖い怖い。

177 ：名無しさん＠１周年：2019/12/15(日) 02:33:55.13 ID:rinw5L3b0.net

バックアップに代わるものない

178 ：名無しさん＠１周年：2019/12/15(日) 17:04:30.18 ID:hQ/E8uqp0.net

>>171
いや結構昔から関わってんだけど、年々酷く成ってんだよ・・・大所帯だから人はおるように見えて
内政出来る奴はどこいったん？
さすがにそっちだから電柱とか帯域の話に詳しい奴はおるけどネットワークとかサーバの担当の奴が…
工事出来る奴と指示されただけのコード修正だけできる下流のプログラマだけ居るけど
そんなんで運用とか今回のようなインシデントの対応はできないよな？

内製してますといいながらよくわからん害虫に丸投げしてそれきりだったり
その設計運用を把握してる奴すらも基幹の内部から消えかけてるんだから、そりゃ不具合対処の一時は悪も遅くて
指示も出せんだろ
ソフトウェアさえ動けばどうにかなるっていう素人が増えすぎてんだよ・・・

179 ：名無しさん＠１周年：2019/12/15(日) 17:21:14 ID:bZFX61930.net

>>178
まぁシステム構築してるやつのほとんどがそんな考えだからなぁ
上から下まで糞しかいねえのですよと愚痴を言ってみる