楽天証券で大規模なシステムトラブル、問題はバッチ処理？

Anonymous Coward曰く、

楽天証券でシステム障害が発生し、11月11日朝のサービス開始予定時刻から12時45分まで、米国株式を除く全商品の取引ができない状況になっていたようだ。

日経ITproによると、夜間のバッチ処理が朝になっても終わらない「バッチ処理の突き抜け」が発生していたと見られている。最近は株が乱降下していたため個人投資家の取引も増えたと言われているが、処理が終わらないほど大量の取引があったのか、それとも他の要因があったのか、原因究明がまたれる。

なお、楽天証券はシステム障害が多発したとして、2005年と2007年に業務改善命令を受けているが、またもやトラブルが発生した格好だ。

楽天証券のプレスリリース

[Anonymous Coward]

http://www.rakuten-sec.co.jp/ITS/topinfo/1111_systeminfo.html [rakuten-sec.co.jp] https://www.rakuten-sec.co.jp/ITS/system_info/system_info_2399.html [rakuten-sec.co.jp]

確か3年位前も

[hogeyui (29762)]

夜間バッチ処理抜けで取引出来なかった事がしょっちゅうありました．
その後はかなり安定してたんですけどねえ...

ツールが使いやすいので，楽天証券にはがんばってもらいたいところです．

#夜間にログオンすると，種が50万位増えてたり，いろいろとネタの尽きない証券会社でした

いわゆる? バッチ処理の突き抜け

[goji (949)]

バッチ処理の突き抜けって初めて聞く言葉なのですが、一般的な用語ですか?

Re:いわゆる? バッチ処理の突き抜け

[toworu (27387)]

私も興味があったので”バッチ処理の突き抜け”でググッてみたところ、楽天証券の件ばかりヒットしました…

Re:

[Anonymous Coward]

銀行や証券系の人なら普通に聞くと思う。
＞バッチの遅れ・バッチの突き抜けとか
その用語そのものは使って無くても「つきぬけ」って言われると何のことかイメージできるし。

説明：銀行や証券で使っている汎用機は、定時になって一気に処理する。
変更内容を全部記録しておいて、一気に大量のSQLを吐くようなイメージかな。当然ある程度の時間がかかる。
でもって、ある処理が終わってる前提で次の処理を逐次にやっていく･･･って言うのを夜間にやる。これが終わらないのが突き抜け。
夜間に終わっているべき物が終わっていないので、昼間の処理に影響でまくり。下手すると昼間の処理が

Re:

[Anonymous Coward]

システムつうのはリアルタイムに処理する部分もあればバッチで一括処理する部分もある。
Webのインターフェイスなんてシステムのごく一部にしか過ぎないし、昔々のVBによるクラサバアプリも同様。
様々なアプリが組みあわさってシステムとして成り立っているわけ。
例えば銀行で普通預金の利息の支払いなんてリアルタイムにオンラインでやるものか？
どんな処理や結果が要求されているか少し考えてみよう。

しかし業務違いのDB屋だけど「突き抜け」って用語は（いわんとすることは解るのだけれども）初耳。
どうも特定ベンダ内だけで使われている方言な気がしないでもない。

Re:

[Anonymous Coward]

私も長年業界に関係していますが、聞いたことがありません。
「特定ベンダ内だけで使われている方言」に賛成票です。
そもそも、どこのベンダなのでしょうか？

Re:

[Anonymous Coward]

>＞バッチの遅れ・バッチの突き抜けとか
>その用語そのものは使って無くても「つきぬけ」って言われると何のことかイメージできるし。
全然畑違いでバッチ処理もやったことはないし「つきぬけ」も初耳だけれど、
バッチ処理の性質から「突き抜け」が何を意味するのかは類推していた。

いくらバッチ処理としっても制限時間はあるわけで、そのタイムリミットを
超えて処理が終了しないこと。「納期遅れ」や「輻輳」みたいなものじゃないかと。
上の説明を見る限りでは当たらずといえども遠からず？

最近の株価の急落で取引量が増え、楽天証券で処理できる限界を超えちゃった
だけかもね。単純なトラブルほど対応は大変。仮にサーバー台数増やせば解決する
としても、楽天の上の人がそんな『無駄なお金』を出してくれるかどうか。

>なんで証券・金融はいまだにバッチに取り付かれてるんでしょう？
古くさい業界だしね。
開発者も古くさいしね。

仮に可能だとしても、バッチ処理以外の方法で作れと言われても無理なのでは。

Re:いわゆる? バッチ処理の突き抜け

[WindKnight (1253)]

「無駄な金」ではないよ。
オンラインの証券会社なんて、システム管理がで儲けているようなものです。
まあ、証券に限らず、金融全般に言えることですが。

Re:

[Anonymous Coward]

＞オンラインの証券会社なんて、システム管理がで儲けているようなものです。
たしかにそう。技術部分が主。そのためのシステム投資は必要不可欠．
営業なんて飾りです。しかしエライ人にはそれが分からんのです。

Re:

[Anonymous Coward]

>＞オンラインの証券会社なんて、システム管理がで儲けているようなものです。
>たしかにそう。技術部分が主。そのためのシステム投資は必要不可欠．

だからこそ、楽天はシステム投資をしなければ儲かることに気づいたのです。
年に一回金融庁に頭下げて、それでもダメなら楽天ポイントを少々ばら撒くほうが
安上がりなのですから。

うーん

[Anonymous Coward]

オンラインリアルタイム処理だけでコンピュータを動かせるというのなら、なぜにcronが生き残っているのでしょうかねえ。

リアルタイムにデータ更新しても意味のない処理ってのもありますよ。あなたのお給金とか。

Re:いわゆる? バッチ処理の突き抜け

[Anonymous Coward]

私は使う。多くの場所でも使われていると考えている。一般的かと問われれば業界特有なのかもしれない。そんなことを言えばバッチ処理が出てくる場所からして一般的か？という話になる。

Re:いわゆる? バッチ処理の突き抜け

[goji (949)]

ありがとうございます。自分も業界長い方なのでベンダー固有の方言なのかな、と思いました。
# 知らなくて素人扱いされると悔しいです

Re:いわゆる? バッチ処理の突き抜け

[mr_spock (908)]

私も20うん年やってきてますが初めて聞きましたわ。
いつ頃から使われてるんやろ。

Re:いわゆる? バッチ処理の突き抜け

[hashitom (34540)]

使われ始めたのはきっとバッチ処理を担当する機械の更新を
思うように出来なくなった不況期以降ではないかと思います。

昔はボトルネックが判明すると機器更新に進んでいたのが、昨今は
回避運用策検討に進み、見込みが甘かったりすると突き抜け始め、
さらに異例運用に走ると言う流れが普通になってきた現われではないでしょうか。

とはいえ、本業のサービスを100%提供できずに黒字だなどと
いうのはズルしているだけですから、きちんと対処してもらいたいものです。

あ、威張っていたのは楽天市場か。

Re:

[Anonymous Coward]

私も使います。
うちの経理システムはほぼ毎月月次バッチが突き抜けてます。

Re:

[Anonymous Coward]

ここ、笑っていいとこ？

Re:いわゆる? バッチ処理の突き抜け

[Anonymous Coward]

一ヶ月突き抜けた…とかそんなのを想像しました

Re:

[Anonymous Coward]

経理３ヶ月遅れで「すみません、我が社は先月倒産してました」とか？

Re:

[Anonymous Coward]

どっちかというと業務寄りのIT屋で20年飯食ってきましたが初めて聞いた言葉です。
いろいろ自分が知らないことがあるんですね。と純粋に思いますです。
＠いわゆる「バッチが終わんない」ってことを指すんでしょうか。

Re:いわゆる? バッチ処理の突き抜け

[yellow tadpole (7084)]

証券関係でバッチ処理も当然ありましたが、私も聞いたことないです。マシンはF社。

平常時は午前３～４時にバッチが終了し、決算期には６時頃終わってました。
最後の２時間はバックアップです。
間に合いそうもないと最低限のバックアップだけ取り、なんとかオンライン開始までに
バッチ処理を終了する体制になってましたが、そうなった事はありません。
やばくなる前にマシンをリプレースするのが当然の判断だし、もし大きなトラブルがなく
たんに取引量が増えて間に合わなかったとしたらリプレース時期の判断ミスでしょう。

私がいた現場では、いよいよ決算期に朝７時に迫るようになってマシンを
リプレースしたら、午前０時には終わってしまったという事もありました。
古いマシンをやりくりして粘るより、とっととリプレースしたほうが吉です。
空調費を含む電気代、残業代、深夜早朝のトラブルコールの減少、オペレータの
人件費、その他諸々の絶大なメリットがあります。

--
〜◍

Re:

[Anonymous Coward]

そもそも一般的な現象でないものの名前が一般的かどうか気にする時点でおかしくないか？

Re:

[Anonymous Coward]

それなら「いわゆる」なんて言うなよｗ

Re:

[Anonymous Coward]

私は業界経験10年程度で「バッチが設定時間内に終わらない障害」にも何度か遭遇しましたが
「付き抜ける」という用語を耳にしたことはありません。
http://jp.sun.com/solutions/cstudy/200503rakuten_sec/ [sun.com]
http://itpro.nikkeibp.co.jp/article/JIREI/20070530/272660/ [nikkeibp.co.jp]
Sun/HP/Oracleあたりの用語なのでしょうか。

楽天といえば

[Anonymous Coward]

2年前に退会処理したのに、さっきこんなメールが届きましたよ。
--
Subject: 11 月 分 成 果 ポ イ ン ト の ご 案 内【楽天アフィリエイト】(2008/11/12)
From: 楽天アフィリエイト <[e-mail]>
Date: Wed, 12 Nov 2008 19:56:xx +0900 (JST)
いつも楽天アフィリエイトをご利用いただき有難うございます。
このメールでは、楽天アフィリエイトへのログイン（管理画面へのアクセス）が何らかのタイミングで行なわれたお客様に、
毎月の成果ポイントやお得なイベント情報、メンテナンスやサービス内容変更のお知らせ等、
楽天アフィリエイトに関する各種情報を【無料】でご案内しております。詳しくは、こちらをご参照ください。
(抜粋)
--
「ログインが行われたお客様」……って。
たぶんこのメールは、顧客情報DBから最終ログイン日時を拾ってきて、直近にログインした記録があれば送信って感じの処理じゃないかと推測されますが、
自分は退会してるからログインしてないっすよ（それ以前に、なんで情報が残ってるんだよー）。

不正アクセスかそれに準ずる方法かどうかわからないけど、ログインした人がいるのなら、その人は私の個人情報を参照する事も可能なわけで。
（退会した人の情報にアクセス可能な、何らかのセキュリティホールがあるのかなあ？）
でも私は参照したり変更したりすることは不可能なわけで……どうすりゃいいんだろう。

数年前に退会したにもかかわらず、情報がいまだに残っていることに寒気を覚えた。大丈夫か楽天。

#なんか怖いのでAC

Re:楽天といえば

[Anonymous Coward]

企業、団体には帳票類の保存義務がありまして、営利企業の場合は商法、会社法、法人税法で取引記録を所定の年限保存する法的義務があります。

以下、どれでもみやすいものをどうぞ。
http://www.eonet.ne.jp/~keidream/tyoubohozon.htm
http://www.compasso-group.jp/news/20060515_001.html
http://www.h7.dion.ne.jp/~will/page023.html

#1454316氏の場合、アフリエイトのようですので換金できるポイントの取引はきちんと会計処理されて帳簿に記載されているはずです。
具体的にどのような会計処理方法がとられているかは不明ですが、二年前の取引が記録に残っているのは当然です。
問題なのはすでに退会した会員のデータが実運用されているシステムに残っていることです。
退会者のデータは、現役会員とは区別してオフラインの長期保存システムを構築し、そちらに移して管理するのがプライバシーやセキュリティなどの観点から望ましいと思いますが、そのようなシステムにはなっていないうえ、なんらかのオペレーションミスで退会者にもメールが送られるというトラブルを引き起こしていることになります。
これは各企業のシステム運用やシステム投資の方針なので、楽天は企業の方針として安易な方向を選んでいる、そのような企業と取引するかはそれぞれ個人の責任と判断に委ねるしかないでしょう。

なので別の方がリンクしているアマゾンの事例も、アマゾンや内閣府国民生活局個人情報保護推進室の言っていることは、個人情報保護法とは別の法体系の規制により取引記録は一定期間保存する義務があるので完全な削除要請には応じられない、との意味であれば妥当な回答であると思います。
ただし、どちらも説明不足ですが。たぶん根拠法令までは知らないのでしょうね。
裁判になったらうんぬんは会社法第四百三十四条のことだと思います。

参照条文
商法
第十九条 　商人の会計は、一般に公正妥当と認められる会計の慣行に従うものとする。
２ 　商人は、その営業のために使用する財産について、法務省令で定めるところにより、適時に、正確な商業帳簿（会計帳簿及び貸借対照表をいう。以下この条において同じ。）を作成しなければならない。
３ 　商人は、帳簿閉鎖の時から十年間、その商業帳簿及びその営業に関する重要な資料を保存しなければならない。
４ 　裁判所は、申立てにより又は職権で、訴訟の当事者に対し、商業帳簿の全部又は一部の提出を命ずることができる。

会社法
第四百三十二条 　株式会社は、法務省令で定めるところにより、適時に、正確な会計帳簿を作成しなければならない。
２ 　株式会社は、会計帳簿の閉鎖の時から十年間、その会計帳簿及びその事業に関する重要な資料を保存しなければならない。
第四百三十四条 　裁判所は、申立てにより又は職権で、訴訟の当事者に対し、会計帳簿の全部又は一部の提出を命ずることができる。

つまり、アマゾンとソニーは帳票の長期保存形態が異なるということでしよう。
ソニーは先に述べたオフラインのシステム、またはメディアに移して保存し、運用中のデータベースから個人情報を削除はしたが、取引記録そのものを抹消した訳ではないと思います。
ネット取引には伝票やレシートがありませんから、個別の取引記録の保存をシステム上で処理する具体策については会計士によって解釈が異なることもありますので、企業ごとに対応が異なることがそのまま個人情報保護への取り組み度を表しているとは限らないことに注意してください。
まあ、たいていは会計士や経理の言うことよりもシステム構築するベンダーの意向が通ることが多いのですが。トラブルが起きやすいシステムに仕上がってもいいんですか、なんて言われれば、皆さんが作りやすい方向でよろしくお願いします、になっちゃいますわな。

>でも私は参照したり変更したりすることは不可能なわけで……どうすりゃいいんだろう。
それこそ個人情報保護法にもとずく情報開示請求をしてみては。
退会扱いになっていなければ訂正請求、完全に退会したことにさせる、と。
もっとも楽天がまともに対応出来るとは思いませんが。
その場合は自治体の消費者センターか法律相談へ行くしかないのでは。

Re:楽天といえば

[osakanataro (17131)]

退会はしてないけど、楽天アフィリエイトにログインした覚えがないんですが、
「このメールでは、楽天アフィリエイトへのログイン（管理画面へのアクセス）が何らかのタイミングで行なわれたお客様に」って書いてある同じメールがウチにも来てます。

７月以降は、１ヶ月に２回、「ＸＸ月分成果ポイントのご案内」が届いてますね

Re:楽天といえば

[dagama (34698)]

顧客DBのテーブルなんて物理削除かけるもんじゃないでしょうし、
論理削除したデータを業務内で普通に読んじゃってるんじゃないでしょうかね。

後はログイン時間の抽出条件がアレだとアウトってところでしょうか。
例えば日付と時刻を別項目で持ってて、n年前の同じ時間で検索してもヒットしちゃうとか。

＃うーん、やらかしがちなバグに見えてきた。自分も気をつけよう。

Re:楽天といえば

[Anonymous Coward]

>顧客DBのテーブルなんて物理削除かけるもんじゃないでしょうし、
いやいや、個人情報なんだから退会したらきっちり物理削除してもらわんと・・

Re:楽天といえば

[gigawarosu (25752)]

amazonもアカウント閉鎖後も
いろんなデータを消さずに残すそうです。

cf. Amazonは注文履歴の消去を拒否、アカウント閉鎖後もデータは残る [takagi-hiromitsu.jp]

Re:楽天といえば

[nekurai (6253)]

Amazon は退会後に個人情報を残すだけでなく、プライムの代金を勝手に引き落としにきますよ。
なので Amazon を退会する際には使ってたクレジットカードも解約したほうが身のためです。

# 退会後に引き落とされそうになった経験があるので ID
# 詳細は…昔ここの日記に書いたような記憶が(笑)

Re:楽天といえば

[kei100 (5854)]

顧客DBのテーブルなんて物理削除かけるもんじゃないでしょうし、
論理削除したデータを業務内で普通に読んじゃってるんじゃないでしょうかね。

それって、個人情報保護法的にマズいので物理削除をかけられる様に改修しないと不味くないですか？
削除が不可能ならダミーの山田太郎さんで上書きとかそんな感じの事を。

と思ったら楽天メルマガ類は別登録なので個別に退会してくれとの事なんですね。 [rakuten.co.jp]
# すごい無駄に長いセッションIDっぽいゴミパラメーターがたくさん付くのはなんなんだろ・・・

Re:楽天といえば

[Anonymous Coward]

> 数年前に退会したにもかかわらず、情報がいまだに残っていることに寒気を覚えた。大丈夫か楽天。

　まあそこはひとつ楽天的に考えてよ　　by 楽天証券

これらの損害は

[Anonymous Coward]

楽天市場への出店料を上げて回収するのかな？

Re:これらの損害は

[Anonymous Coward]

では「市場」の話でも少し。

市場に参加している店舗は自分の店の顧客にメールを送信することができるのですが、常にサーバが混雑していて、思うようにメールが出せない状況が慢性的に続いていました。 このメールの発送は予約制なのですが、日が変わるや否やあっという間に埋まってしまいます。 新商材の入荷など、セールをうちたいときに迅速に動けないので店舗にとってはかなり致命的なので、当然サーバ増強の要望が寄せられたかと思います。

ショバ代や売り上げのピンはねなどで結構な額を巻き上げている以上、通常の会社であればサーバを増強するものと思います。 ところが楽天は違いました。 店舗に対して「優先的に予約できる権利」を売り出したのです。 オプション料金というレベルであればまだ納得もいくのですが、ショバ代よりもはるかに高い価格です。

ですのでスケールの小さい店舗は申し込むことができず、ますますメールを送ることができなくなります。 楽天の担当者に電話で直接訴えたところ（メールでは１００％返事は返ってきません）
「常にダミーのメールで上限まで空予約しておき、メールを送る必要が出たら、深夜に一気に予約を解除し、空いた枠に素早く本番のメールを予約しなおせ、それが嫌なら素直に金を払え」
とのアドバイスをいただきました。 そのような行為は規約違反ですし、何より本来しなくてもよい非生産的で馬鹿馬鹿しい作業と感じます。
（囚人のジレンマ的状況に陥っているのではないかと推測してしまいます）

この件だけではなく、楽天市場は一事が万事このような調子です。 最近懸賞の機能が一新されたのですが、本来使用できるはずの HTML の要素でも、使用すると景品の登録を拒否されるというバグがありました。 リリース前にごく簡単かつあたりまえな動作テストをしていれば当然防げるはずの非常に単純なバグだと思うのですが、いかがでしょうか。 しかも、にもかかわらず、すぐには修正されずに放置されましたし、アナウンスもありませんでした。 お客さんが買い物できないなどの致命的なサーバの問題も驚くほど頻繁に発生し、「緊急」や「臨時」などのタイトルがついた問題発生メールが日に何通も届くことにも慣れてしまった状態です。

長々と愚痴を書いてしまいましたが…
楽天証券のシステムが楽天市場と同様の姿勢で運営されているかどうか知りませんが、確実に安全であるという確証が得られるまで、私なら楽天証券に大切な資産を預けたりはしません。 技術と、さらにそれよりも大事な企業の姿勢に重大な欠陥があると考えるからです。 楽天に投信なりＥＴＦなりを積み立てていらっしゃる皆さんは、一度本当に大丈夫なのか、考えてみてはいかがでしょうか。

Re:これらの損害は

[Anonymous Coward]

最近諸事情で性別が変わるので、楽天の登録も変更しようとしたのですが。
性別変更できないと言われました。新しく登録し直せ、と。

プラチナ会員続けているので、それを引き継ぎたいと思ってもできないし...
かなり悲しかったです。

＃まだカミングアウトしていない人もいるので、ＡＣ

この頃

[Anonymous Coward]

『プラチナ会員』と書いてあると『鴨』としまう私も未だに『プラチナ会員』

恥ずかしいのでACで。

Re:

[Anonymous Coward]

(スコア:500, 興味深すぐる)

一方yahooは

[Anonymous Coward]

その辺どうなのでしょう。

条件次第では乗り換えもありかと。

Re:これらの損害は

[Anonymous Coward]

金融商品は手数料が発生しやすくできているので1年以内に回収しきれるでしょう。会社がFX札幌みたいなことをしていなければですが。