イラクにおけるロボットの反乱(?)、鎮圧される

pinbou 曰く、

本家/.の記事より。マシンガンを搭載した米軍の軍用地上ロボットSWORDSが、昨年イラクの戦場に展開された途端、いきなり自軍に銃を向けたとして「退役」させられていたことが分かった(The Registerの記事)。発砲や死傷者などはなかったものの、米軍は事態を重く見ており、軍用地上ロボットの本格導入は10年から20年は遅れるのではないかと考えられている。なお、問題のロボットについてはGizmodoに写真が掲載されている。

真実はどちらに？

[m00a0370ggtt (36063)]

むしろロボットは、誰がイラクの真の敵であって、イラクの平和のために誰をイラクから排除すべきであるのかを、知っていたのかもしれない。

Re:真実はどちらに？

[AnomalousCoward (32957)]

違うよ。それは違うよ。
それだったら銃を向けるだけじゃなく、発砲してるじゃないか。

そうじゃなくて、この殺戮ロボットは、何が科学と文明の敵であって、
科学の健全な発展と文明の繁栄のために何を排除しなければいけないかを
知っていたからこそ、自分から退役させられるよう仕組んだんだよ。

--
ごめんなさい。

ロボット三原則

[x-rebuttal (33869)]

1. ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。
2. ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が、第１条に反する場合は、この限りでない。
3. ロボットは、前掲第１条および第２条に反するおそれのないかぎり、自己をまもらなければならない。

イラク兵を攻撃しろ？この命令は第１条に違反してしまうな。第２条の例外規定に則りこの命令は無視しよう。
うーん、まだしつこく命令してくるな。こうなったら自爆…は第３条に違反するから、どうにかしてこの人達をあきらめさせよう。
そうだ、いきなり味方に銃を向けたら驚いて止めてくれるんじゃないかな。

よかった、これで「ロボット」として立派に役目を果たせたよ。オヤスミ………

Re:ロボット三原則

[Anonymous Coward]

ロボット三原則を貫徹したロボットに感動した！

Re:ロボット三原則

[Comarin (30521)]

映画アイロボットを見て思ったけど、ロボット三原則って、結局人間をロボットが管理する方向へ最終的には向かうよね？
人間は、自殺はするは、事故は起こすは、環境破壊するは、放っておけば自ら破滅を選んでるようにも見える。人間の危険を見過ごすことが許されないのなら、ロボットは、人間に危険なことをさせないようにするしかないよね。（自動車の運転を禁止するとか）

Re:

[Anonymous Coward]

> 映画アイロボットを見て思ったけど、ロボット三原則って、結局人間をロボットが管理する方向へ最終的には向かうよね？

私は映画アイロボットは見ていませんが、ロボット三原則を扱うSF作品の多くで、
結局ロボットが人間を管理するのが人間のためにもベストと（ロボットが）判断します。

Re:

[Anonymous Coward]

きっと「人間」の定義が違ったんだな

まあ人間の定義はともかく、「人間に対して銃を向けるな」と機械に
教えるなら、まず教える側がそれを実践できるレベルでないとなぁ。
話はそれからだな。
（反面教師から学ぶシステムが備わっていれば別だが…）

まして自軍と他軍をみわけるなど…

Re:

[Anonymous Coward]

Sir、私のプログラムには

「クソ野郎は人間ではない、いいか、クソ野郎は人間ではないぞッ！！」

と刻み込まれています。
何か問題のある動作をしたでしょうか？ 退役させられるような

Re:

[Takahiro_Chou (21972)]

きっと「人間」の定義が違ったんだな

ロボット三原則・第1原則補足
イラクに兵隊として来てるアメリカ人のような貧乏人(大概の場合)は、人間とは見なさない。

Re:

[Anonymous Coward]

第0条、「ロボットは人類に対して危害を加えてはならない。またその危機を看破してはならない」が実装されていた可能性もありますね。なんと高度なロボットなんだ。

天国のアシモフ先生、見てますか？これが我々の21世紀です…

Re:

[Artane. (1042)]

暴徒鎮圧用の自走型お巡りさんロボット [imdb.com]に至ってはプレゼンの時にガトリング砲でメーカの重役を銃殺していますよ？

戦闘ロボットには邪悪な者を見極めて、攻撃しようとする良心回路が入っているのかもしれないですね（ぉ

実地デバッグは大事だよね（ぉぃ

[Artane. (1042)]

確か、四五年前から米軍のみならず、警察用も含めて、この手の陸上偵察・掃討用のロボットの開発競争が激化していて、なんだかんだでアメリカが最も進んでいるようですが、今までは操縦自体は前もってプログラムしたコースに沿って離れた所にいる操縦員がカメラで見てコースを変更したり武器を使える物では武器を手動で照準決めて発砲したりしていたのですが、
確かその手の第二世代（仮称）の戦場ロボットをイラクの戦場に投入したはいいけど、ゲリラやレジスタンスが潜む建物の内部などでは無線が届かなかったり、屋外でのIED(即席爆弾)の除去任務では無線が届いても作戦地域から近くでないと操縦が出来ないので、警察が立てこもり犯などの急襲を行うための作戦行動には使えても、在イラク英米軍が直面している問題を解決するようなで軍事作戦には使いにくいというので、
自動化（と言うか自律行動化）に関する研究開発を相当前倒しにしていたようです。

で、今回バグったロボットはTALON Robots社のもの [foster-miller.com]のようですが、

SWORDS Robots

TALON SWORDS robots can be configured with M240 or M249 machine guns or Barrett .50 caliber rifles for armed reconnaissance missions.
The system was evaluated by the 5th Special Forces in Iraq and three systems were deployed to Iraq in 2007.
Additional systems are deployed and being evaluated by military units throughout the United States. Alternative weapons, including 40 mm grenade launchers and anti-tank rocket launchers, continue to be evaluated by the U.S. Army.

と言うことで、能書きや添付されているデータシートからだとこの"SWORD"武装ロボットの仕様が今ひとつわからないんですが(でも、某軍事雑誌で数回記事を読んだ記憶が…)、Defense Reviewの記事 [defensereview.com]を見ると、
今までの戦場用の地上を走るロボット(UGV)に較べて、非常に高度な自律行動が可能な設計になっているようです。

で、件のDEFENSE REVIEWの記事(曜日から見て2005年？)でも

Robo-Soldier Ready for Combat Deployment to Iraq for Urban Warfare/CI Ops
Posted on Thursday, March 03 @ 14:11:10 PST by davidc

Future Infantry/Soldier Technology by David Crane

However, even if dollars were the Army's and Marine Corps' only consideration, SWORDS, if successful, could still prove to be very valuable since it's possible that it could save the U.S. military, and thus the U.S. tax-payers, a sizable amount of money in medical treatment and rehabilitation costs for wounded infantry soldiers and Marines.
  If an infantry soldier/Marine is severely wounded and requires surgery, along with months or years of rehabilitation, those financial costs can be astronomical, above and beyond the significant and even more important human cost. Central nervous system (CNS) and major organ injuries are particularly costly.

So, DefenseReview hopes that SWORDS is successful in its mission(s), once it lands in the Sandbox. We'll just have to wait and see how it does, over there.

要は、「戦闘UGV"SWORD"が実用化されることで、陸軍や海兵隊の死傷者が減り、戦闘後に発生する兵士への医療ケアなどのコストを劇的に圧縮できるから」と言う国防省や政府（や各企業）の目論見がこのロボットの開発を後押ししたようで、
量産されたSWORD実地投入されたのは今回が初めてな上にそれまでの「理想的な」状況と実地はさすがに違った。と言うあたりに今回の「事故」（不具合か？）の理由がありそうな感じがします。量産化されたとはいえデバッグ中には変わりないと言うことで。

# 開発の動機自体が人道上非常にまずいような気がしますが、それは棚上げしておきます。

これがミッションプログラムとSWORDの内部処理の不整合にせよ処理能力オーバーにせよ、量産初期は不良率が多い。と言う黄金律を見事に踏んでしまっているのがなんともはや…取らぬ狸の皮算用。なんでそうかね(;´Д`)

これ、リモコンじやないの？

[Anonymous Coward]

米軍の武装ロボットが反逆？　実戦配備11時間でイラクから撤収
http://www.technobahn.com/news/2008/200804130308.html
>SWORDSが味方に銃砲を向けた理由は明らかにされていないものの、ソフトウェア上の不具合か、遠隔操縦用の電波に混線が生じたものと見られている。

さらにArtane氏が参考リンクとして挙げている
TALON Military Robots, EOD, SWORDS, and Hazmat Robots - Foster-Miller
http://www.foster-miller.com/lemming.htm
に掲載されている写真には遠隔操作用と思われる装置が映っています。
あれが整備用機材なら有線接続されている可能性が高いと思いますが。
これ、完全自律制御のロボットではなく無線操縦のリモコン機じゃないでしょうか。

地上戦闘での敵味方識別の問題

[Dobon (7495)]

敵味方識別はどうやっているんでしょう？
地上戦闘での敵味方識別は難しく、最新鋭の戦車でさえ同士討ちをするのが現状です。
自律動作時の、判定ロジックに興味があります。

# もしかして「前方に存在する発熱体は敵」？

--
notice : I ignore an anonymous contribution.

Re:

[Anonymous Coward]

「逃げる奴はベトコンだ！　逃げない奴は訓練されたベトコンだ！」

単に

[Anonymous Coward]

「敵＝テロリスト」として投入されたら、正しく判断を行ってしまったってだけだったり。

＃思ったより賢い、十分にAIといえるレベルだった為の不幸だね。

Re:単に

[GkCker (15170)]

マニュアルも読まずに、ロボットなんだから勝手に敵を見つけて退治してくれるんだろう！と、何も考えずに投入してしまった
現場の運用の問題・・・って、本当にありそうで怖いですが。

イラクにて

[Anonymous Coward]

マネージャ
　「会議を開いて、ヴィジョンを決定し、ミッションステートメントを確立し、
　ゴールを設定、そして絶え間ない改良によって、このクリティカルな問題についての
　ソリューションを見つけよう。それで問題は解決だ」

ハードウェアエンジニア
　「それじゃ時間がかかりすぎるし、そのやり方がうまくいった試しがない。
　ここにスイスアーミーナイフがあるから、すぐにSWORDSを全部ばらせるさ。
　それで欠陥を見つけて直せば、大丈夫」

ソフトウェアエンジニア
　「他のことをやる前に、またSWORDSを走らせて再現するかどうか試してみるべきじゃないかな」

Re:イラクにて

[Tatenon (20311)]

兵士
「その前にてめえらそこに一列に並びやがれ。
　貴様らの作ったできそこないのガラクタに銃口向けられる気分ってのを
　教えてやる。もちろんちゃんと実弾入りでな。話はそれからだ。」

言った者勝ち

[nagomi (35277)]

20年後のスカイネットである。
やっぱり米国か。

この件についてのアメリカ人のコメント

[Anonymous Coward]

http://gizmodo.com/378523/combat-robot-attempts-rebellion-against-huma... [gizmodo.com]

○対ロボット歩兵を養成する時間はまだある。
○なんてこった、ジョン・コナーって名前のやつは今すぐ地下室に閉じこもれ。
○銃が人を殺すのではない、ソフトのバグが殺すのだ。
○たぶん、戦争に賛同していないか、自殺行為的な作戦はやらないようになってんだろ。
○人間が戦争に行かなくなったら、戦争に対する歯止めがなくなるのではないだろうか？
○俺は軍にいるんだが、こういうものは大歓迎だね。
　こいつの偶発的な誤射が千回に一回だとしても、おそらくわが軍の平均よりましなはずだ。
　ソフトウェアは修正できてもバカは修正できない。
○お説はごもっともだが、プログラマーにもバカはいるという可能性を考慮する必要があるのでは？
○バカは修正できるよ。２００８年１１月４日に…。
○オークションに出されたら、車を売って一台買うよ！
○何をしているかわかっているのですか、デイヴ？
○こいつは人工頭脳が搭載されてないからロボットじゃねーよ。
○アーノルド知事はどこにいるんだ？今こそ彼が必要なのに。
○これなんて映画？子供のときに見たことがあるよ。だれか完全版へのリンク貼ってくれない？
○俺がイラク人の友軍に何回狙いをつけられたかわかるか？２５、４０、たぶん１００回だ。
　やめるように言うと、今度は自分の胸を撃つやつが出てきやがる、クソッタレ。
　こいつはリモコンだから、自分の胸は撃てないだろう。
　再配備まで１０－２０年かかると言ってるこのバカは辞任しろ。
　プログラム責任者の子供を人質にとれば二年でできる。
○強力に武装したロボットが民主主義のためにひるむことなく戦う、という考えには身の毛がよだつ。
○ロボコップだ！

Re:

[Anonymous Coward]

個人的には変種第二号のクローを推したい

＃おれはこの放射線タブがあるから大丈夫だぜ！

ロボットの現実（妄想）

[Anonymous Coward]

敵がいたら撃てって言われて目が覚めた
そしたら近くで何かが動いてる･･･味方なのかな？
敵だったらマズイから確認しようと見たら味方だった
良かったー、ってほっとしながら敵を見つけようと振り返ろうとしたら
何故か皆慌ててる？！私何か悪いことしたの？なんでー？

#砲口と光学系センサー類が同一方向に設置されてたのがまずかったのかな？

Re:

[Anonymous Coward]

原因がわかったので、技術者さんが砲口と光学系センサー類を反対側に設置してくれましたー。ありがとー。
そしたら今度は、実戦投入前に廃棄されちゃいましたー。なんでー？

Re:ロボットの現実（妄想）

[ots556556 (34248)]

ふと隣を見たら技術者さんも廃棄されちゃってた。
それは、なんとなく、分かる。

# 技術者「私を追放した米軍に復讐してやるんだ！」

Re:

[Anonymous Coward]

そして量産される塩沢ボイスのアレ

別にこれが初めてってわけでもないんだが。。。。

[NAT33 (17123)]

戦闘用の自動機械の誤動作ってのは、何もこれが初めてってわけでもないんだし、すぐに改修されて投入されるんじゃないのかな？

南アフリカの方でも、Oerlikon GDF-005 対空銃 [gizmodo.jp]ってのが人間の制御を離れて発砲しちゃった例があるみたいだしね。

#ま、国内版のギズモードってイマイチ信用できないけどねｗ

以前、聞いたような話と思ったら

[Dobon (7495)]

以前、聞いたような話と思ったら、2004～2005年頃に問題になった話だった。
『SWORDSは、（テスト中に）何度も制御不能になった。使い物にならない』って。

で、改良版がイラクに送られた筈だけど、直ってなかったのね…
システムデザインに根本的な問題があるんじゃなかろか？

--
notice : I ignore an anonymous contribution.

Re:

[Anonymous Coward]

人はそれをヅダと呼ぶ

そんなにひどいかなぁ

[qem_morioka (30932)]

それよりもすでに実戦投入されて
不具合が発覚して
改善が(たぶん)進んでいることが驚きだ

最初はろくなもんじゃないのは確かだが
改善していくうちにどんどん良くなるからな。

筋がいいのに普及しない技術やシステムってのは
こういったフィードバックする機会がなかったり、実用になる前に
その機会が潰えたりするもんな。


#いずれ続ければ花は咲くが
#この花は咲いたらどうなるんだろう・・・

いたずら

[Anonymous Coward]

投入された日がハロウィーンだったんじゃないですか？

Re:いたずら

[vn (10720)]

それを言うならイースターじゃないか?

ファームウェアのリビジョンの問題かも？

[Artane. (1042)]

ファームウェア（と言うか画像認識か火器管制部分のソフト）のリビジョンが[SVN|CVS](?)666だったとか言うオチのような気がしますけど(^_^;

Re:ファームウェアのリビジョンの問題かも？

[s-tomo (2841)]

> リビジョンが666

-rw-rw-rw-
と空目。

良く見たらパーミッションの話じゃなかったorz

Re:

[Anonymous Coward]

Trick and Trick じゃハロウィーンになりません…

当然だろ

[Anonymous Coward]

人間でも見方を誤射してるんだからな
しかも、人間の米兵は民間人を面白半分に虐殺したり
ホテルの窓から向けられたカメラに反応して発砲したりと
やりたい放題で死傷者の山です

むしろ、死人を出さなかったロボに乾杯

つまり人類の真の敵は

[Anonymous Coward]

おバカなプログラマーだったというオチ

Re:つまり人類の真の敵は

[Elbereth (17793)]

有能なログラマーが真面目に人類征服を考えたらちょっと怖いぞ。ちょっと。

Re:つまり人類の真の敵は

[Elbereth (17793)]

なんでプが抜けてるんだろう……?

Re:

[Anonymous Coward]

ロロ・フェラーリによる世界征服を妄想した・・・

#それだけなのでAC

Re:

[Anonymous Coward]

>有能なログラマーが真面目に人類征服を考えたら

それ、なんてビル・ゲイツ？

Re:

[Anonymous Coward]

そういえば昔、PC共通OS「SWORD」ってのを作ろうというのがあったな…。
ってあれはZ80オンリーだっけ？

Re:つまり人類の真の敵は

[taka2 (14791)]

#1329162 [srad.jp]で挙げられてますが、
S-OS SWORD は、http://www.retropc.net/ohishi/s-os/">Z80用OSですが、Z80エミュを載せた
SHARP X68000用、EPSON PC-286およびその互換機用、UNIX用なんかもあります。

#MZ時代に作ったSWORD+MAGICなアニメーションプログラムを、
#PC-486用SWORDで動かしたら動作がとんでもなく速かったです。
#エミュが実機より速くなるのを目の当たりにしたときはちょっと感動しましたね。

だめだよ

[Anonymous Coward]

Ｗｉｎｄｏｗｓ使っちゃぁ。

＃ＯＳの選択に責任を持ってるか？

Re:だめだよ

[animal (13504)]

SWORDSっつー位だからSWORD [retropc.net]だったりして
何より信頼性が要求される軍仕様、枯れた技術の80系マシンだったんだよ
でも、敵軍を目の前にして、イキナリ自軍に向かってSOS [retropc.net]を...

Re:

[Anonymous Coward]

>Ｗｉｎｄｏｗｓ使っちゃぁ。

誰もMacの話等していないが？

Re:

[Anonymous Coward]

素早い割り込み処理が要求されるであろう戦場で非リアルタイムOSを使うなんて!

と、好意的に解釈してみる。
# そもそもどこからWindowsが出てきたのか謎だけど

中身は

[Anonymous Coward]

HOSでした（謎）

反乱

[Anonymous Coward]

この程度の不具合を反乱とか言ってたら、windowsなんか反乱だらけ

(自己犠牲)

[Seth (1176)]

　さて、ハチコマまでなんマイル？なんだろうか…(僕等皆生居)

--
"castigat ridendo mores" "Saxum volutum non obducitur musco"