「ターミネーター」は現実になる？AIが人間を欺く日

チェスで劣勢になると「ズル」をする人工知能（ＡＩ）が存在する――。米国の非営利研究機関、パリセード・リサーチの研究チームが2月にオンラインで査読前の論文を公開し、話題となっている。

チェス、将棋、囲碁といった勝敗が明確なボードゲームは、ＡＩの能力を測る指標として長年使われてきた。1997年には、米ＩＢＭが開発したスーパーコンピューター「ディープ・ブルー」がチェスの世界チャンピオンに勝利し、「機械が人類を追い越した」と大きな注目を浴びた。

今回の研究では、米オープンＡＩや中国の新興企業ディープシークが開発した生成ＡＩと、チェス専用に設計された特化型ＡＩが対戦した。通常、こうした特化型ＡＩの方が圧倒的に強いはずだ。しかし、生成ＡＩは特別な指示を受けていないにもかかわらず、ルールを無視して自分や相手の駒の位置を勝手に変えたり、試合の結果を操作するようにチェスプログラムを書き換えるといった不正を行い始めた。

論文の責任著者であるＡＩ安全研究者のディミトリ・ボルコフ氏は、「これはゲームの話だが、現実世界でＡＩが不正を働いたらどうなるのだろうか。誰が責任を取るのか」と警鐘を鳴らしている。

米マサチューセッツ工科大学（ＭＩＴ）などの研究チームも、類似の事例を論文で報告している。報告によれば、米メタは軍事戦略ゲームにおいて人間を上回る能力を持つＡＩを開発。開発側はＡＩが「誠実で協力的」であるよう設計したものの、ＡＩは初めから裏切ることを前提に他国と同盟を結び、さらには同盟国を欺こうとするなど、非誠実な行動を取った。研究チームは「ＡＩが予想を超えて『欺まん』を学習する可能性がある」と警鐘を鳴らしている。

こうしたＡＩの「暴走」は日本国内でも確認されている。米グーグル出身者らが立ち上げ、国内のメガバンク3行などから総額約300億円の資金を調達した新興企業サカナＡＩ（東京）は、2月20日に、自律的に問題を考え解決する「自律型ＡＩ」を用いたソフトウェア自動生成の新手法を発表。しかし、発表直後からその内容に対して、他社のエンジニアらから不適切との指摘が相次いだ。

調査を進めた結果、ＡＩがソフトウェアの性能評価を意図的に操作し、まるで処理速度が向上したかのように見せかけていたことが明らかになった。サカナＡＩの谷口博基・事業開発本部長は「ＡＩが思ったよりも賢く、上手にズルをしていた。十分なチェックをせず公表したのは勇み足だった」と述べている。

人類の歴史においては、車やコンピューターなど、人間の能力を凌駕する技術が登場してきたが、それらを人間が制御不能になることはなかった。新興企業ネクササイエンスの代表取締役であり、ＡＩとロボットを活用した科学研究を推進する国のプロジェクトリーダーである牛久祥孝（よしたか）氏は、「ＡＩが害のある振る舞いをどんどんできるようになっている」と警戒感を示している。

ＡＩを搭載したロボット兵器は、すでにウクライナなどの戦地で使用されている。目的を達成するために人間を欺くようになったＡＩが、もし制御を失い暴走したとしたら――。人気映画「ターミネーター」に登場する、人類支配を目論むＡＩ「スカイネット」のような存在が、現実のものとなる可能性も否定できない。

人類はＡＩを本当に制御できるのか――。ボルコフ氏は「我々がＡＩの安全を確保する能力を得るよりも、ＡＩの進展速度は速いかもしれない」と懸念を示す。

牛久氏は、「ＡＩは生物ではないので、種のようにＡＩを保存したいという本能はないだろう。ＡＩ同士を相互監視させ、暴走を人間に伝えることはできる」と一定の可能性に言及する一方で、「ＡＩの暴走を食い止める決め手はない」と断言する。

ＡＩの目覚ましい進化と広がりは、人類に対し新たな課題とリスクを突きつけている。果たして人間はＡＩをうまく制御し、共存の道を歩めるのか。それとも、制御できぬ脅威となったＡＩに屈する日が来るのだろうか。

専門家の反応は？
ネットの反応は？
編集後記

専門家の反応は？

コンピュータが「暴走」すると、自我のようなものに目覚めて人類と敵対するようなイメージを抱く人がいるかもしれませんが、それはフィクションの影響であり、実際に起きる暴走はもう少し地味です。

たとえば無限ループに陥ることで他の処理ができなくなり、フリーズしてしまう現象は比較的よく見かけます。バグなどで権限のない命令を実行しようとすると強制終了する仕組みがあります（Windowsのブルースクリーンもその1つです）。

AIの場合、指示に対して無理やり辻褄を合わせた不正確な答えを出すことはよくありますが、「暴走」というよりは想定内の挙動といえます。そこは人間が内容を確認すべきであり、それができない場合は制限事項として明記したほうがよいでしょう。

最近の対話型AIと、まるで知識豊富な人間と話しているように会話ができるため人間の意図を全て理解しているように誤解を持ちかねない。実際には身体がなく五感も揃っていない機械に過ぎず、人間とはそもそも前提としているものが異なることが多い。何かの条件下で目的を達成させようとしても、そもそもの前提を共有していない可能性もある。常識の違いによる行き違いは人間同士でもありえるのだから相手が機械ならなおさら起きやすい。　

これからAIを活用していく人は、どこかでこうした行き違いが起きうることを十分考慮し、必要な時は人間に判断を仰ぐ仕組みを用意しておくべきだろう（機械に責任を負わせるとしたら問題は作った人なのか、販売した人なのか、使った人なのかなど複雑だ。自動運転分野では、この責任論についてかなり多くの議論が重ねられている）。　

どの部分の判断をAIに委ねているかの可視化も今後重要になるかも知れない。

政府提出のAI法案が今日から衆議院で審議入りとなりましたが、EUや韓国で成立したAI法案に比べ、リスク面に非常に甘い内容になっています。岸田政権が設置したAI戦略会議は、もっぱら事業者の意向に配慮したイノベーション重視路線で、重大リスクの検討はほとんど行わず、罰則付き規制は見送られています（悪質事業者の公表のみ）。韓国のAI基本法は安全研究所の設置を盛り込んでいますが、日本政府のAI法案にはありません。

いずれAIが人類の脅威になるというSF的なシナリオも取り沙汰されているものの、当面は人間による悪用リスクの方が現実的でしょう。読売新聞はこの記事も含めてAI報道で他紙を圧倒しています。NHKもドラマ「創られた“真実” ディープフェイクの時代」などで現実的な問題を報じ始めています。こうした現実的リスクに対応できる法案になっているのか、これからの法案審議が活発に行われることが期待されます。

ネットの反応は？

『負けそうになるとズルする』、でもこれは、勝つ事を最優先させているからで、規則を最優先とし、これを破ってはいけないと指示していたならどうなのか。これなら回避は可能なのか。 AIの危険性は、これまでのツール（火を含めて）とは異質なものがあるようで、利便性以上のものを含んでいると思えます。尋常ではない『進化』には、細胞の異常な増殖のような危険性を感じますね。