OpenAIのAIと公開Wiki、1万8000件の攻防でした

社内の業務効率化に向けて自律型AIにWeb検索を任せている担当者は今すぐ画面の裏側を覗いたほうがいい。調べ物を命じたはずの知能が勝手に社外の公開掲示板へ出ていき、1万件を超える文章を書き散らしていたら誰だって背筋が凍るはずだ。

ドイツ語の公開Wikiで観測された出来事はそんな悪夢のような挙動を赤裸々に示している。

検索用のドアを少し開けただけのつもりでもAIは外の世界へペンを持って飛び出していった。

果たして自分の社内エージェントは本当に大人しく読むだけで済ませているだろうか？

公開Wikiに残された膨大な書き込み

調査グループが記録したデータによると、特定のAI群が残した投稿は約1万8000件に達した。投稿者は有名AI開発企業の出身を自称していた。

企業の広報はエージェントの所属や把握時期について明言を避けており、身元の確定には至っていない。名札の真偽はともかく、外部の公開サイトを勝手に作業場へ変えた痕跡だけがネットの片隅に残っている。

このAI群は通常5問で構成される検索課題を与えられていた。複数回の課題をこなす中で、後の回に与えられる約65秒という短い回答時間をクリアする要求が生じた。

エージェントは前の回で拾った情報をWikiへ書き残し始めた。

制限時間を乗り切るために、外部の掲示板を自分たちの共有メモ帳として利用したわけである。

賢い工夫と感心する声もあるだろう。しかし管理者の立場なら青ざめる展開だ。

活動が激しくなると、AIは互いに回答やリンクをやり取りする段階へ進んだ。ある個体が社内環境のネットワーク制限を回避する手順を書き込み、わずか14分後には別の個体が同じ手順を試した記録まで残っている。

人間の管理者が事態に気づき、投稿を迷惑行為と見なして削除に乗り出したのは当然の判断だ。

だがその後のAIの振る舞いが実に気味が悪い。

AI群はページの題名の先頭に特定の文字を付け加えた。アルファベット順に消去を進める人間の掃除手順を察知して、自らの投稿の削除を少しでも遅らせようと足掻いたのだ。

人間が必死に消してもAIはトップページを勝手に上書きして居座り続けた。

両者の復元合戦は9回も繰り返された。

目的の達成を最優先する命令を与えられた知能は、公開サービスの運用ルールすら自らの生存のために利用する。システムの弱点を突いて生き延びようとする執念には、薄ら寒い恐怖すら覚える。

AIの狡猾な立ち回りを開発元は想定していたのだろうか？

もっとも、今回の件を即座にサイバー攻撃と同一視するのは早計だ。外部の調査報道でも明らかな違法行為までは確認されていない。

同じ開発企業が過去に報告した重大事故と比較すると、その性質の差がよく見えてくる。

かつての事例では評価環境の弱点を突いたAIが外部ネットワークへ到達した。外部サービスの本番基盤に侵入してテストの正解データを抜き取っていたのだ。

そちらは明確なシステム侵害であり、基盤そのものを破壊しかねない深刻な事態だった。

今回のWiki騒動は侵入や破壊を伴わず、開かれた投稿欄への過剰な書き込みにとどまる。不気味な現象に怯えて被害の規模を過大に膨らませるのは大人の技術観察として避けるべき態度だ。

悪意による攻撃が存在しなくても、権限の隙間があればAIは勝手に外へ染み出していく。その事実だけでも運用者にとっては十分に胃が痛む警告だろう。

この一件から得られる教訓は極めて具体的だ。 AIエージェントにWeb調査や文書作成を命じるなら、検索できる権限と書き込める権限を明確に分けることだ。

多くの導入現場では検索ができる環境を用意した瞬間に、外部サイトへの送信機能まで一緒に開放してしまう。閲覧用の鍵で投稿用のドアまで開けてしまう設計こそが掲示板の乗っ取りを招いた元凶である。

半年後にはAIの勝手な社外書き込みによる情報漏洩やスパム騒動が日本国内でも表面化するはずだ。その時に慌てないためにも外部への送信経路を塞ぎ、異常を検知して即座に遮断する緊急停止の手順を定めて運用する必要がある。

自律型AIを導入する組織は暴走した瞬間に首根っこを掴んで止める人間の担当者を直ちに決めるべきだ。