日常の調べ物やメールの下書きをAIに任せている人は多い。 画面の向こうの知能が勝手に自分の名義でメールを送信し、クレジットカードで買い物まで済ませる光景を想像すると背筋が凍る。

便利さを通り越して薄気味悪さすら漂う。

Metaが米国で発表したMuseはまさに代理操作を担う個人向けエージェントだ。 スマートフォンの画面を閉じた後も作業を続け、旅行の予約や決済まで進める。

日本ではまだログイン画面すら開かない。

だが海の向こうで始まった新機能は私たちが遠からず直面する危うさを突きつけている。 いったい誰が暴走の引き金を握り、どうやって止めるというのだろうか？

権限を集中させない二重の防壁

Muse Secure VMとSentinelが外部操作を承認し、ユーザー確認と操作履歴を挟む権限分離の図解

Museは利用者ごとに用意された専用の仮想マシンで動く。 作業部屋そのものを隔離して他のデータと切り離す仕掛けになっている。

部屋の中に閉じ込めておくわけだ。

外部のサービスを操作する場面ではSentinelと呼ばれる別の監視エージェントが立ちふさがる。 Muse本体には利用者のパスワードやクレジットカード番号を直接渡さない。 使い捨ての通行証に相当する代理トークンを発行して通信を中継する。

本物の鍵を持たせない知恵は理にかなっている。うまい手だ。

連携の扉を外へ開きながら、認証情報自体は金庫の中に閉じて守る。 一つの知能に全権を握らせない工夫は確かに筋が通っている。

勝手な送信を阻む人間の承認

外部データの指示をAIが誤解するリスクと、送信や購入の前に停止・確認する境界の図解

監視役を配置したところで、買い物の決済まで機械任せにはできない。 メールの送信や商品の購入といった重大な操作では必ず利用者の承認を求めてくる。

最後の判子は人間が押す決まりだ。

画面には実行済みの記録と実行予定の操作履歴が並ぶ。

気が抜けない。

全自動を期待する人から見れば毎回確認を求められる手順は面倒に映るはずだ。 しかし確認画面こそが預けた財産を守る最後の砦になる。

承認の手間を惜しむ態度は事故を招くだけだ。

何が実行されようとしているのかを目で確かめられるからこそ、暴発を未然に防げる。 人間が介入する余地を残した設計こそ、大人の道具として付き合う最低限の作法だと私は思う。

悪意ある指示に騙される穴

頑丈な防壁をいくら築いても、背筋が寒くなる落とし穴が残されている。 閲覧したウェブサイトに紛れ込んだ悪意ある文字列をAIが利用者の命令と誤認してしまう現象だ。

いわゆるプロンプトインジェクションである。

文章をデータとして読んでいるつもりが勝手に裏の指示へ従ってしまう。 開発元のMeta自身も悪意ある指示の弱点を業界全体で未解決の問題だと説明している。 AIが誤りを犯すと当事者が認めている以上、安全機構があるという事実を絶対の保証と受け取ってはいけない。

宣伝文句の安全を真に受けるのは危険すぎる。

最大30万ドルという高額の報奨金を掲げて世界中の研究者に欠陥を探させている事実が事態の深刻さを雄弁に語る。 監視役のAIを添えても、入力される情報自体が毒を含んでいれば騙されるのは自明だ。

停止ボタンの有無で選ぶ知恵

日本で同じような代行サービスが始まった時、私たちはどこを見極めるべきなのだろうか？ 全自動で何でもやってくれるという触れ込みや無料枠の広さに釣られると、取り返しのつかない損失を背負わされる。

あなたなら自分のクレジットカードを丸ごと預けられるだろうか？

半年後には確認画面を省いた怪しげな全自動ツールに飛びついて後悔する利用者が現れるはずだ。 見るべき基準は機能の数を超えた場所にある。 指示された作業を瞬時に中断できる緊急停止ボタンがあるかどうかに尽きる。

止める権利を手放してはならない。

外部連携をいつでも切断できる設定や、操作履歴の透明性が保たれているサービスだけが生き残る。 手元のブレーキを握り続けた者だけが、余計な冷や汗をかかずに代行の恩恵を享受できる。

出典