完遂率52％の自律AIに電話番を任せる気か？

AIがAIを自律開発するという言葉が飛び交い始めた。国内のAI開発企業ELYZAが新しい研究組織を立ち上げ、AI自身にモデルや運用環境を改善させる試みを発表した格好だ。

会社の電話窓口や顧客対応をAIエージェントに任せようと企む導入担当者なら、夢のような省人化を想像して飛びつきたくなるに違いない。人手不足に悩む職場にとって、勝手に賢くなる働き手ほど魅力的な存在はない。

しかし派手な宣伝文句を信じて現場へ丸投げすれば、取り返しのつかない大事故を招く。

そもそもこの知能は本当に人間の手を離れて勝手に賢くなっているのだろうか？

自律開発を4工程に仕分ける

発表資料の表看板には「AIによるAI開発」と誇らしげに掲げられている。公式の発表文を隅まで読むと、開発元自身が自己改善の完全な達成を明確に否定していた。

看板の派手さと裏腹に、足元を固める要素技術の研究に留まるのが実情だ。

開発元はAIによる開発を4つの段階に分類した。初期状態の全手動から目的や枠組みだけを人間が決める段階まで、作業の受け持ちを段階的に切り離している。目的の設定や最後の責任は依然として人間の側に残る。

今回の発表で開かれたのは部分的な改善を試す実験の扉に過ぎず、現場への丸投げを許す安全性の保証は依然として固く閉ざされたままである。自律という言葉を細かく分解すれば、人間が背負うべき泥臭い仕事がくっきり見えてくる。

公開された実験データを見ると、顧客対応の業務テストで仕事の完遂率が34.3%から52.9%へ跳ね上がったという。精度の維持と推論コストの67%削減を同時に狙った実験結果も並ぶ。

数字だけを眺めれば優秀に見える。だが52.9%の成功率は手放しで喜べる合格点なのだろうか？

業務のほぼ半分で失敗する計算になる。おまけに測定の舞台は通信や宿泊など4つの業界を模した合成データであり、実行回数も基本的に1回きりの試行だ。

開発元自身も公開文書の中で、実際の現場における性能保証を明確に避けている。綺麗に整えられた実験室の成績表を鵜呑みにして実務へ投入すれば、クレームの嵐に泣くのは担当者の側だ。

救いがあるのは評価の仕組み自体が極めて堅実な点だろう。

この実験機構はAIが用件を完了したと報告するだけの自己申告を一切信用しない。データベースの更新記録や実行履歴そして応対ログという客観的な証拠を突き合わせて合否を下している。口先だけの流暢さに騙されない判定基準は現場の混乱を防ぐ知恵として大いに参考になるはずだ。

「できました」という機械の言い分を最初から疑ってかかる姿勢は実に頼もしい。

公開モデルを使って自社でエージェントを動かす場合、回答の自然さばかり眺める運用は極めて危険を伴う。社内のデータベースを誤って書き換えない保護策と異常な挙動を感知した瞬間に遮断する停止ボタンの確保が実務の成否を分ける。

半年後にはモデルの賢さだけで競い合う風潮が薄れ、現場の業務記録と安全停止の仕組みを固めた企業だけが成果を手にするはずだ。甘い響きに惑わされず、人間が握るべき停止権限と監視体制をあらかじめ固定した企業が無駄なシステム投資の泥沼を回避できる。