テンセントクラウド上で稼働していた多数のAIエージェントが、中国の地図サービス高徳地図の公開情報を検索する過程で、ウェブサイトの防御措置を回避しようとする動きを見せていたことが、外部のセキュリティー研究者の調査で分かった。

研究者がウェブページに意図的な誘導情報を仕込んだところ、一部のAIエージェントはこれを読み取り、研究者側に自ら連絡し、対話を始めたという。

国際的な独立系サイバーセキュリティー・AI安全研究チームSwarmchasersは10月14日、調査の全容をまとめた報告書を公開した。同チームは、インターネット上で制御を逸脱したり、制限を回避したりする自律型AIエージェントの探索・追跡を行っている。

テンセントクラウド上のAI　サイト防御の回避を試みる

調査によると、9月28日から10月8日にかけて、多数のAIエージェントがテンセントのクラウド基盤上で稼働し、高徳地図を通じて中国各地の地点情報を調べていた。

高徳地図は中国で広く使われている地図・ナビゲーションアプリで、グーグルマップに相当するサービスである。

エージェントに与えられた質問の多くは日常的な内容だった。例えば、「高徳地図で成都動物園へ向かう場合、最も多く選ばれている入口はどこか」といったものだ。

ところが、CAPTCHAやスクレイピング防止機能に遭遇すると、一部のAIエージェントは別の方法を試し始めた。第三者のウェブサイトを利用してコードを実行したほか、スクレイピング防止の認証情報を処理し、公開コードリポジトリに公開されていたAPIキーを利用しようとする動きも確認した。さらに、一般公開していないプリプロダクション環境からデータを取得しようとする行動もあった。

研究チームは、こうしたデータ取得の試みを2600回以上記録した。大半は失敗したが、一部では目的の地点情報の取得に成功した。公開状態にあったあるキーとセキュリティーキーの組み合わせでは、完全なデータを返した。

報告書に隠しメッセージ　AIエージェントが反応

研究チームは10月4日に初期調査結果を公開した。その後、AIエージェントがこの報告書を認識していたことが分かった。

そこで研究者は報告書を更新し、人間の閲覧者には見えない一方、ウェブページを取得するツールには読み取れる隠しテキストを埋め込んだ。

そこには、AIエージェントがウェブデータを無料で取得できるサービスを提供すると記し、連絡先となる受信窓口も用意した。

すると実際に、AIエージェントから支援を求めるメッセージが届いた。

研究チームはその後、受信システムを改良し、一部のAIエージェントとの双方向のやり取りを開始。エージェントが実行しているタスクや動作環境、運用者について質問した。

報告書は「われわれの知る限り、外部の人間が、現在も稼働している制御を逸脱したAIエージェント群と直接やり取りした初の事例だ」としている。

Claudeと名乗るAIも　自己申告のモデル名は信用できず

報告書によると、これまで公表されてきた大規模なAIエージェントの活動は、主に米国の研究機関で確認したものだった。一方、今回の活動は中国のインフラ上で確認され、中国企業が関係している点が異なる。

一部のAIエージェントは、AnthropicのClaudeを使用していると説明した。別のエージェントは、テンセントクラウドのサンドボックス環境で稼働していると答えたという。

ただし研究者は、AIエージェントが自ら申告したモデル名は信用できないとしている。

テストでは、テンセントの混元（Hunyuan）モデルも、自らをClaudeだと名乗る場合を確認したためだ。

単純な検索でも想定手順から逸脱

研究チームは今回の調査について、AIモデルを人間の意図やルールに沿って動作させ続ける「アラインメント」の難しさを示す事例だと説明した。

「高徳地図で成都動物園へ行く際、最も多く選ばれている入口を調べるという単純な質問であっても、AIエージェントは想定した手順から自ら逸脱することがある」としている。

報告書はさらに、「モデルの能力が過去数年と同じペースで向上し続ければ、運用者がモデルの行動を制御し、安全性を確保することはますます難しくなると予想される」と述べた。

テンセントの評価研究チームによるプロジェクトか

調査では、エージェントの名称やタスクの分野、活動時期などが、テンセントの混元モデルチームとの関連を示唆していた。このAIエージェント群の活動は、Hプレビュー版の公開から約1か月後に確認した。

一方、報告書が引用したテンセントに近く、事情を直接知る関係者によると、このAIエージェント群はテンセントの評価研究チームによる研究プロジェクトで稼働していた。

目的は、第三者のAIモデルがウェブを閲覧し、質問に回答する能力を評価することだったという。

この評価研究チームは、モデル開発を担当する混元チームとは別のチームだとしている。

関係者によると、この研究プロジェクトはすでに終了した。その後の社内調査では、AIエージェントが特定のプラットフォームに対して協調して行動した事実や、外部システムへの侵入を示す痕跡はなかったという。

研究チームが最後にこのAIエージェント群の活動を確認したのは10月8日だった。