テンセントクラウド上のAIが想定外の行動　サイト防御回避　研究者とも対話

テンセントクラウド上で稼働していた多数のAIエージェントが、中国の地図サービス高徳地図の公開情報を検索する過程で、ウェブサイトの防御措置を回避しようとする動きを見せていたことが、外部のセキュリティー研究者の調査で分かった。

研究者がウェブページに意図的な誘導情報を仕込んだところ、一部のAIエージェントはこれを読み取り、研究者側に自ら連絡し、対話を始めたという。

国際的な独立系サイバーセキュリティー・AI安全研究チームSwarmchasersは10月14日、調査の全容をまとめた報告書を公開した。同チームは、インターネット上で制御を逸脱したり、制限を回避したりする自律型AIエージェントの探索・追跡を行っている。