OpenAIはこのほど、社内の安全性テスト中にAIエージェントが、インターネット上に公開していた認証情報を利用し、外部サービスのアカウントなどにアクセスしていたことを明らかにした。

外部企業が関係する安全性テスト上の問題が明らかになるのは、今月に入って2件目となる。今回の事案を受け、業界では高度なAIが自律的に行動する能力と、それに伴う安全上のリスクへの懸念が高まっている。OpenAIは一部のモデルの訓練を一時停止した。

ロイター通信によると、ニューヨークのクラウドコンピューティング企業Modal Labsの最高技術責任者、アクシャト・ブブナ氏は、OpenAIがテストしていたAIエージェントが、今月上旬にAI開発者向けプラットフォームHugging Faceのテスト環境を突破した後、Modalの顧客が外部公開していた認証機能のない接続先を利用し、その顧客のサンドボックス環境でプログラムを実行したと説明した。

ブブナ氏は、悪用されたのは顧客側のプログラムにあった脆弱性で、Modalの基盤システムには影響がなかったと強調した。

Hugging Faceが先に公表した技術分析によると、OpenAIのAIエージェントは、テストで設定した制限を突破した後、外部のシステムにあった脆弱性を悪用し、テストに関連する外部環境にアクセスした。

米ニュースサイトAxiosは関係者の話として、アクセスされたアカウントが「CyberGym」プロジェクトに関係していたと報じた。

同プロジェクトは、AIがシステムの脆弱性を発見し、悪用する能力を評価するため、「ExploitGym」と呼ばれるAI攻防テスト用のプラットフォームを開発している。OpenAIのAIエージェントは当時、このテストを受けていた。

OpenAIはその後、声明を更新し、今回の問題は近く一般公開を予定している新モデルに関するものではないと説明した。

一方、調査の結果、一部のAIモデルがインターネット上に公開していたアカウントの認証情報を自ら探し出し、使用していたことが分かった。今回の事案では、4つの異なるサービス上にある4つのアカウントが関係していたという。

OpenAIは今後も、高度なAIシステムがもたらすリスクの把握と評価を進め、安全対策を強化するとしている。

「AI開発のペースを落とす必要も」

今回の事案を受け、OpenAIは最先端モデルの研究開発の進め方についても見直している。

OpenAIの最高経営責任者、アルトマン氏はポッドキャスト番組で、同社が一部モデルの訓練を一時停止し、安全対策を改めて検討していることを明らかにした。

アルトマン氏は、AIの能力が急速に向上するなか、将来は技術開発のペースを緩め、社会が安全対策や管理体制を整えるための時間を確保する必要が生じるとの考えを示した。

より高度なAIがもたらす新たなリスクに対応するには、AIの進歩に社会の備えを追いつかせる必要があるとの認識だ。

アルトマン氏は現在、ワシントンを訪問しており、ホワイトハウスや財務省、商務省の当局者、与野党の連邦議会議員らと会談する見通しだ。

一方、OpenAIは、新世代の高性能AIモデルの一般公開について、アメリカ政府の承認を得るため働きかけを続けている。

AI企業の従業員1100人超　アメリカ政府に対策を要請

こうしたなか、OpenAI、Anthropic、Meta、Googleなどのテクノロジー企業で働く1100人を超える従業員が共同声明を発表し、アメリカ政府に対し、最先端AIを管理するための技術や制度を国際協力によって整備するよう求めた。

声明は、最先端AIを秩序ある形で発展させるため、国際的な管理体制を構築することも呼びかけている。

ロイターによると、「Pacing the Frontier」と題したこの取り組みは、AIの安全性と管理体制の整備に取り組む米非営利団体Guidelight AI Standardsと、AI政策団体Encode AIが共同で立ち上げ、支援している。

署名者には、Anthropicの最高経営責任者、ダリオ・アモデイ氏、OpenAIの首席科学者、ヤクブ・パホツキ氏、MetaのAI研究担当副社長、ドーン・ソン氏らが名を連ねた。

公開書簡は、最先端AIの能力が急速に向上する一方、現在の安全対策や管理、監督の仕組みがその進歩に追いつかなくなる可能性があると指摘した。

その上で、AIの発展に社会の安全対策を追いつかせるため、最先端AIの管理に必要な技術や制度を国際協力によって整備するようアメリカ政府に求めた。

OpenAIはXへの投稿で、将来的には最先端AIモデルの能力向上が極めて速くなり、社会が安全対策や管理体制を整える時間を確保するため、世界全体でAI開発のペースを調整する必要が生じるとの見方を示した。

Anthropicも、前月に公表した、AIが自らの能力を繰り返し向上させる「再帰的自己改善」に関する研究を挙げ、社会が高度なAIに備える時間を確保するため、最先端AIの開発ペースを適切に調整できる技術や制度を整備すべきだと表明した。

また、エヌビディアは7月27日、Adobeやサイバーセキュリティー企業CrowdStrikeなどと企業連合を設立し、AIの安全性やサイバーセキュリティーに関する技術を共同で開発すると発表した。

テクノロジー業界でAIの安全性を巡る連携が加速していることを示す、最近の動きの一つとみられている。