AI を保護するための Google フォーム専任の AI レッド チーム

Aug 02, 2023

Google は、機械学習 (ML) システムによってもたらされる特有のセキュリティ課題に対処するために、専門の AI レッド チームを設立しました。 AI レッド チームは、AI 駆動テクノロジー内の脆弱性を調査して明らかにすることに重点を置いています。 従来のレッド チームとは異なり、AI レッド チームでは機械学習テクノロジーについての深い理解が必要です。 これは、システムにハッキングしてモデルを汚染できる個人のスキルを組み合わせたものです。 これらのスキルを組み合わせることで、チームは AI の導入を効果的に保護できます。

AI レッド チームは、この分野での新しい敵対的研究を綿密に追跡し、Google が AI を自社製品に統合する場所を監視します。 彼らは、特定の目標を念頭に置いて、敵の攻撃をシミュレートする演習を優先します。 これらの演習の結果は文書化され、関係者と共有されるため、明らかになった問題に対処して解決できるようになります。 チームは、これらの演習から学んだ教訓を応用して、すべての製品のセキュリティを向上させる幅広いアプローチを採用しています。

AI の導入をターゲットにするために、AI レッド チームは、シミュレートされた攻撃者、その能力、および目標を説明するシナリオを設定します。 彼らは、脅威インテリジェンスと空間の理解に依存して、現実的な攻撃シナリオを作成します。 セキュリティのレッド チームと同様に、目標を達成するには複数の手順が必要になることがよくあります。

現実的な敵対シミュレーションを作成するには、AI レッド チームと AI 専門家の協力が不可欠です。 AI レッド チームはセキュリティ レッド チームと協力して、特定の演習に必要な特定の内部アクセスを取得する場合があります。 たとえば、セキュリティ レッド チームが従業員を侵害して内部システムにアクセスし、AI レッド チームが ML モデルをターゲットにしてバックドアを挿入する可能性があります。

攻撃によっては簡単に修正できない場合があるため、レッド チームの調査結果に対処するのは困難な場合があります。 Google はユーザーのセキュリティとプライバシーを優先しており、安全に実行できない場合は新機能をリリースしません。 AI レッド チームは、社内の研究チームと緊密に連携して、特定された問題に対処するための新しいアプローチを開発します。 アクセス制限や入出力検証などの従来のセキュリティ緩和策も、リスクを軽減するのに効果的です。 AI レッド チームの取り組みは、ML の安全性に対する可視性と投資の促進に役立ちます。