
Explanation:

プロンプトインジェクションは、生成型AIのセキュリティリスクの一つで、攻撃者が(テキスト、ドキュメント、ウェブページ、ユーザー入力などに隠された)指示を挿入し、アシスタントの意図した動作を上書きまたは操作するものです。これにより、ポリシー制御の無視、安全でない出力の生成、機密情報の漏洩など、意図しない動作が発生する可能性があります。生成型AIシステムは自然言語の指示に従うため、適切な対策が講じられていない限り、悪意のあるコンテンツを優先するようにソーシャルエンジニアリングされる可能性があります。そのため、プロンプトインジェクションはデータ漏洩(例えば、信頼できる情報源から機密コンテンツを抽出しようとするなど)を引き起こしたり、モデルの動作をリダイレクトする有害な指示を埋め込んだりする可能性があります。Microsoftのような企業環境では、
365 Copilotにおける対策としては、グラウンディング境界の設定、権限の制限、コンテンツのフィルタリング、および指示の階層化(システムポリシーがユーザー指示よりも優先される)などが挙げられます。ビジネスガバナンスの観点からは、ユーザーは信頼できない入力(メール、ドキュメント、Webテキストなど)を潜在的に悪意のあるものとして扱い、意思決定にAI出力を使用する際には、最小権限のアクセスと検証を適用する必要があります。