この解決策は目的を達成していません。ユーザープロンプト用のプロンプトシールドは、ユーザーがプロンプト自体を通してモデルを直接操作しようとする試みを検出するように設計されています。このシナリオでは、悪意のある指示はアップロードされた画像内に埋め込まれ、抽出された画像テキストを通してモデルのコンテキストに導入されます。
そのパターンは、単なる直接的なユーザープロンプト攻撃ではなく、間接的なプロンプト挿入またはドキュメント攻撃である。
マイクロソフトのプロンプトシールドに関するガイダンスでは、ユーザープロンプト攻撃とドキュメント攻撃を区別しており、ドキュメント攻撃とは、提供されたドキュメントやサードパーティのコンテンツに埋め込まれた有害な指示を伴う攻撃であると述べています。
ユーザーが安全でない画像をアップロードできるため、このソリューションは不完全です。Azure AI Content Safetyには、画像内の有害なコンテンツを検出し、さまざまなモダリティでのモデレーションをサポートする画像APIが含まれています。完全な対策としては、安全でないビジュアルコンテンツに対する画像モデレーションと、ドキュメント攻撃に対するプロンプトシールド、そしてオプションでスポットライト機能を組み合わせることで、OCRで生成されたテキストや埋め込まれた画像テキストを信頼性の低いコンテキストとして扱うことができます。
ユーザープロンプトのみを対象としたプロンプトシールドでは、安全でない画像や、それらの画像から抽出された隠された指示を確実にブロックすることはできません。参考トピック：Azure AI コンテンツセキュリティ、プロンプトシールド、ユーザープロンプト攻撃、ドキュメント攻撃、画像モデレーション、マルチモーダルセキュリティ。