書式ベースのロール識別を悪用したCoTロール偽装によるプロンプトインジェクション

LLMはsystemやassistantの推論などのロールタグを、安全な認証機構ではなく文章スタイルや書式から推測しているため、攻撃者は内部のchain-of-thought/ロール書式を偽装することで、注入したコンテンツを信頼された内部推論であるかのように見せかけられる。これにより従来のジェイルブレイク手法より大幅に高い成功率で有害な出力を誘発できる。

関連する事例