生成AIだますプロンプトインジェクションに脆弱性、情報流出招く恐れ

マイナビニュース / 2024年8月30日 12時51分

○スクリプトの実行

LangChainの実験的パッケージ「langchain-experimental」に含まれる「Vector SQL Database Chain Retriever モジュール」からプロンプトインジェクションの脆弱性が発見された。このモジュールは大規模言語モデルにSQLクエリ構築機能を提供するが、SQLの応答をPythonのeval関数を使用して応答する。

そのため、攻撃者はSQLの応答がPythonスクリプトになるようプロンプトを構築することで、任意のPythonスクリプトを実行させることができる。このセキュリティ脆弱性は「CVE-2024-21513」として追跡されており、すでに修正されている。

○結論

AIエージェントはそれ自体の実装に基づく脆弱性に加え、LLMが抱える脆弱性を内包することになる。このような脆弱性を回避するために、開発者は攻撃対象領域を検証し、サニタイズ、エスケープなどを適切に実装する必要がある。

SnykはLLMを使用したAI開発を支援し脆弱性を防止するため、Lakeraおよびオワスプ(OWASP: Open Web Application Security Project)と協力してセキュリティ標準「OWASP LLM Security Verification Standard | OWASP Foundation」を策定した。このセキュリティ標準を採用することで、LLMアプリケーションを適切に保護し、高度なセキュリティ標準を満たすことが可能とされ、積極的な活用が望まれている。
（後藤大地）