AIモデルの使用者を標的とした3つの攻撃方法の例

画像提供：マイナビニュース

アプリケーションやサービスの開発にAIを活用することには多くのメリットがあるが、その一方で、悪意を持った攻撃者たちも積極的にAIを活用していることを忘れてはいけない。特に、攻撃がエンドユーザーだけでなくAIを利用する開発者を標的にして行われることもある点には注意が必要だ。

Mend.ioがこのほど、「Hallucinated Packages, Malicious AI Models, and Insecure AI-Generated Code」において、サイバー攻撃につながる可能性のある3つの典型的なAIモデルの利用例を紹介した。

○幻覚スクワッティング

オープンソースソフトウェア（OSS）を標的とした攻撃の一つに「タイポスクワッティング」と呼ばれるものがある。これは著名なOSSと似た名前の偽で悪意のあるソフトウェアを用意し、ユーザーが誤って利用するのを狙う攻撃手法である。タイポスクワッティングは、広告ジャックや検索エンジンのSEO対策と組み合わせることでより大きな効果を発揮する。

生成AIに関しては「幻覚スクワッティング（Hallucination Squatting）」と呼ばれる似た手法が観測されている。ChatGPTなどの生成AIは、ユーザーの質問に対してしばしば実在しない組織やソフトウェアなどの情報を返すことがある。攻撃者は、生成AIが返すこのような偽の名前を敢えて使用して悪意のあるコードをソフトウェアを公開する。あとは、生成AIに誘導されたユーザーを待つだけで、悪意のあるコードをばらまくことができる。

○悪質なAIモデル

AIモデルそのものに悪意のあるプログラムが仕込まれているケースもある。機械学習アプリケーションのための各種ツールやAIモデルの共有プラットフォーム「Hugging Face」では、依然として多くの悪意のあるAIモデルが発見されているという。ソフトウェアライブラリの共有プラットフォームに悪意のあるプログラムを忍ばせるのはよく知られた攻撃手法だが、AIモデルでも同様のリスクを考慮しなければならない。
○脆弱性のあるコードの生成

コード生成AIはプログラマーの生産性を大幅に向上するが、AIが生成するコードにはセキュリティ上の脆弱性が含まれている可能性を考慮しなければならない。本来、AIが生成したコードを実務で利用する際は、そのコードの中身を十分に精査する必要がある。しかしMend.ioは、AIの助けを最も活用しているのは、与えられたコードを精査できない経験の浅い開発者であることを指摘している。
○懐疑的になることが重要

これらの3つの例は、経験が浅い開発者ほど騙される可能性が高くなる。そのため、AIによって生成されたかどうかに関係なく、サードパーティのコードは十分に懐疑的に扱うように繰り返しチームに注意を促すことが重要だとMend.ioは警告している。
（杉山貴章）