生成AIやLLMにより高度化するフィッシング、どう対抗するか 第1回 企業の生成AI活用におけるメリットとリスクとは

これらのモデルをベースに多くのサービスが提供されている。ChatGPTはGPT-3およびGPT-4がベースとなっており、そのほか、Microsoftのサービス「Copilot」やMetaの「Meta AI」などがある。複数のモデルを搭載するサービスもあれば、クラウドサービス以外にAPIで提供するサービスもあり、それぞれ異なる強みや特性を持つ。

一方で、生成AIへの懸念も増大している。生成AIは、例えば自己学習の際に誤った関連性を見いだしてしまうハルシネーションを引き起こし、学習データに存在しない内容の回答を出力してしまうことがある。また、生成AIを学習させるデータに既存の著作物やそれに類似するデータが混入していた場合、出力したデータが著作権侵害に該当してしまうことがある。個人情報や機密情報が混入した場合も同様だ。

犯罪への悪用も指摘されている。Hornetsecurityが発行した「2024年AIセキュリティレポート」では、ビジネスリーダーの45％が「AIがサイバー脅威ランドスケープを悪化させることを懸念している」と回答している。また、英国国家サイバーセキュリティセンター（NCSC）も、「AIはサイバー犯罪を民主化し、これまで熟練した敵にしかできなかった高度な攻撃を犯罪初心者でも行えるようにしている」と警鐘を鳴らしている。
生成AI悪用の可能性

生成AIは企業にとって非常に効果の高いツールであるが、サイバー犯罪者も生成AIを利用していることを忘れてはならない。ChatGPTをはじめ多くの生成AIモデルでは、悪用されないように制限を設けている。しかし、サイバー犯罪者は独自のパッチを作成してこの制限を回避している。この攻防も、サイバー犯罪者とセキュリティ対策の“イタチごっこ”の一つとなった。

以下、生成AIを悪用するケースを考えてみよう。
コード品質と開発生産性の向上

生成AIはプログラムのコードを書くこともできるが、マルウェアなど悪意のあるプログラムは生成できないよう制限されている。しかし、サイバー犯罪者は生成AIに独自に作成したパッチを適用することで、この制限を回避している。これにより、ランサムウェアを含む大量のマルウェアが生成される危険性があり、それはすでに起きている可能性もある。
フィッシングの巧妙化

以前のフィッシングメールは日本語の文章に不自然な部分が多くあり、違和感からフィッシングであることに気づけることが多かった。しかし、生成AIは自然な文章を生成できるため、フィッシングメールの文面にも違和感がない。しかも、一般的な文章であるため生成AIの制限に引っかかることがない。前述の「2024年AIセキュリティレポート」では、5社に3社がAIを悪用したフィッシング攻撃を最大の懸念事項に挙げている。
攻撃ターゲットの情報収集