自動実行プログラム、botが社会にもたらす影響の実態を追ったITmedia NEWSでの拙著の連載、「迷惑bot事件簿」を2019年に休止してから、かれこれ5年が経った。残念ながら、人気の商品やチケットの高額転売を企図して買い占めを行うbotは、日本だけでなく世界中でいまだ暗躍を続けている。
5年をへたWebを取り巻く環境の変化の中、さらに巧妙さを増したスクレイパーと呼ばれるbotの実態と、それを検知する最新テクノロジーとの戦いの場で、いま何が起きているかを見ていこう。
●チケットの高額転売は根絶されたか？
botによる買い占めによって最も大きな被害を受けているのが、転売の対象として狙われやすい人気の商品やチケットの販売を取り扱っているサイトだ。
例えば、日本を含む世界中の航空会社のサイトには、チケットの予約を行うbotが押し寄せて、各社の悩みの種となっている。“転売ヤー”の操るbotは、複数のアカウントを使い、航空会社のセール開始時刻にあわせて空き座席やプレミアのつきそうな座席を一斉に抑えてしまう。
予約した座席のチケットはオークションサイトなどで高額転売し、航空会社のキャンセル費用が発生する期限ギリギリに売れ残り席を大量にキャンセルする。その結果、航空会社は空き座席の多い状態で飛行機を飛ばすことになり、大きな損失を被ってしまう。サイトにいつアクセスしても正規の価格で座席予約がとれない一般消費者も不利益を被ることになる。
一方、ライブや演劇、スポーツなどのイベントチケット販売についてはどうだろう。国内では、2019年6月に「施行特定興行入場券の不正転売の禁止等による興行入場券の適正な流通の確保に関する法律」（チケット不正転売禁止法）が施行され、日時と場所、入場資格者か座席が指定されており、不正転売の禁止が明記されたチケット（電子チケットを含む）「特定興行入場券」が流通するようになった。
法律施行後、botを操ってチケットを買い占めていた主な転売サイトが閉鎖され、表だったイベントチケットの不正転売は終息したかのように見える。しかし実際には表面上見えなくなっただけで、SNSやメッセージアプリを通して勧誘やチケットの取引が行われている。
法の成立に伴い、イベント会場でも入場時に本人確認が行われることが多くなり、仕組み上は他人にチケットを譲渡しても利用できないはずだ。しかしその監視の目をすり抜ける形で、転売チケットを使って良席を確保する手口が巧妙になっている。
それを可能にしているのは、本人確認を突破するために、転売などを利用して良席を含むチケットを複数確保しておくといった「コストを掛けた過度な“推し活”」。その結果、チケット販売上は満席にもかかわらず、後方の席はいつも空きの目立つ状態となる現象がしばしば起きているようだ。
●暗躍する「Webスクレイパー」
米Akamai Technologies（Akamai）が2024年7月に公開した調査結果によると、botのアクセス数は、2023年初頭から、全体的に緩やかに伸びている。その中で最も多くのアクセスを受け、顕著な増加を示しているのがコマース業界（小売、製造小売、運輸など）だ。先に挙げたチケットの販売以外にも、Eコマースサイトの人気の商品や限定商品は、在庫や予約品の買い占めbotに常に狙われている。
このような在庫の確認および買い占めや、サイト上で情報を自動的に集める目的で用いられるbotがWebスクレイパー（以下スクレイパー）だ。スクレイパーには、サーチ（検索）エンジンのクローラーのように、一般的にはサイトにとってアクセスに来てほしい“良性”のものもあるが、サーバに負荷をあたえ、一般のユーザーの利用体験を損なってしまう“悪性”のbotも存在する。過去には、中国製サーチエンジンのクローラーがサイト運営に支障を与えるほどの高頻度のアクセスを行い、問題になったこともあった。
同様に、頻繁に株価や為替などの金融情報を取得するスクレイパーや、サイトのスナップショットを保存する「Webアーカイバー」などもサービスの円滑な提供を阻害する原因となりうる。「このくらいのアクセス頻度なら大丈夫だろう」と、悪意なく考えてbotを使っていても、同じ考えで何千ものプログラムが24時間動作を続ければ、サーバの処理リソースは飽和してしまう。少なくとも、事業者は本来の何倍ものコストとシステムリソースを押し寄せる「望まないbot」のために負担している。
その他、目録化されたデータや記事、調査情報、さまざま分析データなどの有料／無料で提供されているデータに対して、botによるアクセスを繰り返すことでデータベースの中身をこっそり盗み取ろうとするスクレイピングも横行している。
検索などで数十件の単位なら誰もが閲覧できるデータであっても、まとまったデータの総体はその企業独自の資産に他ならない。その窃盗行為を阻止し、利用規約に違反したアクセスの証拠を抑えるためにも、スクレイパー対策は事業者にとって検討すべき施策だといえるだろう。
●スクレイピングbotの進化
ビジネスに被害をもたらす悪性のbotのなかでも、Eコマースサイトの商品やチケットの在庫チェックおよび買い占めを狙うスクレイパーには、サイト側が用意したbot対策を巧妙に回避する高度な手法が用いられるようになってきている。
Akamaiの調査で世界中のWebトラフィックを分析した結果、悪性botと判別されたbotのうち、37％が（botの検知が容易な）基本的なスクリプトを使用したbot、残りの63.1％が高度な技術を用いたbotが占めていることが判明した。つまり悪意のあるbotの6割以上が、bot検知を回避する高度な仕組みを持っていることになる。その内訳は、47.6％が高度なスクリプトを使用したbotで、15.5％が「ヘッドレスブラウザ」を用いたbotとなっていた。（下図）
近年、ChromeなどのWebブラウザは、コマンドラインでブラウザの機能を操れる「ヘッドレスモード」を備えている。これと「Selenium」などのブラウザ操作を自動化するツールを組み合わせたヘッドレスブラウザがWebスクレイピングによく用いられるようになってきている。
このようなスクレイパーは、サイト側からは普通にブラウザを使っているように見えるため、簡易なbot検知ツールが判別に用いているデバイス／OSフィンガープリントや、JavaScriptを用いた簡単な検知の仕組みだけでは、botか人間によるアクセスかの判定が難しくなってきている。これに加えて、人間に似た振る舞いを再現するなど、現在のスクレイパーの用いるbot検知策の回避手法は高度で洗練されたものに進化している。
●進化したスクレイパーに対抗する新技術
このようなスクレイパーを、ブラウザを操作するユーザーのマウスの軌跡などから「人間らしさ／botらしさ」を分析する不正ログインbot用の対策ソリューションで検知する策は現在でも有効だ。しかし、コアとなる技術の実装から約7年がたち、スクレイパーの進化に伴って細かなチューニングを要するケースが増えてきたため、新たなイノベーションが求められていた。
そこで新たな技術基盤で開発された対策ソリューションでは、ヘッドレスブラウザの検知能力を強化。さらに、ページ遷移などのユーザーがサイト上で取る一連のふるまいなどを、AIと統計的手法を用いて繰り返し評価することで、高度なスクレイパーに特有のうごきを高精度に判別することを可能にしている。
この最新技術を用いたスクレイパー対策は、日本を含む世界中の航空会社、旅行関連のサイトや、Eコマースサイト、価値あるビジネスデータを提供するサイトなどですでに利用が始まっている。あるサイトでは、それまで短時間に何百件と起きていた不正な予約件数がゼロになり、買い占めの撃退に成功したという。
新たな検知の仕組みが実装可能になった背景には、最新のクラウド技術の貢献も大きい。スクレイパー特有のアクセスを見分け、アクセス中にリアルタイムに阻止のアクションをとるには、高度なAIの処理を低遅延で繰り返す必要があるが、そのワークロードを世界中に分散配置して処理する「エッジネイティブアプリケーション」として設計することで、これまでの集中型クラウドでは実現不可能であった技術の実装を可能にしている。
●botと ”共存する” 未来のために
スクレイピング行為を無断で行うbotを法的に規制することは現状では難しい。従って、スクレイパーがもたらすさまざまな悪影響からビジネスやブランドを保護するためには、それぞれの事業者がそのリスクを認識し、自衛する仕組みを磨き続ける必要がある。botを操る側の技術は日々進化しているが、それを上回るべくbot検知テクノロジーも常にアップグレードし続けている。
今後スクレイパーは、生成AIの学習のための情報取り込みなどにも多用されていくだろう。それらを含め、さまざまなbotの良性／悪性を判断するのは、結局のところ価値あるサービスを提供している事業者だ。
そのためにまず、botの特性を見分けて可視化できる “テクノロジーによる目” を手にすることの重要性が増している。その目を養ったうえで、サービスに押し寄せているbotをバランスよく円滑に制御できる力をつけていく取り組みこそが、botと共存する未来のために求められるようになるだろう。