AIクローラーでインターネット経済がぶっ壊れるかもしれない話
フォレスト出版編集部の寺崎です。
先日、あるデータを目にして、思わずゾワッとしました。
インターネットの通信を世界規模で支えるCloudflareが、2026年7月の発表のなかで、ある一線を越えたことを明かしています。
「Webサイトへのアクセスの過半が、もう人間ではなくなった」
そんな、衝撃の事実です。
同社のCEOマシュー・プリンス氏が示したデータでは、6月初旬の時点でHTMLコンテンツへのアクセスの約57%が自動化された通信、つまりbotによるもので、人間はおよそ43%にとどまっていました。この「機械が人間を追い越すタイミング」は、当初の予測より１年早い出来事だったそうです。
「AIが人間よりも多くWebを読み始めた」
ニュースとしては、ただそれだけのことかもしれません。しかしながら、編集という仕事をしていると、これはただの技術トピックには見えない。ここで壊れかけているのは、30年続いてきたインターネットの「交換の仕組み」そのものかもしれないからです。
30年間続いてきたインターネット経済の仕組み
インターネットの経済は、ずっとシンプルな取引の上に成り立っていました。
たとえばGoogleは、Web上の記事やブログを巡回（クロール）して、中身を読み取ります。そして「これは参考になりますよ」と検索結果に並べ、興味を持った読者をそのサイトへ送り込んでくれる。訪れた読者は、ページの広告を目にしたり、記事を気に入って定期購読したり、紹介された商品を買ったりします。その一つひとつが、サイトを運営する側にとっての収入に変わっていく。
こうして、コンテンツを作って発信する側のなかで「見つけてもらうこと」と「稼ぐこと」が、同じ一本の線につながっていたわけです。だからこそ、みんなSEOに精を出していたわけです。
Cloudflareはこの関係を「30年間続いた取引」と表現しています。クロールさせる代わりに、送客してもらう。フェアな物々交換でした。出版社にとっても、書店にとっても、個人ブログにとっても、この交換があったからこそコンテンツを世に出す意味があった。少なくとも、参加するプレーヤーの利害がそれぞれ成立していました。
ところが、生成AIの登場でこの交換のバランスが急速に崩れ始めます。
「奪う量」と「返す量」の比率が崩壊しつつある
それを数字で可視化したのが、Cloudflareの「クロール・トゥ・リファー比率」という指標です。これは、あるAIがサイトを何ページ読み込んだかを、そのAIが送り返してきた読者の数で割ったもの。つまり「奪った量」対「返した量」の比率です。この比率をめぐるデータが、なかなか衝撃的でした。従来の検索エンジンであるGoogleは、およそ5前後。5ページ読むごとに1人を送り返している計算です。
ところがAIになると桁が変わります。ある時期の集計では、最も偏りの大きいAI事業者は、1人の読者を送り返すごとに数千から数万ページを読み込んでいました。つまり、サイトを読むだけ読んで、人はほとんど送り返していないんです。
「AIが人間の何万倍の速さで巡回している」といった言い方を目にすることがありますが、正確にはこれは速度の話ではありません。読み込む量と、返ってくる読者の量の、途方もない不均衡の話です。速く走っているのではなく、大量に持ち去って、ほとんど何も置いていかない。そういう構造だということです。
念のため付け加えておくと、これらの比率や「機械が過半を超えた」という数字は、いずれもCloudflare Radarという同社独自の観測に基づいています。世界中の膨大な通信を取り扱う事業者だからこそ取れるデータで、代わりになる大規模な観測源はほとんど存在しません。同時に、Cloudflareはこの後で触れる「AIクローラーへの課金」というビジネスを推進する当事者でもあります。数字そのものは信頼に足るものですが、語り手が中立の第三者ではないことは、頭の片隅に置いておく必要があります。
AIは史上最悪のフリーライダー？
では、なぜAIは読者を返さないのか。ここに構造の核心があります。
Cloudflareの分類によれば、AIによるクロールの過半は「学習（トレーニング）」目的です。モデルを賢くするために文章を吸い上げていく作業で、これは原理的に読者を送り返しません。書き手の記事はモデルの内部に溶け込みますが、その恩恵を受けた利用者が、元のサイトのURLを目にすることは、まずない。
さらに検索そのものの形が変わりつつあります。
かつての検索は、複数のリンクと抜粋を示して、利用者をどこかのサイトへ送り出すための入口でした。ところがAIが答えを要約して直接返す時代には、利用者はリンクをクリックしません。
独立系の調査機関であるPew Research Centerの2025年の調査では、AIによる要約が表示されたとき、利用者が出典リンクを踏む割合はわずか1%程度。通常の検索結果のリンククリック（要約なしで15%、要約ありでも8%）と比べても、大きく落ち込んでいました。
答えがその場で完結してしまえば、送り返す先の「サイト」がもはや必要とされないと考えるのは当然の帰結です。読み込みは増える一方、送客は細っていく。交換の片側だけが肥大して、もう片側が消えかけている。
これが、いま起きている構造変化の正体です。
「単位」を書き換える動き
そこで、この崩れた交換をどう建て直すかという試みがすでに始まっているようです。
Cloudflareは2025年7月に、AIクローラーに「1ページ読み込むごとに料金を払わせる」仕組みを打ち出しました。ところがそのちょうど１年後、2026年7月には考え方を一歩進めています。読み込んだ回数で課金するのではなく、そのコンテンツが実際にAIの答えに使われたときに、作り手へ対価を払う。「たくさん読まれたか」ではなく「役に立ったか」で払う、という発想への転換です。背景には、AIの読み込みの半分以上が、前回から中身の変わっていないページをもう一度取りに来ているだけ、という無駄があることも関係しているようです。
同社はさらに、2026年9月15日から、広告を載せているページでは学習目的などのクローラーを標準でブロックする方針も示しました（新しく登録するサイトなどが対象）。広告があるページは「人間に見てほしい場所」だから、そこはbotより人間の目を優先する、という考え方です。
これらに共通しているのは、「何に対してお金を払うのか」という、そのものさし自体を作り替えようとしていることです。何ページ読んだかでも、広告が何回表示されたかでもなく、その中身が誰かの役に立ったかどうかに価値を置き始めている。
巡回と送客で回っていた時代のものさしが、AIが答えを組み立てる時代には、もう合わなくなってきた。だから新しいものさしを作ろうとしている。これはWebでめぐる経済の、かなり根本的な作り替えといえるかもしれません。
それでも残る「コンテンツ側」のジレンマ
とはいえ、話はきれいには終わりません。
「AIに奪われるのが嫌なら、ブロックすればいいじゃん」と言いたくなりますよね。
ところがそこにも罠があります。ラトガース・ビジネススクールとペンシルベニア大学ウォートン・スクールの研究者ら発表した論文では、LLM向けクローラーを技術的に締め出したニュース系出版社が、6週間で週次トラフィックを約7%失ったという結果が報告されています。
搾取されるのが嫌でシャッターを下ろすと、今度はAIの答えのなかから自分の存在が消え、見つけてもらえなくなる。
奪われるのも困る。
消えるのも困る。
作り手はこの板挟みのなかにいます。
書籍の出版に引きつけて考えると、これは他人事ではありません。
もちろん、本の中身そのものがWebのクローラーに読み込まれているわけではありません。紙の本も電子書籍も、検索エンジンが巡回する場所の外にあります。
でも、本を「見つけてもらう」ための入口は、すっかりこちら側にあります。書名を検索したときの紹介記事、試し読み、書評、著者インタビュー、noteやSNSで発信する言葉……。
そうした本の周辺のテキストこそが、いままさに読み込まれ、要約され、AIの答えのなかに溶けていく。そして読者は、その答えで満足してしまえば、本のところまで戻ってきてはくれません。「検索で見つけてもらう」という前提そのものが、足元から作り替えられている。これはけっこうヤバい事態ではないでしょうか。
じゃあ、さて、どうするか。
読者と直接つながる線を自分たちの手でどう引き直すか。AIには要約できても代わりにはなれない一次情報や、著者の肉声を、どう届けるか。
答えはまだ出せません。ただ少なくとも、インターネット経済の仕組みがこれから劇的に変わるかもしれないという事実だけは、直視しておく必要があるでしょう。
▼関連記事はこちら
【編集部からのお知らせ】
フォレスト出版編集部では、お得な情報や最新情報をご案内する公式LINEを開設しています。【最新刊の第１章まで無料で読める】【イベント告知】【新刊情報】など、お得な情報をお届けしています。下記画像をクリックして、「友だち追加」してみてください。
