Cloudflare は、AI の爬虫類へのデフォルトアクセスを締め、パブリッシャーのコンテンツ手数料に焦点を当てています。 同社は、広告ページ上のコンテンツをキャプチャし、検索、AIエージェンシー、モデルのトレーニングのために使用されるすべての「混在使用」爬虫類は、サイト所有者がセットアップ自体を変更しない限り、デフォルトで停止されることを示しています。

デフォルトは9月15日をインターセプト

この調整は、新規のCloudflareクライアント、既存のクライアントの新しいサイト、および既存の無料のユーザーに適用されます。 言い換えれば、この爬虫類は、サイトが積極的にアクセスを解放しない場合、将来的に同じ容量でコンテンツをキャプチャし続けることがより困難になります。

Cloudflareの判断は、検索エンジンによって収集され続け、選択したAIサービスで発見される多くのウェブサイトが、補償なしでトレーニングやプロキシサービスに直接使用されるコンテンツが望ましくないことです。

AIから切り離された検索

注意して、Cloudflareは、世界の最大の検索エンジンが、他のAI企業に利用可能な情報の約2倍を持っていることについて言及し、そのようなプラットフォームはAIに検索を結合し、検索露出を維持しながら、AIの使用を回避するためにサイトのために困難になることを示唆しています。

Googleは、過去の洗練された類似の主張を持っています。 公開位置は、WebサイトがトレーニングやGemini Apps、Vertex APIなどのAI製品に、Google Seachへの偏見なしにコンテンツが使用できるようにしないことを選ぶことです。 しかし、Googlebot自体は検索用のコンテンツをキャプチャし、AIの概要と検索結果のAIモードはこのシステムに依存しています。

利用料モデルを拡張

アクセス制御に加えて、Cloudflareはコンテンツフィードツールを宣伝しています。 以前はAIロボットの会社が導入したPay Per CrawlがPay Per Useに拡張されました。

Cloudflareによると、コンテンツがキャプチャされると新しいモデルは充電だけでなく、コンテンツが実際に値を生成するときの料金です。 最初のパートナーは、Ceramic.aiとYou.comでした。 出版社が参加することを選択すると、出版社は、コンテンツが陶磁器のAI検索結果に表示されるか、あなたの.comが有料コンテンツを呼び出すと、収入を受け取ります。

Cloudflareは、この変更が、パブリッシャーの帯域幅とコンピューティングの消費を減らすのに役立っていることも述べています。 同社のデータは、変更されていないページの重複キャプチャにAI爬虫類の流れの半分以上が費やされていることを示しています。 広告やサブスクリプション収入に依存するウェブサイトの場合、これはコンテンツが何度も読まれていることを意味しますが、必ずしも戻りません。