Cloudflareはスイッチを1つ切り替えました。新しいドメインはデフォルトでAIクローラーをブロックします。

実際に提供される内容：
> 新規登録ごとにデフォルトでブロック（オプトアウトではなくオプトイン）
> 1クローリングごとに課金するので、出版社がリクエスト単位でAI企業から料金を請求できる
> ボットごとの制御により、検索は許可するが学習スクレイパーは拒否できる
巨大なWebの一部の前にあるプロキシが、「無料でスクレイピングできる」ことを例外にし、常態ではなくしました。