MALUKU UTARA — Mulai 15 September 2026, Cloudflare akan mengaktifkan pengaturan bawaan yang memblokir "mixed-use crawlers" — yakni program otomatis yang merangkap fungsi pencarian, pelatihan AI, dan agen — dari halaman situs yang menampilkan iklan. Kebijakan ini diumumkan langsung oleh perusahaan infrastruktur web asal Amerika Serikat itu pada Rabu (16/4/2026).
Perubahan ini berlaku secara default untuk pelanggan baru Cloudflare, situs baru yang dibuat oleh pelanggan lama, dan seluruh pelanggan paket gratis. Pemilik situs tetap bisa menyesuaikan pengaturan jika ingin mengizinkan akses crawler campuran.
Mengapa Cloudflare Mengambil Langkah Ini?
Cloudflare mencatat bahwa mayoritas lalu lintas internet kini sudah non-manusia. "Sekarang mayoritas lalu lintas di internet bukan berasal dari manusia, kami harus bertindak lebih jauh dan lebih cepat agar ekosistem yang berkelanjutan bisa muncul," ujar Matthew Prince, Co-founder dan CEO Cloudflare, dalam pernyataan resmi.
Pihaknya juga menyebut bahwa sebagian besar pemilik situs ingin konten mereka tetap ditemukan lewat pencarian dan layanan AI, tapi mereka juga ingin perlindungan agar kekayaan intelektualnya tidak diberikan secara gratis. Data Cloudflare menunjukkan lebih dari 50% lalu lintas perayapan dari crawler AI adalah permintaan ulang ke halaman yang tidak berubah — membuang bandwidth dan sumber daya komputasi.
Google Jadi Sasaran Tersirat
Cloudflare secara khusus menyoroti "mesin pencari terbesar di dunia" — yang jelas merujuk pada Google — karena memiliki akses sekitar "2x lebih banyak informasi" dibanding perusahaan AI lain. Menurut Cloudflare, raksasa pencarian itu membuat pelanggannya sulit untuk tetap bisa ditemukan tanpa data mereka ikut digunakan untuk keperluan AI.
Google sebelumnya telah membantah generalisasi ini. Perusahaan itu menyediakan bot khusus bernama Google Extended yang memungkinkan pemilik situs memilih keluar dari penggunaan konten untuk pelatihan AI dan produk seperti Gemini Apps serta Vertex API, tanpa memengaruhi posisi situs di hasil pencarian Google Search. Namun, bot utama Google (Googlebot) tetap merayapi situs untuk Search, termasuk fitur AI seperti AI Overviews dan AI Mode.
Dari Pay Per Crawl ke Pay Per Use
Cloudflare sebelumnya sudah meluncurkan marketplace "Pay Per Crawl" yang memungkinkan situs memungut biaya dari bot AI yang mengambil data. Kini, mekanisme itu berevolusi menjadi "Pay Per Use" — penerbit bisa menagih perusahaan AI ketika kontennya benar-benar menciptakan nilai, bukan hanya saat diambil.
Untuk mengimplementasikan model ini, Cloudflare menggandeng dua mitra awal: Ceramic.ai dan You.com. Jika penerbit memilih ikut serta, mereka akan dibayar ketika kontennya muncul di hasil pencarian AI Ceramic atau saat You.com mengakses konten premium mereka. Perusahaan AI lain juga bisa menyesuaikan model kerja sama ini sesuai kebutuhan masing-masing.
Langkah Cloudflare ini memberikan alat baru bagi penerbit konten — termasuk situs teknologi dan media di Indonesia — untuk mengontrol bagaimana karya mereka digunakan oleh perusahaan AI raksasa. Bagi pembaca tech-savvy, ini berarti ke depannya konten berkualitas dari situs berbayar atau beriklan mungkin tidak lagi bisa diakses secara gratis oleh model AI, kecuali ada kesepakatan bisnis di belakang layar.
