Mengapa Situs Berita Besar Seperti BBC hingga The New York Times Memblokir AI Bot?

Jika Anda pernah mencoba menanyakan sesuatu kepada ChatGPT, Gemini, atau Perplexity tentang berita terbaru dan mendapati jawabannya tidak merujuk langsung ke situs Reuters, The New York Times, atau BBC, itu bukan kebetulan. Di balik layar, hampir semua media besar dunia sudah secara aktif memasang “gerbang penjaga” digital yang menolak kehadiran robot AI tertentu di situs mereka.

Fenomena ini bukan sekadar riak kecil di dunia teknologi, melainkan pergeseran besar dalam relasi antara industri media dan industri kecerdasan buatan, sebuah pergeseran yang dampaknya juga dirasakan oleh siapa pun yang bergantung pada trafik organik, termasuk para praktisi SEO.

Dalam kesempatan ini kita akan mengulas beberapa alasan mengapa fenomena pemblokiran ini terjadi, lengkap dan berdata.

AI Bukan Kasus Sporadis, Melainkan Fenomena Industri

Untuk memahami betapa seriusnya isu ini, mari kita lihat datanya. Sebuah analisis terhadap hampir 100 situs berita terbesar di Amerika Serikat dan Inggris menemukan bahwa 79% dari mereka memblokir setidaknya satu crawler AI yang digunakan untuk melatih model, sementara 71% juga memblokir bot AI yang digunakan untuk pengambilan data secara langsung atau live retrieval. Dalam daftar situs yang memblokir seluruh bot AI yang diteliti, tercatat nama-nama besar seperti BBC, The New York Times, The Telegraph, Sky News, AP News, Wall Street Journal, dan ABC News.

Tren ini juga tumbuh sangat cepat. Data menunjukkan bahwa tingkat pemblokiran GPTBot milik OpenAI di antara 1000 situs teratas dunia melonjak dari sekitar 5% ketika crawler tersebut baru diluncurkan pada Agustus 2023, menjadi 35,7% hanya setahun kemudian. Riset lain yang menganalisis lebih dari seribu situs berita di seluruh dunia menemukan bahwa lebih dari separuh (54,2%) publisher berita telah menolak akses setidaknya satu crawler berorientasi AI, dengan hampir separuh secara spesifik memblokir GPTBot.

Gerakan ini pun dimulai lebih awal dari yang banyak orang kira. The New York Times, CNN, Reuters, dan ABC Australia sudah bergerak cepat memblokir GPTBot sejak Agustus 2023, hanya beberapa hari setelah OpenAI mengumumkan keberadaan crawler tersebut ke publik.

Perspektif Eksternal: Mengapa Media Merasa Dirugikan oleh AI Bot

1. Ketimpangan Nilai Tukar (Value Exchange) yang Ekstrem

Inti dari keberatan para publisher sebenarnya sederhana: mereka merasa memberi jauh lebih banyak daripada yang mereka terima kembali. Direktur SEO The Telegraph pernah menyampaikan pandangan bahwa para penerbit memblokir bot AI karena hampir tidak ada pertukaran nilai yang adil, sebab model bahasa besar tidak dirancang untuk mengirim trafik rujukan, padahal media tetap membutuhkan trafik itu untuk bertahan hidup.

Bayangkan analogi berikut: sebuah restoran mengundang seorang food blogger terkenal untuk mencicipi semua menu andalannya secara gratis, dengan harapan sang blogger akan merekomendasikan restoran tersebut kepada para pengikutnya. Namun yang terjadi justru sang blogger menuliskan ulang seluruh resep, menyajikannya di platform miliknya sendiri, dan pengikutnya tidak pernah lagi perlu mampir ke restoran aslinya karena semua yang mereka butuhkan sudah tersaji lengkap. Itulah kurang lebih yang dirasakan para penerbit berita terhadap chatbot AI: konten mereka “dicicipi”, diramu ulang, lalu disajikan langsung kepada pengguna tanpa perlu mengklik ke sumber asli.

Data mendukung kekhawatiran ini. Riset menunjukkan bahwa rasio crawl-to-refer OpenAI, yakni perbandingan antara seberapa banyak konten yang “dimakan” oleh crawler dibandingkan trafik yang dikembalikan ke situs asal, hanya membaik 10,4% antara Januari hingga Juli 2025, dan itu pun disebut sebagai pencapaian yang relatif lebih baik dibanding platform AI lain. Dengan kata lain, mesin AI mengambil jauh lebih banyak daripada yang mereka kembalikan dalam bentuk kunjungan nyata ke situs berita.

2. Sengketa Hak Cipta yang Serius dan Bernilai Miliaran Dolar

Selain isu trafik, ada persoalan yang jauh lebih fundamental: hak cipta. Kasus paling terkenal adalah gugatan The New York Times terhadap OpenAI dan Microsoft yang diajukan pada akhir Desember 2023. Dalam gugatannya, The Times menuduh kedua perusahaan tersebut membangun model bisnis berbasis pelanggaran hak cipta secara masif, dan menyatakan bahwa sistem AI mereka digunakan untuk membuat banyak reproduksi dari kekayaan intelektual The Times demi melatih model GPT yang mengeksploitasi ekspresi berhak cipta di dalamnya.

Yang membuat kasus ini semakin serius, gugatan tersebut menyertakan banyak contoh nyata di mana GPT-4 menghasilkan versi teks yang hampir identik dengan artikel asli The Times, termasuk kasus spesifik di mana software OpenAI menghasilkan teks yang nyaris sama persis dengan artikel The Times tentang praktik pinjaman predator di industri taksi New York City.

Pada Maret 2025, kasus ini mencapai titik penting ketika seorang hakim federal menolak permintaan OpenAI untuk membatalkan gugatan tersebut, sehingga klaim utama pelanggaran hak cipta dapat berlanjut ke tahap berikutnya. Ini menunjukkan bahwa argumen “fair use” yang diajukan perusahaan AI tidak serta-merta diterima begitu saja oleh sistem peradilan, dan potensi kerugian finansial bagi perusahaan AI bisa sangat besar mengingat hukum hak cipta federal memberikan denda hingga 150.000 dolar AS untuk setiap pelanggaran yang dilakukan secara sengaja.

3. Resiko Reputasi Akibat Halusinasi AI

Faktor lain yang sering luput dari perhatian publik awam adalah risiko reputasi. Media besar membangun kredibilitasnya selama puluhan bahkan ratusan tahun. Ketika chatbot AI berhalusinasi, alias menghasilkan informasi yang salah namun mengatasnamakan sumber tertentu, hal ini bisa merusak reputasi yang telah dibangun susah payah. Dalam kasus The New York Times, gugatan mereka bahkan memasukkan klaim baru dan cukup unik bahwa reputasi mereka dirugikan ketika model OpenAI berhalusinasi, mengarang informasi, dan secara keliru mengaitkannya dengan The Times.

Analoginya seperti seorang juru bicara yang tiba-tiba muncul mengatasnamakan sebuah perusahaan besar, memberikan pernyataan yang keliru, namun publik tetap mempercayainya karena mengira itu benar-benar berasal dari perusahaan tersebut. Bagi institusi media yang modal utamanya adalah kepercayaan publik, risiko semacam ini sangat serius untuk diabaikan.

Perspektif Internal: Kalkulasi Bisnis di Balik Ruang Redaksi

1. Ancaman Terhadap Model Bisnis Berbasis Trafik dan Langganan

Media besar pada dasarnya menjalankan dua model bisnis utama: iklan digital yang bergantung pada volume trafik, dan langganan berbayar yang bergantung pada eksklusivitas konten berkualitas. Kedua model ini terancam ketika chatbot AI bisa merangkum, bahkan dalam beberapa kasus mereplikasi, isi artikel secara nyaris utuh tanpa pengguna perlu membuka situs asli atau membayar langganan.

Gugatan The New York Times secara eksplisit menyoroti hal ini terkait produk Wirecutter, layanan ulasan produk milik mereka, dengan menyebutkan bahwa keluaran GPT menghapus tautan ke produk yang direkomendasikan oleh Wirecutter, sehingga menghilangkan kesempatan The Times memperoleh pendapatan rujukan dan justru menguntungkan pihak lain.

2. Pertimbangan Ekonomi Jangka Panjang Industri Berita

Perlu dipahami bahwa industri media sudah bertahun-tahun bergulat dengan penurunan pendapatan iklan tradisional. Ketika platform digital sebelumnya seperti media sosial mulai mengurangi prioritas konten berita di linimasa pengguna, banyak penerbit yang sebelumnya bergantung pada trafik rujukan dari platform tersebut mengalami penurunan signifikan. Pengalaman traumatis inilah yang membuat mereka jauh lebih hati-hati ketika teknologi baru seperti chatbot AI datang menawarkan “kerja sama” tanpa kejelasan model kompensasi yang adil sejak awal.

3. Beban Infrastruktur dari Lonjakan Trafik Bot

Ada juga faktor teknis yang murni bersifat operasional: beban server. Situs media termasuk yang paling sering dikunjungi crawler AI dibandingkan jenis situs lain. Data menunjukkan bahwa situs media dan penerbitan 7 kali lebih mungkin menerima trafik bot AI dibandingkan situs web pada umumnya, dan secara keseluruhan lonjakan trafik bot yang didorong AI tercatat naik 300% dari tahun ke tahun berdasarkan pengamatan salah satu penyedia jaringan CDN. Bila dibiarkan tanpa kontrol, lonjakan ini bisa membebani server, memperlambat akses bagi pembaca manusia sungguhan, dan menambah biaya infrastruktur tanpa manfaat finansial yang sepadan.

Tidak Semua Sepakat: Perdebatan Apakah Blokir Ini Benar-benar Menguntungkan

Menariknya, langkah memblokir AI bot ternyata bukan tanpa risiko dan perdebatan. Sebuah studi dari Rutgers Business School dan Wharton School yang dipublikasikan akhir Desember 2025 justru menemukan hasil yang mengejutkan. Studi tersebut mendokumentasikan bahwa tindakan memblokir crawler AI melalui robots.txt justru menurunkan trafik total sebesar 23% dan trafik manusia sebesar 14% bagi penerbit besar.

Studi yang sama juga menemukan bahwa penurunan trafik penerbit berita sebenarnya baru mulai terjadi pada Agustus 2024, bukan langsung setelah peluncuran ChatGPT, sebuah temuan yang menantang narasi bahwa ChatGPT atau AI Overview dari Google langsung menyebabkan kejatuhan trafik secara instan.

Sekitar 80% dari penerbit berita teratas dunia memang memblokir akses model bahasa besar menggunakan standar file robots.txt, namun temuan ini menunjukkan bahwa hubungan sebab-akibat antara blokir dan pelindungan trafik tidak sesederhana yang diasumsikan banyak pihak. Ini mengingatkan kita pada sebuah paradoks, yaitu menutup pintu memang bisa mencegah “pencuri” masuk, tetapi jika pintu itu juga menjadi satu-satunya jalan bagi rekomendasi dan sitasi yang membawa pengunjung baru, menutupnya rapat-rapat bisa jadi menutup pintu rezeki itu sendiri.

Efektivitas Blokir yang Dipertanyakan: Sebuah Ironi Bersifat Teknis

Ironisnya lagi, banyak pihak dalam industri mempertanyakan apakah pemblokiran lewat robots.txt ini benar-benar efektif secara teknis. CEO IAB Tech Lab bahkan menyampaikan dalam sebuah forum industri bahwa pihaknya telah menelusuri sebagian besar perintah publisher kepada bot AI dan menemukan banyak kesalahan ketik atau kesalahan konfigurasi pada file robots.txt, yang berarti perintah tersebut mungkin tidak akan dipatuhi, meskipun sebenarnya kepatuhan itu sendiri tidak pernah bersifat wajib.

Robots.txt pada dasarnya hanyalah “permintaan sopan”, bukan tembok pertahanan yang benar-benar mengunci akses. Seorang praktisi menganalogikannya dengan tepat: menerapkan blokir lewat robots.txt ibarat memasang papan “Dilarang Masuk” yang mampu mencegah pihak yang jujur, tetapi tidak benar-benar menghentikan penyusup yang memang berniat masuk. Beberapa crawler bahkan dilaporkan tidak sepenuhnya mematuhi aturan ini. Riset mengungkap bahwa Perplexity, misalnya, dituding mengabaikan robots.txt sama sekali, sementara laporan keamanan bot industri menunjukkan bahwa hanya sekitar 8,44% situs yang benar-benar berhasil memblokir seluruh permintaan bot yang tidak diinginkan.

Bukan Sekadar Menolak, Sebagian Media Memilih Jalur Negosiasi

Penting dicatat bahwa tidak semua media memilih jalur konfrontasi. Beberapa penerbit besar justru memilih jalur kerja sama komersial dengan menandatangani kesepakatan lisensi. Associated Press misalnya, mengumumkan kesepakatan lisensi dengan OpenAI pada Juli 2023 yang memungkinkan perusahaan tersebut menggunakan sebagian arsip berita AP untuk melatih model AI, sementara Axel Springer, penerbit Business Insider, Politico, Die Welt, dan Bild, menandatangani kesepakatan terpisah pada Desember 2023 yang mengizinkan ChatGPT merangkum konten dari publikasi mereka dengan imbalan biaya lisensi. OpenAI sendiri menyebut bahwa lebih dari 20 publikasi termasuk Axios, The Atlantic, Condé Nast, Hearst, News Corp, dan Vox Media telah menjalin kemitraan dengan mereka untuk menjangkau audiens baru dan membangun produk baru.

Ini menunjukkan bahwa keputusan memblokir atau tidak sebenarnya adalah kalkulasi bisnis strategis, bukan sekadar sikap penolakan emosional terhadap teknologi baru. Media dengan daya tawar dan arsip konten yang sangat besar cenderung mampu menegosiasikan kompensasi, sementara yang lain memilih mempertahankan kendali penuh dengan menutup akses sepenuhnya.

Implikasi bagi Praktisi Digital Marketing dan SEO

Bagi Anda yang berkecimpung di dunia SEO dan digital marketing, fenomena ini membawa beberapa pelajaran penting:

• Ekosistem pencarian sedang bertransformasi. Kemunculan AI Overview di Google dan jawaban langsung dari chatbot mengubah cara pengguna mencari informasi, sehingga strategi SEO perlu beradaptasi, tidak lagi hanya berfokus pada peringkat tradisional, tetapi juga bagaimana konten Anda tampil dan dikutip dalam jawaban AI (dikenal dengan istilah Generative Engine Optimization atau GEO).
• Kontrol atas crawler menjadi keputusan strategis, bukan sekadar teknis. Setiap bisnis perlu mempertimbangkan dengan cermat, bot AI mana yang layak diberi akses (karena berpotensi mendatangkan visibilitas atau kutipan) dan mana yang sebaiknya dibatasi (karena murni mengambil konten tanpa nilai balik yang jelas).
• Kualitas dan orisinalitas konten menjadi semakin krusial. Di tengah derasnya konten yang dihasilkan AI, konten yang otentik, mendalam, dan mengandung data atau perspektif unik justru memiliki nilai tawar yang lebih tinggi, baik di mata pembaca manusia maupun di mata algoritma pencarian.
• Diversifikasi trafik menjadi keharusan. Ketergantungan berlebihan pada satu sumber trafik, baik itu pencarian organik konvensional maupun kutipan AI, berisiko tinggi mengingat lanskap ini masih terus berubah dan diperdebatkan.

Membangun Pondasi Digital yang Kokoh di Tengah Ketidakpastian

Perdebatan antara media besar dan perusahaan AI ini pada dasarnya adalah cerminan dari pertanyaan yang jauh lebih besar: bagaimana nilai dari konten digital seharusnya dihargai di era kecerdasan buatan. Belum ada jawaban final, dan kemungkinan besar lanskap ini akan terus berubah seiring perkembangan regulasi, putusan pengadilan, dan negosiasi bisnis antara kedua belah pihak.

Namun satu hal yang pasti, di tengah ketidakpastian ini, bisnis yang memiliki fondasi digital kuat, strategi konten yang matang, serta kemampuan beradaptasi terhadap perubahan algoritma pencarian dan perilaku AI, akan menjadi pihak yang paling siap menghadapi masa depan.

Di sinilah peran agency jasa SEO yang kompeten menjadi sangat penting. SmartDigital, sebagai SEO agency yang selalu mengikuti perkembangan lanskap pencarian secara ketat, dapat membantu bisnis Anda menyusun strategi yang tidak hanya relevan untuk hari ini, tetapi juga tangguh menghadapi pergeseran ekosistem digital ke depan, mulai dari optimasi teknis, strategi konten yang otentik dan bernilai tinggi, hingga penyesuaian terhadap tren pencarian berbasis AI yang terus berkembang.

Jika Anda ingin memastikan bisnis online Anda tetap terlihat dan dipercaya, baik oleh mesin pencari tradisional maupun ekosistem AI yang baru muncul, SmartDigital siap menjadi mitra dalam perjalanan tersebut.

---

Sumber data dan referensi:

• Buzzstream, “Which News Sites Block AI Crawlers in 2025?”
• Press Gazette, “Eight in ten of world’s biggest news websites now block AI training bots”
• PPC Land, “OpenAI revises ChatGPT crawler documentation with significant policy changes”
• PPC Land, “Blocking AI crawlers backfired: news publishers lost 23% of traffic” (riset Rutgers Business School & The Wharton School, Desember 2025)
• Arc XP, “How AI Bots Crawl News Content: A Look at AI Trends and the Media Industry’s Response”
• Stytch, “How to block AI web crawlers: challenges and solutions”
• Wikipedia, “The New York Times v. Microsoft and OpenAI”
• CNBC, NPR, dan Fortune, pemberitaan seputar gugatan The New York Times terhadap OpenAI dan Microsoft
• OpenAI, “Reporting the facts about the New York Times’ lawsuit”