Mengenal crawler AI: bot untuk pencarian, pelatihan, dan pengambilan halaman, serta yang perlu diizinkan

Perusahaan AI menjalankan tiga jenis bot: crawler pencarian yang membangun indeks untuk ditelusuri asisten, crawler pelatihan yang mengumpulkan konten yang mungkin digunakan untuk melatih model, dan pengambil halaman yang membuka halaman karena diminta oleh pengguna. Google, OpenAI, Anthropic, dan Apple mendokumentasikan kontrol terpisah untuk pencarian dan pelatihan, sehingga Anda dapat tetap muncul dalam pencarian AI mereka sambil menolak penggunaan untuk pelatihan. Halaman crawler Bing milik Microsoft tidak mencantumkan kontrol pelatihan. Bagi sebagian besar bisnis berbasis keahlian, tujuannya adalah visibilitas.

Rincian berikut berasal dari dokumentasi masing-masing operator yang dibaca pada 22 Oktober 2026. Nama dan perilaku crawler berubah, jadi periksa halaman yang ditautkan sebelum mengedit robots.txt yang aktif.

Apa tiga tugas yang dapat dilakukan crawler AI?

Crawler pencarian adalah bot yang mengambil halaman untuk membangun indeks yang ditelusuri produk AI atau mesin pencari saat seseorang mengajukan pertanyaan. Mengizinkannya adalah syarat agar dapat dikutip, bukan janji: Google menyatakan pengindeksan dan penayangan tidak dijamin. Memblokirnya menghentikan pengambilan tersebut, tetapi setiap operator menjelaskan konsekuensinya secara berbeda, seperti dalam tabel.

Crawler pelatihan adalah bot yang mengumpulkan konten yang mungkin digunakan untuk melatih model generatif. Penolakan berlaku ke depan: Anthropic menjelaskan bahwa pemblokiran ClaudeBot memberi sinyal agar materi situs pada masa mendatang dikeluarkan dari dataset pelatihan.

Pengambil halaman yang dipicu pengguna adalah bot yang meminta satu halaman karena seseorang menanyakannya kepada asisten. Bot ini tidak menjelajahi web berdasarkan jadwalnya sendiri.

Token kontrol adalah nama di robots.txt tanpa crawler di baliknya. Artikel ini membahas Google-Extended dan Applebot-Extended. Anda menulis aturan untuk keduanya, tetapi tidak ada yang berkunjung dengan nama tersebut, sehingga Anda tidak akan menemukannya di log server. Google menyatakan Google-Extended "tidak memiliki string user agent permintaan HTTP tersendiri", dan Apple menyatakan "Applebot-Extended tidak merayapi halaman web."

Crawler mana melakukan apa, dan bagaimana masing-masing memperlakukan robots.txt?

Tujuan dan perilaku dalam tabel ini mengikuti penjelasan masing-masing operator, bukan laporan pelacak bot pihak ketiga.

Apakah memblokir pelatihan juga memblokir pencarian?

Untuk Google, OpenAI, dan Apple, tidak. Google menyatakan Google-Extended "tidak memengaruhi pencantuman situs di Google Search dan tidak digunakan sebagai sinyal peringkat di Google Search." OpenAI menyatakan setiap pengaturan robots.txt miliknya berdiri sendiri, dan Apple menyatakan halaman yang menerapkan disallow pada Applebot-Extended tetap dapat muncul dalam hasil pencarian. Ada dua catatan. Google-Extended juga membatasi apakah konten yang dirayapi boleh digunakan untuk melatih model Gemini dan untuk grounding di Gemini Apps dan Vertex AI, sehingga pemblokirannya juga merupakan keputusan tentang produk tersebut. Selain itu, halaman crawler Bing milik Microsoft tidak mencantumkan kontrol pelatihan terpisah, sehingga halaman itu tidak menjawab cakupan akses Bingbot di luar pencarian Bing.

Google memisahkan fitur AI dan pelatihan. Halaman fitur AI (terbuka di tab baru)^[7] miliknya menyatakan AI Overviews dan AI Mode tidak memiliki persyaratan teknis tambahan selain telah diindeks dan memenuhi syarat untuk menampilkan cuplikan di Search. Halaman itu merujuk ke Google-Extended untuk membatasi "pelatihan AI dan grounding di beberapa sistem Google lainnya", serta ke nosnippet, data-nosnippet, max-snippet, dan noindex untuk membatasi apa yang ditampilkan Search.

Pengaturan terpisah, kontrol Search generative AI (terbuka di tab baru)^[14] di bawah Settings di Search Console, mengatur pencantuman situs dalam AI Overviews, AI Mode, dan fitur AI generatif di Discover. Situs disertakan secara default, dan Google menyatakan kontrol ini telah tersedia untuk semua situs di seluruh dunia sejak 31 Agustus 2026. Perubahan umumnya memerlukan beberapa hari untuk diterapkan. Google menambahkan bahwa kontrol ini bukan sinyal peringkat atau pencantuman untuk bagian Search lainnya dan tidak memengaruhi pelatihan AI, yang diatur oleh Google-Extended.

Kesalahan yang merugikan justru terjadi sebaliknya: tanpa sengaja memblokir crawler pencarian. OpenAI menyatakan situs yang menolak OAI-SearchBot "tidak akan ditampilkan dalam jawaban ChatGPT search", meski masih dapat muncul sebagai tautan navigasi, dan Anthropic menyatakan pemblokiran Claude-SearchBot dapat mengurangi visibilitas dan akurasi Anda dalam hasil pencarian pengguna. Aturan menyeluruh, "User-agent: *" dengan "Disallow: /", berlaku untuk setiap bot yang tidak memiliki grup tersendiri, sehingga dapat menghalangi semua crawler tersebut sekaligus.

Apakah robots.txt memaksa bot AI untuk patuh?

Tidak, karena tidak ada mekanisme dalam protokol yang menegakkannya. RFC 9309 (terbuka di tab baru)^[15], spesifikasi Standards Track yang diterbitkan pada September 2022, menyatakan crawler yang berhasil mengunduh file "MUST follow the parseable rules", sehingga crawler yang sesuai standar diharapkan patuh. Dokumen yang sama menyatakan "These rules are not a form of access authorization", dan pengantar robots.txt (terbuka di tab baru)^[8] Google menyatakan kepatuhan bergantung pada crawler. Operator menjelaskan perilaku mereka sendiri: Google menyatakan crawler umum miliknya selalu mematuhi robots.txt saat merayapi secara otomatis, dan Anthropic menyatakan botnya mematuhinya. Persyaratan standar dan tindakan bot tertentu adalah dua hal berbeda. Ada lima konsekuensi.

• Materi pribadi memerlukan kontrol akses. Kata sandi menjaga kerahasiaan halaman, baris robots.txt tidak, dan RFC 9309 menambahkan bahwa mencantumkan path dalam file akan mengungkapkannya secara publik. Google menambahkan bahwa URL yang diblokir masih dapat muncul dalam hasil tanpa deskripsi jika situs lain menautkannya, dan menyarankan noindex atau kata sandi untuk mencegah halaman muncul.
• Aturan tersebut tidak selalu berlaku untuk pengambil halaman yang dipicu pengguna. OpenAI menyatakan aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User, dan Perplexity menyatakan Perplexity-User umumnya mengabaikannya. Google menyatakan hal yang sama tentang pengambil halaman yang dipicu pengguna (terbuka di tab baru)^[5] miliknya. Artikel Anthropic menyatakan botnya mematuhi robots.txt dan tidak mengecualikan Claude-User.
• Perubahan tidak terjadi seketika. OpenAI menyatakan OAI-SearchBot dapat memerlukan sekitar 24 jam untuk menyesuaikan diri dengan pembaruan robots.txt, Perplexity menyatakan hingga 24 jam, dan Google menyatakan umumnya menyimpan robots.txt dalam cache hingga 24 jam.
• Kegagalan robots.txt ditangani dalam dua lapisan. Aturan default RFC 9309 menyatakan respons 4xx berarti crawler boleh mengakses sumber daya apa pun, sedangkan file yang tidak dapat dijangkau (kesalahan 5xx) berarti crawler harus menganggap semua akses dilarang. Operator menambahkan aturan mereka sendiri. Dalam spesifikasi robots.txt Google (terbuka di tab baru)^[12], kesalahan 4xx selain 429 diperlakukan seolah file tidak ada, sedangkan pada kesalahan 5xx Google menghentikan perayapan selama 12 jam pertama, lalu menggunakan salinan terakhir yang baik hingga 30 hari, dan menganggap tidak ada pembatasan jika tidak memiliki salinan dalam cache. Artikel ini tidak menemukan dokumentasi setara untuk operator lainnya.
• Grup bernama mengalahkan wildcard. Crawler mengikuti grup yang cocok dengan namanya, menggunakan grup "*" jika tidak ada yang cocok, dan tidak menerapkan aturan jika keduanya tidak ada. Apple menambahkan bahwa Applebot mengikuti aturan Googlebot ketika robots.txt menyebut Googlebot tetapi tidak Applebot.

Bagaimana cara memverifikasi keaslian bot?

String user agent mudah dipalsukan. Google dan Bing sama-sama menyatakan string tersebut dapat dipalsukan. Periksa IP sumber menggunakan metode yang didokumentasikan masing-masing operator.

Jangan gunakan pemblokiran IP untuk menyatakan penolakan Anda. Anthropic memperingatkan bahwa memblokir IP crawler-nya dapat menghentikan bot membaca robots.txt Anda, sehingga penolakan tersebut mungkin tidak berlaku. Firewall atau layanan perlindungan bot juga dapat memblokir bot pencarian yang ingin Anda izinkan, dan Perplexity mendokumentasikan aturan allow untuk Cloudflare dan AWS WAF yang memasangkan user agent dengan rentang IP yang diterbitkannya.

Apa yang sebaiknya diizinkan oleh bisnis berbasis keahlian?

Mulailah dari tujuan. Bagi bisnis berbasis keahlian, halaman adalah etalase: calon klien mengajukan pertanyaan kepada asisten, dan jawabannya mengutip apa yang dapat dibacanya. Akses pencarian dan pengambilan memungkinkan halaman dipertimbangkan untuk jawaban tersebut, dan tidak ada operator yang menjamin pencantuman. Pelatihan adalah pilihan terpisah tentang konten Anda, dan keduanya merupakan bagian dari upaya optimasi mesin generatif yang lebih luas.

Tidak ada jawaban universal untuk pertanyaan tentang pelatihan, dan halaman operator tidak menentukannya. Tiga pertanyaan dapat membantu. Apakah konten tersebut bebas dibaca atau sesuatu yang Anda jual? Apakah Anda keberatan jika konten itu muncul dalam data pelatihan model? Dan apakah Anda akan meninjau kembali keputusan tersebut ketika operator mengubah dokumentasinya? Jika konten berbayar atau pribadi, login adalah kontrol yang efektif, karena baris robots.txt hanyalah permintaan. Untuk artikel gratis yang memang ditujukan untuk dibagikan, mengizinkan pelatihan adalah pilihan yang sah, dan Google, OpenAI, serta Apple masing-masing menyatakan kontrol pelatihan terpisah dari pencarian.

Sekalipun crawler diizinkan mengakses halaman, isinya tetap tidak dapat dibaca jika fakta-faktanya tidak tersedia dalam bentuk teks. Sebagai pemeriksaan hipotetis, bayangkan halaman layanan yang mengembalikan HTTP 200 tanpa crawler yang diblokir, tetapi biaya dan aturan kelayakannya hanya muncul dalam gambar atau widget yang dirender oleh skrip. Halaman fitur AI Google meminta agar konten penting tersedia dalam bentuk teks, dan merujuk ke alat URL Inspection untuk melihat HTML yang diterima Googlebot. Untuk bot lain, ambil HTML mentah (misalnya dengan curl) dan cari teks tentang biaya: jika kata-kata itu tidak ada di sana, crawler yang tidak menjalankan skrip tidak dapat membacanya. Solusinya adalah menempatkan fakta tersebut dalam teks halaman di bawah judul berbentuk pertanyaan, seperti dijelaskan dalam penulisan dengan jawaban di awal.

Seperti apa contoh robots.txt?

Ini adalah contoh, bukan templat untuk disalin begitu saja. Contoh ini mengizinkan bot pencarian dan pengambilan dalam tabel dan menolak pelatihan melalui empat kontrol yang mengaturnya. Google-Extended juga membatasi grounding di Gemini Apps dan Vertex AI, sementara pencantuman di Google Search tidak terpengaruh, jadi pertimbangkan hal itu sebelum menerapkan disallow. Ubah keempatnya menjadi Allow jika Anda memutuskan untuk mengizinkan pelatihan.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Tiga hal perlu diperhatikan. Pertama, contoh ini tidak memiliki grup "", sehingga menurut RFC 9309 crawler yang tidak disebutkan tidak memiliki aturan dan boleh mengambil semuanya. Ini menjadikannya potongan, bukan file lengkap. Kedua, jika file Anda sudah memiliki grup "", pertahankan dan salin baris Disallow-nya ke setiap grup bernama, karena crawler yang cocok dengan grup bernama mengabaikan grup "". Tanpa salinan itu, path seperti /app/ yang dilindungi "" menjadi dapat dirayapi oleh bot yang disebutkan. Jangan cantumkan path yang benar-benar pribadi dalam robots.txt, karena RFC 9309 mencatat bahwa mencantumkan path akan mengungkapkannya secara publik. Ketiga, ChatGPT-User dan Perplexity-User berada dalam grup allow untuk mencatat maksud tersebut, karena operatornya menyatakan robots.txt mungkin tidak berlaku bagi keduanya.

Sebagai perbandingan, robots.txt plandora.com sendiri pada 22 Oktober 2026 memiliki satu grup untuk semua crawler. File itu melarang /app/, /docs, dan beberapa path /auth, mengizinkan sisanya, serta mencantumkan sitemap. Tidak ada crawler AI yang disebutkan, sehingga semuanya mengikuti grup tunggal tersebut.

Bagaimana cara mengaudit apa yang diizinkan situs Anda saat ini?

1. Buka /robots.txt pada domain Anda di browser dan pastikan file tersebut dimuat sebagai file teks biasa, bukan halaman error.
2. Baca setiap grup. Cari "Disallow: /" menyeluruh di bawah "*" dan grup bernama yang menimpanya.
3. Periksa pengaturan bot firewall atau CDN Anda untuk mencari aturan yang memblokir bot pencarian dalam tabel.
4. Di Search Console, buka Settings dan pastikan kontrol Search generative AI sesuai dengan maksud Anda.
5. Cari nama user agent di atas dalam log server Anda, lalu verifikasi sampel IP menggunakan metode dalam tabel verifikasi.
6. Catat kebijakan pelatihan Anda dan tanggalnya. Setelah mengedit, tunggu sekitar satu hari sebelum menguji lagi, karena OpenAI menyatakan sekitar 24 jam, Perplexity menyatakan hingga 24 jam, dan Google menyatakan menyimpan robots.txt dalam cache hingga 24 jam.