Memahami crawler AI: bot yang mencari, melatih dan mengambil halaman, serta akses yang perlu dibenarkan

Syarikat AI menjalankan tiga jenis bot: crawler carian yang membina indeks yang digunakan oleh pembantu untuk mencari maklumat, crawler latihan yang mengumpulkan kandungan yang mungkin digunakan untuk melatih model, dan bot pengambil yang dicetuskan pengguna untuk membuka halaman kerana diminta. Google, OpenAI, Anthropic dan Apple mendokumenkan kawalan berasingan untuk carian dan latihan, jadi anda boleh kekal dalam carian AI mereka sambil menarik diri daripada latihan. Halaman crawler Bing Microsoft tidak menyenaraikan kawalan latihan. Bagi kebanyakan perniagaan pakar, matlamatnya ialah keterlihatan.

Butiran di bawah datang daripada dokumentasi setiap pengendali sendiri, yang dibaca pada 22 Oktober 2026. Nama dan tingkah laku crawler berubah, jadi semak halaman yang dipautkan sebelum menyunting robots.txt yang sedang digunakan.

Apakah tiga tugas yang boleh dilakukan oleh crawler AI?

Crawler carian ialah bot yang mengambil halaman untuk membina indeks yang dirujuk oleh produk AI atau enjin carian apabila seseorang mengemukakan soalan. Membenarkannya ialah syarat untuk dipetik, bukan jaminan: Google menyatakan pengindeksan dan penyajian tidak dijamin. Menyekatnya menghentikan pengambilan itu, tetapi setiap pengendali menerangkan kesannya secara berbeza, seperti dalam jadual.

Crawler latihan ialah bot yang mengumpulkan kandungan yang mungkin digunakan untuk melatih model generatif. Penarikan diri ini terpakai kepada bahan pada masa hadapan: Anthropic menerangkan bahawa menyekat ClaudeBot menandakan bahan tapak pada masa hadapan perlu dikecualikan daripada set data latihan.

Bot pengambil yang dicetuskan pengguna ialah bot yang meminta satu halaman kerana seseorang bertanya kepada pembantu tentangnya. Ia tidak menjelajah web mengikut jadualnya sendiri.

Token kawalan ialah nama robots.txt yang tidak mempunyai crawler di belakangnya. Google-Extended dan Applebot-Extended ialah dua token yang dibincangkan dalam artikel ini. Anda menulis peraturan untuknya, tetapi tiada apa yang melawat menggunakan nama tersebut, jadi anda tidak akan menemuinya dalam log pelayan. Google menyatakan Google-Extended "doesn't have a separate HTTP request user agent string", dan Apple menyatakan "Applebot-Extended does not crawl webpages."

Crawler mana melakukan apa, dan bagaimana setiap satu mengendalikan robots.txt?

Tujuan dan tingkah laku dalam jadual ini adalah seperti yang diterangkan oleh setiap pengendali, bukan seperti yang dilaporkan oleh penjejak bot pihak ketiga.

Adakah menyekat latihan turut menyekat carian?

Untuk Google, OpenAI dan Apple, tidak. Google menyatakan bahawa Google-Extended "does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search." OpenAI menyatakan setiap tetapan robots.txtnya berdiri sendiri, dan Apple menyatakan halaman yang melarang Applebot-Extended masih boleh muncul dalam hasil carian. Ada dua perkara yang perlu diambil kira. Google-Extended juga mengehadkan sama ada kandungan yang dirangkak boleh digunakan untuk latihan model Gemini dan untuk grounding dalam Gemini Apps dan Vertex AI, jadi menyekatnya juga melibatkan keputusan tentang produk tersebut. Selain itu, halaman crawler Bing Microsoft tidak menyenaraikan kawalan latihan berasingan, jadi halaman itu tidak menjelaskan perkara yang diliputi oleh akses Bingbot selain carian Bing.

Google mengasingkan ciri AI daripada latihan. Halaman ciri AI (dibuka dalam tab baharu)^[7] menyatakan AI Overviews dan AI Mode tidak mempunyai keperluan teknikal tambahan selain diindeks dan layak memaparkan snippet dalam Search. Halaman itu merujuk kepada Google-Extended untuk mengehadkan "AI training and grounding in some of Google's other systems", dan kepada nosnippet, data-nosnippet, max-snippet dan noindex untuk mengehadkan apa yang dipaparkan oleh Search.

Tetapan berasingan, Search generative AI control (dibuka dalam tab baharu)^[14] di bawah Settings dalam Search Console, mengurus penyertaan tapak dalam AI Overviews, AI Mode dan ciri AI generatif dalam Discover. Penyertaan tapak ialah tetapan lalai, dan Google menyatakan kawalan itu telah tersedia untuk semua laman web di seluruh dunia setakat 31 Ogos 2026. Perubahan biasanya mengambil masa beberapa hari untuk berkuat kuasa. Google menambah bahawa kawalan itu bukan isyarat kedudukan atau penyertaan untuk bahagian Search yang lain dan tidak menjejaskan latihan AI, yang dikawal oleh Google-Extended.

Kesilapan yang membawa kesan besar berlaku sebaliknya: menyekat crawler carian secara tidak sengaja. OpenAI menyatakan tapak yang menarik diri daripada OAI-SearchBot "will not be shown in ChatGPT search answers", walaupun masih boleh muncul sebagai pautan navigasi, dan Anthropic menyatakan menyekat Claude-SearchBot mungkin mengurangkan keterlihatan dan ketepatan anda dalam hasil carian pengguna. Peraturan menyeluruh, "User-agent: *" dengan "Disallow: /", terpakai kepada setiap bot yang tidak mempunyai kumpulan sendiri, jadi ia boleh menghalang semua crawler tersebut sekali gus.

Adakah robots.txt memaksa bot AI untuk patuh?

Tidak, kerana tiada apa dalam protokol itu yang menguatkuasakannya. RFC 9309 (dibuka dalam tab baharu)^[15], spesifikasi Standards Track yang diterbitkan pada September 2022, menyatakan crawler yang berjaya memuat turun fail itu "MUST follow the parseable rules", jadi crawler yang patuh dijangka mengikutinya. Dokumen yang sama menyatakan "These rules are not a form of access authorization", dan pengenalan robots.txt (dibuka dalam tab baharu)^[8] Google menyatakan "it's up to the crawler to obey them." Pengendali menerangkan tingkah laku masing-masing: Google menyatakan crawler umumnya sentiasa mematuhi robots.txt apabila merangkak secara automatik, dan Anthropic menyatakan botnya mematuhinya. Apa yang diminta oleh standard dan apa yang dilakukan oleh sesuatu bot ialah dua perkara berasingan. Ada lima implikasi.

• Bahan peribadi memerlukan kawalan akses. Kata laluan memastikan halaman kekal peribadi, tetapi baris robots.txt tidak, dan RFC 9309 menambah bahawa menyenaraikan laluan dalam fail itu mendedahkannya kepada umum. Google menambah bahawa URL yang disekat masih boleh muncul dalam hasil tanpa penerangan jika tapak lain memautkannya, dan mengesyorkan noindex atau kata laluan untuk menghalang halaman daripada muncul.
• Bot pengambil yang dicetuskan pengguna berada di luar peraturan ini. OpenAI menyatakan peraturan robots.txt mungkin tidak terpakai kepada ChatGPT-User, dan Perplexity menyatakan Perplexity-User biasanya mengabaikannya. Google menyatakan perkara yang sama tentang bot pengambil yang dicetuskan pengguna (dibuka dalam tab baharu)^[5]. Artikel Anthropic menyatakan botnya mematuhi robots.txt dan tidak mengecualikan Claude-User.
• Perubahan tidak berlaku serta-merta. OpenAI menyatakan OAI-SearchBot boleh mengambil masa kira-kira 24 jam untuk menyesuaikan diri dengan kemas kini robots.txt, Perplexity menyatakan sehingga 24 jam, dan Google menyatakan ia biasanya menyimpan robots.txt dalam cache sehingga 24 jam.
• Kegagalan robots.txt dikendalikan dalam dua lapisan. Lalai RFC 9309 ialah respons 4xx bermakna crawler boleh mengakses mana-mana sumber, manakala fail yang tidak dapat dicapai (ralat 5xx) bermakna ia mesti menganggap semua akses dilarang. Pengendali menambah peraturan sendiri. Dalam spesifikasi robots.txt Google (dibuka dalam tab baharu)^[12], ralat 4xx selain 429 dianggap seolah-olah tiada fail wujud, manakala bagi ralat 5xx Google berhenti merangkak untuk 12 jam pertama, kemudian menggunakan salinan terakhir yang baik sehingga 30 hari, dan menganggap tiada sekatan jika tiada salinan dalam cache. Artikel ini tidak menemui dokumentasi setara untuk pengendali lain.
• Kumpulan bernama mengatasi kad bebas. Crawler mengikuti kumpulan yang sepadan dengan namanya, menggunakan kumpulan "*" jika tiada padanan, dan tidak menggunakan sebarang peraturan jika kedua-duanya tiada. Apple menambah bahawa Applebot mengikuti peraturan Googlebot apabila robots.txt menyebut Googlebot tetapi bukan Applebot.

Bagaimanakah anda boleh mengesahkan bahawa bot itu tulen?

Rentetan user agent mudah dipalsukan. Google menyatakan rentetan itu boleh dipalsukan, dan Bing menyatakan perkara yang sama. Sebaliknya, semak IP sumber menggunakan kaedah yang didokumenkan oleh setiap pengendali.

Jangan gunakan sekatan IP sebagai cara untuk menarik diri. Anthropic memberi amaran bahawa menyekat IP crawlernya boleh menghalang bot daripada membaca robots.txt anda, jadi penarikan diri itu mungkin tidak berkesan. Firewall atau perkhidmatan perlindungan bot juga boleh menyekat bot carian yang anda ingin benarkan, dan Perplexity mendokumenkan peraturan kebenaran untuk Cloudflare dan AWS WAF yang memadankan user agent dengan julat IP yang diterbitkannya.

Apakah yang patut dibenarkan oleh perniagaan pakar?

Mulakan dengan matlamat anda. Bagi perniagaan pakar, halaman ibarat pameran kedai: bakal pelanggan bertanya kepada pembantu, dan jawapannya memetik apa yang dapat dibacanya. Akses carian dan pengambilan membolehkan halaman dipertimbangkan untuk jawapan itu, dan tiada pengendali yang menjamin penyertaan. Latihan ialah pilihan berasingan tentang kandungan anda, dan kedua-duanya sebahagian daripada usaha lebih luas dalam pengoptimuman enjin generatif.

Soal latihan tidak mempunyai jawapan yang sesuai untuk semua, dan halaman pengendali tidak menentukannya. Tiga soalan dapat membantu. Adakah kandungan itu percuma untuk dibaca, atau sesuatu yang anda jual? Adakah anda keberatan jika ia muncul dalam data latihan model? Dan adakah anda akan menyemak semula keputusan itu apabila pengendali mengubah dokumentasinya? Jika kandungan berbayar atau peribadi, log masuk ialah kawalan yang berkesan, kerana baris robots.txt hanyalah permintaan. Untuk artikel percuma yang ingin dikongsi, membenarkan latihan ialah pilihan yang wajar, dan Google, OpenAI dan Apple masing-masing menyatakan kawalan latihan berasingan daripada carian.

Walaupun crawler dibenarkan mengakses halaman, halaman itu masih tidak dapat dibaca sepenuhnya jika faktanya tiada dalam teks. Sebagai semakan hipotesis, ambil halaman perkhidmatan yang mengembalikan HTTP 200 dan tidak menyekat mana-mana crawler, tetapi yuran dan syarat kelayakannya hanya muncul dalam imej atau widget yang dipaparkan melalui skrip. Halaman ciri AI Google meminta kandungan penting tersedia dalam bentuk teks, dan merujuk kepada alat URL Inspection untuk melihat HTML yang diterima oleh Googlebot. Untuk bot lain, ambil HTML mentah (contohnya dengan curl) dan cari perkataan tentang yuran: jika perkataan itu tiada di situ, crawler yang tidak menjalankan skrip tidak dapat membacanya. Penyelesaiannya ialah meletakkan fakta tersebut dalam teks halaman sendiri di bawah tajuk berbentuk soalan, seperti yang diterangkan dalam penulisan mendahulukan jawapan.

Bagaimanakah rupa contoh robots.txt?

Ini ialah contoh, bukan templat untuk disalin tanpa pertimbangan. Ia membenarkan bot carian dan pengambilan dalam jadual serta menarik diri daripada latihan melalui empat kawalan latihan tersebut. Google-Extended juga mengehadkan grounding dalam Gemini Apps dan Vertex AI, manakala penyertaan dalam Google Search tidak terjejas, jadi pertimbangkan hal itu sebelum melarangnya. Tukar keempat-empatnya kepada Allow jika anda memutuskan untuk membenarkan latihan.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Tiga butiran penting. Pertama, contoh ini tidak mempunyai kumpulan "", jadi menurut RFC 9309 crawler yang tidak dinamakan tidak tertakluk pada sebarang peraturan dan boleh mengambil semua kandungan. Oleh itu, ini hanyalah sebahagian, bukan fail lengkap. Kedua, jika fail anda sudah mempunyai kumpulan "", kekalkannya dan salin baris Disallow ke dalam setiap kumpulan bernama, kerana crawler yang sepadan dengan kumpulan bernama mengabaikan kumpulan "". Tanpa salinan itu, laluan seperti /app/ yang dilindungi oleh "" boleh dirangkak oleh bot bernama. Jangan senaraikan laluan yang benar-benar peribadi dalam robots.txt sama sekali, kerana RFC 9309 menyatakan bahawa menyenaraikan laluan mendedahkannya kepada umum. Ketiga, ChatGPT-User dan Perplexity-User berada dalam kumpulan benarkan untuk menunjukkan niat anda, kerana pengendalinya menyatakan robots.txt mungkin tidak terpakai kepada kedua-duanya.

Sebagai perbandingan, robots.txt plandora.com sendiri pada 22 Oktober 2026 mempunyai satu kumpulan untuk semua crawler. Ia melarang /app/, /docs dan beberapa laluan /auth, membenarkan selebihnya dan menyenaraikan sitemap. Ia tidak menamakan crawler AI, jadi setiap satunya mengikuti kumpulan tunggal itu.

Bagaimanakah anda mengaudit apa yang dibenarkan oleh tapak anda hari ini?

1. Buka /robots.txt domain anda dalam pelayar dan pastikan ia dimuatkan sebagai fail teks biasa, bukan halaman ralat.
2. Baca setiap kumpulan. Cari "Disallow: /" menyeluruh di bawah "*" dan kumpulan bernama yang mengatasinya.
3. Semak tetapan bot firewall atau CDN anda untuk peraturan yang menyekat bot carian dalam jadual.
4. Dalam Search Console, buka Settings dan pastikan Search generative AI control sepadan dengan niat anda.
5. Cari nama user agent di atas dalam log pelayan anda, kemudian sahkan sampel IP menggunakan kaedah dalam jadual pengesahan.
6. Rekodkan dasar latihan dan tarikhnya. Selepas menyunting, tunggu kira-kira sehari sebelum menguji semula, kerana OpenAI menyatakan kira-kira 24 jam, Perplexity menyatakan sehingga 24 jam dan Google menyatakan ia menyimpan robots.txt dalam cache sehingga 24 jam.