Apakah llms.txt penting? Apa kata bukti pada 2026

Kemungkinan besar tidak, jika tujuannya agar ditemukan atau dikutip oleh mesin pencari dan asisten AI. llms.txt adalah file Markdown yang mencantumkan halaman penting situs bagi agen AI. Dokumentasi Google menyatakan Search mengabaikannya, dan tidak satu pun halaman crawler dari OpenAI, Anthropic, atau Perplexity menyebutkan bahwa crawler mereka membacanya. Keputusan untuk menerbitkannya bergantung pada siapa yang akan menjaga keakuratannya.

Apa itu llms.txt, dan siapa yang mengusulkannya?

llms.txt adalah file Markdown biasa, yang disajikan di root situs atau di subpath, untuk memberikan panduan singkat kepada agen AI tentang isi situs. Jeremy Howard menerbitkan usulannya (terbuka di tab baru)^[1] pada 3 September 2024. Halaman saat ini, yang diberi label versi 2, terakhir diubah pada 10 Agustus 2026.

Formatnya memiliki urutan tetap. H1 dengan nama situs atau proyek adalah satu-satunya bagian yang wajib. Setelahnya ada ringkasan blockquote opsional, teks biasa tanpa judul yang opsional, dan bagian H2 dalam jumlah berapa pun yang berisi daftar tautan. Setiap item daftar berupa tautan Markdown, yang dapat diikuti titik dua dan catatan. Menurut konvensi, bagian "Optional" berisi tautan sekunder yang dapat dilewati agen.

Ini adalah panduan konten, bukan kumpulan aturan perayapan. Spesifikasi menyatakan informasi llms.txt digunakan "sesuai kebutuhan, ketika agen membutuhkan informasi tentang suatu topik saat membantu pengguna". Spesifikasi itu menambahkan bahwa file tersebut "paling banyak digunakan untuk dokumentasi perangkat lunak", yang diikuti oleh agen pemrograman. llms.txt maupun robots.txt tidak mengautentikasi pengunjung atau melindungi konten privat: RFC 9309 (terbuka di tab baru)^[17] menyatakan aturan robots.txt "bukan bentuk otorisasi akses", dan login berfungsi untuk itu.

Apa kata Google tentang llms.txt?

Google telah menjawab secara langsung. Log pembaruan dokumentasi Search, dalam entri bertanggal 15 Juni 2026 (terbuka di tab baru)^[2], menyatakan file ini "tidak diperlukan untuk Google Search (dan tidak akan berdampak negatif atau positif pada visibilitas atau peringkat Anda)". Disebutkan juga bahwa menyimpannya untuk layanan lain tidak masalah. Catatan itu ditambahkan ke panduan Google tentang fitur AI generatif (terbuka di tab baru)^[3], yang mencantumkan llms.txt sebagai salah satu hal yang harus diabaikan dan menyatakan Google Search "mengabaikannya". Halaman fitur AI (terbuka di tab baru)^[4] lain menyatakan: "Anda tidak perlu membuat file baru yang dapat dibaca mesin, file teks AI, atau markup untuk muncul di fitur ini."

Pernyataan tersebut mencakup Google Search, termasuk AI Overviews dan AI Mode. Pernyataan itu tidak membahas sistem perusahaan lain.

Tim Google lain menjalankan produk yang berbeda. Dokumentasi Lighthouse dari Chrome untuk audit penjelajahan agentik (terbuka di tab baru)^[5], terakhir diperbarui 5 Mei 2026, menyebut llms.txt sebagai "konvensi yang sedang berkembang" dan menyatakan bahwa tanpa file itu, agen "mungkin menghabiskan lebih banyak waktu merayapi situs". Audit menandai halaman jika pengambilan file menyebabkan kesalahan server, dan 404 ditandai tidak berlaku "karena penyediaan file saat ini bersifat opsional". Dokumentasi Gemini API (terbuka di tab baru)^[6] milik Google sendiri juga menyediakan llms.txt.

Apakah OpenAI, Anthropic, atau Perplexity mengatakan mereka membacanya?

Tidak ditemukan pernyataan publik. Halaman crawler mereka menjelaskan user agent dan kontrol robots.txt, dan tidak ada yang menyebut crawler membaca llms.txt.

Halaman-halaman ini justru membahas robots.txt. OpenAI menyarankan agar OAI-SearchBot diizinkan dalam robots.txt, beserta permintaan dari rentang IP yang dipublikasikannya, agar situs muncul dalam hasil pencarian ChatGPT. Perplexity memberikan saran yang sama untuk PerplexityBot. Anthropic menyatakan bahwa menonaktifkan Claude-SearchBot "dapat mengurangi visibilitas dan akurasi situs Anda dalam hasil pencarian pengguna".

Setiap perusahaan menyediakan llms.txt untuk dokumentasi pengembang mereka sendiri, seperti ditunjukkan tautan pada tabel, dan halaman crawler OpenAI serta Perplexity memuat banner yang mengarahkan pembaca ke file mereka. Itu adalah pilihan untuk dokumentasi mereka sendiri, bukan pernyataan bahwa produk pencarian mereka menggunakan file di situs Anda. Dokumentasi crawler (terbuka di tab baru)^[13] Meta, diperbarui 21 Mei 2026, juga tidak menyebutkannya. "Tidak ditemukan pernyataan publik" hanya mencakup halaman-halaman ini dan bukan bukti bahwa tidak ada produk yang membaca file tersebut.

Apa yang ditunjukkan log server dan studi?

Tiga studi vendor berkaitan dengan pertanyaan ini. Ketiganya mengukur hal yang berbeda, sehingga angkanya tidak digabungkan di sini.

Kedua studi log menemukan sedikit permintaan crawler AI untuk file tersebut. Dalam log EZY, keluarga GPTBot dan ClaudeBot mengambil robots.txt ribuan kali dan llms.txt masing-masing kurang dari sepuluh kali. Itu adalah label EZY, dan tidak menjelaskan apa pun tentang produk pencarian atau asisten OpenAI maupun Anthropic. Dalam sampel Ahrefs selama Mei 2026, tidak ada permintaan bot AI di antara respons 404 untuk file yang tidak ada, tetapi ini tidak menunjukkan bahwa tidak ada sistem AI yang pernah memeriksa file tersebut. Di antara bot AI yang disebutkan, Ahrefs menemukan GPTBot, crawler pelatihan, paling sering mengambil file, diikuti Claude Code, agen pemrograman, di atas semua bot pencarian dan asisten AI. Ahrefs menyebut agen pemrograman sebagai "yang paling mendekati audiens yang dituju dalam data kami", sesuai dengan fokus usulan pada dokumentasi. EZY menemukan crawler Meta mengambil llms.txt lebih sering daripada robots.txt, sesuatu yang tidak dijelaskan dokumentasi Meta.

Pengambilan bukanlah penggunaan: Ahrefs menyebut angkanya sebagai "batas atas konsumsi llms.txt yang sebenarnya". SE Ranking mencoba memprediksi frekuensi domain dikutip dalam jawaban LLM dari beberapa faktor, salah satunya apakah domain memiliki file tersebut, dan prediksinya membaik ketika faktor itu dihilangkan, yang ditafsirkan sebagai file menambah noise, bukan sinyal. Studi itu membandingkan situs yang sudah ada, dan halamannya tidak menyebutkan rentang waktu, model yang dijadikan sampel, serta cara file dideteksi. EZY menyatakan panelnya terlalu banyak mewakili bisnis kecil yang sedang mencari produk visibilitas AI, dan EZY menawarkan alat pembuat file llms.txt. Angka 10,13% dari SE Ranking dan 28% dari Ahrefs berasal dari populasi berbeda, sehingga tidak menunjukkan tren. Tidak satu pun dari ketiganya menguji dampak penambahan file pada situs.

Berapa biaya penerbitannya, dan apa potensi hasilnya?

Tabel ini memberi dasar untuk mengambil keputusan. Jika situs Anda dapat membuat file dari data yang sudah dikelolanya, seperti situs Plandora dari daftar halaman dan artikelnya, pemeliharaan berlangsung otomatis dan risiko yang tersisa adalah daftar sumber yang salah. Jika seseorang harus mengedit file secara manual, terbitkan hanya jika ada orang yang ditunjuk untuk memeriksa ulang setiap tautan setiap kali halaman dipindahkan, tidak lagi digunakan, atau diubah; jika tidak, jangan terbitkan. Keduanya bukan taktik visibilitas, karena tidak ada sumber di atas yang menunjukkan manfaat visibilitas saat ini.

Apa yang lebih penting daripada llms.txt?

Lima pemeriksaan yang disarankan berasal dari dokumentasi Google dan para operator. Ini adalah pemeriksaan, bukan efek yang terbukti: sumber-sumber tersebut tidak memberi peringkat atau mengukur manfaat kutipan dari masing-masing pemeriksaan. Tiga yang pertama berkaitan dengan apakah crawler dapat menemukan dan membaca halaman, dan dua yang terakhir berkaitan dengan pembaca.

1. Izinkan crawler yang tepat masuk. Izinkan crawler pencarian yang Anda inginkan, seperti Googlebot, OAI-SearchBot, Claude-SearchBot, dan PerplexityBot, dalam robots.txt, dan periksa agar aturan firewall tidak memblokirnya. Panduan Google menyarankan agar konten dapat dirayapi, dan OpenAI serta Perplexity menyarankan pemilik situs mengizinkan rentang IP yang mereka publikasikan. Cara crawler AI membaca situs Anda membahas pemeriksaan tersebut.
2. Letakkan isi utama dalam teks halaman. Google dapat memproses konten JavaScript yang tidak diblokir, tetapi panduannya menyatakan SEO pada framework JavaScript "umumnya lebih kompleks". Pertahankan teks utama dalam HTML halaman, bukan di balik skrip.
3. Jaga keakuratan sitemap. Google menyatakan sitemap (terbuka di tab baru)^[19] memberi tahu mesin pencari halaman mana yang Anda anggap penting dan dapat memuat tanggal pembaruan terakhir setiap halaman, meskipun tidak menjamin perayapan. Cantumkan hanya halaman yang ingin Anda tampilkan dalam pencarian, dan pastikan tanggalnya benar.
4. Berikan jawaban terlebih dahulu, di bawah judul yang jelas. Google menyatakan "Anda tidak perlu menulis dengan cara tertentu hanya untuk pencarian AI generatif", jadi alasannya adalah pembaca. Panduannya menyatakan pembaca menghargai halaman yang disusun berdasarkan paragraf, bagian, dan judul, serta tidak ada keharusan memecah konten menjadi bagian kecil untuk AI. Menulis jawaban terlebih dahulu untuk manusia dan AI menunjukkan caranya.
5. Tunjukkan siapa penulisnya dan kapan ditulis. Panduan Google tentang tanggal byline (terbuka di tab baru)^[18] meminta tanggal yang terlihat jelas, diberi label teks seperti "Terakhir diperbarui", dan sesuai dengan datePublished serta dateModified dalam data terstruktur. Cantumkan juga nama penulis di halaman.

Gambaran yang lebih luas ada di optimasi mesin generatif untuk bisnis berbasis keahlian.

Apa isi file llms.txt?

Hanya contoh: studio keramik fiktif dengan alamat placeholder.

# Contoh Studio Keramik
> Studio fiktif untuk menunjukkan format ini.

Kelas berlangsung dalam periode enam minggu.

## Kelas
- [Kelas dasar membuat keramik dengan roda putar](https://example.com/classes/beginner): kursus enam minggu, tanpa perlu pengalaman

## Optional
- [Sejarah studio](https://example.com/about/history)

H1 dengan nama situs adalah satu-satunya baris yang wajib. Blockquote memberi ringkasan singkat kepada agen yang belum mengenal situs, dan teks biasa di bawahnya memuat detail tambahan, tanpa judul. Setiap H2 memulai daftar tautan, dengan setiap item berupa tautan yang dapat diikuti titik dua dan catatan. Bagian "Optional" berisi tautan sekunder yang dapat dilewati agen ketika membutuhkan lebih sedikit konteks. Usulan tersebut hanya mendefinisikan llms.txt, indeks pendek yang detailnya tersedia melalui tautannya. Kode situs Plandora juga membuat llms-full.txt terpisah yang memuat setiap artikel sebagai Markdown dalam satu file. File itu adalah pilihan Plandora, bukan bagian dari usulan.

Untuk menerbitkannya:

1. Pilih halaman. Tautkan hanya ke halaman yang Anda kelola dan ingin dikutip, dikelompokkan di bawah judul yang sesuai dengan cara pengunjung memahami situs.
2. Tulis catatan sederhana. Berikan satu baris faktual untuk setiap tautan. Ahrefs menyarankan agar file hanya berisi tautan dan deskripsi, tanpa apa pun yang berbentuk instruksi.
3. Arahkan ke file tersebut. Ahrefs menyimpulkan bahwa alat AI mengambil file ketika ada tautan, indeks, atau pengguna yang memberi tahu bahwa file itu ada, jadi rujuk file itu dari halaman atau dokumentasi Anda.
4. Uji dan pelihara. Spesifikasi menyarankan untuk mengajukan pertanyaan kepada agen tentang konten Anda, "dengan hanya memberikan llms.txt Anda sebagai titik awal". Agen kemudian harus mengikuti tautan Anda, sehingga pertanyaan yang tidak dapat dijawabnya dapat menunjukkan halaman tertaut yang rusak atau minim isi. Simpan file dalam kontrol versi, batasi siapa yang dapat mengeditnya, dan tinjau saat halaman berubah.

Apakah Plandora menerbitkannya?

Ya. plandora.com menyediakan llms.txt yang dibuat dari daftar halaman publik situs dan panduan yang diterbitkan, sehingga panduan baru muncul dalam file tanpa pengeditan manual. Kode situs juga membuat llms-full.txt yang dijelaskan di atas. Standar editorial Plandora sendiri adalah tidak menyajikan kedua file tersebut sebagai cara untuk meningkatkan peringkat, dan bukti di atas tidak memberikan alasan untuk melakukannya.