Apa itu llms.txt, dan apakah membantu?

Apa itu llms.txt

llms.txt adalah file Markdown di root sebuah situs web yang memberi model bahasa deskripsi singkat tentang situs tersebut dan daftar tautan pilihan ke halaman-halamannya yang paling berguna. File ini diusulkan oleh Jeremy Howard pada 3 September 2024. Ini adalah usulan, bukan standar: per tanggal halaman ini, belum ada penyedia AI besar atau mesin pencari yang mendokumentasikan bahwa mereka membaca file ini, sehingga belum diketahui apakah file ini membantu.

Alasannya sederhana. Halaman HTML membungkus kontennya dengan navigasi, iklan, dan skrip, sehingga sulit diubah kembali menjadi teks yang bersih, dan, seperti dinyatakan dalam usulan itu, "jendela konteks, meskipun lebih besar daripada dulu, masih terlalu kecil untuk memuat sebagian besar situs web secara utuh". Jadi, alih-alih berharap model mengurai seluruh situs, situs menerbitkan satu file ringkas yang menjelaskan apa situs itu dan di mana halaman-halaman pentingnya. Usulan lengkapnya ada di llmstxt.org.

Usulan tersebut mengharapkan file ini dipakai terutama pada saat inferensi, ketika model membaca sebuah situs untuk menjawab pertanyaan, bukan untuk pelatihan. Pembedaan ini penting untuk bagian selanjutnya dari panduan ini.

Seperti apa bentuk filenya

Formatnya sengaja dibuat ringkas. Menurut usulan tersebut, sebuah file berisi:

1. Sebuah H1 berisi nama situs. Hanya bagian ini yang wajib.
2. Sebuah blockquote berisi ringkasan singkat tentang apa situs itu.
3. Markdown bebas, tanpa heading, yang memberi konteks tambahan.
4. Bagian-bagian di bawah heading H2, masing-masing berupa daftar tautan Markdown, yang boleh diikuti titik dua dan catatan satu baris.
5. Bagian berjudul "Optional", yang menurut konvensi berisi tautan sekunder yang boleh dilewati pembaca.

File ini biasanya berada di /llms.txt. Usulan tersebut juga menyarankan agar versi Markdown yang bersih dari halaman-halaman penting disajikan di URL yang sama dengan tambahan .md, sehingga model bisa mengambil kontennya tanpa HTML di sekelilingnya.

File hipotetis untuk sebuah toko online di Indonesia akan dibuka dengan nama toko, blockquote satu kalimat yang menjelaskan apa yang dijual dan untuk siapa, lalu bagian-bagian seperti "Produk", "Pengiriman", dan "Bantuan" dengan beberapa tautan di masing-masing bagian. Isinya adalah daftar bacaan dengan ringkasan di bagian atas.

Beberapa perusahaan juga menerbitkan llms-full.txt yang lebih panjang, berisi dokumentasi lengkap mereka dalam satu file; dokumentasi developer Anthropic melakukannya, dan dokumentasi developer OpenAI serta Perplexity masing-masing menerbitkan indeks llms.txt. Hal ini menunjukkan siapa yang telah mengadopsi format ini untuk dokumentasi mereka sendiri, bukan bahwa asisten AI mereka membaca file ini di situs lain.

Apakah ada yang benar-benar membacanya?

Jawaban jujurnya singkat: per tanggal halaman ini, belum ada penyedia AI besar atau mesin pencari yang menerbitkan dokumentasi yang menyatakan bahwa mereka mengambil llms.txt untuk menjawab pertanyaan atau menentukan apa yang dikutip. Itu tidak sama dengan mengatakan bahwa file ini diabaikan. Artinya, dukungannya belum didokumentasikan, dan klaim ke arah mana pun sebaiknya dibaca dengan mempertimbangkan hal itu.

Yang dinyatakan oleh sumber-sumber primer:

• Google. Halaman Google tentang fitur AI dan situs Anda menyatakan bahwa tidak ada persyaratan tambahan untuk muncul di AI Overviews atau AI Mode, dan tidak diperlukan optimasi khusus lainnya, serta merujuk pada kemampuan untuk di-crawl, konten berkualitas, dan pengalaman halaman. Dokumentasi crawler-nya menjelaskan Google-Extended, token robots.txt yang mengendalikan apakah konten yang di-crawl boleh dipakai untuk melatih Gemini dan untuk grounding. Tidak satu pun dari halaman itu menyebut llms.txt.
• OpenAI. Ikhtisar crawler OpenAI mendokumentasikan OAI-SearchBot, yang dipakai untuk menampilkan situs web dalam hasil fitur pencarian ChatGPT; GPTBot, yang dipakai untuk pelatihan; dan ChatGPT-User, yang mengambil halaman untuk tindakan pengguna tertentu dan, menurut catatan OpenAI, mungkin tidak mengikuti robots.txt. Tidak satu pun disebut membaca llms.txt.
• Perplexity. Dokumentasi bot Perplexity menjelaskan PerplexityBot, yang menampilkan situs dalam hasil pencariannya, dan Perplexity-User, yang bisa mengunjungi sebuah halaman untuk menjawab pertanyaan dan umumnya mengabaikan robots.txt. Tidak satu pun didokumentasikan membaca llms.txt dari situs lain.

Dokumentasi adalah apa yang dijanjikan oleh penyedia, dan tentang file ini, dokumentasinya diam.

Dalam praktiknya: jika asisten AI menyebut atau merekomendasikan merek Anda, itu karena tahap pencariannya menemukan dan membaca halaman Anda, atau halaman tentang Anda, dan menilainya relevan. Tidak ada yang terdokumentasi yang menunjukkan bahwa llms.txt mengubah hal itu. Untuk hal-hal yang benar-benar menggeser jawaban tersebut, lihat cara muncul dalam jawaban AI.

Kaitannya dengan robots.txt dan sitemap

Ketiga file ini sering disebut bersamaan, tetapi fungsinya berbeda, dan hanya dua di antaranya yang punya pembaca yang terdokumentasi.

robots.txt menentukan URL mana yang boleh diakses crawler. File ini adalah standar formal, RFC 9309, dan setiap crawler besar mendokumentasikan cara mereka mematuhinya. Google mencatat bahwa robots.txt bukan mekanisme untuk mencegah sebuah halaman web muncul di Google. Untuk AI, robots.txt juga merupakan tempat Anda mengizinkan atau memblokir agen-agen yang disebutkan di atas. Menurut deskripsi para penyedia sendiri, OAI-SearchBot dan PerplexityBot adalah yang menampilkan situs dalam hasil pencarian mereka, sehingga memblokir keduanya berarti memilih untuk tidak ikut serta; memblokir GPTBot atau Google-Extended memengaruhi pelatihan dan grounding, bukan pencarian.

Sitemap mencantumkan URL di situs Anda agar mesin pencari bisa menemukannya. Protokol Sitemap berbentuk XML, hanya mewajibkan lokasi setiap URL, dan dibaca oleh setiap mesin pencari besar. Sitemap adalah alat bantu penemuan, bukan deskripsi.

llms.txt bukan keduanya. File ini tidak memberi atau menolak akses, dan bukan daftar URL yang lengkap. Isinya adalah ringkasan yang ditulis manusia dengan daftar bacaan singkat, ditujukan untuk model, bukan untuk crawler, dan tanpa pembaca yang terdokumentasi di antara penyedia besar. Jika robots.txt adalah gerbangnya dan sitemap adalah petanya, llms.txt adalah catatan di pintu yang menjelaskan tempat apa ini.

Perlukah Anda menerbitkannya?

Kemungkinan besar ya, dengan ekspektasi yang proporsional. File ini hanya butuh satu jam untuk ditulis, tidak ada biaya untuk menyajikannya, dan tidak bisa merugikan Anda selama isinya benar. File ini mungkin membantu tool yang memang membacanya. Namun, file ini tidak boleh menjadi alasan Anda melewatkan pekerjaan yang terdokumentasi berpengaruh.

1. Periksa robots.txt terlebih dahulu. Pastikan crawler pencarian AI yang Anda inginkan diizinkan, dan bahwa setiap pemblokiran bot pelatihan memang disengaja. Inilah satu-satunya file yang didokumentasikan oleh setiap penyedia.
2. Jaga agar sitemap tetap mutakhir, dengan tanggal yang akurat pada halaman-halaman baru.
3. Buat halaman-halaman penting mudah dibaca sebagai teks. Heading yang jelas, jawaban di bagian atas, fakta yang dinyatakan dengan lugas. Inilah yang benar-benar dibaca asisten AI yang berbasis pencarian.
4. Baru kemudian tulis llms.txt. Satu H1, satu blockquote yang jujur, beberapa bagian dengan halaman-halaman yang dibutuhkan pembeli, dan bagian Optional untuk sisanya. Jaga agar tetap selaras dengan situs; file yang usang lebih buruk daripada tidak ada sama sekali.

Dua catatan. Jangan menaruh klaim di llms.txt yang tidak ada di halaman-halaman yang ditautkannya; jika sebuah model membaca keduanya, ketidaksesuaian itu menjadi alasan untuk tidak memercayai file tersebut. Dan tulis file ini dalam bahasa pasar yang dilayaninya, atau tautkan setiap versi bahasa secara eksplisit, karena pertanyaan yang diajukan pembeli di Meksiko dan Brasil bukan terjemahan satu sama lain. Panduan tentang mengapa jawaban AI berbeda menurut negara menjelaskan alasannya.

Bagaimana VozRadar menangani llms.txt

VozRadar menerbitkan satu file di vozradar.com/llms.txt: sebuah H1, blockquote yang mendeskripsikan produk, paragraf singkat tentang cara kerjanya, bagian Pages yang menautkan halaman beranda, tentang kami, pasar, panduan, dan perbandingan, serta bagian Optional untuk kebijakan privasi dan ketentuan layanan. File ini dijaga agar selaras dengan situs dan tidak memuat klaim yang tidak dibuat oleh situs.

Kami tidak memperlakukannya sebagai pendorong visibilitas, karena tidak ada dokumentasi yang menyatakan demikian. VozRadar mengukur apakah sebuah merek disebut, direkomendasikan, dan dikutip di platform jawaban berbasis pencarian web yang disebutkan namanya, dan melaporkan masing-masing sebagai persentase dengan ukuran sampelnya; ada atau tidaknya llms.txt di sebuah situs bukan input bagi persentase tersebut. Jika pelanggan tetap ingin menguji file ini, di situlah gunanya Experiment Ledger: catat baseline, rilis file pada tanggal yang diketahui, dan amati jendela observasinya. Hasilnya sering kali "tidak ada perubahan yang jelas", dan itu sendiri informasi yang berguna. Panduan tentang cara mengukur visibilitas AI menjelaskan metodenya.