Gabung daftar tunggu

VozRadarBot

Apa yang dilakukan VozRadarBot di situs Anda.

VozRadarBot adalah crawler web di balik VozRadar. Bot ini mengambil sejumlah kecil halaman publik, mengidentifikasi dirinya di setiap permintaan, dan mematuhi aturan yang Anda tetapkan di robots.txt.

Apa itu VozRadarBot

VozRadar mengukur bagaimana asisten AI (mesin jawaban AI) menyebut, merekomendasikan, dan mengutip merek di pasar tertentu. Untuk itu, VozRadar perlu membaca beberapa halaman web publik: halaman merek yang dilacak pelanggan kami dan halaman yang dikutip jawaban AI. VozRadarBot adalah crawler yang mengambil halaman-halaman tersebut.

Setiap permintaan mengidentifikasi dirinya dengan user agent berikut:

VozRadarBot/0.1 (+https://vozradar.com/bot)

Token yang digunakan di robots.txt adalah VozRadarBot. Pencocokannya tidak membedakan huruf besar dan kecil.

Apa yang dikunjunginya

VozRadarBot hanya mengambil halaman karena alasan yang terkait dengan pelanggan VozRadar. Ada tiga kasus.

  • Situs web pelanggan sendiri. Saat pelanggan menghubungkan situs webnya ke sebuah proyek, bot menjalankan crawl awal hingga sekitar 250 halaman. Bot juga menjalankan pemeriksaan "akses AI" yang meminta halaman beranda, /robots.txt, dan /llms.txt.
  • Situs web pesaing. Untuk pesaing yang dilacak pelanggan, bot mengambil hingga 100 halaman per situs, dimulai dari halaman yang dikutip jawaban AI. Pesaing yang paling sering disebut diperbarui sekitar seminggu sekali; pelanggan juga dapat meminta pembaruan manual, paling banyak sekali sehari.
  • Halaman yang dikutip dalam jawaban AI. Untuk melihat merek mana yang disebut sebuah halaman yang dikutip, bot mengambil sejumlah kecil halaman publik pihak ketiga sesuai permintaan, hingga 20 halaman per pemeriksaan.

Bagaimana perilakunya

  • Bot hanya mengambil halaman publik. Bot tidak pernah login, mengirim formulir, melewati paywall, atau mencoba mengakses apa pun yang bersifat privat.
  • Sebelum meng-crawl, bot membaca robots.txt dan mengikuti grup untuk VozRadarBot, atau grup * jika tidak ada grup VozRadarBot. Allow dan Disallow didukung, termasuk pola * dan $. Satu-satunya pengecualian adalah pemeriksaan akses AI di situs web pelanggan sendiri, yang meminta halaman beranda, /robots.txt, dan /llms.txt untuk melaporkan kondisinya.
  • Saat meng-crawl sebuah situs, bot mengirim satu permintaan dalam satu waktu, dengan jeda minimal satu detik, dan mematuhi Crawl-delay di robots.txt hingga 10 detik.
  • Bot tidak menjalankan JavaScript. Bot membaca HTML apa adanya.
  • Setiap permintaan memiliki batas ukuran 2 MB dan batas waktu.
  • Bot hanya menggunakan http dan https pada port standar.

Cara memblokir atau memperlambatnya

Tambahkan aturan untuk VozRadarBot di robots.txt Anda. Perubahan berlaku saat bot membaca file itu lagi, yaitu di awal setiap crawl. Pemeriksaan akses AI di situs web pelanggan sendiri tetap meminta halaman beranda, /robots.txt, dan /llms.txt agar dapat melaporkan kondisinya.

Memblokir seluruh situs:

User-agent: VozRadarBot
Disallow: /

Menjauhkannya dari satu folder:

User-agent: VozRadarBot
Disallow: /private/

Memperlambatnya menjadi satu permintaan setiap lima detik:

User-agent: VozRadarBot
Crawl-delay: 5

Apa yang kami simpan

Dari situs web pesaing, kami hanya menyimpan metadata halaman: URL, judul, deskripsi meta, heading utama, bahasa, tanggal yang dipublikasikan halaman itu, status HTTP, dan jumlah kata. Kami tidak menyimpan teks halamannya.

Dari halaman pihak ketiga yang dikutip dalam jawaban AI, kami menyimpan URL, judul, status HTTP, dan merek yang dilacak mana saja yang disebut halaman itu. Kami tidak menyimpan teks halamannya.

Dari situs web pelanggan sendiri, kami menyimpan teks halaman, agar rekomendasi yang kami berikan kepada pelanggan itu dapat menggunakannya.

Kontak

Pertanyaan, keluhan, atau permintaan untuk berhenti meng-crawl sebuah situs: [email protected]. Jika Anda meminta kami berhenti meng-crawl sebuah situs, sertakan domainnya.