Cara VozRadar mengukur visibilitas AI

Apa yang kami hitung

VozRadar mengajukan pertanyaan yang diajukan pembeli di suatu pasar ke platform jawaban AI, berkali-kali, lalu membaca setiap jawaban. Dari jawaban-jawaban itu, VozRadar melaporkan tiga persentase, masing-masing sebagai bagian dari seluruh jawaban:

• Tingkat sebutan: jawaban yang menyebut merek Anda.
• Tingkat rekomendasi: jawaban yang menyajikan merek Anda sebagai pilihan yang layak dipilih, bukan sekadar nama yang lewat.
• Cakupan kutipan: jawaban yang menautkan halaman di domain Anda sendiri sebagai sumber.

Setiap persentase milik satu pasar. Persentase utama menghitung jawaban dari platform yang Anda pilih, dan persentase yang sama selalu ditampilkan juga per platform, sehingga Anda bisa melihat asisten mana yang menggerakkannya. Pasar tidak pernah digabung atau dirata-ratakan: Meksiko dan Kolombia diukur sebagai dua seri, meskipun bahasanya sama.

Cara jawaban dikumpulkan

Jawaban berasal dari API resmi para penyedia: API pencarian web OpenAI, Gemini dengan grounding Google Search, Agent API Perplexity dengan pencarian web, dan API pencarian web Claude. Google AI Mode dan AI Overviews berasal dari halaman hasil Google, yang diambil melalui API penyedia data pencarian.

VozRadar tidak masuk ke aplikasi chat konsumen dan tidak mengotomatiskan layarnya. Panggilan API dapat diulang dan pengaturannya dicatat, sehingga setiap jawaban dapat ditelusuri kembali ke permintaan yang menghasilkannya.

Setiap jawaban diberi nama platform yang menghasilkannya, misalnya "OpenAI · Web-grounded API". Jawaban API bukan yang dilihat seseorang di aplikasi ChatGPT, jadi VozRadar tidak pernah menyebutnya peringkat ChatGPT.

Mengapa jawaban tanpa merek Anda tetap dihitung

Penyebut setiap persentase adalah semua jawaban atas pertanyaan yang dilacak. Jawaban yang tidak menyebut merek Anda dihitung sebagai nol. Jika jawaban seperti itu dilewati, persentase hanya bisa naik, dan merek yang disebut sekali dalam seratus jawaban akan tampak sama terlihatnya dengan merek yang selalu disebut.

Pertanyaan yang dilacak adalah pertanyaan pembeli yang netral terhadap merek, seperti "software payroll yang bisa menghitung PPh 21 dan BPJS", bukan nama produk Anda. Jadi ketidakhadiran adalah jawaban yang akan dibaca pembeli: jawaban di mana Anda bukan salah satu pilihan.

Data yang hilang berbeda. Jika panggilan ke penyedia gagal atau jawaban tidak dapat dibaca, jawaban itu tidak dimasukkan ke dalam persentase. Itu observasi yang hilang, bukan ketidakhadiran.

Ketidakhadiran juga bukan kepastian. Merek yang terlihat di 0 dari 10 jawaban bukan berarti "tidak pernah disebut": interval 95%-nya masih mencapai 28%.

Persentase dengan interval 95%

Persentase dari segelintir jawaban tidak pasti, jadi VozRadar memperlakukan setiap persentase sebagai estimasi. VozRadar memakai model Beta-Binomial: sebelum ada jawaban, setiap persentase antara 0% dan 100% sama mungkinnya (prior Beta(1, 1)). Setelah melihat jawaban dengan dan tanpa merek, estimasinya adalah Beta(jawaban dengan merek + 1, jawaban tanpa merek + 1).

Setiap persentase ditampilkan dengan tiga angka: estimasi (rata-rata posterior), interval 95% (rentang yang memuat persentase sebenarnya dengan probabilitas 95% menurut model), dan jumlah jawaban.

Misalnya, merek yang direkomendasikan di 12 dari 40 jawaban memiliki estimasi 31%, dengan interval 95% dari 18% sampai 46%. Makin banyak jawaban, makin sempit intervalnya:

Dua persentase yang intervalnya banyak bertumpang tindih tidak jelas berbeda. Karena itu VozRadar tidak pernah menampilkan persentase tanpa ukuran sampelnya, dan tidak pernah menampilkan posisi seperti "#2".

Saat alat ukurnya berubah

Penyedia mengganti model dan cara pencariannya. Saat model penyedia berganti, saat grounding pencariannya berperilaku jauh berbeda, atau saat VozRadar mengubah cara membaca suatu platform, dimulailah epoch platform yang baru.

Tren yang melewati sebuah epoch membandingkan dua alat ukur, jadi tren itu ditandai alih-alih dibaca sebagai perubahan visibilitas Anda. Eksperimen yang jendelanya melewati sebuah epoch diklasifikasikan sebagai tidak meyakinkan.

Platform uji sintetis

VozRadar memiliki satu platform jawaban simulasi. Platform ini menghasilkan jawaban buatan agar seluruh alur (pengumpulan, pembacaan, persentase, laporan) dapat diuji tanpa panggilan berbayar ke penyedia.

Jawabannya tidak pernah bercampur dengan jawaban sungguhan. Jawaban itu hanya ditampilkan selama proyek belum memiliki jawaban sungguhan, di bawah banner bergaris "Data uji sintetis", dan tidak pernah memicu peringatan. Jawaban itu tidak mengukur produk AI apa pun.

Cara hasil perbaikan dirumuskan

Saat Anda merilis perbaikan, VozRadar membuka eksperimen. Eksperimen membandingkan persentase dalam jendela baseline sebelum perubahan dengan persentase dalam jendela sesudahnya, masing-masing dengan jumlah jawaban minimum, lalu merumuskan hasilnya dengan salah satu dari empat cara:

• Kemungkinan berhasil: persentase naik setidaknya 10 poin, dengan probabilitas setidaknya 85% bahwa persentase itu memang naik.
• Kemungkinan memburuk: persentase turun setidaknya 10 poin, dengan probabilitas setidaknya 85% bahwa persentase itu memang turun.
• Tidak ada perubahan jelas: selisihnya terlalu kecil atau terlalu tidak pasti untuk disimpulkan.
• Tidak meyakinkan: sebuah platform berubah selama jendela, atau pertanyaan kontrol yang tidak disasar perbaikan bergerak dengan cara yang sama, yang menunjukkan pergeseran model atau pencarian.

Ini adalah observasi tentang jawaban, bukan bukti pasti tentang alasan perubahannya. Tidak ada yang mengendalikan apa yang dikatakan asisten AI, jadi peningkatan setelah perbaikan adalah indikasi bahwa perbaikan itu membantu. Panduan cara mengukur visibilitas pencarian AI menjelaskan disiplin yang sama untuk tim mana pun.