Cara mengukur visibilitas di pencarian AI

Apa yang layak disebut pengukuran

Anda mengukur visibilitas di pencarian AI dengan menjalankan kumpulan pertanyaan pembeli yang tetap pada sebuah platform jawaban AI yang disebutkan namanya, berkali-kali selama suatu periode, lalu menghitung seberapa sering jawabannya menyebut, merekomendasikan, dan mengutip merek Anda. Hasilnya adalah sekumpulan persentase dengan ukuran sampel, dipantau dari waktu ke waktu, per platform dan per pasar. Apa pun yang kurang dari itu hanyalah anekdot.

Tangkapan layar dari satu jawaban bukanlah pengukuran. Tangkapan layar itu hanya menunjukkan apa yang dihasilkan satu model satu kali, untuk satu orang, di satu lokasi, dengan hasil pencarian apa pun yang diambilnya pada menit itu. Ajukan pertanyaan yang sama sekali lagi, dan merek yang disebut bisa berubah. OpenAI mendokumentasikan bahwa API-nya secara default tidak deterministik, dan bahwa bahkan dengan seed yang tetap, determinisme tidak dijamin. Jawaban berbasis pencarian web menambahkan sumber variasi kedua: hasil pencarian di baliknya berubah setiap hari.

Jadi, satuan pengukurannya bukan sebuah jawaban. Satuannya adalah persentase dari banyak jawaban sampel, dengan kondisi yang dicatat: platform mana, model mana, lokasi mana, hari apa.

Pilih prompt yang mencerminkan pertanyaan pembeli yang sebenarnya

Prompt yang Anda pantau menentukan apa yang Anda pelajari. Jika prompt itu berisi nama produk Anda sendiri, Anda akan mendapati bahwa asisten AI mengenal produk Anda. Bukan itu pertanyaannya. Pertanyaannya adalah apakah pembeli yang belum mengenal Anda mendapatkan nama Anda dalam jawabannya.

Susun kumpulan prompt dari pertanyaan yang benar-benar diajukan orang kepada asisten AI di setiap tahap: apa itu sebuah kategori, opsi apa saja yang ada, mana yang sesuai dengan suatu batasan, berapa biayanya, apakah tersedia di negara mereka. Perusahaan software payroll di Indonesia, misalnya, akan memantau prompt seperti "software payroll yang bisa menghitung PPh 21 dan BPJS" dan "sistem payroll terbaik untuk perusahaan dengan 50 karyawan", bukan "apakah produk kami bagus".

• Tulis dalam bahasa pasar tersebut, dengan cara pembeli lokal merumuskannya, bukan sebagai terjemahan dari daftar kata kunci berbahasa Inggris. Kosakata, regulasi, dan pesaing berbeda di setiap negara; lihat bagaimana jawaban AI berbeda menurut negara.
• Kelompokkan menurut niat (pertanyaan kategori, pertanyaan perbandingan, pertanyaan kecocokan) agar Anda bisa membaca persentase per kelompok, bukan satu angka gabungan.
• Jaga agar kumpulannya stabil. Mengganti prompt di tengah rangkaian data merusak perbandingan. Tambahkan prompt baru sebagai kelompok baru dengan tanggal mulainya sendiri.

Tingkat sebutan, tingkat rekomendasi, cakupan kutipan

Setiap prompt dijalankan berulang kali. Setiap putaran adalah satu observasi. Dari observasi-observasi itu Anda menghitung tiga persentase, dan ketiganya menjawab tiga pertanyaan yang berbeda.

• Tingkat sebutan: proporsi jawaban yang menyebut nama merek Anda, dalam bentuk apa pun. Angka ini menunjukkan apakah asisten AI tahu bahwa Anda ada dalam konteks tersebut.
• Tingkat rekomendasi: proporsi jawaban yang menampilkan merek Anda sebagai opsi yang layak dipertimbangkan pembeli, bukan sekadar disebut. Sebutan di dalam "alternatif lain yang mungkin pernah Anda dengar" bukanlah rekomendasi.
• Cakupan kutipan: proporsi jawaban yang menautkan halaman milik Anda sebagai sumber. Platform berbasis pencarian web menampilkan informasi ini: dokumentasi Google menyebutkan bahwa fitur AI-nya menampilkan tautan ke sumber, dan grounding pencarian di Gemini API mengembalikan URL yang dikutip bersama jawabannya.

Sebuah merek bisa sering disebut, jarang direkomendasikan, dan tidak pernah dikutip. Setiap celah menunjuk ke perbaikan yang berbeda, itulah sebabnya satu "skor visibilitas" gabungan lebih banyak menyembunyikan daripada menunjukkan.

Ukuran sampel dan ketidakpastian. Persentase dari empat jawaban hampir tidak berarti apa-apa. Jika sebuah prompt dijalankan 40 kali dan merek Anda direkomendasikan dalam 12 di antaranya, laporkan "12 dari 40" atau "30% dari 40 jawaban", dan perlakukan angka itu sebagai perkiraan dengan rentang di sekitarnya. Makin besar jumlahnya, makin sempit rentangnya. Tool apa pun yang menampilkan persentase tanpa ukuran sampelnya meminta Anda memercayai angka yang tidak bisa Anda periksa.

Per platform, per pasar, dan siapa lagi yang ada dalam jawaban

Platform jawaban tidak bisa saling menggantikan. Jawaban dari API OpenAI berbasis pencarian web, jawaban dari Gemini dengan grounding Google Search, jawaban dari API pencarian web Perplexity, dan AI Overview di halaman hasil Google dihasilkan oleh model yang berbeda dengan pengambilan sumber yang berbeda. Laporkan masing-masing sebagai rangkaian data tersendiri, dengan nama penyedianya. Jangan merata-ratakannya, dan jangan menyebut hasil API sebagai "ChatGPT": apa yang dilihat seseorang di aplikasi konsumen adalah hal yang berbeda, dan pengukuran lewat API tidak bisa mewakilinya.

Pasar juga tidak bisa saling menggantikan. Prompt yang sama, diajukan dari Meksiko dan dari Kolombia dalam varian bahasa Spanyol masing-masing negara, diambil dari sumber yang berbeda dan dijawab dengan merek yang berbeda. Ukur setiap pasar tempat Anda berjualan sebagai rangkaian data tersendiri. Jika Anda mulai dari satu pasar, halaman pasar Meksiko menunjukkan seperti apa baseline untuk satu pasar.

Pantau pesaing dan sumbernya, bukan hanya merek Anda sendiri. Catat setiap merek yang muncul di setiap jawaban, agar Anda bisa melihat siapa yang direkomendasikan ketika Anda tidak, dan catat setiap domain yang dikutip, agar Anda bisa melihat publikasi, direktori, dan situs perbandingan mana yang diandalkan asisten AI di pasar tersebut. Daftar-daftar itulah sumber sebagian besar perbaikan: direktori yang mencantumkan pesaing tetapi tidak mencantumkan Anda, situs ulasan dengan fakta usang tentang produk Anda, halaman kategori yang belum pernah Anda tulis dalam bahasa lokal. Panduan tentang cara muncul dalam jawaban AI membahas apa yang perlu dilakukan dengan daftar-daftar tersebut.

Membedakan perubahan nyata dari noise

Karena persentase bisa bergerak dengan sendirinya, bagian tersulit dari pengukuran adalah mengetahui kapan sesuatu benar-benar terjadi. Ambil contoh rekaan: tingkat rekomendasi yang naik dari 25% ke 35% di antara dua putaran mingguan, masing-masing 40 jawaban, masih berada dalam rentang yang bisa diharapkan dari variasi sampel saja. Lonjakan pada hari penyedia mengganti modelnya adalah perubahan pada alat ukurnya, bukan pada visibilitas Anda.

Disiplin yang bisa diterapkan kira-kira seperti ini:

1. Catat baseline sebelum Anda mengubah apa pun: beberapa minggu putaran, per platform dan per pasar, agar Anda tahu seberapa besar persentasenya naik turun dalam kondisi normal.
2. Catat tanggal rilis setiap perubahan yang Anda buat, beserta apa yang diubah dan di mana.
3. Tetapkan jendela observasi sejak awal, cukup panjang agar perubahan sempat di-crawl dan diambil, lalu bandingkan jendela itu dengan baseline, bukan dengan satu minggu terbaik.
4. Catat perubahan dari penyedia. Ketika versi model atau perilaku pencarian berubah di dalam jendela Anda, tandai perbandingannya alih-alih memercayainya.
5. Gunakan bahasa yang hati-hati. "Kemungkinan positif", "tidak ada perubahan yang jelas", dan "belum dapat disimpulkan" adalah hasil yang jujur. Peningkatan setelah sebuah perubahan adalah indikasi bahwa perubahan itu membantu, bukan bukti pasti, karena tidak ada yang mengendalikan apa yang dijawab asisten AI.

Bagaimana VozRadar mengukur

VozRadar dibangun di atas metode di atas. Untuk pasar yang dipilih, VozRadar menemukan prompt pembeli yang dilokalkan, dan setelah Anda menyetujuinya, menjalankannya setiap minggu di platform jawaban yang disebutkan namanya: API OpenAI berbasis pencarian web, Gemini dengan grounding Google Search, API pencarian web Perplexity, serta Google AI Mode dan AI Overviews yang direkam dari hasil pencarian. Setiap jawaban disimpan sebagai satu observasi, diberi label platform, model, dan lokasi yang menghasilkannya; hasil dari API diberi label sebagai hasil API, bukan sebagai aplikasi konsumen.

Tingkat sebutan, tingkat rekomendasi, dan cakupan kutipan dilaporkan sebagai probabilitas beserta ukuran sampel dan rentang ketidakpastiannya, tidak pernah sebagai posisi, dan setiap angka agregat tertaut ke jawaban-jawaban di baliknya. Pesaing dan sumber yang dikutip dicatat per pasar. Ketika sebuah perbaikan dirilis, Experiment Ledger menyimpan baseline, tanggal rilis, dan jendela observasi, lalu melaporkan hasilnya sebagai indikasi, bukan bukti pasti. Halaman metodologi menjelaskan modelnya, ambang batasnya, dan contoh dengan angka. VozRadar sedang dalam tahap pra-peluncuran dengan daftar tunggu; halaman tentang kami menjelaskan apa yang dilakukan VozRadar dan apa yang tidak diklaimnya.