Jalankan Panel Visibilitas AI yang Dapat Membedakan Perubahan Nyata dari Kebisingan Model.

Sebagian besar laporan visibilitas AI dibangun berdasarkan satu kali eksekusi per perintah. Itu seperti lemparan koin yang dilaporkan sebagai pengukuran. Ketika Thinking Machines Lab mengirimkan 1,000 permintaan identik ke Qwen3-235B pada suhu 0, ia menerima balasan 80 penyelesaian berbeda, perbedaan pertama muncul pada token 103 (Laboratorium Mesin Berpikir, 10 September 2025Asisten konsumen menambahkan personalisasi, lokalitas, dan pembaruan model secara diam-diam. Panduan ini ditujukan untuk pemimpin pertumbuhan dan SEO yang telah ditanya apakah merek tersebut muncul di ChatGPT, Gemini, atau Mode AI Google dan membutuhkan jawaban yang dapat diperdebatkan. Pada akhirnya, Anda akan memiliki panel petunjuk, penghitungan run yang dibenarkan oleh ketelitian yang Anda butuhkan, rubrik penilaian, dan aturan untuk memutuskan kapan perubahan antar gelombang itu nyata.

Ukur dua kejadian biner, bukan peringkat.

Tidak ada peringkat dalam jawaban AI. Terdapat sebuah paragraf yang menyebutkan nama Anda atau tidak, dan daftar sumber yang berisi domain Anda atau tidak. Satuan ukurannya adalah satu. pengamatan: satu perintah, dijalankan sekali, pada satu asisten, dalam satu bahasa dan lokal, pada satu tanggal. Masing-masing menghasilkan dua hasil biner.

• Menyebut: Nama merek muncul dalam teks jawaban.
• Kutipan: URL di domain Anda akan muncul di kode sumber atau tautan sebaris.

Segala hal lainnya berasal dari hal-hal ini. Pangsa suara adalah jumlah penyebutan Anda dibandingkan dengan semua penyebutan merek dalam kumpulan jawaban yang sama. Efisiensi sitasi adalah jumlah sitasi dibandingkan dengan penyebutan: ini memberi tahu Anda apakah Anda dideskripsikan dari memori model atau benar-benar dibaca.

Hasil biner mengubah ini menjadi estimasi proporsi, yang memiliki metode interval yang terdokumentasi dengan baik (Brown, Cai dan DasGupta, Ilmu Statistik, 2001Skor "visibilitas AI" komposit tidak dapat dibandingkan dengan apa pun, termasuk nilainya sendiri bulan lalu: kami tidak menemukan definisi yang sama di antara vendor, jadi anggap perbandingan antar alat tidak dapat digunakan.

Buat panel perintah, lalu kunci.

Panel adalah daftar perintah tetap yang Anda jalankan ulang di setiap gelombang. Jika daftar tersebut berubah antar gelombang, tidak ada yang Anda ukur sebagai perubahan visibilitas.

1. Sumber informasi berasal dari permintaan nyata. Ambil kueri berbentuk pertanyaan dari Search Console, log pencarian di situs web, dan transkrip penjualan. Prompt yang dibuat dalam lokakarya mengukur imajinasi tim Anda.
2. Lakukan stratifikasi berdasarkan tujuan. Empat strata: tingkat kategori ("X terbaik untuk Y"), perbandingan ("A vs B"), berbasis masalah ("bagaimana cara memperbaiki Z") dan spesifik merek ("apakah merek tersebut bagus"). Tetapkan jumlah per strata agar pergeseran dalam bauran tidak dapat disalahartikan sebagai pergeseran visibilitas.
3. Atur ukurannya menjadi 40 hingga 80 prompt. Di bawah 40, interval panel terlalu lebar untuk ditindaklanjuti. Di atas 80, biaya eksekusi meningkat lebih cepat daripada presisi.
4. Perlakukan setiap bahasa sebagai panel tersendiri. Sebuah perintah dalam bahasa Turki dan terjemahan bahasa Inggrisnya menghasilkan merek yang berbeda, kutipan yang berbeda, dan seringkali kerangka kategori yang berbeda. Google menambahkan bahasa Turki ketika AI Mode diperluas ke 53 bahasa baru pada 19 Februari 2026 (daftar bahasaJika Anda hanya melaporkan angka dalam bahasa Inggris untuk pasar Turki, berarti Anda menggambarkan pasar yang tidak Anda layani.
5. Bekukan panel selama seperempat jam dan buat versinya. Tambahkan petunjuk hanya pada batas seperempat, dan lakukan penyesuaian ulang saat Anda melakukannya.

Tentukan berapa banyak eksekusi per perintah.

Setiap eksekusi merupakan pengambilan sampel acak, bukan pencarian data, sehingga satu eksekusi per perintah memberikan nilai tanpa presisi. Tabel tersebut memberikan lebar setengah interval Wilson 95% untuk tingkat penyebutan per perintah yang diamati sebesar 50%, yaitu kasus terburuk dan karenanya merupakan asumsi perencanaan yang aman.

Ketelitian per-permintaan itu mahal dan jarang dibutuhkan. Angka yang ditanyakan oleh bisnis adalah... tingkat panel: jumlah penyebutan total dibagi dengan jumlah pengamatan total. Panel 60 pertanyaan pada 5 kali percobaan memberikan 300 pengamatan per asisten per gelombang, lebar setengah yang sederhana mendekati ±5.7 poin pada 50%.

Itu terlalu optimis, karena hasil dari perintah yang sama berkorelasi. Terapkan efek desain klaster: kalikan varians dengan 1 + (jumlah percobaan per perintah − 1) × ICC, korelasi intra-perintah, yang diestimasi dari gelombang pertama Anda sendiri, bukan diasumsikan. Jika hasilnya mendekati 0.5 pada 5 percobaan, sampel efektif lebih dekat ke 100 observasi dan lebar setengah sebenarnya lebih dekat ke ±10 poin. Rencanakan hal itu sebelum menjanjikan dasbor.

Pengaturan default kami: 60 pertanyaan, 5 kali percobaan setiap pertanyaan, per asisten, per bahasa, dalam gelombang empat minggu. Laporkan tingkat panel dan stratum dengan interval, hasil per pertanyaan hanya sebagai tingkatan.

Kendalikan kondisi pengoperasian.

Nondeterminisme adalah batas bawahnya. Segala sesuatu di bawahnya adalah varians yang Anda tambahkan sendiri.

• Matikan personalisasi. Di ChatGPT gunakan Obrolan Sementara, yang tidak menggunakan atau menciptakan kenanganMemori juga mengandalkan instruksi khusus, riwayat obrolan, dan file.Tanya Jawab Memori), sehingga analis yang masuk ke sistem mengukur riwayat mereka sendiri.
• Perbaiki pengaturan lokal dan bahasa antarmuka. dan rekam keduanya.
• Catat versi model dan stempel waktu. Pada setiap pengamatan, atau pembaruan model di antara gelombang, akan terlihat bahwa kampanye Anda berhasil.
• Gunakan satu metode pengumpulan per asisten. sepanjang kuartal. API dan aplikasi konsumen memiliki pengambilan data yang berbeda; mencampurnya dalam satu rangkaian data membuatnya tidak berarti.
• Acak urutan perintah dan menyebarkan proses eksekusi sepanjang hari, sehingga beban server, yang mendorong variasi ukuran batch di balik nondeterminisme, tidak tercampur dengan daftar prompt.

Berikan nilai pada setiap pengamatan menggunakan rubrik tetap.

Dua analis harus menghasilkan skor yang sama dari jawaban yang sama. Gunakan skala tertutup dan tuliskan penentuan pemenang jika terjadi seri.

Berikan skor 1 untuk penyebutan yang salah secara faktual dan tandai. Deskripsi yang percaya diri namun salah tentang harga atau cakupan Anda adalah kemenangan visibilitas sekaligus masalah komersial, dan temuan inilah yang paling sering menutupi biaya latihan tersebut. Kalibrasi dengan meminta dua orang untuk memberi skor pada 30 jawaban yang sama di gelombang pertama; lebih dari tiga perbedaan pendapat berarti kriteria penilaian terlalu longgar.

Tentukan apakah perubahan tersebut nyata atau tidak.

Jalankan ini secara berurutan dan berhenti pada kegagalan pertama.

1. Apakah interval 95% antar gelombang saling tumpang tindih? Jika ya, laporkan tidak ada perubahan yang terdeteksi, bukan selisih poinnya.
2. Apakah versi modelnya berubah? Jika ya, perbandingannya menjadi keliru: jalankan ulang gelombang sebelumnya dan bandingkan dengan versi baru terlebih dahulu.
3. Apakah perubahan tersebut bertahan selama dua gelombang berturut-turut? Satu gelombang adalah sinyal, dua gelombang adalah temuan.
4. Apakah terkonsentrasi di satu lapisan? Pergeseran ke dalam ajakan khusus merek tanpa adanya ajakan di tingkat kategori biasanya didorong oleh permintaan merek, bukan upaya peningkatan visibilitas AI.
5. Apakah efisiensi sitasi berubah seiring dengan tingkat penyebutan? Meningkatnya penyebutan sementara kutipan tetap stagnan berarti model tersebut menggambarkan Anda berdasarkan ingatan: nilainya berkurang, dan akan memudar seiring waktu.

Hubungkan panel tersebut ke sesuatu yang bersifat komersial.

Visibilitas adalah indikator utama, bukan hasil akhir. Pisahkan rujukan asisten sebagai saluran analitik tersendiri dan pantau sesi serta rasio konversinya dibandingkan dengan pencarian organik. Harapkan volume rendah, rasio per sesi yang lebih tinggi, dan angka absolut yang akan mengecewakan siapa pun yang pertama kali melihat grafik peningkatan visibilitas. Sampaikan hal ini sebelumnya.

Bobot platform itu penting. Data panel Similarweb untuk Juni 2025 hingga Mei 2026 menempatkan ChatGPT mendekati 53% pangsa platform AI generatif, turun dari sekitar 76% setahun sebelumnya, dengan Gemini di angka 27 hingga 28% dan Claude mendekati 9% (SimilarwebEstimasi panel, bukan sensus: gunakan estimasi ini untuk memilih asisten mana yang akan disertakan, bukan untuk memberi bobot pada angka utama.

[DATA INTERNAL YANG DIBUTUHKAN: tingkat penyebutan median dan efisiensi sitasi dari panel Switas di seluruh klien e-commerce, perjalanan, dan kesehatan, ditambah korelasi intra-prompt yang terlihat dalam gelombang kami sendiri.]

Di mana metode ini gagal

• Jawaban yang tidak dapat Anda kumpulkan dalam skala besar. Mode AI Google tidak memiliki API pengukuran publik dan pengumpulan data otomatis melanggar persyaratan layanan. Anggap saja sebagai sub-panel manual yang lebih kecil, dan diberi label demikian.
• Ini tidak mengukur kerugian SERP klasik. Di Turki, tempat AI Overviews diluncurkan dari 18 Februari 2026Sebuah studi terhadap 1,035 kueri langsung di 17 sektor menemukan bahwa Tinjauan AI muncul pada 59% kueri tersebut dan klik pada kueri informasional turun sekitar sepertiga pada Juni 2026, sementara posisi rata-rata hampir tidak berubah.StradijiPanel kontrol tidak akan mendeteksi hal itu. Search Console akan mendeteksinya.
• Jangka waktu dasar yang pendek di pasar yang terlambat dalam peluncuran. Laporkan level dan interval, bukan garis tren, sampai Anda memiliki empat gelombang.
• Nondeterminisme tidak dapat diperbaiki dari luar. Kernel yang invarian terhadap batch hanya menghapusnya untuk siapa pun yang menjalankan inferensi. Sebagai konsumen asisten yang dihosting, Anda hanya dapat melakukan averaging terhadapnya.
• Pergeseran panel. Panel yang dibekukan tepat untuk perbandingan, tetapi salah dalam memprediksi pasar setelah dua atau tiga kuartal.

Pertanyaan yang sering diajukan

Berapa banyak petunjuk yang saya butuhkan untuk panel pertama?

Empat puluh adalah batas bawah praktis dan 60 adalah nilai standar kami. Di bawah 40, interval panel cukup lebar sehingga sebagian besar perubahan antar kuartal tidak dapat dibedakan dari noise. Lakukan stratifikasi berdasarkan tujuan dan pertahankan jumlah per stratum tetap.

Apakah mengatur suhu ke nol membuat hasilnya dapat direproduksi?

Tidak. Suhu nol menghilangkan keacakan pengambilan sampel tetapi tidak menghilangkan variasi dari perubahan ukuran batch seiring dengan beban server, itulah sebabnya 1,000 permintaan suhu nol yang identik menghasilkan 80 penyelesaian berbeda dalam eksperimen Thinking Machines. Rata-ratakan dari beberapa kali percobaan alih-alih mengejar determinisme.

Bisakah saya hanya menggunakan skor visibilitas AI dari vendor?

Gunakan alat vendor untuk pengumpulan data jika itu menghemat waktu, tetapi bangun kembali metrik dari pengamatan mentah. Skor komposit tidak didefinisikan secara konsisten di berbagai alat, dan beberapa melaporkan satu kali eksekusi per perintah. Tanyakan kepada vendor mana pun berapa banyak eksekusi yang mendasari satu titik data.

Seberapa sering saya harus menjalankan sebuah gelombang?

Untuk sebagian besar merek, pengukuran dilakukan setiap empat minggu sekali. Gelombang mingguan sebagian besar mengukur ulang noise dan pembaruan model. Setelah perubahan konten atau data terstruktur yang besar, tambahkan gelombang empat minggu kemudian, bukan seminggu setelahnya.

Apakah teks bahasa Turki dan Inggris sebaiknya diletakkan dalam satu panel?

Tidak. Jalankan panel terpisah dengan garis dasar yang berbeda. Kumpulan jawaban, domain yang dikutip, dan kerangka persaingan berbeda menurut bahasa, jadi mencampurnya akan menghasilkan rata-rata yang tidak menggambarkan salah satu pasar pun.

Apa yang dianggap sebagai kutipan jika asisten tersebut memberikan tautan ke daftar di marketplace, bukan ke situs saya?

Berikan skor sebagai penyebutan tanpa kutipan dan catat domain yang dikutip secara terpisah. Pola kutipan di marketplace biasanya menunjukkan adanya kesenjangan konten atau data terstruktur di halaman Anda sendiri, bukan pada kesadaran merek.

Kami merancang dan mengoperasikan panel visibilitas AI sebagai bagian dari pekerjaan pertumbuhan dan SEO teknis kami: desain panel, pengumpulan data gelombang di berbagai asisten dan bahasa, kalibrasi penilaian, dan segmentasi analitik yang mengaitkannya dengan pendapatan. Ceritakan kepada kami tentang gelombang dasar pertama..

sumber

• Thinking Machines Lab, Mengalahkan Nondeterminisme dalam Inferensi LLM, 10 September 2025
• Brown, Cai dan DasGupta, Estimasi Interval untuk Proporsi Binomial, Ilmu Statistik 16(2), 2001
• Pusat Bantuan OpenAI, Tanya Jawab Obrolan Sementara
• Pusat Bantuan OpenAI, Pertanyaan Umum tentang Memori
• Forum Diskusi Mesin Pencari, Google Memperluas Mode AI ke 53 Bahasa Baru, 19 Februari 2026
• Bantuan Pencarian Google, Bahasa yang didukung Mode AI
• Zeo, Mode AI Google, dan Gambaran Umum AI Langsung di Turki
• Stradiji, Apa yang Dilakukan oleh Gambaran Umum AI terhadap Pencarian di Turki
• Similarweb, statistik pencarian AI, Juni 2025 hingga Mei 2026