Kør et AI-synlighedspanel, der kan se en reel ændring ud fra modelstøj

De fleste AI-synlighedsrapporter er bygget på én kørsel pr. prompt. Det er et møntkast rapporteret som en måling. Da Thinking Machines Lab sendte 1,000 identiske anmodninger til Qwen3-235B ved temperatur 0, kom den tilbage 80 forskellige fuldførelser, den første divergens optræder ved token 103 (Tænkemaskiner-laboratoriet, 10. september 2025). Forbrugerassistenter tilføjer personalisering, lokalitet og lydløse modelopdateringer oveni. Denne guide er til vækst- og SEO-leads, der er blevet spurgt, om brandet vises i ChatGPT, Gemini eller Googles AI-tilstand, og som har brug for et svar, der kan modstå udfordringen. Til sidst vil du have et promptpanel, et antal kørsel begrundet med den præcision, du har brug for, en scoringsrubrik og en regel til at afgøre, hvornår en ændring mellem bølger er reel.

Mål to binære hændelser, ikke en rangering

Der er ingen rang i et AI-svar. Der er et afsnit, der enten nævner dig eller ikke, og en kildeliste, der enten indeholder dit domæne eller ikke. Måleenheden er én observationén prompt, kør én gang, på én assistent, på ét sprog og én lokalitet, på én dato. Hver prompt giver to binære resultater.

• Nævne: Mærkenavnet fremgår af svarteksten.
• Citation: En URL på dit domæne vises i kilderne eller indlejrede links.

Alt andet stammer fra disse. Andelen af ​​stemmer er dine omtaler i forhold til alle brandomtaler i det samme svarsæt. Citationseffektivitet er citater i forhold til omtaler: det fortæller dig, om du bliver beskrevet ud fra modelhukommelsen eller rent faktisk bliver læst.

Binære udfald omdanner dette til proportionsestimering, som har veldokumenterede intervalmetoder (Brown, Cai og Das Gupta, Statistisk videnskab, 2001En sammensat "AI-synlighedsscore" kan sammenlignes med ingenting, inklusive dens egen værdi sidste måned: Vi kunne ikke finde nogen definition, der deles på tværs af leverandører, så vi skal betragte sammenligninger på tværs af værktøjer som ubrugelige.

Byg promptpanelet, og lås det derefter

Et panel er en fast liste af prompts, som du gentager i hver bølge. Hvis listen ændrer sig mellem bølger, er intet af det, du måler, en ændring i synligheden.

1. Find forslag fra reel efterspørgsel. Hent spørgsmålsformede forespørgsler fra Search Console, søgelogfiler på stedet og salgsudskrifter. Prompts opfundet på en workshop måler dit teams fantasi.
2. Stratificere efter hensigt. Fire lag: kategoriniveau ("bedste X for Y"), sammenligning ("A vs B"), problem først ("hvordan løser jeg Z") og brandspecifik ("er brand godt nok"). Fastsæt antallet pr. lag, så en ændring i miks ikke kan give sig ud for at være en ændring i synlighed.
3. Størrelsesindstil den til 40 til 80 prompts. Under 40 er panelintervallet for bredt til at reagere på. Over 80 vokser driftsomkostningerne hurtigere end præcisionen.
4. Behandl hvert sprog som sit eget panel. En tyrkisk prompt og dens engelske oversættelse returnerer forskellige mærker, forskellige citater og ofte en anden kategoriramme. Google tilføjede tyrkisk, da AI-tilstand blev udvidet til 53 nye sprog på 19 februar 2026 (sprogliste). Rapporter kun engelske tal for et tyrkisk marked, og du beskriver et marked, du ikke betjener.
5. Frys panelet i et kvarter og versionér den. Tilføj kun prompter ved en kvartgrænse, og re-baseline, når du gør det.

Bestem hvor mange kørsel pr. prompt

Hver kørsel er en uafgjort, ikke et opslag, så én kørsel pr. prompt giver en værdi uden præcision. Tabellen viser 95% Wilson-intervallets halvbredde for en omtalerate pr. prompt observeret på 50%, det værst tænkelige tilfælde og dermed den sikre planlægningsantagelse.

Præcision pr. prompt er dyrt og sjældent nødvendigt. Det tal, virksomheden spørger om, er rate på panelniveau: samlede omtaler i forhold til samlede observationer. Et panel med 60 prompts ved 5 kørsler giver 300 observationer pr. assistent pr. bølge, en naiv halvbredde nær ±5.7 point ved 50 %.

Det er optimistisk, fordi kørsler af den samme prompt er korrelerede. Anvend en klyngedesigneffekt: gang variansen med 1 + (kørsler pr. prompt − 1) × ICC, korrelationen inden for prompten, estimeret ud fra din egen første bølge i stedet for antaget. Hvis den lander nær 0.5 ved 5 kørsler, er den effektive stikprøve tættere på 100 observationer, og den ærlige halvbredde tættere på ±10 point. Planlæg for det, før du lover et dashboard.

Vores standard: 60 prompter, 5 kørsler hver, pr. assistent, pr. sprog, i fire-ugers bølger. Rapporter panel- og stratumniveau med intervaller, resultater pr. prompt kun som niveauer.

Kontroller kørselsbetingelserne

Nondeterminisme er bundværdien. Alt nedenunder er varians, du selv tilføjer.

• Slå personalisering fra. I ChatGPT skal du bruge midlertidig chat, som bruger eller skaber ikke minderHukommelsen trækker ellers på brugerdefinerede instruktioner, tidligere chats og filer (Ofte stillede spørgsmål om hukommelse), så en indlogget analytiker måler sin egen historik.
• Ret sproget for lokalitet og grænseflade og optage begge.
• Registrer modelversion og tidsstempel på hver observation, eller en modelopdatering mellem bølger, vil det se ud som om din kampagne fungerer.
• Brug én opkrævningsmetode pr. assistent hele kvartalet. API og forbrugerapp har forskellig hentning; at blande dem i én serie gør det meningsløst.
• Tilfældig rækkefølge af prompter og spreder kørelser over dagen, så serverbelastningen, som driver variationen i batchstørrelse bag nondeterminisme, ikke forveksles med promptlisten.

Giv hver observation en score med en fast rubrik

To analytikere skal producere den samme score ud fra det samme svar. Brug en lukket skala og skriv tiebreakene ned.

Giv en faktuelt forkert omtale en score på 1 og markér den. En sikker, ukorrekt beskrivelse af din prisfastsættelse eller dækning er både en synlighedsgevinst og et kommercielt problem, og det er den konstatering, der oftest betaler sig for øvelsen. Kalibrer ved at have to personer til at score de samme 30 svar i den første bølge; mere end tre uenigheder betyder, at rubrikken er for løs.

Afgør om en ændring er reel

Kør dette i rækkefølge og stop ved den første fejl.

1. Overlapper bølge-over-bølge 95%-intervallerne hinanden? Hvis ja, rapporter ingen registreret ændring, ikke pointforskellen.
2. Har modelversionen ændret sig? Hvis ja, er sammenligningen ukorrekt: Kør den tidligere bølge igen mod den nye version først.
3. Holdt ændringen sig i to på hinanden følgende bølger? Én bølge er et signal, to er et fund.
4. Er det koncentreret i ét lag? Et skift i brandspecifikke prompts uden noget på kategoriniveau er normalt brandefterspørgsel, ikke arbejde med AI-synlighed.
5. Ændrede citationseffektiviteten sig med omtaleraten? At antallet af omtaler stiger, mens antallet af citater forbliver uændret, betyder, at modellen beskriver dig fra hukommelsen: mindre værd, og den forfalder.

Tilslut panelet til noget kommercielt

Synlighed er en ledende indikator, ikke et resultat. Segmentér assistenthenvisninger som deres egen analysekanal og se sessioner og deres konverteringsrate i forhold til organisk søgning. Forvent lav volumen, en højere rate pr. session og absolutte tal, der skuffer alle, der først får vist et diagram med stigende synlighed. Sig det på forhånd.

Platformens vægtning er vigtig. Similarwebs paneldata for juni 2025 til maj 2026 placerer ChatGPT tæt på 53% af den generative AI-platforms andel, ned fra cirka 76% året før, med Gemini på 27 til 28% og Claude tæt på 9% (SimilarWebPanelestimater, ikke en folketælling: brug dem til at vælge, hvilke assistenter der skal inkluderes, ikke til at vægte et overordnet tal.

[INTERNE DATA NØDVENDIGE: median omtalerate og citationseffektivitet fra Switas-paneler på tværs af e-handel, rejser og sundhedskunder, plus den intra-prompt korrelation set i vores egne bølger.]

Hvor denne metode bryder sammen

• Svar du ikke kan indsamle i stor skala. Googles AI-tilstand har ingen offentlig målings-API, og automatiseret indsamling kører ind under servicevilkårene. Betragt den som et mindre manuelt underpanel, der er mærket som sådan.
• Den måler ikke klassisk SERP-tab. I Tyrkiet, hvor AI Overviews blev rullet ud fra 18 februar 2026En undersøgelse af 1,035 live-forespørgsler på tværs af 17 sektorer viste, at AI-oversigter på 59 % af dem, og at klik på informative forespørgsler faldt med omkring en tredjedel i juni 2026, mens den gennemsnitlige position næsten ikke ændrede sig (Stradiji). Et panel ville ikke fange det. Search Console ville.
• Korte basislinjer på markeder med sen udrulning. Rapporter niveauer og intervaller, ikke trendlinjer, indtil du har fire bølger.
• Nondeterminisme kan ikke repareres udefra. Batch-invariante kerner fjerner den kun for den, der kører inferensen. Som forbruger af hostede assistenter kan du kun gennemsnitsberegne den.
• Paneldrift. Et frossent panel er korrekt for sammenlignelighed og forkert om markedet efter to eller tre kvartaler.

Ofte stillede spørgsmål

Hvor mange prompts skal jeg bruge til et første panel?

Fyrre er den praktiske bundgrænse, og 60 er vores standardværdi. Under 40 er panelintervallet bredt nok til, at de fleste ændringer fra kvartal til kvartal ikke kan skelnes fra støj. Stratificer efter hensigt, og hold antallet pr. stratum fast.

Gør det resultaterne reproducerbare, hvis temperaturen indstilles til nul?

Nej. Temperatur nul fjerner stikprøvetilfældigheder, men ikke variationen fra batchstørrelse, der ændrer sig med serverbelastning, hvilket er grunden til, at 1,000 identiske temperatur-nul-anmodninger producerede 80 forskellige fuldførelser i Thinking Machines-eksperimentet. Gennemsnitlige overskridelser i stedet for at jagte determinisme.

Kan jeg bare bruge en leverandørs AI-synlighedsscore?

Brug leverandørværktøjer til indsamling, hvis de sparer tid, men genopbyg metrikken fra rå observationer. Sammensatte scorer er ikke defineret ensartet på tværs af værktøjer, og flere rapporterer en enkelt kørsel pr. prompt. Spørg en hvilken som helst leverandør, hvor mange kørsler der ligger bag ét datapunkt.

Hvor ofte skal jeg løbe en bølge?

Hver fjerde uge for de fleste brands. Ugentlige bølger genmåler for det meste støj og modelopdateringer. Efter en stor ændring i indhold eller strukturerede data tilføjes en bølge fire uger senere, ikke ugen efter.

Skal tyrkiske og engelske prompts sidde i ét panel?

Nej. Kør separate paneler med separate baselines. Svarsæt, citerede domæner og den konkurrenceprægede ramme varierer fra sprog til sprog, så en blanding af dem giver et gennemsnit, der ikke beskriver nogen af ​​markederne.

Hvad tæller som en henvisning, hvis assistenten linker til en markedsplads i stedet for mit websted?

Giv det en omtale uden citering, og registrer det citerede domæne separat. Et mønster af markedspladscitater peger normalt på et hul i indhold eller strukturerede data på dine egne sider snarere end på brand awareness.

Vi designer og driver AI-synlighedspaneler som en del af vores vækst- og tekniske SEO-arbejde: paneldesign, wave-indsamling på tværs af assistenter og sprog, scoringskalibrering og den analysesegmentering, der knytter det til omsætning. Fortæl os om en første baselinebølge.

Kilder

• Thinking Machines Lab, Bekæmpelse af nondeterminisme i LLM-inferens, 10. september 2025
• Brown, Cai og DasGupta, Intervalestimering for en binomial proportion, Statistical Science 16(2), 2001
• OpenAI Hjælpecenter, Midlertidig Chat Ofte stillede spørgsmål
• OpenAI Hjælpecenter, Hukommelse – ofte stillede spørgsmål
• Søgemaskine-rundbordsmøde, Google udvider AI-tilstand til 53 nye sprog, 19. februar 2026
• Hjælp til Google-søgning, understøttede sprog fra AI-tilstand
• Zeo, Google AI-tilstand og AI-oversigt Live i Tyrkiet
• Stradiji, hvad AI-oversigter gjorde for søgning i Tyrkiet
• Similarweb, AI-søgestatistik, juni 2025 til maj 2026