Kör en AI-synlighetspanel som kan se en verklig förändring utifrån modellbrus

De flesta AI-synlighetsrapporter bygger på en körning per prompt. Det är ett myntkast som rapporteras som ett mått. När Thinking Machines Lab skickade 1 000 identiska förfrågningar till Qwen3-235B vid temperatur 0, kom den tillbaka 80 olika kompletteringar, den första divergensen uppträder vid token 103 (Labbet för tänkande maskiner, 10 september 2025). Konsumentassistenter lägger till personalisering, språkinställningar och tysta modelluppdateringar ovanpå. Den här guiden är för tillväxt- och SEO-leads som har blivit tillfrågade om varumärket visas i ChatGPT, Gemini eller Googles AI-läge och behöver ett svar som klarar att utmanas. I slutet kommer du att ha en promptpanel, ett antal körningar motiverade av den precision du behöver, en poängsättningsmatris och en regel för att avgöra när en förändring mellan vågor är verklig.

Mät två binära händelser, inte en rangordning

Det finns ingen rangordning i ett AI-svar. Det finns ett stycke som antingen namnger dig eller inte, och en källlista som antingen innehåller din domän eller inte. Måttenheten är ett observationenen prompt, kör en gång, på en assistent, på ett språk och en plats, på ett datum. Varje prompt ger två binära resultat.

• Nämna: Varumärket visas i svarstexten.
• Citation: en URL på din domän visas i källorna eller i inbäddade länkar.

Allt annat härrör från dessa. Andel av rösten är dina omnämnanden jämfört med alla varumärkesomnämnanden i samma svarsmängd. Citeringseffektivitet är citeringar jämfört med omnämnanden: den visar om du beskrivs utifrån modellens minne eller faktiskt läses.

Binära utfall omvandlar detta till proportionsuppskattning, vilket har väl dokumenterade intervallmetoder (Brown, Cai och Das Gupta, Statistisk vetenskap, 2001). Ett sammansatt "AI-synlighetspoäng" är jämförbart med ingenting, inklusive dess eget värde förra månaden: vi kunde inte hitta någon definition som delas mellan leverantörer, så vi behandlar jämförelser mellan verktyg som oanvändbara.

Bygg upp promptpanelen och lås den sedan

En panel är en fast lista med uppmaningar som du kör om varje våg. Om listan ändras mellan vågorna är ingenting du mäter en förändring i synlighet.

1. Källhänvisningar från verklig efterfrågan. Hämta frågeformade frågor från Search Console, sökloggar på webbplatsen och säljtranskript. Uppmaningar som skapas i en workshop mäter ditt teams fantasi.
2. Stratifiera efter avsikt. Fyra strata: kategorinivå ("bästa X för Y"), jämförelse ("A vs B"), problem först ("hur fixar jag Z") och varumärkesspecifik ("är varumärket bra"). Fixera antalet per stratum så att en förändring i mixen inte kan maskeras som en förändring i synlighet.
3. Storlekssätt den till 40 till 80 prompter. Under 40 är panelintervallet för brett för att kunna agera på. Över 80 växer driftskostnaden snabbare än precisionen.
4. Behandla varje språk som en egen panel. En turkisk prompt och dess engelska översättning returnerar olika varumärken, olika hänvisningar, ofta en annan kategoriram. Google lade till turkiska när AI-läget utökades till 53 nya språk på 19 februari 2026 (språklista). Rapportera endast engelska siffror för en turkisk marknad och du beskriver en marknad du inte betjänar.
5. Frys panelen i en kvart och versionera den. Lägg endast till prompter vid en fjärdedelsgräns och omvärdera baslinjen när du gör det.

Bestäm hur många körningar per prompt

Varje körning är en dragning, inte en uppslagning, så en körning per prompt ger ett värde utan precision. Tabellen anger 95 % Wilson-intervallhalvbredd för en omnämnandefrekvens per prompt observerad vid 50 %, värsta tänkbara fallet och därmed antagandet om säker planering.

Precision per prompt är dyrt och behövs sällan. Siffran som företaget frågar om är panelnivåfrekvens: totalt antal omnämnanden över totalt antal observationer. En panel med 60 prompter vid 5 körningar ger 300 observationer per assistent per våg, en naiv halvbredd nära ±5.7 poäng vid 50 %.

Det är optimistiskt, eftersom körningar av samma prompt är korrelerade. Tillämpa en klusterdesigneffekt: multiplicera variansen med 1 + (körningar per prompt − 1) × ICC, korrelationen inom prompten, uppskattad från din egen första våg snarare än antagen. Om den landar nära 0.5 vid 5 körningar, är det effektiva urvalet närmare 100 observationer och den ärliga halvbredden närmare ±10 poäng. Planera för det innan du lovar en dashboard.

Vår standard: 60 prompter, 5 körningar vardera, per assistent, per språk, i fyraveckorsvågor. Rapportera panel- och stratumnivå med intervaller, resultat per prompt endast som nivåer.

Kontrollera körförhållandena

Nondeterminism är golvet. Allt nedanför är varians som du själv lägger till.

• Stäng av personalisering. I ChatGPT använd Temporary Chat, vilket använder eller skapar inte minnenMinnet använder annars anpassade instruktioner, tidigare chattar och filer (Vanliga frågor om minne), så en inloggad analytiker mäter sin egen historik.
• Åtgärda språkinställningar och gränssnittsspråk och spela in båda.
• Registrera modellversion och tidsstämpel på varje observation, eller en modelluppdatering mellan vågor, kommer det att se ut som att din kampanj fungerar.
• Använd en insamlingsmetod per assistent hela kvartalet. API och konsumentapp har olika hämtningsmöjligheter; att blanda dem i en serie gör det meningslöst.
• Slumpmässig ordning på prompten och sprida körningar över dagen, så serverbelastningen, som driver variationen i batchstorlek bakom nondeterminism, inte förväxlas med promptlistan.

Poängsätt varje observation med en fast bedömningsmatris

Två analytiker måste få samma poäng från samma svar. Använd en sluten skala och skriv ner de avgörande poängen.

Poängsätt ett sakligt felaktigt omnämnande som 1 och flagga det. En säker, felaktig beskrivning av din prissättning eller täckning är både en synlighetsvinst och ett kommersiellt problem, och det är fyndet som oftast lönar sig. Kalibrera genom att låta två personer poängsätta samma 30 svar i den första omgången; mer än tre meningsskiljaktigheter innebär att matrisen är för lös.

Avgör om en förändring är verklig

Kör detta i ordning och stoppa vid första felet.

1. Överlappar 95%-intervallen mellan våg och våg varandra? Om ja, rapportera ingen upptäckt förändring, inte poängskillnaden.
2. Har modellversionen ändrats? Om ja, är jämförelsen felaktig: kör om den tidigare vågen mot den nya versionen först.
3. Höll förändringen i sig under två på varandra följande vågor? En våg är en signal, två är ett fynd.
4. Är det koncentrerat till ett enda skikt? En förändring av varumärkesspecifika uppmaningar utan något på kategorinivå är vanligtvis varumärkesefterfrågan, inte arbete med AI-synlighet.
5. Förändrades citeringseffektiviteten med omnämnandefrekvensen? Att antalet omnämnanden ökar medan citeringar förblir oförändrade betyder att modellen beskriver dig ur minnet: värd mindre, och den förfaller.

Anslut panelen till något kommersiellt

Synlighet är en ledande indikator, inte ett resultat. Segmentera assistentrekommendationer som deras egen analyskanal och titta på sessioner och deras konverteringsfrekvens mot organisk sökning. Förvänta dig låg volym, en högre andel per session och absoluta siffror som gör att alla som först får se ett diagram med ökande synlighet blir besvikna. Säg det i förväg.

Plattformens viktning spelar roll. Similarwebs paneldata för juni 2025 till maj 2026 placerar ChatGPT nära 53 % av den generativa AI-plattformens andel, en minskning från ungefär 76 % ett år tidigare, med Gemini på 27 till 28 % och Claude nära 9 % (SimilarwebPaneluppskattningar, inte en folkräkning: använd dem för att välja vilka assistenter som ska inkluderas, inte för att vikta ett rubriknummer.

[INTERNA DATA BEHÖVS: median omnämnandefrekvens och citeringseffektivitet från Switas-paneler inom e-handel, resor och hälsovård, plus den intraprompt-korrelation som ses i våra egna undersökningsvågor.]

Där den här metoden bryts ner

• Svar som du inte kan samla in i stor skala. Googles AI-läge har inget offentligt mät-API och automatiserad insamling körs in i användarvillkoren. Behandla det som en mindre manuell underpanel, märkt som sådan.
• Den mäter inte klassisk SERP-förlust. I Turkiet, där AI-översikter lanserades 18 februari 2026, en studie av 1 035 live-frågor inom 17 sektorer fann att AI-översikter på 59 % av dem och klick på informationsfrågor minskade med ungefär en tredjedel i juni 2026 medan den genomsnittliga positionen knappt förändrades (Stradiji). En panel skulle inte upptäcka det. Search Console skulle göra det.
• Korta baslinjer på marknader med sen utrullning. Rapportera nivåer och intervall, inte trendlinjer, tills du har fyra vågor.
• Icke-determinism kan inte åtgärdas utifrån. Batch-invarianta kärnor tar bara bort den för den som kör inferensen. Som konsument av värdbaserade assistenter kan du bara beräkna ett medelvärde över den.
• Paneldrift. En fryst panel har rätt för jämförbarhet och fel om marknaden efter två eller tre kvartal.

Vanliga frågor och svar

Hur många uppmaningar behöver jag för en första panel?

Fyrtio är det praktiska gränsvärdet och 60 är vår standard. Under 40 är panelintervallet tillräckligt brett för att de flesta kvartalsförändringar ska vara oskiljbara från brus. Stratifiera efter avsikt och håll antalet per stratum fast.

Blir resultaten reproducerbara om temperaturen ställs in på noll?

Nej. Nolltemperatur eliminerar slumpmässig sampling men inte variationen från batchstorlek som ändras med serverbelastning, vilket är anledningen till att 1 000 identiska nolltemperaturförfrågningar producerade 80 olika kompletteringar i Thinking Machines-experimentet. Genomsnittsöverskridningar istället för att jaga determinism.

Kan jag bara använda en leverantörs AI-synlighetspoäng?

Använd leverantörsverktyg för insamling om de sparar tid, men bygg om mätvärdet från råa observationer. Sammansatta poäng definieras inte konsekvent över olika verktyg, och flera rapporterar en enda körning per prompt. Fråga vilken leverantör som helst hur många körningar som ligger bakom en datapunkt.

Hur ofta ska jag springa en våg?

Var fjärde vecka för de flesta varumärken. Veckovisa vågor mäter oftast brus och modelluppdateringar på nytt. Efter en stor förändring av innehåll eller strukturerad data, lägg till en våg fyra veckor senare, inte veckan efter.

Borde turkiska och engelska uppmaningar sitta i en panel?

Nej. Kör separata paneler med separata baslinjer. Svarsmängder, citerade domäner och konkurrensramen skiljer sig åt beroende på språk, så att blanda dem ger ett medelvärde som inte beskriver någon av marknaderna.

Vad räknas som en hänvisning om assistenten länkar till en marknadsplatslistning istället för min webbplats?

Poängsätt det som ett omnämnande utan citering och registrera den citerade domänen separat. Ett mönster av marknadsplatsciteringar pekar vanligtvis på ett innehålls- eller strukturerat dataavbrott på dina egna sidor snarare än på varumärkeskännedom.

Vi designar och driver AI-synlighetspaneler som en del av vårt tillväxt- och tekniska SEO-arbete: paneldesign, våginsamling över assistenter och språk, poängkalibrering och analyssegmentering som kopplar det till intäkter. Prata med oss ​​om en första baslinjevåg.

Källor

• Labbet Thinking Machines, Besegrar obestämdhet i LLM-inferens, 10 september 2025
• Brown, Cai och DasGupta, Intervalluppskattning för en binomial proportion, Statistical Science 16(2), 2001
• OpenAI hjälpcenter, tillfällig chatt FAQ
• OpenAI hjälpcenter, Vanliga frågor om minne
• Sökmotorrundabordssamtal, Google utökar AI-läget till 53 nya språk, 19 februari 2026
• Google Sök Hjälp, Språk som stöds av AI-läge
• Zeo, Google AI-läge och AI-översikt Live i Turkiet
• Stradiji, vad AI-översikter gjorde för sökningar i Turkiet
• Similarweb, AI-sökstatistik, juni 2025 till maj 2026