Tilbakemelding i AI-søk

TInfrastrukturen som gjør resten av rammeverket målbart og justerbart, og som avdekker om synligheten du bygger faktisk er korrekt. To komponenter: måling og troskap.

Forankret iTrinn 5, og kontroll av alle foregående trinn.

• Trinn 5

  Virkning

  Blir du gjengitt korrekt, og skjer det noe?

  To ting måles her, og de er ikke det samme: om siteringen faktisk stemmer med det du har sagt, og om synligheten fører til noe. En høy siteringsrate med feil innhold er et tap forkledd som en gevinst.

Se hele modellen for hvordan trinnene henger sammen. Svikter et trinn lenger opp, er arbeid på denne pilaren uten virkning.

1. 01

   Promptbibliotekforvaltning

   Etablering og vedlikehold av et kvalifisert bibliotek som reflekterer faktiske brukermønstre. Minimum 50 spørringer, ideelt 200, minst 80 prosent non-brand, tre til fem parafraser per informasjonsbehov.

2. 02

   Måleprotokoll

   Gjentakelser, parafraser, aktiveringsrate, nullresultater og spredning. Minst tre kjøringer per prompt per periode, sju til åtte som mål. Dette er ikke forhandlingsbart, fordi tallene ellers ikke betyr noe.

3. 03

   Troskapskontroll

   Manuell verifisering av at siteringene faktisk er korrekte. Ny som obligatorisk i 3.0, lagt under denne pilaren framfor å få egen bokstav, og med egen kontrollport i metoden.

4. 04

   KPI-struktur

   Tre nivåer — eksponering, kvalitet og virkning. De besvarer forskjellige spørsmål og skal ikke slås sammen til ett tall.

5. 05

   Konkurrentbenchmark

   Samme bibliotek, samme protokoll, samme kjøring. Du kan vokse i absolutte tall og tape i relativ posisjon — og relativ posisjon er det mest robuste tallet i hele stabelen.

6. 06

   Kontrollert eksperimentering

   Strukturerte før- og etter-tester med kontrollperiode eller kontrollgruppe, og dedikerte prompts knyttet til akkurat den endringen som gjøres.

Nivå 1 · eksponering

Aktiveringsrate, hentbarhet, siteringsandel betinget og ubetinget, andel av sitatmasse.

Nivå 2 · kvalitet

Siteringsposisjon, sentiment, kontekstkvalitet og faktisk korrekthet.

Nivå 3 · virkning

Henvisningstrafikk, merkevaresøkvolum og konvertering. Svakest dokumentert i feltet — rapporteres med usikkerhet.

• Aktiveringsrate: andel kjøringer der søk faktisk ble aktivert.
• Hentbarhet: andel kjøringer der du er blant kildene, per motor.
• Siteringsandel, betinget og ubetinget, oppgitt hver for seg.
• Andel av total sitatmasse mot konkurrentene.
• Siteringsposisjon: primærkilde, støttekilde, eller navn nevnt uten attribusjon.
• Sentiment og kontekstkvalitet: nevnes du i riktig sammenheng, for riktig tema?
• Faktisk korrekthet: er det som sies om deg sant?
• Henvisningstrafikk, merkevaresøkvolum og konvertering fra AI-kanaler.

Å rapportere et punktestimat uten spredning. Nær beslektet: å kaste nullresultatene, som gir systematisk for høye tall, og å bruke merkevareprompts som hovedmål, som måler gjenkjennelse og kaller det synlighet. Alle tre gir en rapport som ser bedre ut enn virkeligheten.

• Å måle én gang per prompt. Måler støy, rapporterer som signal.
• Å bare måle trafikk. Størstedelen av AI-søk ender uten klikk.
• Å bruke pyntede showspørringer framfor et kvalifisert bibliotek.
• Å bruke merkevareprompts som hovedmål. Måler gjenkjennelse, ikke oppdagelse.
• Å kaste nullresultater. Gir systematisk for høye tall.
• Å rapportere punktestimat uten spredning.
• Å ikke måle konkurrentene.
• Å rapportere kvartalsvis. For tregt — skaden er skjedd før du ser den.
• Å attribuere effekt uten kontroll. Se kontrollport 4.

Ukentlig

Gjennomføringsgrad på promptbiblioteket. Datakvalitetskontroll: er resultatene sammenliknbare med forrige periode, eller har noe i oppsettet endret seg?

Månedlig

Trendgjennomgang på alle tre KPI-nivåer. Hvilke endringer er implementert, og hva var effekten — med oppgitt usikkerhet.

Kvartalsvis

Full protokollgjennomgang. Promptbiblioteket friskes opp: nye spørringer inn, utdaterte ut. Revisjon av verktøyvalg.

Alle tall følger de samme minimumskravene: gjentakelser, aktiveringsrate som eget felt, nullresultater beholdt og spredning oppgitt. Se kravene i metoden.

• Promptbibliotek etablert, minimum 50 spørringer
• Minst 80 prosent non-brand
• Tre til fem parafraser per informasjonsbehov
• Minst tre kjøringer per prompt per periode
• Aktiveringsrate registrert som eget felt
• Nullresultater beholdt i datasettet
• Måling på minimum fire motorer
• Baseline over minimum fire uker før endringer
• Spredning oppgis i all rapportering
• Troskapskontroll etablert med stratifisert utvalg
• Konkurrentbibliotek for benchmark
• Varslingsterskler satt ut fra målt spredning
• Protokoll for før- og etter-eksperimenter dokumentert
• Månedlig gjennomgang i kalenderen
• Kvartalsvis protokollrevisjon planlagt