Krister Ross
Book meg

TRUST 3.0 · metoden

Sju steg og fire kontrollporter

Modellen sier hvor problemet sitter. Pilarene sier hva som må dekkes. Metoden sier hvordan arbeidet gjøres, og i hvilken rekkefølge — skrevet slik at to ulike utøvere kommer til omtrent samme resultat.

Kort svar

Hva er TRUST-metoden?

TRUST-metoden er prosedyren som binder modellen, pilarene og målingen sammen: sju steg som beskriver arbeidet i rekkefølge, og fire kontrollporter der arbeidet stopper til noe er verifisert og loggført. Portene er det som skiller en metode fra en tankemodell — en tankemodell kan ikke revideres, en metode kan.

En leveranse uten loggførte porter er ikke levert etter TRUST.Det er den eneste kvalitetskontrollen som fungerer i skala, og den er grunnen til at metoden kan utføres av andre enn den som skrev den.

Oversikt

Hele kjeden, fra spørsmål til revisjon

Stegene er arbeidet. Portene er der arbeidet stopper. Klikk på en node for å hoppe til den.

  1. Steg 1

    Definer spørsmålet før data samles

    Skriv ned hva som skal måles, før noe måles.

  2. Steg 2

    Bygg promptbiblioteket

    Minimum 50 prompts, ideelt 200, fra faktiske brukerformuleringer.

  3. Steg 3

    Diagnostiser trinn for trinn

    Per trinn i modellen, ikke per pilar.

  4. Port 1

    Baseline

    Ingen endringer før baseline er etablert: minimum fire uker, minst tre kjøringer per prompt, aktiveringsrate (response rate) registrert separat, nullresultater beholdt og målt spredning beregnet.

  5. Steg 4

    Utfør tiltak, én kategori om gangen

    Entitet, relevans, uttrekkbarhet eller spredning — ikke flere samtidig på samme sider.

  6. Port 2

    Hentbarhet

    Etter enhver innholdsendring: verifiser at siden fortsatt hentes, før du vurderer om siteringen økte. Faller hentbarheten mer enn siteringen stiger, rull tilbake.

  7. Steg 5

    Mål etter CAVIS-protokoll

    TRUST bestiller tallene. CAVIS leverer dem, etter definert protokoll.

  8. Port 3

    Troskap

    Før noen effekt rapporteres: gå gjennom et stratifisert utvalg siteringer manuelt og vurder om påstanden er korrekt, om sammenhengen er riktig, og om du faktisk står for det som tilskrives deg.

  9. Port 4

    Attribusjon

    Ingen effektpåstand uten kontroll. Er effekten mindre enn den målte spredningen i baselinen, si det. Finnes ingen kontroll, formuler funnet som observasjon, ikke som effekt.

  10. Steg 6

    Iterer eller rull tilbake

    Feiler port 2 eller 3, tilbakestilles endringen og forsøket logges.

  11. Steg 7

    Kvartalsvis revisjon

    Av resultatene, og av metoden selv.

Steg 3 til 6 er en løkke, ikke en rekke. Den kjøres på nytt hver periode, og hver runde starter med en ny diagnose — ikke med neste tiltak på listen.

Stegene

De sju stegene

  1. 01

    Definer spørsmålet før data samles

    Skriv ned hva som skal måles, før noe måles.

    Fire ulike spørsmål blandes rutinemessig, og de kan ikke besvares med samme tall: effekten av en omskriving gitt at siden allerede hentes, den totale effekten gjennom hele pipelinen, en observert sammenheng på en kommersiell flate, og et forretningsresultat. Fastsett primærmetrikk, nevner, eksklusjoner og hva som skal regnes som en meningsfull forskjell. Det tar en time, og det hindrer at man i etterkant velger den tolkningen som ser best ut.

  2. 02

    Bygg promptbiblioteket

    Minimum 50 prompts, ideelt 200, fra faktiske brukerformuleringer.

    Minst 80 prosent non-brand, tre til fem parafraser per informasjonsbehov, kategorisert per emne og intensjonstype. Kilder: kundeintervjuer, supporthenvendelser, søkelogger, salgssamtaler og de faktiske oppfølgingsspørsmålene i reelle AI-samtaler. Biblioteket er den nye resultatsiden, og det skal bygges før noe optimaliseres.

  3. 03

    Diagnostiser trinn for trinn

    Per trinn i modellen, ikke per pilar.

    For hvert prioriterte emne stilles de fem spørsmålene i rekkefølge: aktiveres søk, hentes du, kommer du høyt i konteksten, siteres du, siteres du korrekt. Tiltaket settes inn på det laveste trinnet med lav sannsynlighet. Det er metodens viktigste regel, og den som oftest brytes — fordi arbeid på trinn 4 er mer synlig og mer takknemlig enn arbeid på trinn 2.

    Deretter: kontrollport 1

  4. 04

    Utfør tiltak, én kategori om gangen

    Entitet, relevans, uttrekkbarhet eller spredning — ikke flere samtidig på samme sider.

    Må flere ting gjøres parallelt, gjør dem på ulike sidegrupper, slik at kategoriene kan skilles i analysen. Merking av AI-generert innhold avklares her, før publisering, ikke etter.

    Deretter: kontrollport 2

  5. 05

    Mål etter CAVIS-protokoll

    TRUST bestiller tallene. CAVIS leverer dem, etter definert protokoll.

    Gjentakelser, response rate som eget felt, nullresultater beholdt, målt spredning oppgitt, parafraser, dokumentert kanonisering og kontekst logget per kjøring. Et tall som ikke oppfyller minimumskravene kan ikke brukes til å konkludere.

    Deretter: kontrollport 3 og kontrollport 4

  6. 06

    Iterer eller rull tilbake

    Feiler port 2 eller 3, tilbakestilles endringen og forsøket logges.

    Retretten skal være like dokumentert som fremrykningen. Et byrå som bare loggfører det som virket, gjentar det som ikke virket — og det er en av de dyreste vanene i bransjen.

  7. 07

    Kvartalsvis revisjon

    Av resultatene, og av metoden selv.

    Hvilke porter feilet oftest? Hvilke tiltakstyper ga gjentatt null? Er promptbiblioteket fortsatt representativt? Har motorene endret oppførsel på måter som gjør deler av spilleboken utdatert? Nullresultatene beholdes permanent — de forteller hva man skal slutte å selge.

Portene

De fire kontrollportene

Hver port har krav for å passeres, en beslutningsregel, og en logg som skal føres. Loggen er beviset — det er den som revideres, ikke resultatet.

Kontrollport 1

Baseline

Ingen endringer før baseline er etablert: minimum fire uker, minst tre kjøringer per prompt, aktiveringsrate (response rate) registrert separat, nullresultater beholdt og målt spredning beregnet.

Krav for å passere

  • Minimum fire uker med data
  • Minst tre kjøringer per prompt per periode
  • Response rate registrert separat
  • Nullresultater beholdt
  • Målt spredning beregnet, slik at senere endringer kan vurderes mot den

Hvorfor porten finnes

Uten baseline kan ingen effekt tilskrives senere, og man står igjen med å beskrive plattformens egen vekst som sitt eget resultat.

Porten brytes fordi kunden vil se handling, og fire uker med måling ser ut som venting. Det er ikke venting. Levert som nullpunktsanalyse er baselinen en selvstendig leveranse som nesten alltid avdekker noe kunden ikke visste.

LoggkravDato for baselinestart og slutt, antall kjøringer, målt spredning per hovedmetrikk, response rate.

Kontrollport 2

Hentbarhet

Etter enhver innholdsendring: verifiser at siden fortsatt hentes, før du vurderer om siteringen økte. Faller hentbarheten mer enn siteringen stiger, rull tilbake.

Krav for å passere

  • Presence målt før endringen
  • Presence målt etter endringen, med samme protokoll
  • Endringen i presence sammenholdt med endringen i citation share

Hvorfor porten finnes

Omskriving av brødteksten alene kan senke tilstedeværelsen i kandidatlisten samtidig som siteringsmålingen isolert sett ser uendret eller bedre ut. I det største kontrollerte oppsettet falt tilstedeværelse i topp 20 med rundt 9 prosent og i topp 10 etter reranking med 16 prosent. Nettoeffekten kan være negativ uten at det synes i rapporten.

Faller presence mer enn citation share stiger, rull tilbake. Er begge deler innenfor målt spredning, konkluder ingenting og la endringen stå til neste periode. Full hentbarhetsmåling er lettere å foreskrive enn å utføre presist — dette er metodens svakeste ledd, og det er under arbeid mot 3.1.

LoggkravPresence før og etter, citation share før og etter, beslutning, begrunnelse.

Kontrollport 3

Troskap

Før noen effekt rapporteres: gå gjennom et stratifisert utvalg siteringer manuelt og vurder om påstanden er korrekt, om sammenhengen er riktig, og om du faktisk står for det som tilskrives deg.

Krav for å passere

  • Stratifisert utvalg av siteringer manuelt gjennomgått
  • Vurdert på: er påstanden korrekt, er sammenhengen riktig, står vi faktisk for det som tilskrives oss
  • Avvik dokumentert med skjermbilde og tidsstempel

Hvorfor porten finnes

En økt siteringsrate med feil innhold er et tap presentert som en gevinst, og det er den eneste skaden ingen av de andre målingene kan se.

Dette er en stikkprøve, ikke en fulltelling. Et utvalg på 20 til 30 siteringer per periode, stratifisert over motorer og emner, er nok til å oppdage systematiske feil. Ved funn: oppdater egne kilder, strukturert data og innhold, send korreksjonshenvendelse der plattformen har en kanal for det, og remål.

LoggkravUtvalgsstørrelse, antall avvik, avvikstype, iverksatt tiltak.

Kontrollport 4

Attribusjon

Ingen effektpåstand uten kontroll. Er effekten mindre enn den målte spredningen i baselinen, si det. Finnes ingen kontroll, formuler funnet som observasjon, ikke som effekt.

Krav for å passere

  • Kontrollgruppe, kontrollperiode eller kontrollsider foreligger
  • Effektstørrelsen er større enn målt spredning i baselinen
  • Alternativ forklaring gjennom plattformvekst er vurdert eksplisitt

Hvorfor porten finnes

En før-og-etter-sammenlikning uten kontroll kan ikke skilles fra plattformens egen vekst. Den best dokumenterte casen i litteraturen viste 5,7 ganger rå økning som falt til 1,82 ganger med kontroll, og som ikke besto en konservativ placebotest.

«Vi observerte at X steg i perioden» er alltid tillatt. «Tiltaket ga X» krever at porten er passert. Dette er porten som beskytter deg juridisk og omdømmemessig, ikke bare faglig.

LoggkravKontrolltype, effektstørrelse, målt spredning, konklusjonsformulering.

Diagnose

Beslutningstreet

Sju observasjoner, sju svar. Regelen bak hele tabellen: tiltaket settes inn på det laveste trinnet med lav sannsynlighet — ikke på det trinnet der arbeidet er mest synlig.

  1. Søk aktiveres ikke i flertallet av kjøringene

    Trinn 1. Dette er et entitetsproblem, ikke et innholdsproblem.

    Pilar T · Tilstedeværelse

  2. Du hentes ikke

    Trinn 2. Alt nedstrøms arbeid er bortkastet til dette er løst.

    Pilar T · Tilstedeværelse

  3. Du hentes ofte, men siteres sjelden

    Trinn 3, kontekstposisjon. Styrk relevansen, ikke formateringen.

    Pilar R · Relevans

  4. Du siteres, men sjelden som primærkilde

    Trinn 4. Uttrekkbarhet og informasjonsgevinst.

    Pilar U · Uttrekkbarhet

  5. Du siteres bare på én motor

    Kildegrunnlaget er for smalt. Bygg tilstedeværelse der de andre henter.

    Pilar S · Spredning

  6. Du siteres feil

    Trinn 5. Prioritet over alt annet, uansett hva de andre tallene sier.

    Pilar T · Tilbakemelding

  7. Alt over er i orden, men ingenting skjer forretningsmessig

    Se på attribusjonen — og vurder om AI-synlighet i det hele tatt er riktig hovedkanal for denne virksomheten.

  1. 1OppdagelseDiscovery
  2. 2HentingRetrieval
  3. 3UtvelgelseSelection
  4. 4KontekstContext
  5. 5GenereringGeneration
  6. 6SiteringCitation
  7. 7PåvirkningInfluence
  8. 8HandlingAction

Observasjonen kommer som regel i leddenes språk. Hvert ledd sier hva som avgjøres der, og hvordan det ser ut når det svikter.

Hele kjeden, ledd for ledd →

Det norske overlegget

To diagnoser som ser like ut

Når du måler norske merkevarer, er dette skillet obligatorisk i steg 3. Begge ser ut som «vi siteres ikke». Bare den ene er et synlighetsproblem.

Et synlighetsproblem

Motoren nedvurderer deg

Konkurrenter i samme marked siteres på norsk for dette emnet. Du gjør det ikke.

Dette er et synlighetsproblem, og TRUST er svaret. Arbeidet er konkurranse om oppmerksomhet som allerede finnes.

Ikke et synlighetsproblem

Det finnes ingen norske kilder å hente

Ingen i markedet siteres på norsk for emnet, fordi kildegrunnlaget ikke eksisterer.

Dette er ikke et synlighetsproblem. Det er en åpen kategori: den første som bygger kildegrunnlaget eier den, og informasjonsgevinst er nesten trivielt oppnåelig.

Norsk har rundt 24 milliarder ord i offentlige korpus, mot engelsk med tre størrelsesordener mer. Det gir tynn dekning og tynn konkurranse på samme tid — og gjør at den andre diagnosen er langt vanligere her enn i store språkmarkeder.

Måling

CAVIS-grensesnittet

TRUST bestiller. CAVIS leverer. Fra versjon 3.0 foreskriver TRUST ikke måleteknikk, og CAVIS foreskriver ikke tiltak. Under står det TRUST krever for at et tall skal kunne brukes til å konkludere.

  1. 01

    Gjentakelser

    Minst tre kjøringer per prompt per periode, sju til åtte som mål. Under tre kan variasjon ikke skilles fra effekt.

  2. 02

    Aktiveringsrate (response rate) som eget felt

    Andel kjøringer der søk faktisk ble aktivert, rapportert separat. Aldri skjult i nevneren.

  3. 03

    Nullresultater beholdt

    Svar uten søk, uten siteringer eller med feil er utfall. Fjernes de, blir tallet systematisk for høyt.

  4. 04

    Målt spredning oppgitt

    Et punktestimat uten intervall er ikke et måltall. «Spredning» i denne betydningen er variasjon mellom kjøringer, ikke pilar S.

  5. 05

    Parafraser

    Tre til fem per informasjonsbehov. Små omformuleringer endrer hvilke kilder som hentes mer enn de endrer klassiske søkeresultater.

  6. 06

    Kanonisering dokumentert

    Parametre, videresendinger, ankere og oversatte varianter kan fragmentere et domene kunstig. Regelen skrives ned.

  7. 07

    Kontekst logget per kjøring

    Motor, modus, modellversjon, dato, marked, språk og kontotype. Et API, en modell med webverktøy og et forbrukergrensesnitt er ikke samme system selv om de bærer samme navn.

Et tall som ikke oppfyller kravene over er ikke ubrukelig — det er bare ikke et grunnlag for å konkludere. Forskjellen skal stå i rapporten, ikke i hodet på den som skrev den. Se pilar Tilbakemelding for hvordan målingen driftes.

Vokabular

Metrikkene, og hva de heter

Metrikknavnet er kanonisk. Norsk brukes for å introdusere begrepet, deretter står metrikknavnet alene — det samme ordet som står i CitationLab Monitor og som brukes fra scenen.

BegrepMetrikkFelt i Monitor
AktiveringsrateAndel kjøringer der motoren faktisk søkte, framfor å svare fra parametrisk minne. Registreres som eget felt, aldri skjult i nevneren på siteringstall.response rateregistreres manuelt
HentbarhetAndel kjøringer der du er til stede blant kildene. Måles per motor, og er porten alt nedstrøms arbeid går gjennom.presencepresencePercentage
SiteringsandelDin andel av siteringene. Oppgis både betinget (gitt at du ble hentet) og ubetinget (av alle kjøringer) — den ubetingede er den som faktisk beskriver synligheten, og den er alltid lavere.citation sharecitationSharePercentage
OmtaleandelDin andel av omtalene. Omtale er å bli nevnt; sitering er å bli oppgitt som kilde. De to følger ikke hverandre.mention sharementionSharePercentage
SynlighetsindeksSammenstillingen av tilstedeværelse og andel til ett tall per motor. Nyttig som trendlinje, aldri som eneste tall i en rapport.visibility indexvisibilityIndex
SitatmassenHvordan siteringene fordeler seg mellom deg, konkurrentene og tredjeparter. Fordelingen sier mer om posisjonen din enn ditt eget tall gjør alene.citationsyourCitations · competitorCitations · thirdPartyCitations
SentimentTonen i omgivelsene du nevnes i. Avgjør ikke bare om du siteres, men hvordan.sentimentaverageSentiment
KildeautoritetHvor autoritative kildene som nevner deg er. Skiller høytillitsomtale fra bulkomtale.authorityaverageAuthority
TroskapOm siteringen faktisk understøtter påstanden den er knyttet til. Finnes ikke som felt noe sted — kontrolleres som manuell stikkprøve, og har egen kontrollport.accuracyregistreres manuelt
MerkevaresøkandelDin andel av søkevolumet i kategorien. Måles utenfor de generative flatene, og er den tidligste indikatoren på at eksponeringen faktisk har flyttet noe.share of searchregistreres manuelt
Målt spredningVariasjonen i et måltall mellom gjentatte kjøringer. Skal alltid oppgis sammen med tallet — et punktestimat uten intervall er ikke et måltall. Ikke å forveksle med pilar S, Spredning, som handler om kildeøkosystemer.varianceregistreres manuelt

Radene uten felt er de som ikke leses av et dashbord: response rate må registreres per kjøring, accuracy kontrolleres som stikkprøve, og share of search måles utenfor de generative flatene. Det er ingen svakhet i oppsettet — det er de tre stedene der en rapport ellers stilltiende ville utelatt noe.

Spørsmål

Vanlige spørsmål om metoden

Hva er TRUST-metoden?

Sju steg og fire kontrollporter som binder modellen, pilarene og målingen sammen til en prosedyre. Stegene er arbeidet i rekkefølge: definer spørsmålet, bygg promptbiblioteket, diagnostiser trinn for trinn, utfør tiltak, mål, iterer eller rull tilbake, og revider kvartalsvis. Portene er punktene der arbeidet stopper til noe er verifisert og loggført.

Hva er en kontrollport?

Et punkt i metoden der arbeidet ikke går videre før noe er verifisert og skrevet ned. De fire er baseline før endringer, hentbarhet etter enhver innholdsendring, troskap før effekt rapporteres, og attribusjon før effekt påstås. En leveranse uten loggførte porter er ikke levert etter TRUST — det er den eneste kvalitetskontrollen som fungerer i skala.

Hvorfor må man vente fire uker før man gjør noe?

Fordi uten baseline kan ingen effekt tilskrives senere, og man står igjen med å beskrive plattformens egen vekst som sitt eget resultat. Fire uker med måling ser ut som venting, men er en selvstendig leveranse: nullpunktsanalysen viser hvor virksomheten faktisk står, og avdekker nesten alltid noe ingen visste.

Hva er forskjellen på TRUST og CAVIS?

TRUST er strategi og utførelse. CAVIS er måling og simulering. TRUST bestiller tallene og fastsetter hva et tall må oppfylle for å kunne brukes; CAVIS leverer dem etter definert protokoll. Skillet er låst fra versjon 3.0, fordi de to tidligere gjorde delvis samme jobb med ulike forutsetninger.

Hvor mange gjentakelser trengs egentlig?

Minst tre per prompt per periode for å kunne si noe i det hele tatt, sju til åtte for å kunne si noe med rimelig presisjon. Det riktige svaret er å kjøre en pilot, måle spredningen i tallene, og deretter beregne hvor mange kjøringer som trengs for det intervallet beslutningen din faktisk krever.

Vil du se metoden brukt på din egen synlighet?

En AI-synlighetsanalyse kjører steg 1 til 3 og lukker kontrollport 1: promptbibliotek, baseline med målt spredning, og en diagnose per trinn. Vi bruker 30 minutter på å se på det først, uforpliktende.

Book meg

Eller ring +47 466 144 18

Tilbake til TRUST-modellen — de fem trinnene, de fem pilarene og evidensgraderingen.

Book meg