A/B-testing med hypoteser, måling og tydelige valg

A/B-testing sammenligner tilfeldig fordelte grupper som møter forskjellige varianter samtidig. Når fordeling, måling og gjennomføring fungerer, kan testen gi et bedre grunnlag for å vurdere årsakseffekt enn en vanlig før- og etteranalyse.

Testen må svare på et konkret spørsmål. Det er ikke nok å publisere to varianter og velge den med høyest konverteringsrate. Vi må vite hvilken effekt vi trenger å oppdage, hvor stort datagrunnlag som kreves, og hvilke konsekvenser en endring kan ha utover hovedmålet.

Start med et problem og en hypotese

En hypotese bør bygge på en observasjon av kundereisen. Et skjemafrafall alene sier ikke hva problemet er. En brukertest som viser at kunden ikke forstår et obligatorisk felt, gir en mer konkret retning.

Et illustrativt eksempel: «Relevante kunder stopper ved spørsmålet om prosjektbudsjett. Hvis vi forklarer hvorfor vi spør og legger til et alternativ for usikkert budsjett, forventer vi flere kvalifiserte henvendelser. Vi kontrollerer samtidig hvor mye ekstraarbeid dette gir salg.»

Hypotesen angir brukergruppe, hindring, tiltak og forventning. Den er egnet til å vurderes, også dersom resultatet ikke blir positivt. En idé om at en annen farge ser mer attraktiv ut, har ofte svakere grunnlag.

Velg mål før testen starter

Hovedmålet bør ligge så nær virksomhetens ønskede resultat som det praktisk lar seg gjøre. Klikk på en knapp kan være et forklarende mål. Bekreftet henvendelse, kvalifisert mulighet eller fullført kjøp sier mer om verdien.

Bruk også kontrollmål. En rabatt kan øke kjøpsrate og redusere margin. Et enklere skjema kan gi flere henvendelser og større andel spam. En endring som øker antall klikk, men gjør oppgaven vanskeligere, bør ikke velges bare fordi klikkraten stiger.

Definer hendelser, telling og analyseperiode på forhånd. Dersom kvalitet eller salg kommer senere, trenger begge grupper sammenlignbar oppfølgingstid. KPI-guiden viser hvordan resultat-, forklarings- og kontrollmål henger sammen.

Fordel brukerne på en stabil måte

Tilfeldig fordeling er kjernen i eksperimentet. Velg enhet etter oppgaven: bruker, konto eller en annen relevant enhet. En bruker som møter begge varianter under samme beslutningsprosess, kan gjøre sammenligningen vanskeligere å tolke.

Fordelingen må også være stabil innen testens rammer. Teknisk løsning, samtykke og identifikasjon kan påvirke om samme bruker gjenkjennes. Beskriv begrensningene og undersøk om de kan gi systematiske forskjeller mellom gruppene.

Ikke fordel bare etter tidspunkt eller trafikkilde og kall det randomisering. Organisk trafikk om morgenen og annonsetrafikk om kvelden kan ha forskjellige behov. Da undersøker du flere forskjeller samtidig.

Beregn behovet for data

Fire valg er sentrale før oppstart:

• Dagens nivå for hovedmålet i den aktuelle brukergruppen.
• Minste effekt som er interessant å kunne oppdage.
• Signifikansnivå eller tilsvarende kriterium i valgt metode.
• Statistisk styrke og analysemodell.

Minste detekterbare effekt er en planleggingsparameter. Den er ikke et løfte om hva varianten vil oppnå. Små forbedringer krever normalt flere observasjoner enn store, og sjeldne konverteringer kan gjøre testen langsom.

Bruk trafikken som faktisk kommer til testpunktet. Totaltrafikken på nettstedet kan gi et misvisende bilde dersom varianten bare gjelder et lite antall produktvisninger. Vurder også om testen kan gjennomføres innen en periode der tilbud og måling er tilstrekkelig stabile.

Bestem hvordan testen skal avsluttes

En test med fast utvalg skal vurderes etter den planlagte regelen. Å sjekke resultatet hver dag og stoppe første gang p-verdien faller under 0,05 kan øke risikoen for et feilaktig positivt resultat.

Sekvensielle metoder kan tillate løpende vurdering, men da må metoden faktisk håndtere dette. En bayesiansk rapport har også forutsetninger og beslutningsregler. Et verktøynavn eller en etikett er ikke nok til å gjøre en analyse riktig.

Planlegg også hvordan dere håndterer flere varianter, mange mål og segmentanalyser. Hvis dere leter gjennom nok sammenligninger etterpå, kan tilfeldige utslag se interessante ut. Skill forhåndsdefinert hovedanalyse fra utforskning som kan gi hypoteser til neste test.

Kontroller fordeling og måling

Hvis du planlegger 50/50-fordeling, bør antallet deltakere være forenlig med den fordelingen. Store avvik kan tyde på feil i tildeling, logging, filtrering eller eksponering. Dette kalles sample ratio mismatch, ofte forkortet SRM.

Microsofts arbeid om SRM beskriver slike avvik som et viktig signal om datakvalitetsproblemer. Undersøk et avvik før du tolker variantens effekt. Feilen kan berøre begge sider av sammenligningen.

Kontroller også:

• At riktig variant faktisk vises.
• At eksponering registreres på riktig tidspunkt.
• At hendelser ikke dobbelttelles.
• At bot- og interntrafikk håndteres konsekvent.
• At lastetid eller flimring ikke skaper et annet problem enn det du ønsket å teste.
• At testens grupper ikke overlapper på en måte som bryter antakelsene.

Statistisk signifikans er ikke lønnsomhet

Et resultat fra 2 til 2,2 prosent konverteringsrate er en økning på 0,2 prosentpoeng og 10 prosent relativt. Begge målene er nyttige, men de uttrykker forskjellige ting.

Et konfidensintervall beskriver usikkerheten under modellens forutsetninger. En p-verdi er ikke sannsynligheten for at varianten er best. Et ikke-signifikant resultat dokumenterer heller ikke at variantene er identiske.

Vurder størrelsen på effekten, usikkerheten, kontrollmålene og kostnaden ved gjennomføring. En liten dokumentert forbedring kan være verdifull på en stor flyt. En stor, usikker forbedring på et lite utvalg kan være et signal om at du trenger mer kunnskap.

Du kan teste et konsept med flere endringer

En A/B-test trenger ikke begrenses til én knapp eller ett ord. Du kan sammenligne dagens løsning med et nytt konsept som endrer flere elementer. Da undersøker du effekten av pakken, og kan ikke isolere bidraget fra hvert element.

Multivariat testing er noe annet: Der fordeles brukere mellom kombinasjoner for å undersøke elementer og samspill. Det øker normalt kravene til datagrunnlag. Å endre både knappetekst og farge i én variant er ikke i seg selv en multivariat test.

Velg derfor design etter spørsmålet. Vil du vite om et nytt tilbudsoppsett fungerer bedre samlet, kan en konsepttest være riktig. Vil du forstå hvilket element som gir effekten, trenger du et opplegg som kan skille bidragene.

Før og etter er en annen type vurdering

En sammenligning av perioden før og etter en publisering kan vise utvikling. Den kontrollerer ikke alene for kampanjer, sesong, pris, samtykke eller endringer i hvem som besøker nettstedet.

Det samme gjelder å sammenligne to eksisterende landingssider med forskjellig trafikk. Forskjellen kan skyldes publikum og tilbud. GA4 kan registrere hendelser, men setter ikke automatisk opp tilfeldig fordeling av brukere.

Ved lav trafikk kan en tydelig dokumentert før- og etteranalyse fortsatt være nyttig. Den skal presenteres med sine begrensninger. CRO ved lav trafikk beskriver hvordan du kan arbeide med innsikt og rettinger uten å hevde at alt er et eksperiment.

Verktøyet må passe gjennomføringen

Velg verktøy etter behov for tildeling, eksponering, hendelser, integrasjoner og statistisk analyse. Google Optimize og Optimize 360 er ikke tilgjengelige etter 30. september 2023.

Før dere velger en løsning, kontroller hvordan den håndterer samtykke, mobil, lastetid, besøk som kommer tilbake og eksport av data. Et verktøy kan gjøre gjennomføringen enklere, men det kan ikke lage en relevant hypotese eller definere verdien av et resultat på deres vegne.

Dokumenter beslutningen

Etter testen bør det være mulig å lese hva problemet var, hvilke brukere som inngikk, hva som ble endret, hvilke mål som ble valgt, og hvordan resultatet ble vurdert. Beskriv også datakvalitet og avvik.

Beslutningen kan være å rulle ut, justere, undersøke videre eller beholde kontrollen. Resultatet trenger ikke være en «vinner» for å være nyttig. Læringen blir verdifull når den påvirker neste valg.

CRO-guiden for 2027 setter eksperimentet inn i en større arbeidsprosess. På tjenestesiden beskriver jeg hvordan vi kan velge mellom testprogram og annen optimalisering.