Krister Ross
Book meg

Begrep · Teknisk AI-søk

Hva er OAI-SearchBot?

Slipper du i det hele tatt inn crawleren som avgjør om ChatGPT kan sitere deg?

OAI-SearchBot er OpenAIs crawler for innhold som skal kunne vises og siteres i ChatGPTs søk. Blokkerer du den, kan du ikke bli sitert i ChatGPT — uansett hvor godt innholdet er.

Dette er den ene tekniske innstillingen som er binær i AI-synlighet. Slipper du den ikke inn, kan ChatGPT ikke oppgi deg som kilde — uansett hvor godt innholdet er, hvor sterk entiteten er eller hvor mye du har investert i resten.

Forvirringen oppstår fordi OpenAI har flere crawlere med ulike formål, og fordi mange robots.txt-oppsett er kopiert fra en mal skrevet før skillet fantes.

På engelskOAI-SearchBotSist gjennomgått23. august 2026

Avgrensning

Ikke å forveksle med

Begrepene under ligger nært, og blandes ofte sammen. Forskjellen avgjør hvilket arbeid som faktisk hjelper.

GPTBot
GPTBot henter innhold til modellutvikling. OAI-SearchBot henter innhold som skal kunne vises og siteres i ChatGPTs søk. Å blokkere den første er et legitimt valg om treningsdata; å blokkere den andre er å melde seg ut av å bli sitert.
ChatGPT-User
ChatGPT-User er hentingen som skjer i det øyeblikket en bruker ber om en bestemt lenke. Den er en enkelt henting på vegne av en person, ikke en systematisk gjennomgang av nettstedet.
Googlebot
Googlebot dekker både vanlig søk og Googles AI-svar — det finnes ingen egen crawler å slippe inn for AI Overviews. Hos OpenAI er formålene skilt i ulike crawlere. Ett regelsett dekker derfor ikke begge plattformene.

Plass i kjeden

Hvor OAI-SearchBot hører hjemme

  1. 1OppdagelseDiscoveryDette begrepet
  2. 2HentingRetrieval
  3. 3UtvelgelseSelection
  4. 4KontekstContext
  5. 5GenereringGeneration
  6. 6SiteringCitation
  7. 7PåvirkningInfluence
  8. 8HandlingAction

Hele kjeden, ledd for ledd →

Blir det søkt i det hele tatt, og finnes du der det søkes?

Motoren avgjør selv om den skal slå opp eksternt eller svare fra det den lærte under trening. Svarer den fra minnet, avgjøres omtalen av hva modellen allerede vet om deg — ikke av det du publiserte i går.

Svikter leddetDu er usynlig uansett hvor god teksten er, fordi teksten aldri blir slått opp.

Leddet hører til trinn 1, aktivering, i TRUST-modellen, og står i sin helhet på ledd 1 av kjeden. Arbeidet eies av tilstedeværelse.

Mekanisme

Hvorfor dette avgjør noe

Crawlere identifiserer seg med et user-agent-navn, og robots.txt svarer med tillatelse eller avslag per navn. En regel som blokkerer alt bortsett fra Googlebot og Bingbot, blokkerer også OAI-SearchBot — uten at noen har tatt et valg om det.

Blokkeringen er stille. Ingenting går i stykker, ingen feilmelding kommer, og trafikktallene ser normale ut. Det eneste symptomet er at du ikke dukker opp som kilde i ChatGPT, og det symptomet ser identisk ut med «innholdet vårt er ikke godt nok».

Robots.txt er heller ikke det eneste stedet det kan gå galt. En brannmur eller bot-beskyttelse kan avvise crawleren på nettverksnivå selv om robots.txt tillater den, og det er en vanligere årsak enn folk tror i oppsett med aggressiv botfiltrering.

Merk at tillatelse ikke er det samme som å bli hentet. Crawleren må også finne sidene, klare å lese dem uten JavaScript, og vurdere dem som relevante. Tilgang er den første porten, ikke hele veien.

Eksempel

Regelen som blokkerer uten at noen bestemte det

Et vanlig mønster i robots.txt er en generell avvisning etterfulgt av unntak for de crawlerne noen husket på. Sto den fila skrevet før 2024, finnes ikke OAI-SearchBot blant unntakene, og resultatet er en blokkering ingen har tatt stilling til.

Det motsatte mønsteret er like vanlig: alt er tillatt, men bot-beskyttelsen foran nettstedet svarer med 403 på alt som ikke ser ut som en nettleser. Robots.txt sier ja, serveren sier nei, og det er serveren som avgjør.

Beskrivelse av to konfigurasjonsmønstre som går igjen, ikke en revisjon av et bestemt nettsted.

Sjekk selv

Gjør dette før du går videre

Kort nok til å gjøre nå, konkret nok til at du sitter igjen med et funn om din egen bedrift.

3 minutterDu vet om ChatGPT i det hele tatt har lov til å hente sidene dine.

  1. Åpne dittdomene.no/robots.txt i nettleseren.
  2. Se etter regler for OAI-SearchBot, GPTBot og en generell User-agent: *. Husk at en generell Disallow gjelder alle som ikke har egen regel.
  3. Kjør kommandoen under fra en terminal, og se at du får 200 og ekte HTML tilbake — ikke 403 og en bot-sperreside.
  4. Gjenta for en undersides URL, ikke bare forsiden. Bot-beskyttelse slår ofte inn først lenger inn på nettstedet.

Sjekk at crawleren slipper gjennom brannmuren

curl -sS -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot/1.0; +https://openai.com/searchbot" https://dittdomene.no/

En 200 fra din egen IP betyr ikke at OpenAI får samme svar. Geografisk eller rate-basert filtrering kan slå ut annerledes for dem enn for deg.

Taktikker

Hva du faktisk gjør

Prioritert etter forholdet mellom innsats og effekt. Rekkefølgen er en del av anbefalingen.

  1. 01

    Ta stilling til hver crawler for seg

    Søkecrawleren og treningscrawleren er to ulike valg med ulike konsekvenser. Ett samlevedtak om «AI» er nesten alltid feil på minst én av dem.

  2. 02

    Sjekk laget foran robots.txt

    Bot-beskyttelse, WAF og rate-grenser kan avvise crawlere som robots.txt slipper inn. Det er serveren som avgjør, ikke fila.

  3. 03

    Sørg for at innholdet finnes uten JavaScript

    Tilgang hjelper ikke hvis siden er tom i kildekoden. Det crawleren ser er view-source, ikke det du ser etter at skriptene har kjørt.

  4. 04

    Loggfør crawlerbesøk

    Serverloggen er det eneste stedet du kan se om de faktisk kommer. Uten den gjetter du på om tilgangen virker.

Anti-patterns

Vanlige feil

  • Å blokkere alt som heter AI i én regel, og dermed melde seg ut av å kunne siteres.
  • Å sjekke robots.txt og tro at saken er avklart, når bot-beskyttelsen svarer 403.
  • Å anta at Googlebot-reglene dekker OpenAI. Det er ulike crawlere med ulike navn.
  • Å teste bare forsiden. Sperrene slår ofte inn på undersider og på høy frekvens.

Måling

Hva som lar seg måle

Crawlerbesøk i serverlogg, og svarkoder per user-agent

Tell besøk per crawler per uke og andelen som får 200. Et fall til null er den tidligste indikasjonen på at noe er blokkert — den kommer måneder før du merker det på siteringene.

FrekvensMånedlig gjennomgang, og alltid etter endringer i brannmur, CDN eller robots.txt.

Alle tall følger de samme minimumskravene: gjentakelser, aktiveringsrate som eget felt, nullresultater beholdt og målt spredning oppgitt. Se kravene i metoden.

Spørsmål

Ofte stilte spørsmål

Bør jeg slippe inn GPTBot også?

Det er et annet valg enn søkecrawleren, og det er legitimt å si nei. GPTBot handler om at innholdet kan inngå i modellutvikling. Sier du nei, mister du ikke muligheten til å bli sitert i ChatGPTs søk — det er OAI-SearchBot som styrer.

Hvor lang tid tar det før en endring virker?

Fra du åpner tilgangen må crawleren finne sidene på nytt og indeksen oppdateres. I praksis snakker vi dager til uker, avhengig av hvor ofte nettstedet ditt besøkes fra før. Det er ingen måte å be om prioritering.

Hjelper llms.txt hvis crawleren er blokkert?

Nei. En fil som beskriver innholdet ditt har ingen virkning hvis crawleren ikke får lov til å hente den, og heller ikke særlig virkning når den får det. Tilgang og indeksering er det som avgjør.

Nærliggende

Beslektede begreper

Begrepene som grenser mot dette. De med egen side er lenket.

Bingbotpå kartet
Bingbot er Microsofts crawler, og den mater indeksen flere AI-tjenester enn Bing selv bygger på. Den er undervurdert i norske oppsett, der alt måles mot Google.
Siteringskvalifiseringpå kartet
Siteringskvalifisering er om en side i det hele tatt kan brukes som oppgitt kilde, teknisk og innholdsmessig. Er svaret nei, er alt annet arbeid på siden uten virkning.
ClaudeBotpå kartet
ClaudeBot er Anthropics crawler for innhold til Claude. Som hos OpenAI er henting til søk og henting til modellutvikling skilt i ulike agenter, så ett samlevedtak om «AI» treffer nesten alltid feil på minst én av dem.
Googlebotpå kartet
Googlebot er Googles primære crawler, og grunnlaget både for vanlige søkeresultater og for Googles AI-svar. Det finnes ingen egen crawler å slippe inn for AI Overviews — det er den samme indeksen.
GPTBotpå kartet
GPTBot er OpenAIs crawler for innsamling av webinnhold til modellutvikling. Den har et annet formål enn OAI-SearchBot, og valget om å slippe den inn er derfor et annet valg.
Grounding eligibilitypå kartet
Grounding eligibility er om en side i det hele tatt er tilgjengelig, lesbar og kvalifisert til å hentes som kilde. Det er den første porten i kjeden, og den er binær.
PerplexityBotpå kartet
PerplexityBot er Perplexitys crawler. Perplexity siterer tettere og oftere enn de andre motorene, så tilgang her gir som regel mer synlig kildekreditering per henting enn tilsvarende tilgang andre steder.
robots.txtpå kartet
robots.txt er fila som forteller crawlere hva de har lov til å hente. Den er den vanligste enkeltårsaken til at en bedrift er usynlig i AI-søk uten å vite det, fordi en generell avvisning rammer crawlere ingen har tatt stilling til.

Se alle begrepene i kjeden — fra oppdagelse til handling.

Les videre

Egne tester og analyser som går dypere enn definisjonen.

Få det jeg lærer om AI-søk

Egne tester og analyser av hvordan språkmodellene velger kilder. Ingen fast frekvens — jeg sender når jeg faktisk har noe å si.

Er du synlig når kundene spør en AI?

Vi tar en uforpliktende prat på 30 minutter. Du får en konkret vurdering av hvor du står i AI-søk — og hva som er første steg. Ingen presentasjon, ingen forpliktelse.

Book meg

Eller ring +47 466 144 18