AI-crawlere: GPTBot, ClaudeBot, PerplexityBot og de andre

Kort svar: En AI-crawler er et automatisert program en AI-leverandør bruker til å hente innhold fra nettet. Rundt et dusin bots betyr noe i praksis, delt i tre kategorier: crawlere som samler treningsdata, crawlere som bygger søkeindekser til sanntidssvar, og fetchere som henter siden din når en bruker spør akkurat nå.

Hvorfor skillet mellom kategoriene er det eneste som betyr noe

Det er fristende å behandle alle AI-bots likt: enten slipper du dem alle inn, eller du blokkerer dem alle. Det er også den vanligste feilen. De tre kategoriene gjør vidt forskjellige ting med innholdet ditt, og konsekvensen av å blokkere dem er ikke i nærheten av lik. Hvilke bots som faktisk får hente siden din, avgjør om du i det hele tatt har en sjanse til å bli sitertSiteringEn sitering er når en AI-tjeneste oppgir kilden bak et svar, som regel med lenke. Sitering er noe annet enn omtale: du kan bli nevnt uten å bli lenket til, og lenket til uten å bli nevnt ved navn.Se i ordlisten — et grunnleggende spørsmål i praktisk AEO-arbeid.

Treningscrawlere: samler data, produserer ingen sitering i dag

Disse botene henter innhold for å trene fremtidige modellversjoner. De lagrer det de finner, det brukes i en treningsrunde som kan ligge måneder eller år frem i tid, og det gir ingen direkte sitering i et svar du kan se i dag. Eksempler: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), Applebot-Extended (Apple), Meta-ExternalAgent (Meta) og CCBot (Common Crawl, som mange andre modell-leverandører gjenbruker som treningskilde).

Søkeindeks-crawlere: bygger indeksen svarene hentes fra

Disse botene bygger en levende søkeindeks som brukes til å hente kilder når modellen svarer på et spørsmål akkurat nå. Blokkerer du en av disse, forsvinner du fra den indeksen — og dermed fra svarene som bygges på den. Eksempler: OAI-SearchBot (driver ChatGPT search), Claude-SearchBot (Anthropic) og PerplexityBot (Perplexitys indeks).

Brukerutløste hentere: henter siden din der og da

Disse fyres av når en faktisk bruker i en pågående samtale ber modellen om å sjekke en spesifikk side. Blokkerer du dem, kan ikke modellen hente og lese siden din når en bruker eksplisitt ber om det. Eksempler: ChatGPT-User, Claude-User og Perplexity-User.

De crawlerne som betyr noe akkurat nå

Listen endrer seg, men dette er de som er verdt å ha et bevisst forhold til i 2026:

Merk at Google-Extended er separat fra vanlige Googlebot: den styrer kun om innholdet ditt brukes til trening av Gemini og AI-funksjoner, ikke om siden din indekseres i vanlig Google-søk.

Hvordan finne dem i loggene dine

Alle disse identifiserer seg med et user-agent-navn i serverloggene dine. En rask gjennomgang av access-loggen (eller Cloudflares bot-analyse hvis du bruker det) viser hvilke av dem som faktisk besøker siden din, og hvor ofte. Det er verdt å gjøre før du endrer noe i robots.txt — du bør vite hva du faktisk blokkerer, ikke bare hva du tror du blokkerer.

Hva skjer når du blokkerer feil kategori

Blokkerer du en treningscrawler, mister du ingenting i dagens synlighet. Fremtidige modellversjoner vil rett og slett ikke ha lært av innholdet ditt — en avveining om langsiktig påvirkning, ikke om trafikk i dag.

Blokkerer du en søkeindeks-crawler eller en brukerutløst henter, er konsekvensen umiddelbar: du forsvinner fra den overflaten. Dette er nøyaktig hvor mange nettsteder skyter seg selv i foten, og det er tema for neste innlegg om robots.txt og AI.

Hvorfor denne listen garantert er ufullstendig om noen måneder

Dette feltet endrer seg fort. Leverandørene legger til nye bot-navn, endrer hva eksisterende bots gjør, og dokumentasjonen henger ofte etter den faktiske adferden. Da denne oversikten ble skrevet, i august 2026, var dette de bekreftede navnene fra OpenAI, Anthropic, Google, Perplexity, Apple, Meta og Amazon. Ingen garanti er gitt for at akkurat denne listen er komplett eller fortsatt korrekt om et halvt år.

Det som er verdt å skille mellom: at en bot eksisterer og har et navn er som regel bekreftet direkte av leverandøren i egen dokumentasjon. Hvor mye vekt den enkelte boten faktisk har for din synlighet — altså hvor mange av AI-svarene som faktisk bygger på det den henter — er langt mer usikkert og varierer med bransje, språk og hvilken modell som spørres. Behandle adopsjonstall og synlighetseffekt fra tredjepartskilder som antakelser inntil du har egne målte tall for ditt eget domene.

Ofte stilte spørsmål

Er GPTBot og ChatGPT-User det samme?

Nei. GPTBot samler treningsdata for fremtidige modeller. ChatGPT-User er en helt annen bot som henter en spesifikk side når en bruker i en aktiv ChatGPT-samtale ber om det. Å blokkere den ene påvirker ikke den andre.

Bør jeg blokkere alle AI-crawlere?

Det avhenger av hva du prioriterer. Blokkerer du alt, unngår du at innhold brukes til modelltrening, men du forsvinner samtidig fra AI-drevne svar som henter kilder i sanntid. De færreste nettsteder som lever av synlighet bør blokkere søkeindeks- og brukerutløste bots.

Endrer disse botene seg ofte?

Ja. Leverandørene legger til og endrer bot-navn med jevne mellomrom, og hvilke bots som faktisk driver et gitt produkt er ikke alltid offentlig dokumentert i detalj. Sjekk leverandørenes egne dokumentasjonssider før du gjør permanente endringer i robots.txt.

Hvordan vet jeg om en bot faktisk er den den utgir seg for å være?

Seriøse AI-leverandører publiserer IP-lister eller reverse-DNS-verifisering for sine crawlere. Stoler du kun på user-agent-strengen, kan hvem som helst late som de er GPTBot.

Hva er Amazonbot?

En generell crawler fra Amazon, brukt til indeksering og trening. Den er mindre omtalt enn OpenAI- og Anthropic-botene, men dukker opp i mange serverlogger.