Robots.txt og AI — hva du faktisk bør blokkere

Kort svar: Robots.txt-regler for AI-bots gjør ikke det samme uansett hvilken bot du blokkerer. Blokkerer du en crawler som bare samler treningsdata, endres ikke synligheten din i dag. Blokkerer du en crawler som henter innhold i sanntid for å svare på spørsmål, forsvinner du fra de svarene umiddelbart. De fleste feilkonfigurasjoner kommer av å blande disse to.

Prinsippet du må forstå før du endrer robots.txt

En robots.txt-fil kan ikke skille på “god” eller “dårlig” bruk av innholdet ditt. Den kan bare skille på hvilken bot som spør, identifisert ved user-agent-navn. Derfor er det avgjørende å vite hvilken kategori hver bot tilhører før du legger inn en disallow-regel — se gjennomgangen av AI-crawlerne og de tre kategoriene deres. Treningscrawlere og sanntids-crawlere gjør fundamentalt forskjellige ting, og konsekvensen av å blokkere dem er ikke i nærheten av lik.

Hvis du vil unngå at innhold brukes til modelltrening

Blokkerer du disse, hindrer du at innholdet ditt inngår i fremtidige treningsrunder. Det påvirker ikke om du blir sitertSiteringEn sitering er når en AI-tjeneste oppgir kilden bak et svar, som regel med lenke. Sitering er noe annet enn omtale: du kan bli nevnt uten å bli lenket til, og lenket til uten å bli nevnt ved navn.Se i ordlisten i dagens AI-svar — de svarene bygger ikke på treningsdata i sanntid, de bygger på en søkeindeks.

User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: Google-Extended Disallow: /

User-agent: CCBot Disallow: /

Dette er et legitimt valg. Konsekvensen er langsiktig (modellene lærer aldri av innholdet ditt), ikke umiddelbar. Eksempelet over dekker de fire mest omtalte treningscrawlerne. Vil du blokkere all kjent trening, bør du legge til tilsvarende regler for Applebot-Extended (Apple) og Meta-ExternalAgent (Meta) på samme måte — samme logikk, bare et annet bot-navn i user-agent-linjen.

Hvis du vil bli sitert i AI-søk, la disse være

Blokkerer du disse, forsvinner du fra svarene som genereres akkurat nå — ikke om seks måneder, men fra neste gang noen spør. Dette gjelder søkeindeks-crawlere og brukerutløste hentere: OAI-SearchBot, PerplexityBot, Claude-SearchBot, ChatGPT-User, Claude-User og Perplexity-User. Har du et forretningsmessig mål om å bli funnet og sitert i ChatGPT, Perplexity eller lignende, skal ingen av disse stå i en disallow-regel.

Den vanligste feilen: kopiere en generisk “blokker alle AI-bots”-mal

Mange robots.txt-maler som sirkulerer nå blokkerer samtlige bots med “AI” eller “GPT” i navnet, uten å skille kategori. Resultatet er at nettstedet både unngår trening og forsvinner fra sanntidssvar — selv om målet bare var det første. Sjekk enhver mal opp mot listen i forrige innlegg før du limer den inn.

Robots.txt er en anbefaling, ikke en mur

Det er verdt å nevne at robots.txt er en frivillig standard. Useriøse aktører kan ignorere den. De store leverandørene (OpenAI, Anthropic, Perplexity) har bekreftet at de respekterer robots.txt for sine navngitte bots, men dette er leverandørenes egen policy, ikke en teknisk sperre. Vil du ha en hardere sperre, må det gjøres på server- eller CDN-nivå (for eksempel Cloudflares bot-blokkering), ikke bare i robots.txt.

Slik sjekker du hva som faktisk skjer

Etter at du har endret robots.txt, er det ikke nok å anta at det virker. Sjekk serverloggene for om de aktuelle botene fortsatt dukker opp (useriøse bots vil ignorere filen), og bruk et testverktøy for robots.txt for å bekrefte at syntaksen faktisk blokkerer det du tror den blokkerer. En feilplassert skråstrek eller feilstavet user-agent gir deg ingen blokkering i det hele tatt.

Bør du også blokkere ukjente eller uverifiserte AI-bots?

De navngitte botene fra OpenAI, Anthropic, Perplexity, Google, Apple, Meta og Amazon er bare de som er offentlig dokumentert og navngitt av leverandøren selv. Det finnes uten tvil skrapere som samler innhold til trening eller retrieval uten å identifisere seg tydelig, eller som bruker generiske user-agent-strenger. Robots.txt kan ikke stoppe disse — de er ikke navngitt, så du har ingenting å skrive en disallow-regel mot. Skal du beskytte deg mot denne kategorien, må det skje på server- eller CDN-nivå, med adferdsbasert bot-deteksjon fremfor navnelister. Dette er en reell begrensning ved robots.txt som helhet, ikke bare ved AI-spesifikke regler.

Ofte stilte spørsmål

Blokkerer robots.txt AI-bots fra å bruke innholdet mitt i et svar akkurat nå?

Bare hvis du blokkerer riktig bot. Blokkerer du en søkeindeks-crawler som PerplexityBot eller OAI-SearchBot, forsvinner du fra de sanntidssvarene. Blokkerer du en treningscrawler som GPTBot, påvirker det ikke dagens svar i det hele tatt.

Er det trygt å blokkere alle AI-bots for å beskytte innholdet mitt?

Teknisk sett, ja — men det koster deg synlighet i AI-søk hvis noen av de blokkerte botene også driver sanntids-henting for svar. Vurder hva du faktisk prioriterer: beskyttelse mot trening, eller synlighet i svar.

Respekterer AI-selskapene faktisk robots.txt?

OpenAI, Anthropic og Perplexity har offentlig bekreftet at deres navngitte bots respekterer robots.txt-direktiver. Det er leverandørens egen policy og ikke en teknisk håndheving, så useriøse eller uidentifiserte skrapere kan fortsatt ignorere filen.

Må jeg oppdatere robots.txt ofte?

Ja. Nye bots dukker opp, og eksisterende bots endrer noen ganger navn eller funksjon. Sett en påminnelse om å sjekke robots.txt-en din mot en oppdatert botliste et par ganger i året, gjerne samtidig som du gjennomgår serverloggene for nye, ukjente user-agent-navn.