De fire Claude-botene du blokkerer feil
Anthropic kjører fire ulike bots med fire ulike formål. De fleste som «stenger ute AI» stenger samtidig døren for å bli sitert.
Publisert 2 min lesetid
Anthropic kjører fire ulike bots. De har fire ulike formål, og å blokkere dem har fire ulike konsekvenser. De fleste robots.txt-filer behandler dem som én ting.
Jeg ser dette igjen og igjen når jeg går gjennom nettsteder: noen har bestemt seg for at «vi vil ikke at AI skal bruke innholdet vårt», noen har skrevet noen linjer i robots.txt, og resultatet er at bedriften har gjort seg selv usynlig i et grensesnitt kundene faktisk bruker — uten at det var det noen mente.
De fire
| Bot | Hva den gjør | Hva du mister ved å blokkere den |
|---|---|---|
| ClaudeBot | Henter innhold som kan brukes til å trene modeller | Innholdet ditt inngår ikke i det modellen «kan» fra før |
| Claude-User | Henter en enkeltside fordi brukeren har bedt om det | En kunde kan ikke be Claude om å lese siden din |
| Claude-SearchBot | Indekserer sider for søkefunksjonen | Du kan ikke dukke opp når Claude søker på nettet |
| claude-code | Brukes av utviklerverktøyet Claude Code | Utviklere som jobber mot dokumentasjonen din blir hindret |
Legg merke til at bare den første handler om trening. De tre andre handler om at noen akkurat nå prøver å finne eller lese noe hos deg.
Hvorfor sammenblandingen er kostbar
Diskusjonen om AI og innhold har handlet nesten utelukkende om trening. Det er en reell og viktig diskusjon: skal et selskap kunne bygge en kommersiell modell på arbeidet ditt uten å betale for det?
Men den diskusjonen har lagt seg som et teppe over en helt annen ting. Når Claude søker på nettet og siterer en kilde med lenke, er ikke det trening. Det er nærmere en søkemotor som viser et resultat. Det er trafikk. Det er synlighet. Det er det du har brukt femten år på å oppnå i Google.
Blokkerer du alt som heter Claude fordi du har en mening om trening, har du samtidig meldt deg ut av søket. Det er som om noen på 2010-tallet hadde blokkert Googlebot fordi de mislikte Googles annonsemodell.
De tre realistiske posisjonene
1. Slipp alt inn
For de aller fleste bedrifter som selger et produkt eller en tjeneste er dette riktig. Innholdet ditt er markedsføring. Poenget med det er å bli lest, forstått og husket. At en modell har lest produktsiden din er ikke et tap — det er hele hensikten.
User-agent: *
Allow: /2. Blokker trening, slipp inn søk
Dette er mellomposisjonen, og den er fornuftig hvis innholdet ditt er produktet: fagartikler du tar betalt for, kursmateriell, redaksjonelt arbeid med reell produksjonskostnad.
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /Du sier: bruk meg gjerne som kilde og send folk hit, men ikke bygg modellen din på arkivet mitt.
3. Blokker alt
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Claude-User
Disallow: /Det finnes tilfeller der dette er riktig. Men det er en beslutning som skal tas bevisst, med kunnskap om hva det koster — ikke som en bivirkning av en generell uro rundt AI.
Tre ting folk gjør feil
De blokkerer med wildcard. User-agent: *Bot og lignende konstruksjoner treffer bredere enn folk tror, og robots.txt har ikke den mønstermatchingen mange antar. Skriv botnavnene ut.
De blokkerer i robots.txt og tror det er teknisk sikring. robots.txt er en høflig forespørsel. Den etterleves av de seriøse aktørene, og ignoreres av alle andre. Skal noe faktisk stenges, hører det hjemme bak innlogging eller på serversiden.
De sjekker aldri om det virket. Serverloggene dine vet nøyaktig hvilke bots som har vært innom og hva de fikk. Det er den eneste kilden som forteller deg hva som faktisk skjer, i motsetning til hva du har bedt om.
Det jeg pleier å anbefale
Spør deg selv ett spørsmål: selger du innholdet, eller selger du med innholdet?
Selger du med innholdet — altså at artiklene og produktsidene finnes for å få noen til å kjøpe noe annet — er svaret nesten alltid å slippe søkebotene inn. Du taper ingenting på å bli lest, og du taper alt på å ikke bli funnet.
Selger du innholdet, er avveiningen reell, og da fortjener den en ordentlig diskusjon internt — ikke fire linjer noen limte inn fra et blogginnlegg.
Uansett hvilken vei du velger: velg den med åpne øyne, og vit hvilken av de fire botene du snakker om.
Ofte stilte spørsmål
Hvis jeg blokkerer ClaudeBot, blir jeg da usynlig i Claude?
Ikke nødvendigvis. ClaudeBot henter data til trening. Blokkerer du bare den, kan Claude fortsatt finne deg gjennom søk og gjennom sider brukeren selv ber om. Blokkerer du derimot Claude-SearchBot, stenger du søkeveien — og det er den som gjør at du kan dukke opp i et svar om noe ferskt.
Hva er forskjellen på Claude-User og de andre?
Claude-User henter en side fordi brukeren har bedt om den — for eksempel ved å lime inn en lenke. Blokkerer du den, kan ikke en potensiell kunde be Claude om å lese din egen produktside. Det er sjelden det man mener å oppnå når man «stenger ute AI».
Bør en vanlig norsk bedrift blokkere noen av dem?
For de fleste bedrifter som selger noe, er svaret nei. Synligheten er verdt mer enn kontrollen. Har du innhold som er selve produktet — betalt journalistikk, kursmateriell, databaser — er avveiningen en helt annen, og da er det å blokkere trening men slippe inn søk ofte den fornuftige mellomposisjonen.
Takk — dette hjelper meg med å gjøre artikkelen bedre.
Få det jeg lærer om AI-søk
Egne tester og analyser av hvordan språkmodellene velger kilder. Ingen fast frekvens — jeg sender når jeg faktisk har noe å si.