Att styra om ChatGPT kan hitta och citera ditt innehåll handlar om tre separata mekanismer: robots.txt, metataggar och HTTP-headers. De flesta känner till en av dem. Genom att förstå alla tre kan du göra ett medvetet val av strategi för din synlighet.
Det handlar inte bara om att blockera eller tillåta. Det handlar om att vara avsiktlig. Olika direktiv ger olika resultat. Fel kombination kan slå tillbaka.
De tre kontrollnivåerna
Du har tre sätt att tala om för ChatGPT:s crawlers vad som gäller för ditt innehåll.
Nivå 1: robots.txt
Den här filen i roten av din domän talar om för crawlers vad de får och inte får komma åt på hela webbplatsen eller i specifika delar. Den styr upptäckt och crawlning.
Nivå 2: Meta robots-taggar
De här HTML-metataggarna på enskilda sidor talar om för crawlers vad de ska göra efter att de har hittat och läst sidan. De styr indexering och användning av just den sidan.
Nivå 3: X-Robots-Tag HTTP-headers
Den här headern i serverns HTTP-svar fyller samma syfte som meta robots-taggar, men kan tillämpas för hela webbplatsen eller för specifika innehållstyper. Det är användbart för innehåll som inte är HTML, till exempel PDF-filer.
De flesta fokuserar på robots.txt och glömmer de andra två. Alla tre fungerar tillsammans.
Nivå 1: Så fungerar robots.txt och OAI-SearchBot
Din robots.txt kommunicerar med OAI-SearchBot (ChatGPT:s sökcrawler). ChatGPT följer vanliga robots.txt-direktiv.
Så tillåter du OAI-SearchBot att komma åt ditt innehåll
User-agent: OAI-SearchBot
Allow: /
Det här är standardläget. OAI-SearchBot crawlar hela din webbplats och ditt innehåll blir synligt i ChatGPT search.
Så blockerar du OAI-SearchBot helt
User-agent: OAI-SearchBot
Disallow: /
Då kan ChatGPT search inte hitta ditt innehåll. Dina sidor dyker inte upp i ChatGPT:s svar.
Så tillåter du OAI-SearchBot men styr crawlhastigheten
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Direktivet Crawl-delay talar om för boten att vänta 1 sekund mellan förfrågningarna. Det hjälper dig att hantera serverbelastningen om ChatGPT:s crawler belastar din server för ofta.
Så blockerar du specifika delar
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Det här blockerar crawlning av katalogerna /admin/ och /private/ medan allt annat är tillgängligt.
Grundprincipen: robots.txt styr upptäckt och crawlning. Om du blockerar en crawler här kommer den inte åt sidan alls och kan därför inte läsa några metataggar på sidan.
Nivå 2: Meta robots-taggar, kontroll efter upptäckt
När OAI-SearchBot har crawlat din sida (alltså inte blockerats i robots.txt) talar meta robots-taggarna om för den vad den ska göra med innehållet.
Strukturen för meta robots-taggen
<meta name="robots" content="directive1, directive2">
Viktiga direktiv för AI-crawlers
noindex: Indexera inte den här sidan och ta inte med den i sammanfattningar. Crawlern ser sidan men använder den inte.
nofollow: Följ inte länkarna på den här sidan. Crawlern kan se sidan men crawlar inte länkarna i den.
noai: Använd inte det här innehållet för att träna AI-modeller. Sidan kan visas i sökresultat, men OpenAI kan inte använda den för att träna språkmodeller.
noimageai: Använd inte bilderna på den här sidan för att träna bildgenereringsmodeller.
Exempel
<meta name="robots" content="noindex">
Det här talar om för alla crawlers (Google, Bing, ChatGPT med flera) att inte indexera sidan. ChatGPT citerar den inte, Google visar den inte och Bing tar inte med den.
Specifikt för OAI-SearchBot
<meta name="robots" content="noai">
Det här talar specifikt om för OAI-SearchBot att inte använda innehållet för träning. Sidan kan fortfarande citeras i sökresultaten i ChatGPT, men OpenAI kan inte använda den för modellträning.
Viktig regel: Kombinera inte robots.txt och noindex
Det här är den viktigaste tekniska regeln. Gör aldrig så här:
User-agent: OAI-SearchBot
Disallow: /article/
och lägg samtidigt den här taggen på artikelsidan:
<meta name="robots" content="noindex">
Varför: Om du blockerar OAI-SearchBot via robots.txt från att komma åt /article/ hämtar crawlern aldrig sidan. Den läser aldrig metataggen. Direktivet noindex får ingen effekt eftersom crawlern aldrig ser det. Dessutom kan vissa crawlers indexera sidan ändå om den länkas från externa webbplatser, eftersom de hittade den via länkarna, trots att din robots.txt sa nej.
Regeln: Använd antingen robots.txt ELLER metataggar, inte båda för samma direktiv.
Bästa praxis: Använd robots.txt för att styra crawlning av hela webbplatsen (tillåt eller blockera hela avsnitt). Använd metataggar för kontroll på sidnivå (enskilda sidor med särskilda regler).
Nivå 3: X-Robots-Tag HTTP-headers
Om du vill styra crawlers beteende för innehåll som inte är HTML (PDF-filer, bilder och så vidare), eller tillämpa regler på många sidor utan att redigera varje sida, använder du HTTP-headern X-Robots-Tag.
Exempel:
X-Robots-Tag: noindex, nofollow
Den tillämpas på servernivå och talar om för alla crawlers att inte indexera och inte följa länkar på någon sida som levereras med den här headern.
Du kan tillämpa den selektivt:
X-Robots-Tag: OAI-SearchBot: noai
Det här talar bara om för OAI-SearchBot att inte använda ditt innehåll för träning, medan det fortfarande får användas i sök.
Strategiska val: Vad vill du egentligen?
Ditt val beror på ditt mål.
Mål 1: Få så många ChatGPT-citeringar som möjligt
Tillåt i robots.txt och använd inga noindex-metataggar. Låt OAI-SearchBot hitta och citera dig.
User-agent: OAI-SearchBot
Allow: /
Inga begränsande metataggar.
Mål 2: Synas i ChatGPT search men förhindra modellträning
Tillåt i robots.txt och använd metataggen noai.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Mål 3: Dölja dig för ChatGPT men tillåta andra sökmotorer
Blockera OAI-SearchBot och tillåt de andra.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Mål 4: Dölja dig för alla AI-crawlers
Blockera flera botar.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Efterlevnadsproblemet: Inte alla AI-crawlers följer reglerna
Här kommer den obekväma sanningen: Olika AI-crawlers följer reglerna i olika grad.
Tester visar att ChatGPT följer robots.txt och vissa metataggar. Perplexity följer båda konsekvent. Andra AI-system varierar. Vissa äldre AI-scrapers följer inte robots.txt alls.
Du kan styra OpenAI:s crawlers effektivt. Du kan inte styra alla AI-system som kan skrapa ditt innehåll.
Så hjälper WEMASY dig att hantera crawlers åtkomst
WEMASY:s webbplatsbyggare har en robots.txt-editor där du kan ställa in behörigheter för OAI-SearchBot utan att redigera råa filer. Du kan lägga till meta robots-taggar på enskilda sidor via SEO-inställningarna. Webbplatsbyggaren förinställer bästa praxis: OAI-SearchBot tillåts för synlighet i sök, och du kan själv lägga till noai om du inte vill att innehållet används för modellträning. Följ crawlloggarna för att se vilka crawlers som besöker din webbplats och justera behörigheterna efter det. Se WEMASY:s verktyg för crawlerhantering.
Vanliga frågor
Om jag blockerar OAI-SearchBot i robots.txt, kan mitt innehåll ändå synas i ChatGPT via länkar?
Det är osannolikt. OAI-SearchBot är ChatGPT:s främsta sökcrawler. Om den är blockerad har du ingen närvaro i ChatGPT search. Om ett annat system länkar till ditt innehåll kan dock en annan crawler hämta det. Det går inte att förutse. Med WEMASY:s webbplatsbyggare kan du ställa in detta direkt på din webbplats.
Vad gör metataggen noai egentligen?
Den talar om för OpenAI att inte använda ditt innehåll för att träna sina språkmodeller. Ditt innehåll kan fortfarande visas i sökresultaten i ChatGPT med citeringar. Utan den här taggen kan OpenAI använda ditt innehåll för att träna ChatGPT och andra modeller.
Ska jag använda noindex om jag inte vill synas i ChatGPT?
Ja, men förstå vad det gör: noindex talar om för alla crawlers (Google, Bing, ChatGPT med flera) att inte indexera sidan. Använd det om du vill döljas i alla sökresultat. Om du bara vill döljas för ChatGPT men fortsatt synas på Google ska du inte använda noindex. Blockera i stället OAI-SearchBot i robots.txt.
Hur lång tid tar det innan ändringar i robots.txt eller metataggar börjar gälla?
Ändringar i robots.txt börjar vanligtvis gälla inom 24 timmar. Ändringar i metataggar börjar gälla nästa gång crawlern besöker sidan igen. För att testa direkt kan du använda OpenAI:s crawlertest eller Bing Webmaster Tools.
Kan jag blockera alla AI-crawlers men tillåta Google?
Ja. Stäng ute GPTBot, OAI-SearchBot, ChatGPT-User och andra AI-botar i din robots.txt, och tillåt Googlebot och Bingbot. Det hindrar dock inte AI-system som inte följer robots.txt från att komma åt ditt innehåll.
Vad händer om X-Robots-Tag och robots.txt säger emot varandra för min crawler?
robots.txt utvärderas först. Om robots.txt blockerar en crawler hämtar den inte sidan och ser därför aldrig X-Robots-Tag. Om robots.txt tillåter den gäller direktiven i X-Robots-Tag. Se till att de stämmer överens.