Din robots.txt-fil är en textfil som ligger i rotkatalogen på din webbplats. Den talar om för crawlers vilka sidor de får nå och vilka som är förbjudna. För traditionella sökmotorer är robots.txt valfri. För AI-crawlers är den det främsta verktyget för att styra om ditt innehåll indexeras eller blockeras.
Skillnaden spelar roll. Google respekterar robots.txt men crawlar ändå sidor som du blockerar om andra webbplatser länkar till dem. AI-crawlers respekterar robots.txt mer strikt. Blockera GPTBot i din robots.txt så citerar ChatGPT inte ditt innehåll. Tillåt den så blir ditt innehåll tillgängligt för AI-citeringar. Det här kapitlet går igenom vad varje större AI-crawler heter, hur du blockerar specifika botar och vilken strategi som passar ditt varumärke.
Så fungerar robots.txt för AI-crawlers
När en crawler besöker din webbplats är det allra första den gör att leta efter en robots.txt-fil. Den läser filen rad för rad och letar efter regler som gäller den. Om din robots.txt säger "disallow: /" kan ingen crawler nå någon sida. Om den säger "disallow: /admin/" kan crawlers nå allt utom administrationsmappen.
AI-crawlers följer de här reglerna mer konsekvent än Googlebot. Om du blockerar ClaudeBot i robots.txt indexerar Claude inte ditt innehåll. Punkt. Googlebot kan fortfarande crawla sidor som du blockerar om innehållet länkas från andra webbplatser, men AI-crawlers stannar vid direktivet i robots.txt.
Formatet är enkelt. Du skriver regler som anger vilka användaragenter (crawlernamn) som omfattas av vilka regler och listar sedan vad de crawlers får och inte får nå. Filen är ren text. Ingen kod. Ingen särskild formatering. Bara regler.
De stora AI-crawlers och deras användaragentnamn
Varje crawler har ett användaragentnamn. När den besöker din webbplats identifierar den sig med det namnet. Du använder namnet i din robots.txt-fil för att skapa regler som gäller just den crawlern.
Här är de stora AI-crawlers som du bör känna till:
GPTBot (OpenAI)
GPTBot är OpenAI:s crawler. Den indexerar innehåll för ChatGPT. När en användare aktiverar webbsökning i ChatGPT hämtar systemet från sidor som GPTBot har indexerat. GPTBot crawlar aggressivt men respekterar reglerna i robots.txt.
Om du vill tillåta GPTBot behöver du inte göra något. Den crawlar som standard. För att blockera den lägger du till de här raderna i din robots.txt:
User-agent: GPTBot
Disallow: /
Den regeln säger "GPTBot, du får inte nå någon sida på den här webbplatsen." Om du bara vill blockera vissa delar kan du vara mer specifik. Blockera mappen /admin/ men tillåt resten:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot är Anthropics crawler. Den indexerar innehåll för Claudes webbsökning. ClaudeBot är mer aggressiv än GPTBot. Den gör fler förfrågningar och crawlar oftare. Om du tillåter ClaudeBot bör du hålla koll på dina serverresurser.
ClaudeBot identifierar sig med det här användaragentnamnet. Använd det i din robots.txt på samma sätt som för GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot crawlar webben för Perplexity. Den är en av de mer frekventa crawlers. Den uppdaterar innehåll flera gånger per dag eftersom Perplexity prioriterar färskhet. Om du blockerar PerplexityBot visas ditt innehåll inte i Perplexitys svar.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Google har två crawlers. Googlebot crawlar för traditionell sökning. Googlebot-Extended crawlar för Googles AI-system som AI Overviews och Gemini. Du kan blockera Googlebot-Extended och samtidigt tillåta Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Andra crawlers
Även andra sökmotorer, till exempel en rysk, en sydkoreansk och en från en stor programvarujätte, har egna crawlers. Principen är densamma. Ta reda på användaragentens namn och skapa en regel.
Strategin: tillåta eller blockera?
De flesta varumärken bör tillåta AI-crawlers att nå sitt innehåll. AI-citeringar ger trafik av hög kvalitet. Användare som hittar ditt innehåll via ChatGPT eller Perplexity har redan bestämt sig för att ditt svar är värdefullt. De klickar sig vidare och konverterar i högre grad än besökare från traditionell sökning.
Det finns undantag. Om du har information som du äger exklusivt, affärshemligheter eller innehåll som du vill hålla exklusivt är det rimligt att blockera AI-crawlers. Om du har innehåll bakom betalvägg kan du blockera vissa crawlers för att förhindra gratis åtkomst via AI-sammanfattningar. Om du har innehåll som är pinsamt eller föråldrat kan du blockera AI-crawlers tills du har uppdaterat det.
Men för det mesta innehåll är kalkylen enkel. AI-synlighet skapar fler möjligheter än risker. Tillåt crawlers. Bli citerad. Få trafik.
Blockera vissa crawlers och tillåta andra
Du behöver inte välja allt eller inget. Du kan tillåta vissa AI-crawlers och blockera andra.
Tillåt Perplexity och GPTBot men blockera ClaudeBot eftersom ClaudeBots crawlingfrekvens belastar din server:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Det tomma "Disallow:" betyder ingen begränsning. Den crawlern kan nå allt.
Du kan också blockera AI-crawlers från specifika delar. Tillåt GPTBot överallt utom i din adminpanel:
User-agent: GPTBot
Disallow: /admin/
Tillåt den att crawla din blogg men inte dina produkter:
User-agent: GPTBot
Disallow: /products/
Wildcard-regeln och standardbeteendet
Du kan skapa regler för specifika crawlers och en standardregel för alla andra. Asterisken (*) är det wildcard som gäller alla crawlers som inte nämns specifikt.
Den här regeln blockerar alla crawlers från /private/ men tillåter allt annat:
User-agent: *
Disallow: /private/
Den här regeln blockerar alla crawlers från att nå något alls:
User-agent: *
Disallow: /
Direktivet Crawl-delay
Du kan be crawlers att sakta ner. Direktivet Crawl-delay talar om för en crawler att vänta ett visst antal sekunder mellan förfrågningar. Om din server har det tungt med ClaudeBots aggressiva crawling kan du be den sakta ner:
User-agent: ClaudeBot
Crawl-delay: 5
Det betyder att ClaudeBot måste vänta 5 sekunder mellan varje förfrågan. Det gör crawlingen långsammare men minskar serverbelastningen.
Så hänger robots.txt ihop med din sitemap
Din robots.txt-fil kan hänvisa till din sitemap. Lägg till den här raden i slutet av din robots.txt-fil:
Sitemap: https://yoursite.com/sitemap.xml
Crawlers kontrollerar din robots.txt och ser hänvisningen till sitemapen. De vet då var de hittar kartan över ditt innehåll. Det snabbar upp upptäckten. Det ändrar inte vad crawlers får nå. Det visar bara var de ska titta.
Testa din robots.txt
Du kan testa din robots.txt-fil innan du tar den i bruk. Google Search Console har en robots.txt-testare. Du anger en URL och ett användaragentnamn, och den visar om den crawlern får nå den sidan enligt reglerna i din robots.txt.
De flesta innehållsplattformar, inklusive WEMASY, skapar en robots.txt-fil automatiskt. Kontrollera dina webbplatsinställningar. Om du kan redigera den kan du lägga till egna regler. Om du inte kan det kontaktar du ditt webbhotell.
Vanliga frågor
Rankar min webbplats i Google om jag blockerar alla AI-crawlers?
Ja. Att blockera AI-crawlers (GPTBot, ClaudeBot och så vidare) påverkar inte rankingen i Google. Google använder Googlebot för traditionell sökning och Googlebot-Extended för AI-funktioner. Om du bara vill blockera AI-crawlers men behålla Googles åtkomst blockerar du AI-crawlernas namn specifikt och låter Googlebot och Googlebot-Extended vara oblockerade. Med WEMASY:s webbplatsbyggare kan du ställa in det direkt på din webbplats.
Kan jag blockera AI-crawlers för träning men tillåta AI-crawlers för sökning?
Gränsen mellan crawlers för träning och för sökning är oskarp. De flesta stora AI-bolag använder numera samma crawlers för båda syftena. Om du blockerar en AI-crawler helt blockerar du både dess åtkomst för träning och för sökning. Du kan inte välja att blockera bara träning eller bara sökning med robots.txt. Du blockerar crawlern helt eller tillåter den.
Vad händer om jag inte har någon robots.txt-fil?
Om du inte har någon robots.txt-fil utgår crawlers från att de får nå allt. Alla crawlers (Google, andra sökmotorer, GPTBot, ClaudeBot, alla) indexerar hela din webbplats. För de flesta webbplatser är det önskat beteende. Om du vill blockera specifika crawlers eller delar behöver du en robots.txt-fil.
Kan AI-crawlers gå förbi min robots.txt-fil?
Teoretiskt ja, men de gör det inte. AI-crawlers respekterar robots.txt mer strikt än Googlebot. Om du säger åt en AI-crawler att hålla sig borta håller den sig borta. De som utvecklar crawlers vet att det skadar deras relation till utgivare om de inte respekterar robots.txt. De följer reglerna.
Hur ofta behöver jag uppdatera min robots.txt-fil?
Du behöver bara uppdatera den om dina blockeringsregler ändras. Om du bestämmer dig för att blockera en ny crawler eller öppna åtkomst till en tidigare blockerad del uppdaterar du den. Annars kan du låta den vara när du väl har ställt in den. Crawlers kontrollerar den varje gång de besöker dig, så ändringar får effekt direkt.
Bör jag blockera AI-crawlers från min konkurrentanalys eller privata research?
Ja. Om du har sidor med egen research, konkurrentanalys eller innehåll som du inte vill ha offentligt blockerar du alla crawlers från de delarna. Lägg till en disallow-regel för den mappen eller de sidorna. Crawlers indexerar dem inte, och AI-system kan inte citera dem.