Sökmotorer crawlar din webbplats hela tiden, följer länkar och indexerar sidor. Men alla sidor förtjänar inte att indexeras. Du har privata sidor, adminområden, testsidor och dubblettsidor som slösar crawl-budget. Robots.txt är en enkel textfil som talar om för sökmotorerna vilka sidor de får och inte får crawla. Den är grindvakten mellan din webbplats och sökmotorernas botar.
Robots.txt är en vanlig textfil som ligger i webbplatsens rotmapp (dinwebbplats.se/robots.txt). Den innehåller instruktioner till sökmotorernas crawlers om vilka sidor och delar av webbplatsen de får crawla. Du behöver ingen inloggning för att se robots.txt. Den är offentlig. Vem som helst kan gå till dinwebbplats.se/robots.txt och läsa dina instruktioner.
Sökmotorer ska följa reglerna i robots.txt. De flesta gör det. Några gör det inte. Välartade crawlers (Google, Bing och andra seriösa sökmotorer) respekterar robots.txt. Illasinnade botar ignorerar den ofta.
Hur ser robots.txt ut?
En enkel robots.txt ser ut så här:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Den här filen säger till alla botar (User-agent: *) att de inte får crawla delarna /admin/ och /private/. Den tillåter uttryckligen /blog/ (vilket är bra om en överordnad mapp är blockerad). Den pekar också botarna till din sitemap.
Här är ett annat exempel med mer specifika regler:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Det här blockerar bara Googles crawler från /temp/. Alla andra botar blockeras från /test/ och alla PDF-filer. Crawl-delay säger åt botarna att vänta 5 sekunder mellan förfrågningarna.
Så hjälper robots.txt din SEO
Robots.txt hjälper SEO på ett huvudsakligt sätt: den sparar crawl-budget. Sökmotorerna ger varje webbplats en begränsad crawl-budget. För små webbplatser är det sällan ett problem. För stora webbplatser med tusentals sidor spelar den roll.
Om din webbplats har 10 000 sidor men bara 500 är viktiga vill du att botarna crawlar de 500 viktiga sidorna många gånger, inte sprider sin budget över alla 10 000. Robots.txt hindrar botarna från att slösa tid på oviktiga sidor.
Vanliga sidor att blockera: adminområden, inloggningssidor, tacksidor, testsidor, dubblettinnehåll, sessionssidor och tillfälligt innehåll. När du blockerar dem säger du åt botarna att fokusera på innehåll som räknas.
Vad du inte ska blockera i robots.txt
Blockera inte sidor du vill ranka med. Blockera inte bloggen eller dina huvudsakliga innehållsdelar. Blockera inte CSS-, JavaScript- eller bildfiler som behövs för att sidorna ska visas rätt (om du inte uttryckligen vill förhindra indexering).
Google rekommenderar att du inte blockerar CSS-, JavaScript- och bildfiler, även om du inte vill att de indexeras. Om du blockerar dem kan Google få svårt att rendera och förstå dina sidor.
Använd inte robots.txt för att gömma känslig information. Robots.txt är offentlig. Vem som helst kan läsa dinwebbplats.se/robots.txt. Om du verkligen vill dölja något, använd lösenordsskydd eller serverautentisering, inte robots.txt.
Så skapar du en robots.txt
Det är enkelt att skapa robots.txt. Det är en vanlig textfil. De flesta webbplatsbyggare och CMS skapar en automatiskt.
Om ditt CMS inte har skapat någon gör du den själv. Öppna ett textprogram. Skriv dina regler. Spara filen som "robots.txt" (inte "robots.txt.txt"). Ladda upp den till webbplatsens rotmapp (dinwebbplats.se/robots.txt).
Testa din robots.txt. Gå till Google Search Console, välj din webbplats, öppna verktyget Robots.txt Tester och klistra in dina regler. Google visar vad filen blockerar och tillåter. Då vet du att reglerna fungerar som du tänkt.
Vanliga robots.txt-regler och exempel
Här är den vanligaste regeln: blockera alla botar från en viss mapp.
User-agent: *
Disallow: /admin/
Så här blockerar du en viss filtyp (som PDF):
User-agent: *
Disallow: /*.pdf
Så här blockerar du alla botar utom Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Så här lägger du till en crawl-fördröjning (vänta X sekunder mellan förfrågningarna):
User-agent: *
Crawl-delay: 10
Så här pekar du botarna till din sitemap:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Viktiga begränsningar hos robots.txt
Robots.txt är inget säkerhetsverktyg. Det är ett system byggt på hövlighet. Dåliga botar, hackare och illasinnade crawlers ignorerar robots.txt helt. Använd den inte för att gömma känslig data eller skydda viktiga sidor. Använd lösenordsskydd till det.
Robots.txt garanterar inte att en sida hålls utanför sökresultaten. Google indexerar ibland sidor som står i robots.txt om andra indexerade sidor länkar till dem. Blockeringen hindrar crawling, men inte indexering om sidan länkas från någon annanstans.
Robots.txt är inte detsamma som noindex. Om du vill förhindra indexering helt använder du en robots-metataggen eller X-Robots-Tag-headern, inte robots.txt. Robots.txt styr bara crawling, inte indexering.
Vanliga frågor
Påverkar robots.txt min ranking?
Indirekt. Robots.txt påverkar inte rankingen direkt. Men genom att leda crawl-budgeten till viktiga sidor hjälper du sökmotorerna att crawla och indexera ditt bästa innehåll oftare. Bättre crawling ger bättre indexering, vilket ger bättre chans till ranking. Robots.txt hjälper alltså rankingen indirekt genom att styra crawl-budgeten. Med WEMASY:s webbplatsbyggare kan du ställa in detta direkt på din webbplats.
Kan jag blockera Google från att crawla min webbplats?
Ja, men du bör inte göra det. Du kan stänga ute Googlebot i robots.txt, men då kan Google inte indexera din webbplats. Den försvinner från Googles sökresultat. Det enda skälet till att göra det är om du tar webbplatsen offline eller flyttar den och inte vill att den gamla versionen indexeras. I nästan alla fall bör du låta Google crawla.
Är robots.txt skiftlägeskänslig?
Delvis. Kommandona User-agent och Disallow är inte skiftlägeskänsliga. Sökvägarna du blockerar är det på de flesta servrar. /Admin/ och /admin/ är olika sökvägar. Testa dina regler i Google Search Console för att vara säker på att de fungerar som tänkt.
Ska jag blockera dubblettsidor med robots.txt?
Det beror på. Robots.txt blockerar crawling men inte indexering. Om du vill förhindra att dubblettsidor indexeras använder du i stället canonical-taggen eller robots-metataggen noindex. Använd robots.txt för att blockera crawling av oviktiga dubbletter som du inte bryr dig om att Google hittar.
Måste jag meddela Google när jag ändrar robots.txt?
Nej. Google crawlar robots.txt ofta. Ändringar slår oftast igenom inom några timmar. Du behöver inte skicka in webbplatsen igen eller meddela någon. Uppdatera robots.txt och vänta på nästa crawl.
Vad är skillnaden mellan robots.txt och robots-metataggar?
Robots.txt blockerar crawling på filnivå. Robots-metataggar styr indexering på sidnivå. Robots.txt säger att en sida inte får crawlas. Robots-metataggar (som noindex) säger att en sida får crawlas men inte ska indexeras. Använd robots.txt för stora delar du vill blockera. Använd robots-metataggar för enskilda sidor som ska crawlas men inte indexeras.