Sökmotorer försöker crawla din webbplats och något går fel. En sida ger ett 500-fel. En sida tar för lång tid. En sida går inte att nå. Det är crawlfel. De visar Google att din webbplats har problem. Många crawlfel skadar placeringarna och hindrar sidor från att indexeras. Ju fler crawlfel du har, desto färre sidor crawlar Google. Du måste hitta och åtgärda crawlfel snabbt.
Vad är crawlfel?
Crawlfel uppstår när Google försöker crawla en sida och stöter på ett problem. Sidan kan ge ett 5xx-serverfel. Den kan nå tidsgränsen utan att svara. Den kan vara blockerad av robots.txt eller omdirigeras i det oändliga. Allt som hindrar Google från att crawla en sida är ett crawlfel.
Crawlfel är något annat än indexeringsproblem. En sida kan crawlas utan problem men ändå inte indexeras (på grund av noindex eller andra skäl). Det är inte ett crawlfel. Ett crawlfel är när själva crawlningen misslyckas.
Typer av crawlfel
500 Internal Server Error betyder att något på din server är trasigt. Ett skript har kraschat. En databasfråga har misslyckats. Servern kan inte hantera förfrågan. Åtgärda grundproblemet på servern.
503 Service Unavailable betyder att servern tillfälligt ligger nere. Det är normalt under underhåll. Åtgärda det som orsakade driftstoppet.
Timeout betyder att sidan tog för lång tid att svara. Google gav upp och slutade vänta. Det betyder oftast att din server är långsam eller överbelastad. Optimera servern eller uppgradera webbhotellet.
Omdirigeringsfel betyder att sidan omdirigeras fel. Kanske omdirigeras den till sig själv (oändlig loop). Kanske omdirigeras den till en trasig sida. Åtgärda omdirigeringskedjan.
Sidan hittades inte (404) är tekniskt sett inte ett crawlfel. Sidan ger 404 på rätt sätt. Men om det är en viktig sida som borde finnas bör du undersöka varför den ger 404.
Blockerad av robots.txt betyder att robots.txt hindrar crawlning. Det kan vara avsiktligt (du blockerade sidan med flit) eller av misstag (du blockerade för mycket). Gå igenom din robots.txt.
Därför spelar crawlfel roll
Crawlfel visar sökmotorerna att din webbplats har problem. Om sökmotorerna stöter på många crawlfel utgår de från att webbplatsen är trasig och crawlar den mer sällan. Då crawlas och indexeras färre sidor.
Sidor som inte går att crawla går inte att indexera. Om en viktig sida ger 500-fel slutar sökmotorerna försöka crawla den och tar bort den ur indexet.
Crawlfel skickar en negativ signal. Sökmotorer använder webbplatsens hälsa som rankningsfaktor. En webbplats med många crawlfel ser trasig och opålitlig ut. Dina placeringar blir lidande.
Så hittar du crawlfel
Använd sökmotorns verktyg för webbansvariga (Google Search Console för Google). Rapporten Coverage visar crawlfel. Den listar URL:er som Google försökte crawla men misslyckades med. Du ser feltypen och hur många sidor som har varje fel.
Använd rapporten Crawl Stats. Den visar hur många sidor Google crawlade och vilka datum. Om crawlvolymen plötsligt sjunker har du troligen crawlfel.
Använd verktyget URL Inspection. Ange en viss URL så visar verktyget om den crawlades utan problem, när den crawlades och vilka fel som uppstod (om några).
Kontrollera dina serverloggar. Ditt webbhotell har åtkomstloggar som visar varje förfrågan och svar. Leta efter 5xx-fel eller timeouts.
Vanliga orsaker till crawlfel och hur du åtgärdar dem
Din server är överbelastad. För många förfrågningar ger timeouts och 503-fel. Uppgradera ditt webbhotell eller optimera koden så att den klarar mer trafik.
Ett skript på din webbplats är trasigt. Ett PHP-fel eller ett databasfel ger 500-fel. Kontrollera dina felloggar och åtgärda den trasiga koden.
Robots.txt är för strikt. Du har av misstag blockerat viktiga sidor. Gå igenom robots.txt och ta bort alltför breda disallow-regler.
Omdirigeringskedjor är trasiga. Sida A omdirigeras till B som omdirigeras till C som är trasig. Åtgärda kedjan så att den pekar direkt på slutmålet.
En sida har en noindex-tagg. Google crawlar den men indexerar den inte på grund av noindex. Om det är avsiktligt kan du strunta i det. Om det är av misstag tar du bort noindex-taggen.
Åtgärda crawlfel
Identifiera feltypen. Olika fel kräver olika åtgärder. 500-fel kräver serveråtgärder. Timeouts kräver prestandaoptimering. Omdirigeringsfel kräver att omdirigeringarna rättas till.
Åtgärda grundproblemet. Vid 500-fel åtgärdar du den trasiga koden eller det trasiga skriptet. Vid timeouts optimerar du prestandan. Vid omdirigeringar rättar du till kedjan.
Kontrollera att åtgärden fungerade. Använd verktyget URL Inspection för att hämta sidan igen. Google crawlar den på nytt och rapporterar om felet är åtgärdat.
Följ crawlstatistiken. Efter att du har åtgärdat felen följer du crawlvolymen i verktygen för webbansvariga. Crawlvolymen bör öka när sökmotorerna crawlar fler sidor utan problem.
Vanliga frågor
Hur många crawlfel kan jag tolerera?
Noll är målet. Men vissa crawlfel går inte att undvika. Några få crawlfel på oviktiga sidor är inget stort problem. Hundratals crawlfel tyder på allvarliga problem. Har du fler än 50 crawlfel bör du undersöka och åtgärda dem. Med WEMASY:s webbplatsbyggare kan du ställa in det direkt på din webbplats.
Skadar crawlfel placeringarna direkt?
Inte direkt, men de hindrar sidor från att indexeras och skadar signalerna om webbplatsens hälsa. En sida med crawlfel kan inte ranka (den är inte indexerad). Många crawlfel signalerar till Google att din webbplats är trasig, vilket indirekt skadar alla dina placeringar.
Bör jag åtgärda alla crawlfel direkt?
Prioritera. Åtgärda crawlfel på viktiga sidor först (startsidan, de viktigaste landningssidorna, sidor som ger intäkter). Mindre viktiga sidor (arkiverat innehåll, hjälpsidor) kan vänta. Åtgärda de mest skadliga felen först.
Kan crawlfel på gammalt innehåll skada min webbplats?
Till viss del. Om du har tusentals arkiverade sidor som ger 404 eller 500 skapar det brus och sprider crawlbudgeten över trasiga sidor. Det är bättre att ta bort gammalt innehåll eller omdirigera det till relevant nytt innehåll än att låta det vara trasigt.
Hur lång tid tar det innan sökmotorerna crawlar om sidan efter att jag har åtgärdat ett fel?
Oftast några dagar. När du har åtgärdat ett crawlfel crawlar sökmotorerna om sidan vid nästa crawlomgång. Använd verktyget URL Inspection för att begära en ny crawlning. Det går snabbare. Efter den nya crawlningen uppdaterar verktygen för webbansvariga rapporten Coverage.
Vad är skillnaden mellan crawlfel och indexeringsfel?
Crawlfel uppstår när Google inte kan crawla en sida (500-fel, timeouts). Indexeringsfel uppstår när en sida crawlas utan problem men inte kan indexeras (innehållsproblem, noindex-tagg). Crawlfel hindrar indexering helt. Indexeringsfel betyder att sidan crawlades men inte indexerades av andra skäl.