Sökmotorernas botar besöker din webbplats hela tiden. De crawlar sidor, följer länkar och letar efter uppdateringar. Men du ser inte den aktiviteten i Google Search Console. Du ser den bara i dina serverloggar. Serverloggar registrerar varje förfrågan till din server: vilken bot som gjorde den, vilken sida som crawlades, hur lång tid det tog och vilken svarskod den fick. Logganalys visar hur sökmotorerna egentligen behandlar din webbplats.
Vad är serverloggar?
Serverloggar är register över varje förfrågan till din webbserver. Varje rad är en förfrågan. Loggen visar besökarens IP-adress, vad som efterfrågades, när det efterfrågades, vilken svarskod servern gav och hur mycket data som skickades.
Varje webbhotell sparar serverloggar. Du kommer åt dem via webbhotellets kontrollpanel eller via FTP. Vanliga loggformat är åtkomstloggar från de vanligaste webbservrarna. De flesta webbhotell låter dig ladda ner loggar för analys.
Loggfiler kan bli enorma. En webbplats med mycket trafik skapar gigabyte med loggar per dag. Du behöver verktyg för att analysera dem. Du kan inte läsa miljontals loggposter för hand.
Förstå crawlarnas user-agents
Varje bot identifierar sig med en user-agent-sträng. Googlebot är Googles crawler. Andra sökmotorer har egna botar.
Du kan filtrera loggarna på user-agent för att bara se förfrågningar från vissa crawlare. Då ser du hur ofta varje sökmotor crawlar din webbplats.
Se upp för falska user-agents. Oseriösa aktörer låtsas vara sökmotorer. En user-agent-sträng som säger "Googlebot" behöver inte vara Googlebot. Kontrollera IP-adressen. Riktiga IP-adresser för Googlebot publiceras av Google.
Vad du kan lära dig av loggarna
Crawlfrekvens: Hur ofta crawlar varje sökmotor din webbplats? Dagligen? Varje vecka? Flera gånger per dag? Crawlfrekvensen visar hur mycket Google värderar din webbplats.
Crawlmönster: Vilka sidor besöker crawlern? Crawlar den viktiga sidor oftare? Slösar den tid på oviktiga sidor? Det visar hur crawlbudgeten fördelas.
Svarskoder: Ger sidorna 200 (lyckades) eller fel? Många 4xx- eller 5xx-fel tyder på problem.
Crawlhastighet: Hur lång tid lägger boten på att crawla? Snabba crawlningar visar att sidorna laddas snabbt. Långsamma crawlningar tyder på prestandaproblem.
Botars beteende: Följer botarna robots.txt? Respekterar de nofollow? Crawlar de bilder och CSS? Det visar om din tekniska uppsättning är rätt.
Så analyserar du loggar
Ladda ner dina loggar. Gå till webbhotellets kontrollpanel, hitta avsnittet för loggar och ladda ner åtkomstloggarna för den period du vill analysera.
Använd verktyg för logganalys. Loggfilsanalysatorer kan tolka loggar och plocka fram insikter. De här verktygen filtrerar på user-agent, IP-adress, svarskod och mer.
Filtrera på crawlare. Fokusera på förfrågningar från sökmotorernas botar. Filtrera bort vanlig besökstrafik. Då ser du bara crawlarnas beteende.
Analysera mönstren. Titta på trender i crawlfrekvens. Ökar eller minskar crawlningarna? Stiger andelen fel? Stämmer crawlmönstren med det du väntade dig?
Vanliga fynd i logganalys
Oviktiga sidor crawlas oftare än viktiga sidor. Det tyder på ett problem med webbplatsstrukturen. Viktiga sidor bör crawlas oftare. Använd robots.txt eller internlänkning för att prioritera de viktiga sidorna.
Hög andel fel. Många 4xx- eller 5xx-svar tyder på trasiga sidor eller serverproblem. Åtgärda felen för att förbättra crawlbarheten.
Låg crawlfrekvens. Om sökmotorerna crawlar din webbplats sällan kan det tyda på låg auktoritet eller svag innehållskvalitet. Förbättra innehållet och bakåtlänkarna för att locka fler crawlningar.
Botar som crawlar blockerade sidor. Om robots.txt blockerar sidor men crawlare ändå begär dem ignorerar botarna dina blockeringsregler. Det är oftast ofarligt.
Begränsningar i logganalys
Logganalys visar förfrågningar till din server, men inte all crawlaraktivitet. Vissa sökmotorer använder cache. De crawlar kanske inte varje URL varje gång. Crawlningar från cache syns inte i loggarna.
Logganalys visar inte indexeringsbeslut. Att en sida har crawlats betyder inte att den har indexerats. Sökmotorer crawlar och kastar sidor hela tiden.
Stora loggfiler är svåra att hantera. En webbplats med mycket trafik skapar enorma loggar. Att analysera gigabyte med data kräver kraftfulla verktyg och expertis.
Loggdata är tekniska. Du behöver förstå HTTP-svar, user-agent-strängar och serverbeteende. Det passar inte nybörjare.
Vanliga frågor
Var hittar jag mina serverloggar?
Ditt webbhotell har serverloggar. Logga in i webbhotellets kontrollpanel och leta efter ett avsnitt som heter Loggar eller Statistik. De flesta leverantörer låter dig ladda ner rå loggdata. Vissa har en loggvisare. Om du inte hittar dem kontaktar du ditt webbhotell. Med WEMASY:s webbplatsbyggare kan du ställa in det direkt på din webbplats.
Hur långt tillbaka går serverloggarna?
Det varierar mellan webbhotell. Vissa leverantörer sparar loggar kortare tid, andra längre. Kolla i webbhotellets dokumentation. Behöver du historiska loggar bör du ladda ner och arkivera dem regelbundet.
Bör jag analysera loggar själv eller anlita någon?
För de flesta webbplatser räcker Google Search Console. Logganalys är avancerad och teknisk. Använd loggar bara om GSC inte ger dig de svar du behöver. Om du gör logganalys bör du använda en särskild loggfilsanalysator. Saknar du expertis kan du anlita en SEO-konsult.
Kan jag använda loggar för att upptäcka skadliga botar?
Ja. Loggarna visar alla förfrågningar, även från skadliga botar. Leta efter ovanliga user-agent-strängar, hög frekvens av förfrågningar eller crawlmönster som inte ger någon mening. Skadliga botar crawlar ofta din webbplats mycket snabbare än seriösa crawlare. Du kan blockera dem med robots.txt eller din brandvägg.
Hjälper logganalys mig att förbättra mina placeringar?
Indirekt. Logganalys hjälper dig att förstå crawlproblem, brister i webbplatsstrukturen och flaskhalsar i prestandan. Att åtgärda dem förbättrar webbplatsen både för crawlare och besökare, vilket kan ge bättre placeringar. Men loggar är ett diagnostiskt verktyg, inte en rankningsfaktor i sig.
Vad är skillnaden mellan loggar och data i Search Console?
Loggarna visar varje förfrågan till din server. Search Console visar vad Google gjorde med de förfrågningarna (indexerade, avvisade och så vidare). Loggar är rådata. Search Console är Googles tolkning av datan. Använd båda tillsammans för att få en komplett bild.