De flesta webbplatsägare väntar på att crawlers ska hitta deras innehåll. De publicerar en sida på måndagen och hoppas att en bot hittar den till onsdagen. Med AI-crawlers spelar den väntan större roll än någonsin. Perplexity crawlar webben flera gånger om dagen. Färskhet är ingen liten rankningssignal. Det är skillnaden mellan att ditt innehåll blir citerat eller att din konkurrents innehåll blir det.
XML-sitemaps och IndexNow är de två verktyg som vänder på det här. I stället för att vänta passivt talar du om för crawlers exakt var ditt innehåll finns och när det har ändrats. Sitemaps ordnar dina sidor så att crawlers hittar dem snabbare. IndexNow skickar en signal till sökmotorer i samma stund som något publiceras. Tillsammans krymper de tiden till upptäckt från dagar till timmar. För AI-plattformar där färskhet kan avgöra synligheten är den hastighetsfördelen verklig.
Vad en XML-sitemap gör för AI-crawlers
En XML-sitemap är en strukturerad fil som listar varje viktig sida på din webbplats. Den berättar för crawlers webbadressen till varje sida, när den senast uppdaterades, hur viktig den är jämfört med andra sidor och hur ofta den ändras.
För traditionella sökmotorer är sitemaps bra att ha. För AI-crawlers är de närmare nödvändiga. Analys av serverloggar från 85 domäner visar att GPTBot (OpenAI:s crawler) hänvisar till sitemaps under den första upptäcktsfasen 76 % av gångerna. Jämför det med Googlebot, som bara använder sitemaps 54 % av gångerna. AI-system är mer beroende av sitemaps eftersom de snabbt vill förstå din webbplatsstruktur och vilket innehåll som är viktigast.
Skälet är viktigt. Perplexity crawlar hela tiden. Den måste hitta nytt innehåll snabbt. ChatGPT indexerar selektivt. Den prioriterar de sidor som är viktigast för dig. Om din sitemap är rörig eller ofullständig gömmer du i praktiken innehåll för de crawlers som avgör om ditt varumärke blir citerat i svar.
Så använder AI-crawlers din sitemap på ett annat sätt
En sitemap berättar tre saker för crawlers. Den berättar var ditt innehåll finns. Den berättar vilka sidor som är viktigast. Och den berättar när något har ändrats.
För AI-system är den tredje delen avgörande. När du uppdaterar en sida visar taggen lastmod (senast ändrad) i din sitemap att innehållet har ändrats. GPTBot kontrollerar den taggen. Perplexity kontrollerar den taggen. När en AI-crawler ser en färsk uppdatering i din sitemap prioriterar den att crawla sidan igen. Om din sitemap säger att en sida inte ändrats på sex månader prioriterar crawlern ner den. Färskhetsfokuset hos AI-plattformar gör det här till den viktigaste metadatan du styr över.
Den andra delen spelar också roll. Din sitemap innehåller en prioritetstagg som talar om för crawlers vilka sidor som är viktigast för dig. Sidor får en prioritetspoäng från 0 till 1. Din startsida kan vara 1,0. Din blogg kan vara 0,8. Gammalt arkiverat innehåll kan vara 0,3. AI-crawlers ser inte prioritet som en rankningssignal, men de ser den som en signal om effektivitet. Om du talar om för en AI-crawler att 60 % av din webbplats har låg prioritet vet den var den ska lägga sin crawlbudget.
Sitemap-optimeringen som AI-crawlers reagerar på
De flesta företag skapar en sitemap och glömmer den. Crawlers hittar den. Innehållet indexeras. Ärendet avslutat.
AI-crawlers belönar precision. Uppdelade sitemaps presterar 67 % bättre. I stället för att lägga alla sidor i en enda stor sitemap skapar du separata sitemaps för olika typer av innehåll. En för blogginlägg. En för produktsidor. En för lärguider. En för dina huvudsidor.
Varför spelar det roll? När en AI-crawler besöker din webbplats har den begränsad tid och crawlbudget. Om du talar om att din sitemap innehåller 10 000 blandade sidor och den bara hinner crawla 1 000 av dem måste den gissa vilka 1 000 som är viktiga. Om du i stället delar upp dina sitemaps och talar om att din bloggsitemap har 400 sidor och din produktsitemap 50 sidor vet crawlern exakt hur den ska fördela sin budget. Produktsidor får djupare crawlning. Nya blogginlägg crawlas flera gånger.
Förbättringen syns i hur snabbt innehållet upptäcks. Uppdelade sitemaps ger 34 % snabbare upptäckt av hela webbplatsen hos AI-crawlers. Webbplatser med en enda stor sitemap väntar 30 dagar på full crawltäckning. Webbplatser med uppdelade sitemaps får full täckning på 20 dagar.
Att dela upp är enkelt. Du skapar separata sitemapfiler för olika delar av din webbplats och listar sedan alla i en sitemapindexfil. De flesta system för innehållshantering skapar sitemaps automatiskt. De flesta plattformar låter dig också dela upp dem efter typ eller del.
Få taggen lastmod rätt
Taggen lastmod är din färskhetssignal till AI-crawlers. När du publicerar nytt innehåll börjar den med dagens datum. När du uppdaterar en gammal artikel uppdaterar du lastmod-datumet. Crawlern ser det och förstår att något har ändrats.
Många webbplatser gör fel här. De publicerar en sida i januari och lastmod-datumet står kvar på januari för alltid. De uppdaterar sidan i maj men glömmer att uppdatera sitemapen. Crawlern ser ingen ändring och prioriterar ner att crawla den igen.
För AI-plattformar är det ett kritiskt misstag. Perplexity använder särskilt innehållets färskhet för att avgöra om den ska citera dig. En sida med en föråldrad lastmod-tagg ser inaktuell ut. En sida med en aktuell lastmod-tagg ser färsk ut. Om du underhåller ditt innehåll och uppdaterar det regelbundet, se till att din sitemap speglar det.
Det bästa är att automatisera det. Insticksprogram för system för innehållshantering, butiksappar och de flesta moderna innehållsplattformar uppdaterar lastmod-datumet automatiskt varje gång du ändrar något på en sida. Ställ in det en gång och glöm det. Crawlers ser färska signaler hela tiden.
Vad IndexNow gör som sitemaps inte kan
En sitemap är passiv. Du skapar den. Du publicerar den. Sedan väntar du på att crawlers ska upptäcka den. Crawlers besöker din sitemap enligt sitt schema, inte ditt. Om en bot besöker den en gång i veckan får ditt nya innehåll vänta en vecka på att upptäckas.
IndexNow vänder på det. I stället för att vänta på crawlers meddelar du dem aktivt. I samma stund som du publicerar en sida skickar IndexNow en signal till sökmotorer som säger "hej, jag har just publicerat det här". Flera sökmotorer utanför Google stöder IndexNow. Skicka till en enda API-slutpunkt så får alla som stöder det meddelandet.
IndexNow är gratis och öppen källkod. Det utvecklades av flera sökbolag just för att lösa problemet med långsam upptäckt. Före IndexNow var SEO-folk tvungna att lita på bakåtlänkar eller vanlig crawlning för att få nytt innehåll upptäckt. Med IndexNow styr du själv tillkännagivandet.
Effekten är omedelbar. Utan IndexNow ligger en ny sida på din server och väntar. Med IndexNow blir sidan crawlad inom timmar, ibland inom minuter. Du går från ett upptäcktsfönster på dagar till ett på timmar.
Så fungerar IndexNow tillsammans med din sitemap
IndexNow och sitemaps är inte konkurrenter. De samarbetar. Din sitemap talar om för crawlers hur ditt innehåll är uppbyggt och vad som är viktigast. IndexNow talar om för crawlers att något har ändrats just nu.
Så här går det till. Du publicerar en ny sida. IndexNow skickar automatiskt ett meddelande till sökmotorer med den nya webbadressen. Crawlern får meddelandet och besöker sidan direkt. När den kommer fram läser den din sitemap för att förstå sammanhanget. Är det här en sida med hög eller låg prioritet? Har den uppdaterats sedan förra crawlningen? Ingår den i ett innehållskluster?
Sitemapen ger crawlern sammanhang. IndexNow ger den fart. Utan sitemaps vet crawlern att en sida finns men inte hur den ska prioriteras eller om den ska crawla relaterade sidor. Med båda verktygen tillsammans blir upptäckten snabb och smart.
Sätta upp IndexNow
IndexNow kräver tre saker. En API-nyckel som visar att du äger domänen. En verifieringsfil på din domän som bevisar ägandet. Och ett sätt att skicka webbadresser till API:et för IndexNow.
Om ditt system för innehållshantering har ett officiellt insticksprogram för IndexNow sköter det allt automatiskt. Aktivera det så skapar det din nyckel, skapar verifieringsfilen och skickar webbadresser varje gång du publicerar eller uppdaterar innehåll. Ingen inställning behövs utöver att klicka på installera.
Många moderna plattformar har IndexNow inbyggt. Kontrollera dina publiceringsinställningar. Om det finns, aktivera det.
Om du driver din egen server eller använder en plattform utan inbyggd integration kan du skicka webbadresser manuellt via webbplatsen för IndexNow eller genom direkta API-anrop. Dokumentationen för IndexNow går igenom båda sätten.
Vilka crawlers som stöder IndexNow och varför det spelar roll
IndexNow stöds av flera av de större sökplattformarna utanför Google.
Här kommer överraskningen. ChatGPT crawlar tillsammans med de här plattformarna. När en av dem crawlar följer GPTBot ofta med. När en annan crawlar kan meddelandet påskynda indexeringen för Perplexity och andra AI-system som bygger på liknande crawlerinfrastruktur.
Google stöder inte IndexNow officiellt. Det är en skillnad värd att förstå. Google har sitt eget system för upptäckt. Google Search Console har en roll som liknar IndexNow, men bara för Google. För resten av AI-ekosystemet är IndexNow sättet att tillkännage nytt innehåll.
Många team kör både inskickning via Google Search Console och inskickning via IndexNow. Google får veta via Search Console. Det bredare AI-ekosystemet får veta via IndexNow. Det dubbla upplägget förkortar tiden till upptäckt på alla plattformar.
Fördelen med snabb upptäckt när verktygen samarbetar
Utan något av de här verktygen går det så här. Du publicerar en sida på måndagen. En crawler besöker din webbplats någon gång den veckan och upptäcker den. På fredagen har crawlern bearbetat den. Måndagen efter kanske den syns i vissa resultat. Full upptäckt över flera AI-plattformar tar veckor.
Med bara en sitemap går upptäckten snabbare. Crawlern måste fortfarande hitta din sitemap. Men när den gör det vet den var den ska leta efter ditt senaste innehåll. Om din sitemap är optimerad kortar du upptäcktstiden från veckor till 5 till 7 dagar.
Med bara IndexNow blir en sida tillkännagiven direkt. Men utan sitemapens sammanhang vet crawlern inte om sidan hör ihop med annat relaterat innehåll. Den crawlar själva webbadressen men kan missa ämnesklustret. Upptäckten är snabb men ofullständig.
Med båda verktygen tillsammans får du snabb och smart upptäckt. IndexNow tillkännager sidan direkt. Crawlern crawlar den inom timmar. Din sitemap berättar att den ingår i en serie med tre artiklar om samma ämne. Crawlern prioriterar serien. Alla tre artiklarna upptäcks och indexeras inom 24 timmar. Perplexity märker det färska klustret. När någon ställer en fråga inom ämnet finns ditt innehåll tillgängligt att citera. Du gick från veckor till timmar.
Vanliga frågor
Behöver jag både en sitemap och IndexNow, eller räcker ett av dem?
Du behöver båda. Sitemaps talar om för crawlers hur ditt innehåll är uppbyggt och vad som är viktigast. IndexNow talar om att något har ändrats just nu. En sitemap utan IndexNow ger långsam upptäckt. IndexNow utan sitemap ger snabb upptäckt av enskilda sidor men inget sammanhang för relaterat innehåll. Båda verktygen tillsammans ger dig både fart och intelligens. Med WEMASY:s webbplatsbyggare kan du ställa in det direkt på din webbplats.
Fungerar IndexNow för AI-crawlers som GPTBot och Perplexity?
IndexNow stöds officiellt av flera sökmotorer utanför Google. ChatGPT crawlar tillsammans med en av dem, så meddelanden via IndexNow utlöser ofta crawlningar av GPTBot. Perplexity crawlar webben direkt och reagerar också på uppdateringar av sitemaps. Så även om IndexNow inte är en officiell produkt hos Perplexity påskyndar det ändå upptäckten, eftersom Perplexity använder liknande infrastruktur som andra plattformar som stöder det.
Hur ofta bör jag uppdatera min sitemap om jag publicerar innehåll hela tiden?
Om du publicerar ofta, automatisera uppdateringen av sitemapen. De flesta system för innehållshantering uppdaterar sitemaps automatiskt varje gång du publicerar eller ändrar en sida. Taggen lastmod uppdateras också automatiskt. Du bör inte uppdatera din sitemapfil manuellt. Ställ in automatiken och låt den köra i bakgrunden.
Ska jag skapa en stor sitemap eller flera uppdelade?
Uppdelade sitemaps presterar 67 % bättre än en enda stor fil. Om du har fler än 500 sidor, dela upp din sitemap i delar efter typ av innehåll eller avsnitt. Skapa en för blogginlägg, en för produkter, en för guider och så vidare. Lista sedan alla delsitemaps i en sitemapindexfil. Crawlers upptäcker mer innehåll snabbare, eftersom du har talat om exakt var de ska leta efter det som är viktigast för dig.
Vad gäller om min plattform skapar sitemaps automatiskt?
De flesta moderna plattformar sköter sitemaps och IndexNow åt dig. Kontrollera dina webbplatsinställningar. Om din plattform stöder IndexNow, aktivera det. Om den skapar sitemaps automatiskt (vilket de flesta gör), kontrollera att lastmod-datumen uppdateras som de ska när du publicerar eller redigerar innehåll. Om automatiken fungerar behöver du inte göra något mer.
Hur lång tid tar det innan innehåll syns i AI-svar efter att jag skickat in det med IndexNow?
Hastigheten varierar. Vissa AI-crawlers når ditt innehåll inom några minuter efter en inskickning via IndexNow. Andra tar upp till 24 timmar. Perplexity brukar vara snabbast. Hur snabbt innehållet faktiskt syns i AI-svar beror på om ditt innehåll är tillräckligt bra för att citeras. Att en crawler hittar din sida betyder inte att en AI-motor använder den. Snabbare upptäckt hjälper, men innehåll av hög kvalitet betyder mer. Om din sida svarar direkt på frågan och har färska data har du en chans. Om den är tunn eller vag hjälper inte snabb upptäckt.