En sökrobot, även kallad crawler, webbcrawler eller spindel, är ett program som sökmotorer använder för att gå igenom och indexera webbsidor på internet. Dess huvuduppgift är att besöka webbplatser, läsa innehållet och samla in information för att bygga ett index som sökmotorerna använder när de visar relevanta sökresultat.
Sökroboten följer länkar från en sida till nästa och samlar in data om innehållet, strukturen och andra viktiga faktorer på varje sida. Datan hjälper sökmotorerna att förstå vad en webbsida handlar om, så att de kan ranka den rätt i sökresultaten. Sökrobotar ser till att sökmotorerna har aktuell information och kan ge användarna korrekta och relevanta sökresultat.