Din konverteringsgrad faller 15 % på tisdagen. Du märker det inte förrän på torsdagen när du tittar på instrumentpanelen. Två dagars förlorade intäkter, och du vet fortfarande inte varför. Ett system för avvikelsedetektering hade varnat dig onsdag morgon: "Konverteringen ned 15 % igår, kassan på mobil påverkad." Nu undersöker du direkt. Du hittar att en uppdatering knäckte betalningarna på mobil. Du åtgärdar det samma eftermiddag. Avvikelsedetektering är skillnaden mellan att hitta problem dagar senare och att hitta dem timmar senare.
Avvikelsedetektering är ett system som bevakar dina mätvärden hela tiden och varnar dig när något ovanligt händer. Det väntar inte på att du ska titta på instrumentpanelen. Det känner din baslinje (hur "normalt" ser ut), jämför varje dag med den och flaggar avvikelser. En trafiktopp, ett konverteringsfall, ett engagemang som sjunker: de fångas automatiskt och lyfts fram innan de blir katastrofer.
Vad gör avvikelsedetektering egentligen?
Ta vilket mätvärde som helst så hittar du samma mönster: det varierar naturligt. Konverteringsgraden är aldrig exakt densamma varje dag. Trafiken varierar med veckodag. Mobil konverterar annorlunda än dator. Om du sätter en varning på "konvertering under 2,5 %" får du falsklarm, eftersom konverteringen naturligt dippar till 2,4 % vissa dagar. Avvikelsedetektering löser det genom att lära sig hur normal variation ser ut och bara varna när något avviker utanför det naturliga spannet.
Systemet lär sig din baslinje från historisk data. Det svarar på: för det här mätvärdet, den här veckodagen och den här trafikvolymen, vad är det förväntade spannet? Konverteringen på onsdagar ligger vanligtvis mellan 2,1 % och 2,9 %. Konverteringen på mobil ligger vanligtvis mellan 1,8 % och 2,4 %. E-posttrafik konverterar vanligtvis mellan 4 % och 6 %. Systemet bygger en modell av normalt beteende för varje kombination av förhållanden.
När en ny datapunkt kommer in jämför systemet den med det förväntade spannet. Ligger dagens konvertering inom det normala spannet för en onsdag? Ja, den är 2,5 %, helt normalt. Ligger morgondagens konvertering inom det normala spannet för en torsdag? Nej, den är 1,2 %, det är en avvikelse. Larma teamet. De undersöker och hittar att kassan på mobil gått sönder. Utan avvikelsedetektering upptäcker de det på fredag eftermiddag. Med den vet de det onsdag morgon.
Olika typer av avvikelser utlöser olika varningar. En plötslig topp (trafik 200 % över det normala) flaggas. Ett plötsligt fall (konvertering 50 % under det normala) flaggas. En gradvis nedgång (konverteringen sjunker sakta under en vecka) flaggas. Ett återkommande mönster som plötsligt bryts (mobil konverterar alltid 20 % bättre än dator, men den här veckan är de lika) flaggas. Systemet bevakar alla dessa.
Varför är det så viktigt att fånga problem tidigt?
Titta på hur de flesta företag upptäcker problem så ser du mönstret: upptäckt i efterhand. En kund mejlar och klagar på att kassan inte fungerar. Du tittar på instrumentpanelen och bekräftar det. Eller så märker du på torsdagen att måndagen var konstig och försöker förstå vad som hände. Det är timmar eller dagar av förlorade möjligheter.
I stor skala växer kostnaden för fördröjning. En webbutik med 1 miljon USD i daglig omsättning som förlorar 15 % av konverteringen på grund av ett fel förlorar 150 000 USD per dag. Två dagars fördröjning kostar 300 000 USD. Om avvikelsedetektering fångar det 6 timmar tidigare sparar du 37 500 USD. En SaaS-tjänst med 5 000 användare som får 2 % extra kundbortfall förlorar 100 användare. Två veckors fördröjning ger 1 400 förlorade användare. Fångar du det direkt blir det 100. Skillnaden är tusentals dollar i årligen återkommande intäkter.
Snabbhet påverkar också ryktet. Ett kundtjänstteam vill veta om problem innan kunderna rapporterar dem. Med avvikelsedetektering kan du mejla kunderna: "Vi upptäckte ett problem på ditt konto onsdag morgon och åtgärdade det till eftermiddagen." Utan den klagar kunderna på fredagen, du säger "vi tittar på det", och då har de redan bytt till en konkurrent. Psykologin i "vi upptäckte det" jämfört med "du rapporterade det" förändrar hur kunden uppfattar er.
Snabbhet möjliggör experiment. Om du lanserar en ändring och kan se effekten inom timmar kan du förbättra snabbare. Utan avvikelsedetektering kör du ett experiment i en vecka, kontrollerar resultaten och förbättrar sedan. Med den ser du inom 24 timmar om en ändring hjälpte eller stjälpte. Den hastigheten växer över ett år.
Vilka sorters avvikelser bör du faktiskt fånga?
Alla avvikelser är inte värda att fånga. Vissa variationer är väntade. Men vissa spelar roll för affärsbeslut. Nyckeln är att sätta upp avvikelsedetektering för mätvärden som kräver omedelbar handling om de ändras oväntat.
Avvikelser som påverkar intäkterna kommer först. Fallande konverteringsgrad, sjunkande snittorder, kraftigt ökande kundvagnsavhopp: de påverkar intäkterna direkt. Sätt varningar på alla. Om konverteringen faller 10 % vill du veta direkt, inte efter helgen.
Avvikelser i användarengagemang är viktiga eftersom de förutser problem. Sjunkande sessionslängd, minskat användande av funktioner och färre inloggningar är tidiga varningar för kundbortfall. Ett fall i engagemang den här veckan förutser ett fall i retention nästa månad. Fångar du det nu har du tid att ingripa.
Avvikelser i trafiken är viktiga eftersom de avslöjar problem med räckvidd eller kundanskaffning. Organisk trafik som ökar betyder att din SEO fungerar (bra). Organisk trafik som minskar betyder att något gått fel i sökningen (dåligt). Betald trafik som minskar betyder att dina annonskampanjer underpresterar (dåligt). Larma när trafikkällor ändras oväntat.
Avvikelser i kvalitet är viktiga eftersom de är tysta mördare. Ökande avhoppsfrekvens betyder att din sajt blir mindre relevant. Färre sidor per session betyder att användare hittar det de behöver snabbare (bra) eller inte hittar det de vill ha (dåligt). Kraftigt ökande sessionsfel betyder att sajten går sönder. Det här syns inte om du inte tittar noga.
Hur sätter du upp avvikelsedetektering utan falsklarm?
Fråga vilket analysteam som helst om falsklarm så får du samma klagomål: larmtrötthet. Om varje liten svängning utlöser en varning slutar teamet läsa dem. De blir avtrubbade. Riktiga problem försvinner i bruset. Nyckeln till bra avvikelsedetektering är att sätta tröskelvärden som fångar riktiga problem men ignorerar naturlig variation.
Börja med de mätvärden som betyder mest för din verksamhet. Alla mätvärden behöver inte avvikelsedetektering. Fokusera på intäktsmått (konvertering, ordervärde, kundbortfall), mått på användarhälsa (engagemang, retention, användning av funktioner) och mått på systemhälsa (fel, svarstid, drifttid). Det är de som kräver omedelbar handling om de ändras.
Ställ in känsligheten efter hur mycket värdet svänger. Vissa mätvärden är naturligt ryckiga. Trafiken studsar upp och ned från dag till dag. Sätt tröskelvärdena tillräckligt vida för att ta upp den naturliga variationen. För konverteringsgrad kan en avvikelse på 20 % vara normal, så flagga först vid 30 % eller mer. För intäkter kan en avvikelse på 5 % vara normal. För engagemang kan 15 % vara normalt. Tröskelvärdena beror på din historiska data.
Bygg in sammanhang. Veckodagen spelar roll. Lördagar har oftast andra mönster än onsdagar. Helgdagar har andra mönster än vanliga dagar. Avvikelsedetektering bör ta hänsyn till det. "Konvertering under 1,5 % en söndag" kan vara normalt. "Konvertering under 1,5 % en onsdag" är en avvikelse. Bra system lär sig de här mönstren automatiskt.
Börja försiktigt och skärp med tiden. Om du är osäker på tröskelvärdena, sätt dem vida. Det är bättre att missa några avvikelser än att dränka teamet i falsklarm. När du känner förtroende för systemet och teamet vant sig vid att läsa varningar kan du skärpa tröskelvärdena och fånga mindre avvikelser.
Vilka är begränsningarna med avvikelsedetektering?
Avvikelsedetektering hittar avvikelser från det normala. Men "normalt" är det din historiska data säger är normalt. Om din data är fel eller skev missar systemet riktiga problem eller flaggar falska träffar. Om du hade ett fel i tre månader som konstgjort blåste upp din konverteringsgrad lärde sig systemet den uppblåsta nivån som "normal". När du åtgärdar felet faller konverteringen till den verkliga normalnivån, och systemet flaggar det som en avvikelse.
Avvikelsedetektering förklarar inte orsakssamband. Den säger att något ändrats. Den säger inte varför. Om konverteringen föll måste du fortfarande undersöka. Är det ett tekniskt problem? En marknadsförändring? Ett drag från en konkurrent? Konkurrens från en ny aktör? Avvikelsedetektering lyfter fram problemet. Diagnosen är fortfarande mänskligt arbete.
Avvikelsedetektering fungerar dåligt i mycket liten skala. Har du 100 besökare per dag är slumpmässig variation enorm. Varje dag ser avvikande ut jämfört med de andra. Avvikelsedetektering fungerar bäst i större skala där mönstren är stabila. En SaaS-tjänst med 50 000 användare i månaden har rena, stabila mönster. En SaaS-tjänst med 500 användare i månaden har för mycket brus.
Gradvisa förändringar kan gömma sig för avvikelsedetektering. Om konverteringen sjunker sakta (0,5 % per vecka) flaggar systemet kanske inte det, eftersom varje vecka bara avviker lite från veckan innan. Du kanske inte märker det förrän du tappat 10 % totalt. För att fånga gradvis försämring behöver du trendanalys utöver avvikelsedetektering vid en enskild tidpunkt.
Vad är skillnaden mellan avvikelsedetektering och varningar?
Varningar är regler du sätter manuellt (konvertering under 2 %, intäkter under X). Avvikelsedetektering är automatisk inlärning av baslinjen (allt som avviker tre standardavvikelser från det normala). Varningar kräver att du vet vad som är normalt och när du ska bry dig. Avvikelsedetektering lär sig vad som är normalt från din data. Avvikelsedetektering är bättre för att fånga oväntade problem. Varningar är bättre för att övervaka kända tröskelvärden.
Har alla analysplattformar avvikelsedetektering?
Nej. Google Analytics har några enkla avvikelsenotiser. Produktanalysplattformar har avvikelsedetektering. BI-verktyg kan ställas in för det. Men alla plattformar har det inte. Innan du väljer analysverktyg bör du kontrollera om avvikelsedetektering ingår, hur känsliga tröskelvärdena är och om du kan anpassa den.
Hur många falsklarm kan jag räkna med?
Om den är rätt inställd bör andelen falsklarm vara under 5 % av varningarna. De flesta bör vara riktiga avvikelser som är värda att undersöka. Får du över 20 falsklarm per dag är tröskelvärdena för känsliga. Får du noll varningar per månad är tröskelvärdena för vida. Justera tröskelvärdena genom att följa vilka varningar som ledde till verkliga fynd och vilka som bara var brus.
Kan avvikelsedetektering fånga bedrägerier?
Delvis. Om bedrägerier orsakar ovanliga mönster (en topp i returer, geografiska avvikelser, ovanliga betalningssätt) kan avvikelsedetektering flagga det. Men bedrägeridetektering kräver särskilda regler (samma kort används flera gånger, hastighetskontroller, platser som inte stämmer). Använd avvikelsedetektering för att se allmänna mönster. Använd bedrägeridetektering för bedrägerispecifika mönster.
Hur mycket historisk data behöver jag innan avvikelsedetektering fungerar?
De flesta system behöver 2-4 veckors baslinjedata för att börja lära sig mönster. En månad är bättre. Efter ett kvartals data är modellen ganska träffsäker. Efter ett år är den mycket träffsäker (den förstår säsongsmönster). Om du sätter in avvikelsedetektering på en helt ny sajt kan du räkna med många falsklarm den första månaden medan systemet lär sig din baslinje.
Ska jag agera på varje avvikelsevarning?
Inte nödvändigtvis. Vissa avvikelser är väntade (stor pressnyhet, ny konkurrent, säsongseffekt, stor marknadsföringskampanj). När du får en varning, fråga först: har något externt ändrats? Om ja är avvikelsen väntad och inget problem. Om nej, undersök. Med tiden lär du dig vilka varningar som är signal (riktiga problem) och vilka som är brus.