Steg ett: skriv en hypotes med detaljer
En vag hypotes misslyckas
Inte så här: att ändra utcheckningen förbättrar konverteringen.
En specifik hypotes vinner
Bättre: vi tror att en förenkling av utcheckningen från en process i fem steg till ett formulär på en sida ökar andelen genomförda köp med minst tre procent, eftersom kunder avbryter när formuläret känns långt.
En hypotes ska ange. Vad du ändrar. Varför du tror att det hjälper. Vilket mått du förväntar dig ska förbättras. Med hur mycket.
En vag hypotes ger vaga resultat. En specifik hypotes går att testa.
Steg två: bestäm urvalsstorleken innan du startar
Matematiken spelar roll
Hur många besökare behöver du för att se en verklig skillnad.
Formel. Du behöver minst femhundra konverteringar per variant. Alltså tusen totalt om du testar två versioner.
Räkna ut hur länge testet ska pågå
Om du konverterar med två procent och får tvåtusen besökare i månaden får du fyrtio konverteringar i månaden. Det tar tolv månader att nå femhundra konverteringar. Testet blir inte klart i tid.
Om du konverterar med tio procent och får femtusen besökare i månaden får du femhundra konverteringar i månaden. Det tar två månader att nå tusen. Testet blir klart snabbt.
Känn till tidsplanen i förväg
Webbplatser med låg konverteringsgrad behöver längre tester. Webbplatser med hög konverteringsgrad blir klara snabbare.
Använd en kalkylator för urvalsstorlek. Mata in din konverteringsgrad och din trafik. Kalkylatorn visar hur länge testet tar.
Om testet tar längre än tre månader, fundera. Är ändringen värd att vänta tre månader på. Eller ska vi testa något annat som blir klart snabbare.
Steg tre: välj hur trafiken ska fördelas
Femtio-femtio är standard
Fördela femtio procent till kontrollversionen. Femtio procent till varianten.
Försiktig fördelning ger långsammare resultat
Vissa fördelar nittio-tio. Nittio procent till den nuvarande bra versionen, tio procent till den nya versionen som de är osäkra på. Det är försiktigt men gör testet långsammare.
Femtio-femtio är standard. Snabbast resultat.
Steg fyra: bestäm testets längd innan du kör det
Bind dig vid tidsplanen
En vecka som minimum. Två veckor är standard. En månad för webbplatser med mycket hög trafik.
Bestäm inte längden under testet. Bestäm den innan. Skriv ner den. Håll fast vid den.
Att kika för tidigt förstör tester
Att kika för tidigt förstör tester. Du tittar på resultaten efter en vecka. Det ser ut som att varianten vinner. Du stoppar testet. Du genomför ändringen. Senare förstår du att resultaten inte var verkliga. Du införde något som egentligen inte fungerade.
Kör hela tiden.
Steg fem: gör ändringen i varianten
Bara en ändring
Bara en ändring. Inte flera ändringar.
Om du testar en förenklad utcheckning, förenkla formuläret. Ändra inte färg, text och layout samtidigt. En variabel i taget.
Gör den tydlig
Ändringen ska vara tydlig. Besökarna ska märka skillnaden. Om ändringen är så subtil att besökarna inte ser den fungerar inte testet.
Steg sex: ställ in testet i verktyget
Välj din plattform
Använd en testplattform. . . .
Installera och konfigurera
Koppla till webbplatsen. Installera spårningskoden. Det är oftast en rad kod eller en plugininstallation.
Skapa versioner och mått
Skapa kontrollversionen. Det är den nuvarande versionen.
Skapa variantversionen. Genomför din ändring.
Ställ in trafikfördelningen. Femtio procent vardera.
Ställ in längden. Två veckor eller så länge du bestämde.
Ställ in framgångsmåttet. Vad mäter du. Genomförda utcheckningar. Inskickade formulär. Hur långt besökaren scrollar.
Steg sju: låt testet gå utan att kika
Motstå frestelsen
Det här är svårt. Motstå lusten att titta på resultaten.
Resultat efter några dagar betyder ingenting. Slumpmässig variation är enorm med ett litet urval. Du ser resultat som försvinner senare.
Sätt en kalenderpåminnelse
Titta på resultaten exakt på slutdatumet. Inte före.
Sätt en kalenderpåminnelse för testets slutdatum. Titta då.
Steg åtta: analysera resultaten på rätt sätt
Leta efter statistisk signifikans
Testet är klart. Du tittar på resultaten. Varianten konverterade med elva procent. Kontrollversionen med tio procent. Varianten är bättre. Eller hur.
Men var skillnaden statistiskt signifikant. Är den verklig eller tur.
Titta efter konfidensintervall eller p-värde. Det ska ligga över nittiofem procents konfidens eller under noll komma noll fem i p-värde.
Vad statistisk signifikans betyder
Om den statistiska signifikansen säger ja är resultatet verkligt. Inför varianten.
Om den statistiska signifikansen säger nej är resultatet oklart. Det kan vara tur. Det kan vara verkligt men ha behövt mer tid. Kör testet längre eller prova en annan ändring.
Steg nio: inför och dokumentera
Om varianten vinner
Om varianten vinner, inför den permanent.
Dokumentera vad du lärde dig. Varför du trodde att det skulle fungera. Vad som hände. Vad du ska testa härnäst.
Bygg en spelbok. Med tiden dyker mönster upp. Du lär dig vad som fungerar för din publik.
Om kontrollversionen vinner
Om kontrollversionen vinner, ångra ändringen.
Dokumentera varför kontrollversionen vann. Kanske var din hypotes fel. Kanske märktes ändringen inte tillräckligt. Kanske gillade publiken inte ändringen.
Ett förlorat test är också lärande.
Vanliga misstag i det första testet
Testet körs för kort tid
Efter en vecka blir du otålig. Du stoppar. Resultaten är inte verkliga än.
Flera ändringar testas samtidigt
Du ändrade formuläret och knappen och texten. Formuläret vinner, men var det formuläret eller knappen. Nu vet du inte.
Inget krav på signifikans
Varianten är en procent bättre. Det kan vara tur. Du inför den. Senare håller den inte.
Testet körs på alla
Du är nervös inför ändringen. Du testar på nittio procent nuvarande och tio procent ny. Testet tar en evighet.
Du förbinder dig inte att genomföra resultatet
Testet är klart. Varianten vinner. Du säger att ni inför den senare. Det gör du aldrig. Testet skapade inget värde.
Vad som skiljer vinnarna från alla andra
Inte smartare testning
Inte smartare testning. Jämn testning.
Det vinnande mönstret
Vinnande företag kör ett test. Resultaten kommer in. De inför dem direkt. De kör nästa test.
De förbinder sig till ett testprogram. Inte enstaka tester. Löpande testning. Månad efter månad.
De bygger intern kunskap. Efter femtio tester känner de sin publik. De vet vad som fungerar. De vet vad som inte gör det. De rör sig snabbare än konkurrenterna.
Sammansatt tillväxt
Testa en gång, så händer ingenting. Testa femtio gånger, så förändras allt.
Vanliga frågor
Vad gör jag om jag upptäcker att testet är trasigt halvvägs. Till exempel att spårningen slutade fungera. Ska jag starta om?
Ja. Ett trasigt test är värdelöst. Starta om från början. Om spårningen är trasig har du ingen riktig data. Därför ska du kolla testet då och då (inte tvångsmässigt, men minst en gång). Upptäck problem tidigt. Med WEMASY:s webbplatsbyggare kan du ställa in det direkt på din webbplats.
Kan jag ändra min testhypotes medan testet pågår om ny information dyker upp?
Nej. Skriv hypotesen innan testet startar. Håll dig till den. Om hypotesen verkar fel mitt i testet, anteckna det. Men avsluta testet med den ursprungliga hypotesen. Kör ett nytt test med den nya hypotesen senare.
Om varianten tydligt är sämre, kan jag stoppa testet i förtid?
Bara om den förstör något. Om varianten orsakar fel, stoppa. Annars nej. Även om den förlorar med stor marginal, kör hela tiden. Lär dig varför den förlorade. Använd den lärdomen.
Vad gör jag om den statistiska signifikansen säger nej men jag tror att resultatet är verkligt?
Kör testet igen. Samma ändring. Men längre eller med mer trafik. Om resultatet är verkligt dyker det upp igen. Om det inte gör det hade magkänslan fel och matematiken rätt.
Hur vet jag vilken variation som är kontrollversionen och vilken som är varianten i resultaten?
Ditt testverktyg märker upp dem. Se till att du vet vilken som är vilken innan du startar. Ta en skärmbild. Kontrollversionen är version A. Varianten är version B. När resultaten kommer in, titta i dina anteckningar.
Måste jag berätta för chefen att jag kör tester, eller räcker det att visa resultaten?
Berätta det. Din chef förstår att testning tar tid. Sätt förväntningar. Testet tar två veckor. Om varianten vinner inför vi den. Om inte provar vi något annat. Öppenhet förhindrar överraskningar när du inte inför en ändring som chefen väntade sig.