Du har en rubrik på din produktsida. Du tror att en annan rubrik kan konvertera bättre. Du kan gissa. Eller så kan du visa hälften av dina besökare den gamla rubriken och hälften den nya, mäta konverteringsgraden för var och en och låta datan avgöra vilken som är bäst. Det är analys av A/B-test.
A/B-testning använder data för att jämföra varianter och hitta vinnaren. Den här artikeln går igenom hur A/B-test fungerar, vad statistisk signifikans betyder, varför urvalsstorlek spelar roll, vanliga testmisstag och hur du väljer varianter som är värda att testa.
A/B-testning (kallas även delat test) jämför två versioner av något för att se vilken som presterar bäst. Version A (kontroll): din nuvarande rubrik. Version B (variant): en annan rubrik. Du delar din trafik 50/50, mäter vilken rubrik som konverterar mest och utser en vinnare.
A/B-testning svarar på: är den här ändringen faktiskt bättre eller är skillnaden bara tur? Utan testning förlitar du dig på magkänsla. Med testning förlitar du dig på data.
Vad A/B-testning är och vad den svarar på
A/B-testning jämför två versioner och mäter vilken som presterar bäst på ett visst mått. Klickfrekvens. Konverteringsgrad. Tid på sidan. Intäkt per besökare. Du kör testet tills du har tillräckligt med data för att avgöra.
Ett A/B-test svarar på: är skillnaden mellan de här versionerna verklig eller slumpmässig? Är den här ändringen värd att göra eller ska jag prova något annat? Svaret kommer från data, inte åsikter.
Så fungerar statistisk signifikans
Du testar två rubriker. Rubrik A konverterar 10 procent (100 av 1 000). Rubrik B konverterar 10,5 procent (105 av 1 000). Rubrik B är bättre. Men är skillnaden verklig eller bara slumpmässig variation?
Statistisk signifikans svarar på: om det inte fanns någon skillnad mellan rubrikerna, hur sannolikt är det att du skulle se en så stor skillnad bara av en slump? Om sannolikheten är mycket låg (under 5 procent) är skillnaden statistiskt signifikant. Du kan lita på att den är verklig.
Om sannolikheten är hög (över 5 procent) kan skillnaden vara ren tur. Då ska du inte agera på den.
De flesta test kräver 95 procents säkerhet, vilket betyder att du bara accepterar 5 procents risk att skillnaden är slumpmässig. Vissa test kräver 99 procents säkerhet (bara 1 procents risk för slump).
Därför spelar urvalsstorleken roll
Du testar rubrik B på 20 personer och får 20 procents konvertering (4 konverteringar). Rubrik A fick 10 procent (2 konverteringar). Rubrik B är bättre, eller hur? Kanske. Eller så är det ren tur med ett så litet urval.
Testa samma rubriker på 10 000 personer. Rubrik A får 1 000 konverteringar av 10 000 (10 procent). Rubrik B får 950 konverteringar av 10 000 (9,5 procent). Nu är rubrik A bättre. Med ett större urval jämnas slumpen ut och verkliga mönster framträder.
Större urval ger dig mer säkerhet i resultatet. Mindre urval är brusiga och opålitliga.
Vanliga misstag i A/B-testning
Att avsluta testet för tidigt: Du ser en variant vinna efter två dagar. Du utropar seger och aktiverar den. Men efter två veckor vänder mönstret och originalet vinner. Den tidiga datan var slumpmässig variation. Låt testet pågå tillräckligt länge (minst två veckor, helst fyra).
Att köra för många test samtidigt: Du testar rubrik, knappfärg och formulärlängd samtidigt. En variant vinner men du vet inte vilket element som orsakade det. Testa en sak i taget.
Att testa obetydliga ändringar: Du testar en knappfärg (blå mot en lite mörkare blå). Testet behöver 100 000 besökare för att visa en statistiskt signifikant skillnad. Testa ändringar som spelar roll (rubrik mot ett annat värdeerbjudande, inte blå mot lite mindre blå).
Att ignorera säsong: Du kör ett test från november till januari. Din variant vinner. Men januari är lågsäsong. När du kör det under ett helt år förlorar den. Kör alltid test över flera säsonger.
Att blanda ihop korrelation och orsakssamband: Variant B vinner. Du antar att ändringen orsakade vinsten. Men du lanserade också en marknadsföringskampanj under testet. Kampanjen, inte varianten, orsakade vinsten. Ta hänsyn till yttre faktorer.
Så väljer du vad du ska testa
Testa ändringar med stor potentiell effekt. Små ändringar flyttar kanske inte nålen även om de vinner. En ändrad knappfärg kan öka konverteringen med 0,5 procent. En ändrad rubrik kan öka den med 5 procent. Testa större ändringar först.
Testa ändringar som stämmer med din hypotes. Om din hypotes är "ett förvirrande kassaformulär orsakar avhopp" ska du testa ett enklare formulär. Testa inte slumpmässiga färger och knappplaceringar.
Testa en ändring i taget. Om du ändrar rubrik, knapptext och formulärfält samtidigt kan du inte avgöra vad som gav förbättringen.
Så läser du resultaten av ett A/B-test
Resultatet visar: Variant A hade en konverteringsgrad på 10 procent. Variant B hade en konverteringsgrad på 11 procent. B är 10 procent bättre (relativ förbättring). Konfidensnivån är 95 procent, med ett p-värde på 0,03.
Det betyder: Variant B är bättre. Vi är 95 procent säkra på att skillnaden är verklig och inte ren tur.
Om konfidensnivån är 85 procent (p-värde 0,15) är resultatet inte statistiskt signifikant. Du ska inte utse en vinnare, mer data behövs.
När du ska fortsätta testa och när du ska sluta
Fortsätt testa om: resultatet inte är statistiskt signifikant och du inte har nått ditt mål för urvalsstorlek, eller om du har lärt dig något oväntat och vill gräva djupare.
Sluta testa om: du har nått statistisk signifikans och kan utse en vinnare, eller om du har kört testet i fyra veckor eller mer och resultaten inte rör sig mot signifikans. Då är varianterna troligen lika bra.
Vanliga frågor
Hur många besökare behöver jag för ett giltigt A/B-test?
Det beror på din grundnivå för konvertering och hur stor förändring du vill upptäcka. För en liten webbplats med 100 besökare per dag kan du behöva två veckor för att nå statistisk signifikans. För en stor webbplats med 10 000 besökare per dag kan du nå den på två dagar. Använd en kalkylator för urvalsstorlek (de flesta verktyg för A/B-test har en inbyggd). Med WEMASYs webbplatsbyggare kan du ställa in det direkt på din webbplats.
Vad betyder ett p-värde på 0,05?
Det betyder att det finns en risk på 5 procent att skillnaden du ser är ren tur. En konfidensnivå på 95 procent. De flesta använder 0,05 som tröskel: om p-värdet är under 0,05 är resultatet statistiskt signifikant.
Kan jag titta på resultaten under ett test och avsluta det tidigt om en variant vinner?
Nej. Det kallas att "kika" och leder till fel slutsatser. Om du avslutar tidigt när en variant leder kan du missa den verkliga vinnaren. Låt alltid testet pågå under den planerade tiden.
Vad gör jag om mitt test har en mycket stor förbättring men låg statistisk signifikans?
Det betyder oftast att ditt urval är för litet. Du har en lovande signal men inte tillräckligt med data för att bekräfta den. Kör testet längre eller skaffa mer trafik.
Ska jag testa ett element eller flera element på en gång?
Testa ett element i taget (multivariattest är komplext och oftast inte värt det om du inte har mycket hög trafik). Att testa en sak visar vad som orsakade förändringen.
Hur många A/B-test ska jag köra samtidigt?
I regel ett i taget, särskilt om du är ny på testning. När du har erfarenhet och hög trafik kan du köra flera test på olika sidor samtidigt. Kör inte två test på samma sida samtidigt.