Testet pågår för kort tid (kikarbias)
Misstaget
Det största misstaget: att titta på resultaten efter en vecka när testet var planerat för två veckor.
Varför det är ett misstag
En vecka ger fyrahundra konverteringar per variant. Två veckor ger åttahundra. Med fyrahundra är det slumpmässiga bruset större. Du ser skillnader som försvinner när du får mer data.
Exempel: vecka ett visar nio procents konvertering för testvarianten och åtta procent för kontrollen. En vinst på en procent ser verklig ut. Du kikar och blir ivrig. Vecka två: testvarianten sjunker till åtta komma fem procent. Kontrollen ligger kvar på åtta procent. En vinst på en halv procent. Fortfarande statistiskt signifikant, men mycket mindre än vecka ett visade.
Om du hade stoppat efter vecka ett hade du överskattat nyttan med testvarianten med femtio procent.
Så undviker du det
Bestäm längden innan du startar testet. Två veckor är standard. Skriv ner det. Kika inte. Lägg in en kalenderpåminnelse för slutdatumet.
Du testar flera ändringar samtidigt
Misstaget
Du ändrar rubriken. Du ändrar knappens färg. Du ändrar knapptexten. Du ändrar formulärfälten. Fyra ändringar samtidigt.
Varför det är ett misstag
Testvarianten konverterar på tolv procent. Kontrollen på tio procent. En vinst på två procent. Du genomför alla fyra ändringarna.
En månad senare sjunker konverteringen till nio procent. Något gick sönder. Men vilken ändring? Rubriken? Knappen? Formuläret? Du ändrade fyra saker och vet inte vilken som skadade. Du kan inte lära dig vilken ändring som hjälpte och vilken som stjälpte.
Så undviker du det
Bara en ändring. Ändra bara rubriken. Testa den. Genomför den om den vinner. Testa sedan knappens färg. Testa sedan formuläret. En variabel i taget.
Spårningsfel och trasiga tester
Misstaget
Testet pågår i två veckor. Resultaten visar att testvarianten vinner med fem procent. Du genomför ändringen. En månad senare förstår du att spårningen var trasig. Konverteringspixeln aktiverades inte för nittio procent av besökarna.
Varför det är ett misstag
Resultaten är värdelösa. Genomförandet byggde på dålig data. Du lade utvecklingstid på att genomföra något som grundade sig på ogiltiga resultat.
Så undviker du det
Stickprovskontrollera testets upplägg. Gå igenom ett enkelt flöde manuellt. Aktiveras händelsen? Kontrollera spårningsloggarna. Bekräfta att pixeln aktiveras. Granska spårningen innan du utser en vinnare.
För litet urval
Misstaget
Du kör testet med bara femhundra konverteringar totalt. Tvåhundrafemtio per variant. Med ett så litet urval är det slumpmässiga bruset enormt. Skillnader på fem procent är vanliga. Skillnader på tio procent är inte förvånande.
Du ser att testvarianten ligger fem procent över kontrollen. Ingen statistisk signifikans. Du förklarar testet som ofullständigt.
Varför det är ett misstag
Testet saknade statistisk styrka från början. Du borde ha vetat att det behövde två veckor, inte en. Tester med för låg styrka slösar tid och ger otydliga resultat.
Så undviker du det
Räkna ut urvalsstorleken innan du startar. Hur många konverteringar behöver du? Hur lång tid tar det att komma dit? Om testet tar tre månader, överväg att testa något annat som ger snabbare resultat.
Du tar inte hänsyn till yttre faktorer
Misstaget
Du kör testet från tisdag till torsdag. Måndagens resultat är före testet. Fredagens resultat är efter testet. Du jämför fredag med måndag.
Men fredagens trafik skiljer sig från måndagens. På fredagen surfar folk avslappnat inför helgen. På måndagen surfar de i arbetet. Olika målgrupper. Olika konverteringsgrader. Du tillskriver skillnaden testet, fast den egentligen beror på hur trafiken är sammansatt.
Varför det är ett misstag
Du genomförde ändringen på grund av skillnader i trafikens sammansättning, inte för att testvarianten var effektiv. När trafiken ser annorlunda ut håller inte resultaten.
Så undviker du det
Kör testet tillräckligt länge för att jämna ut trafikens sammansättning. Två veckor omfattar både vardagar och helger. En vecka kan ge en skev bild.
Du ändrar hypotesen mitt i testet
Misstaget
Du startar testet med hypotesen att ett kortare formulär ger fler inskickade formulär.
Halvvägs får du ny information från supporten. Kunderna vill ha fler fältalternativ. Du ändrar hypotesen: fler fält kanske faktiskt hjälper. Nu har du ett test som är utformat för en hypotes men analyseras som en annan.
Varför det är ett misstag
Det förvirrar resultaten. Du kan inte säga vilken hypotes testet egentligen prövade. Du kan komma att genomföra en ändring utifrån en rörig tolkning.
Så undviker du det
Skriv ner hypotesen innan du startar testet. Håll dig till den. Om du får ny information och vill testa en annan hypotes, avsluta det pågående testet först. Kör sedan ett nytt test.
Du genomför inte vinnarna
Misstaget
Testet är klart. Testvarianten vinner. Du säger "vi genomför det senare". Senare kommer aldrig. Testet gav inget värde. Du slösade tid.
Varför det är ett misstag
Vinnare skapar bara värde om de genomförs. Ett testprogram bygger bara på sig självt om du konsekvent genomför vinnarna. En vinnare som aldrig genomförs dödar farten och teamets tro på testning.
Så undviker du det
Bestäm dig för genomförandet innan du kör testet. Om testvarianten vinner, genomför den inom en vecka. Om kontrollen vinner, gå tillbaka direkt. Låt inte vinnare ligga och vänta.
Du delar inte upp resultaten i segment
Misstaget
De samlade resultaten visar att testvarianten vinner. Du genomför ändringen överallt.
Men segmenteringen visar något annat: på dator vinner testvarianten. På mobil förlorar den. För internationella besökare gör den ingen skillnad. Att genomföra den överallt skadar mobilbesökare och internationella besökare.
Varför det är ett misstag
Du optimerade för det samlade genomsnittet men skadade vissa segment. Mobiltrafiken kan växa snabbare än datortrafiken. Genom att genomföra testvarianten skadar du det segment som kan driva framtida tillväxt.
Så undviker du det
Kontrollera alltid segmentens resultat innan du utser en vinnare för alla. Vinnaren gäller kanske inte överallt. Genomför ändringen för de segment där den vinner. Hoppa över de segment där den inte gör det.
Du blandar ihop vinnaren med orsakens riktning
Misstaget
Testet visar att testvarianten slår kontrollen. Du antar att testvarianten är bättre. Men tänk om kontrollen helt enkelt är trasig. Kontrollens knapp fungerar inte. Alla blir förvirrade. Testvariantens knapp fungerar som den ska. Testvarianten vinner för att kontrollen är trasig, inte för att den i sig är bättre.
Varför det är ett misstag
Du drar fel slutsats. Du tror att knappens stil vinner, när du i själva verket lärde dig att "en fungerande knapp slår en trasig knapp". Det får andra följder för framtida tester.
Så undviker du det
Förstå varför testvarianten vann. Var det för att den är bättre eller för att kontrollen är sämre? Det får olika följder.
Du upprepar samma test och hoppas på ett annat resultat
Misstaget
Test ett: testvarianten förlorar mot kontrollen. Du försöker igen med en liten variation. Test två: samma resultat. Kontrollen vinner igen. Du försöker igen. Test tre: samma mönster. Kontrollen fortsätter vinna.
Du testar samma sak om och om igen och får samma resultat.
Varför det är ett misstag
Du slösar testbudget på ett angreppssätt som inte fungerar. Det är bättre att byta riktning än att fortsätta testa samma förlorande strategi.
Så undviker du det
Sluta testa samma sak. Du behöver en annan strategi. Det nuvarande angreppssättet fungerar inte. Byt till en annan testvariant.
Du dokumenterar inte resultat och lärdomar
Misstaget
Testet är klart. Resultaten visar en vinnare. Du genomför ändringen. Sedan glömmer du bort det.
Sex månader senare frågar en ny teammedlem: "vad lärde vi oss om rubriker?" Du har ingen dokumentation. Ni får börja om från noll.
Varför det är ett misstag
Du förlorar kunskap som företaget byggt upp. Varje test ska lära dig något. Utan dokumentation försvinner kunskapen när teammedlemmar slutar.
Så undviker du det
Dokumentera varje test. Hypotes. Resultat. Lärdom. Dela med teamet. Bygg upp kunskap som stannar kvar i företaget.
Vanliga frågor
Kikar jag i förtid om jag tittar på testresultaten en gång i veckan?
Nej, inte om du har bestämt dig för två veckors längd och inte ändrar ditt beteende utifrån resultaten från vecka ett. Då följer du testet utan att avbryta det för tidigt. Att titta är okej. Att stoppa för tidigt är att kika i förtid. Exempel: vecka ett visar nio procent för testvarianten och åtta procent för kontrollen. Testvarianten ser ut som vinnaren. Genomför den inte än. Håll fast vid de två veckorna. Vecka två kan visa åtta komma åtta procent för testvarianten och åtta procent för kontrollen. Då syns en mindre skillnad. Om du hade stoppat efter vecka ett hade du överskattat nyttan med femtio procent. Bestäm längden, titta varje vecka om du vill, men agera inte på preliminära resultat. Med WEMASY:s webbplatsbyggare kan du ställa in det direkt på din webbplats.
Kan jag testa två liknande saker samtidigt (olika rubriker i olika regioner)?
Ja, om regionerna verkligen är åtskilda och du inte jämför dem med varandra. Testa rubrik A mot B på trafik från USA. Testa rubrik C mot D på trafik från EU. Det är separata tester. Parallella tester går bra. Men jämför inte A mot C mellan regionerna, eftersom sammansättningen är olika. Publiken i olika regioner konverterar olika. USA kan ha en basnivå på tolv procent. EU kan ha en basnivå på åtta procent. Rubrik A vinner i USA. Rubrik C vinner i EU. Du kan inte dra slutsatsen att rubrik A är bättre överallt, eftersom regionerna har olika basnivåer. Testa parallellt men analysera var för sig.
Om resultaten inte visar någon signifikant skillnad, ska jag anta att varianterna är likadana?
Nej. Utgå från att skillnaden är oklar. De kan vara likadana. De kan också vara olika men ha behövt mer data för att visa det. Exempel: kontrollen har femhundra konverteringar. Testvarianten har femhundrafem. En procents skillnad. Åttioåtta procents konfidens. Inte signifikant. Du kan inte dra slutsatsen att de är likadana. Du kan bara dra slutsatsen att skillnaden är oklar. Alternativ: kör testet längre för att få mer data. Eller, om testvarianten är enklare att genomföra än kontrollen, byt till testvarianten, eftersom de i värsta fall är likadana och testvarianten i bästa fall är bättre. Om kontrollen är enklare, behåll kontrollen.
Vad gör jag om mitt test visar ett statistiskt signifikant resultat som känns fel?
Lita på statistiken, inte på magkänslan. Matematiken är klokare än intuitionen. Om statistiken säger att resultatet är verkligt (nittiofem procents konfidens) är det sannolikt det. Din intuition kan ha fel. Den bygger på begränsad erfarenhet. Statistiken bygger på tusentals datapunkter från besökare. Genomför ändringen utifrån statistiken. Exempel: du tror att en röd knapp presterar bättre än en blå. Testet visar att den blå knappen vinner med god marginal. Din intuition hade fel. Genomför den blå knappen. Hade du litat på magkänslan och ignorerat testdatan hade du valt den röda knappen och skadat konverteringen.
Kan jag slå ihop flera små, icke signifikanta resultat till ett stort signifikant resultat?
Nej. Varje test står för sig självt. Du kan inte slå ihop otydliga tester till ett tydligt resultat. Test ett visar åttiofem procents konfidens för att testvarianten vinner. Test två visar åttio procents konfidens för samma testvariant. Blir det nittiofem procents konfidens tillsammans? Nej. Så fungerar inte statistik. Varje test är oberoende. Att slå ihop dem är statistiskt nonsens. Kör ett test med rätt storlek och tillräcklig statistisk styrka från början. Antingen har du signifikans eller så har du det inte.
Om testet visar ett starkt resultat för ett segment men ett svagt totalt, vilket genomför jag?
Genomför ändringen för segmentet bara om det starka resultatet är statistiskt signifikant för just det segmentet. Om segmentet är litet (tio procent av trafiken) är det svårare att nå gränsen för signifikans. Det kan vara ett falskt positivt resultat. Kontrollera signifikansen för segmentet specifikt, inte bara totalt. Exempel: det totala testet visar nio procent för testvarianten och åtta komma nio procent för kontrollen. Knappt signifikant. Men datorsegmentet visar tio procent för testvarianten och åtta procent för kontrollen. En vinst på två procent på dator. Starkt och signifikant för dator. Mobilsegmentet visar åtta procent för båda. Ingen skillnad. Genomför ändringen bara för dator. Genomför den inte för mobil. Olika segment har olika bästa testvarianter.