Skillnaden mellan testprojekt och testkultur
Testprojekt
Kör några tester. Se vad som fungerar. Gå vidare. Testning är ett verktyg som du använder vid behov. Sedan slutar du.
Testkultur
Kör tester hela tiden. Testvinnare styr nästa test. Lärandet byggs på. År efter år växer effekten av testningen.
Varje ändring testas. Varje beslut bygger på data. Testning är hur du fattar beslut, inte ett projekt som du ibland kör.
Företag med testkultur slår konkurrenter utan den. Inte med mycket per test. Men över åren blir det en enorm fördel.
Få ledningen med sig
Problemet
De flesta testprogram misslyckas eftersom ledningen inte förstår testning eller inte förbinder sig till det.
Vad ledningen hör
När du föreslår ett testprogram hör ledningen: det här kommer att ta tid och kosta pengar.
Vad ledningen behöver höra
Visa pengarna. Kör ett test. Bevisa att det fungerar. Räkna ut intäktseffekten. Det här testet förbättrade konverteringen med två procent. Det ger femtiotusen dollar i extra årliga intäkter. Testverktyget kostar tolvtusen. Nettovinsten blir trettioåttatusen.
Nu ser ledningen testning som en investering, inte en kostnad.
Bygga testplanen
Kör inte slumpmässiga tester
Planera en testplan. Planen pekar ut områden med stor effekt. Formulär. Rubriker. Erbjudanden. Kassa. Varje område får en testprioritet.
Sortera efter effekt
Planen ordnar testerna i en följd. Testa sådant med stor effekt först. Medelstor effekt sedan. Liten effekt senare.
Teamets åtagande
Planen binder teamen till testning. Designerna vet att de testar knappdesign. Produktteamet vet att de testar erbjudandet. Alla vet vad som är på väg.
Gör en kvartalsplan. Uppdatera den varje månad utifrån resultaten. Kvartalsplaneringen håller teamet fokuserat.
Tydligt ägarskap och ansvar
Problemet
Testning faller när ingen äger det. Marknadsföring säger att produkt ansvarar. Produkt säger att utveckling ansvarar. Testningen blir aldrig av.
Lösningen
Utse en testansvarig. Det kan vara en tillväxtchef. Det kan vara en produktchef. En person ansvarar för testprogrammet.
Den testansvariga sätter testplanen. Kör testerna. Dokumenterar resultaten. Delar lärdomarna. Samordnar mellan teamen. Utan ansvarig stannar testningen av.
Utbilda teamen i statistiskt tänkande
Problemet
De flesta har ingen statistikutbildning. De tittar på siffror och gör bedömningar på känn.
Testvarianten ligger på nio procent. Kontrollen ligger på åtta komma åtta procent. Det ser ut som att testvarianten vann. Den som inte är statistiker tror att testvarianten är bättre.
Statistikern kontrollerar konfidensnivån. Åttiotvå procent. Under tröskeln på nittiofem procent. Inte signifikant. Skillnaden kan vara slump.
Lösningen
Att utbilda teamen i grundläggande statistik förhindrar felbeslut. Utbildningsämnen: vad är statistisk signifikans. Varför nittiofem procent spelar roll. Hur man läser konfidensintervall. Vad urvalsstorlek innebär.
Ett bra testprogram utbildar teamet i statistik.
Skapa delat lärande och dokumentation
Därför spelar dokumentation roll
Varje test lär dig något. Lärdomen försvinner om den inte dokumenteras.
Så dokumenterar du
Skapa ett testarkiv. Varje test får en sida. Hypotes. Resultat. Lärdom.
Efter femtio tester har du femtio sidor med lärdomar. En ny teammedlem läser femtio sidor och förstår vad som fungerar för din publik.
Bra dokumentation: hypotes, resultat, insikt, vad som ska testas härnäst.
Dålig dokumentation: test ett vann, test två förlorade. Ingen insikt.
Gör testning till en del av arbetssättet
Frivillig testning faller
Om testning är frivilligt slutar man testa när det är mycket att göra. Teamen nedprioriterar det för brådskande projekt.
Obligatorisk testning håller
Gör testning obligatoriskt. Varje ändring går genom testprocessen. En ändring utan test godkänns inte.
Det kräver en förändring av arbetssättet. Men det säkerställer att testningen sker konsekvent.
Exempel på process
Ett: Föreslå ändringen med en hypotes. Två: Få godkännande att testa. Tre: Kör testet i två veckor. Fyra: Resultaten godkänns av den testansvariga. Fem: Om det är signifikant, genomför. Sex: Dokumentera lärdomen. Sju: Utforma nästa test.
Fira och förmedla vinster
Problemet
Testprogrammet dör om vinsterna förblir tysta.
Lösningen
Fira vinster. Dela resultat. Visa effekten. Månatligt mejl: "Vårt testprogram förbättrade konverteringen med sju procent under det här kvartalet. Här är fem tester som gjorde skillnad. Tack till de team som genomförde dem."
Att fira skapar fart. Skapar kultur. Skapar tro på att testning fungerar.
Hantera politiken kring testning
Konflikten
Någon föreslår en ändring. Testet visar att ändringen inte är en bra idé. Personen som föreslog den blir frustrerad. Testning skapar konflikt när resultaten går emot antaganden.
Lösningen
Rama in testning som ett lärverktyg. Inte som ett sätt att visa att folk har fel. Rama in det som "låt oss testa och lära tillsammans."
När testet visar att någon hade fel, rama in det som "vi lärde oss något." Rama in det som en vinst, inte en förlust. Folk blir defensiva om testning ses som ett hot. Folk stöttar testning om det ses som lärande.
Styra testtakten
Aggressivt upplägg
Kör tio tester per månad. Avsluta varje test på en vecka. Snabbt lärande. Större risk för falska positiva. Högre felfrekvens.
Försiktigt upplägg
Kör tre tester per månad. Avsluta varje test på två till tre veckor. Långsammare lärande. Lägre felfrekvens. Säkrare.
Balanserat upplägg
De flesta företag bör välja det balanserade. Fem till sex tester per månad. Två veckors längd. Rimlig felfrekvens. Rimlig lärandetakt. Offra inte kvalitet för fart. Ett test av hög kvalitet slår tio tester av låg kvalitet.
Förstå avtagande avkastning
Mönstret
De första tjugo testerna gör skillnad. Varje test förbättrar något. Planen är full av möjligheter med stor effekt.
Test tjugo till fyrtio gör mindre skillnad. Du lär dig fortfarande, men förbättringarna är mindre. Färre uppenbara möjligheter.
Från test fyrtio och framåt: möjligheterna är små. Förbättringarna är minimala. Det är normalt.
Lösningen
Tolka inte avtagande avkastning som att testningen misslyckats. Tolka det som mognad. I fasen med avtagande avkastning byter du fokus. I stället för bred testning kör du tester inom nya områden. Nya produkter. Nya segment. Nya marknader.
Hållbarhet i testprogrammet på lång sikt
Risken
Testprogrammet går starkt i sex månader. Sedan saktar det in. Folk får fullt upp. Testning nedprioriteras. Programmet tynar bort.
Så håller du det vid liv
Ett hållbart program kräver ständigt engagemang. Kräver resurser. Kräver ägarskap. Avsätt budget för testverktyg. Avsätt budget för en testperson. Bygg in testning i årsmålen.
Om testning är en årlig prioritet blir det av. Om testning är något trevligt att ha slutar det.
Vanliga frågor
Hur övertygar jag skeptiska teammedlemmar om att testning fungerar?
Visa dem ett test. Kör ett enkelt test på ett element med mycket trafik. Få resultat. Visa den vinnande förbättringen. Visa intäktseffekten. Ett lyckat test vänder skeptikerna. Resultat talar högre än ord. Exempel: kör ett test på knappfärg. Visa resultaten: blå knapp nio procent konvertering, röd knapp åtta komma fem procent konvertering. Åtta procents förbättring. Räkna ut effekten: om sajten får tiotusen besökare i månaden och två procent konverterar blir det tvåhundra konverteringar i månaden. Åtta procents förbättring ger sexton extra konverteringar i månaden. Om genomsnittligt ordervärde är hundra dollar blir det sextonhundra dollar i extra intäkter varje månad. Nittontusen dollar per år. Visa det för den skeptiska kollegan. Skepsisen försvinner när pengar står på spel. Med WEMASY:s webbplatsbyggare kan du sätta upp det direkt på din webbplats.
Ska vi skjuta upp testningen om vi har fullt upp med projekt?
Nej. Testning ska vara en del av projektleveransen. Varje projektändring testas innan den genomförs. Testning tar ingen extra tid om den är inbyggd i arbetssättet. Den förhindrar att ni genomför saker som inte fungerar. Exempel: ni släpper ett nytt kassaflöde. Utan testning: genomför, lansera, upptäck att nittio procent av besökarna blir förvirrade av det nya flödet, återställ, åtgärda, lansera igen. Tre veckor totalt. Med testning: testa det nya flödet i en vecka före lansering, upptäck problemen, åtgärda, lansera ett flöde som ni litar på. Två veckor totalt. Testning sparar tid genom att förhindra dåliga lanseringar. Bygg in testning i tidplanen från början, inte som en eftertanke.
Hur ofta bör vi gå tillbaka till gamla testresultat?
Gå tillbaka när förutsättningarna ändras. Ny säsong. Ny konkurrent. Större förändring i verksamheten. I övrigt är varje testresultat giltigt för sin tidsperiod. Det finns inget behov av att testa om hela tiden. Exempel: ni testade ett erbjudande i januari. Pengarna-tillbaka-garanti slår tio procents rabatt. Ni införde pengarna-tillbaka-garantin. Nu kommer juli och en konkurrent lanserar en pengarna-tillbaka-garanti. Ert försprång försvinner. Bör ni testa erbjudandet igen. Kanske. Konkurrentens drag ändrade marknaden. Er vinnare kanske inte längre är relevant. Återbesök per säsong: testa erbjudanden under Black Friday-säsongen. Resultaten kan se annorlunda ut i juli när köpbeteendet är ett annat. Testa erbjudandena igen i juli. Resultaten styr strategin för juli.
Ska vi testa för den genomsnittliga besökaren eller för ett särskilt segment?
Börja med den genomsnittliga besökaren. Ta fram en baslinje. Gå sedan över till specifika segment. Om du bara optimerar för ett segment försämras den samlade prestandan. Exempel: du optimerar bara för mobil eftersom mobiltrafiken är störst. Baslinjen för dator är tio procent. Baslinjen för mobil är sju procent. Du optimerar för mobil och mobilen hoppar åtta procent i förbättring. Men baslinjen för dator sjunker till nio procent eftersom ändringarna inte fungerar på dator. Du fick en mobilförbättring men skadade datorn. Totalt tappade du mark. Testa brett först för att förstå den övergripande effekten. Testa sedan segment för att optimera per segment.
Hur behåller vi farten om testerna fortsätter att förlora?
Förlorande tester lär dig vad som inte fungerar. Värdefull data. Vinnande tester kommer. Fortsätt testa. Bygg vidare på lärdomarna från förlusterna. Exempel: testa fem rubriker. Tre förlorar mot den nuvarande rubriken. Två vinner. Vinsterna visar vad som fungerar. Förlusterna visar vad publiken inte reagerar på. Nu vet du att budskap om "brådska" förlorar (folk tycker inte om press). Du vet att budskap om "tydlig fördel" vinner (folk gillar klarhet). Nästa test bygger på den lärdomen. Testa ännu tydligare fördelar. Testerna bygger på varandra. Förlorande tester är inga misslyckanden. De är datapunkter.
Vad gör vi om testningen visar att hela vårt angreppssätt är fel?
Fira. Du har lärt dig något värdefullt. Ändra nu riktning. Bättre att få veta det genom testning än genom tysta intäktsförluster. Exempel: du tror att din målgrupp vill ha en premiumprodukt. Testet visar att målgruppen föredrar det billigare alternativet. Din premiumpositionering var fel. Ett skäl att fira: du lärde dig precis något som hade kostat dig pengar i åratal om du inte hade testat. Justera nu strategin. Ändra budskapet till prisvärt. Testa den nya positioneringen. Bättre att upptäcka det vid en intäktsförlust på femtiotusen dollar än vid en på fem miljoner dollar.