Attribuering visar vilken kanal som får äran för en konvertering. Men driver kanalen verkligen konverteringen, eller hade den hänt ändå? Inkrementalitetstester svarar på det genom experiment: visa kanalen för vissa användare (testgrupp), visa den inte för andra (kontrollgrupp) och mät skillnaden i konverteringsgrad. Skillnaden är den verkliga tilläggseffekten. Det här kapitlet handlar om inkrementalitetstester och när du bör använda dem.
Attribuering jämfört med inkrementalitet
Attribuering: av de som konverterade, vilken kanal nådde dem sist? Enkelt att mäta, men bevisar inget orsakssamband.
Inkrementalitet: om vi tar bort den här kanalen helt, hur mycket intäkter förlorar vi? Det bevisar orsakssamband och mäter den verkliga effekten.
Exempel: 100 personer konverterade. Google Ads sista klick = 60 får äran. Men ett inkrementalitetstest visar: om vi inte hade kört Google Ads hade 50 av de 60 ändå konverterat (via andra kanaler). Google Ads verkliga tilläggseffekt = 10 konverteringar, inte 60.
Typer av inkrementalitetstester
Test baserat på geografi
Kör annonser i vissa områden (testgrupp) men inte i andra (kontrollgrupp). Jämför konverteringsgraderna. Exempel: kör Google Ads i San Francisco (testgrupp) men inte i Berkeley (kontrollgrupp). Om San Francisco har högre konverteringsgrad ger annonserna en tilläggseffekt.
Fördel: enkelt och snabbt. Nackdel: skillnader mellan områdena kan störa resultatet (San Francisco är rikare, vilket driver upp konverteringsgraden).
Utelämnade grupper
Kör annonser för alla utom ett slumpmässigt urval på 10 % (kontrollgrupp). Jämför konverteringsgraderna: användare som sett annonser jämfört med de utelämnade. Skillnaden är tilläggseffekten.
Fördel: exakt och styr för störande faktorer. Nackdel: kräver stor budget (vi riktar oss inte mot 10 % av vår målgrupp för att mäta effekten).
Test baserat på tid
Kör annonser under vissa tidsperioder (testgrupp) men inte under andra (kontrollgrupp). Exempel: kör betald sökning måndag till torsdag, inte fredag till söndag. Jämför konverteringsgraderna. Om måndag till torsdag ligger högre ger annonserna en tilläggseffekt.
Fördel: enkelt. Nackdel: veckodagar stör resultatet (helger har naturligt lägre konvertering).
Så kör du ett inkrementalitetstest
Steg 1: Formulera en hypotes. Google Ads driver konverteringar utöver baslinjen.
Steg 2: Välj testtyp. Utelämnade grupper är mest exakt, så använd det om budgeten räcker.
Steg 3: Dimensionera testet. Du behöver ett tillräckligt stort urval för att upptäcka skillnaden. Om baslinjens konvertering är 5 % och du vill upptäcka en ökning på 2 % behöver du cirka 10 000 per grupp. Fråga en statistiker eller använd en kalkylator för statistisk styrka.
Steg 4: Kör testet i 2 till 4 veckor. Längre tester minskar variationen från dagliga svängningar.
Steg 5: Analysera resultaten. Är skillnaden statistiskt säkerställd? (p < 0,05). Om ja har du bevisat tilläggseffekten.
Utmaningar med inkrementalitetstester
Kostnad: utelämnade grupper betyder att du medvetet går miste om intäkter (vi riktar oss inte mot 10 % av vår målgrupp). Det är bara värt det för kanaler med hög kostnad där insikten är värdefull.
Kanalerna äter upp varandra: om användaren inte ser din annons kan hen i stället använda organisk sökning eller direkt trafik. Inkrementalitet fångar det (det ingår i kontrollgruppens beteende).
Långsiktiga effekter: annonser kan ge en varumärkeseffekt som syns först efter dagar eller veckor. De flesta tester är kortsiktiga och missar långsiktiga effekter.
Hur avgör jag om jag ska köra ett inkrementalitetstest?
Inkrementalitet är dyrt (utelämnade grupper kostar pengar). Kör tester för: kanaler med hög kostnad, där attribueringen är oklar och där du fattar stora budgetbeslut. Testa inte: små kanaler där attribueringen är tydlig. Budget: $10 000 till $50 000 eller mer per test. Spara det till de frågor som har störst effekt.
Vilken urvalsstorlek behöver jag för ett inkrementalitetstest?
Det beror på baslinjens konverteringsgrad och vilken ökning du vill upptäcka. Tumregel: du behöver 5 000 till 10 000 per grupp (kontroll och test). Om baslinjen är 5 % och du vill upptäcka en ökning på 2 % (ny nivå 7 %) behöver du cirka 10 000 per grupp. Använd en kalkylator för statistisk styrka (sök på statistical power calculator) för att få exakt siffra i ditt fall.
Hur länge ska jag köra ett inkrementalitetstest?
Minst 2 till 4 veckor (för att jämna ut dagliga variationer). 4 till 8 veckor är bättre (fångar veckomönster). Längre tester = högre kostnad men mer tillförlitligt. Om din säljcykel är 30 dagar, kör testet i minst 30 dagar för att fånga hela cykeln.
Kan jag använda inkrementalitetstester för att mäta kanalsamspel (hur en kanal hjälper en annan)?
Ja, men det är mer komplext. Testupplägg: (1) kontroll (inga kanaler), (2) test A (bara kanal A), (3) test B (bara kanal B), (4) test A+B (båda kanalerna). Jämför resultaten. Om A+B > A + B finns det synergi. Det kräver större urval och mer komplex analys.
Vad är skillnaden mellan en utelämnad grupp och en kontrollgrupp i tester?
Utelämnad grupp: en del av din kundbas som medvetet inte ser kanalen. Kontrollgrupp: i ett experiment den grupp som inte får behandlingen (för jämförelse). Samma idé, olika ord. Den utelämnade gruppen är löpande (en pågående grupp), medan kontrollgruppen gäller under ett visst test.
Hur presenterar jag resultaten av inkrementalitetstester för ledningen?
Visa: baslinjens konvertering (5 %), testgruppens konvertering (6 %) och ökningen (1 procentenhet, 20 % relativ ökning). Visa konfidensintervallet: ökningen ligger på 0,5 till 1,5 procentenheter (vi är säkra på det spannet). Konsekvens för budgeten: om inkrementaliteten är 20 % lägre än vad attribueringen påstod, räkna om avkastningen. Det motiverar kostnaden för testet med bättre beslut.