Ordlista för A/B-testning

Ett kontrollerat experiment där två eller flera versioner av något (som en webbsida eller funktion) jämförs för att se vilken som presterar bäst.

Den faktiska skillnaden i konverteringsgrad (t.ex. 12 % mot 10 % = +2 procentenheter).

Det genomsnittliga beloppet som spenderas per order.

Den genomsnittliga intäkten per besökare på din webbplats.

En metod som uppskattar sannolikheten att en variant är bättre än en annan, ofta lättare att tolka än traditionell statistik.

Ett annat ord för en variation eller testversion.

En teknik som minskar brus genom att ta hänsyn till beteende före experimentet, vilket gör tester mer känsliga.

När externa förändringar (som säsong eller annonskampanjer) påverkar testresultaten.

Hur länge testet behöver pågå innan resultaten kan anses tillförlitliga.

En prioriterad lista över kommande tester, oftast baserad på effekt kontra insats.

En visuell översikt som visar varje variants resultat, sannolikhet och uplift.

När en verklig effekt missas på grund av för lite data eller bristfällig testuppsättning.

När ett test visar en vinnare av slumpen, inte för att förändringen faktiskt fungerade.

En smartare testmetod som automatiskt skickar mer trafik till varianter som presterar bättre över tid.

En variant som presterar sämre än kontrollen.

En traditionell statistisk metod som använder p-värden och signifikansnivåer för att avgöra om resultat är verkliga.

Ett mätvärde du följer för att säkerställa att experimentet inte skadar viktiga KPI:er (som intäkter eller tillgänglighet).

En kontrollgrupp som exkluderas från personalisering eller nya funktioner för att mäta långsiktig effekt.

Din förutsägelse om vilken förändring som kommer ha positiv effekt, och varför.

Hur snabbt teamet genomför och lär sig av experiment, ett mått på experimenteringskulturen.

Total intäkt dividerad med totalt antal sessioner, ett vanligt målmått inom e-handel.

När två förändringar samverkar och skapar oväntade kombinerade effekter.

Det intervall som sannolikt innehåller det sanna resultatet baserat på din data.

Den procentuella säkerheten i resultatet. Till exempel betyder 95 % att du är 95 % säker på att skillnaden är verklig.

Originalversionen som används som baslinje för att mäta förbättring.

När en användare genomför den önskade handlingen, till exempel ett köp eller en registrering.

Andelen användare som konverterar av alla som såg varianten.

Ett annat ord för förbättring eller ökning jämfört med kontrollen.

Mätvärdet du vill förbättra i experimentet, till exempel “registreringar per besökare”.

Den minsta skillnad du vill kunna upptäcka mellan varianter.

En närmare analys av resultat per segment för att hitta mönster eller avvikare.

När ingen variant tydligt presterar bättre än de andra.

Det övergripande målet som experimenten stödjer, alltså mätvärdet som speglar långsiktig framgång.

I bayesiansk testning visar detta hela sannolikhetsfördelningen för möjliga utfall.

Det viktigaste mätvärdet du använder för att utse vinnaren i ett experiment.

Den procentuella ökningen jämfört med kontrollen (t.ex. 12 % mot 10 % = +20 %).

Sannolikheten att en variant presterar bättre än kontrollen.

En delgrupp av din målgrupp, till exempel enhetstyp, plats eller trafikkälla.

Ytterligare mätvärden du följer för att förstå bieffekter eller få fler insikter.

Ett mått som visar sannolikheten att resultaten inte beror på slumpen.

En regel för när ett test ska avslutas, till exempel efter två veckor eller när säkerheten överstiger 95 %.

Sannolikheten att testet korrekt upptäcker en verklig skillnad.

Hur besökare fördelas mellan varianter, till exempel 50/50 eller 25/25/25/25.

Den procentuella förbättringen för en variant jämfört med kontrollen.

Antalet besökare eller konverteringar som behövs för tillförlitliga resultat.

En av versionerna som testas, till exempel “A” (kontroll) och “B” (ny idé).

Den variant som presterar bäst utifrån valt mål eller sannolikhetströskel.