Split-test er drilsk!
Forjættende simpelt og samtidig så fuld af lurende faldgruber. Vi drømmer om at få statistisk afklaring på vores designspørgsmål, men ender ofte med at konkludere noget forkert.
Her får du tre bud fra underviser Ole Gregersen på artikler, der kan ruste dig lidt bedre i kampen for at opnå troværdige resultater af dine split-test.

Ok, hvor svært kan det være. Vi tager to variationer af en side og fordeler trafikken til de to med 50% til hver. Så måler vi på konverteringsraten for hver side i en periode. For hver side er der nogen, der konverterer, andre der ikke gør. Efter en rum tid sammenligner vi. Er det så ikke bare den side med bedste konverteringsrate, der vinder?

Masser af trafik, masser af konverteringer, slattent resultat. Split-test er ikke altid nemt.

Gid det var så enkelt. Problemet er bare, at vi gerne vil kunne sammenligne. Og da vi ikke har to helt ens situationer – fx de samme brugere, der bliver klippet i to og hver konverterer (eller ej) med hver deres halvdel – og da vi gerne vil sige noget om konverteringen generelt, og ikke blot for de personer, der faktisk besøgte websitet – ja så er vi nødt til at lægge en sandsynlighedsberegning ned over vores eksperiment. Og sandsynlighedsberegninger er nogle store, grimme, onde regnestykker.

Også derfor kan vi glædes over, at split-test værktøjer som fx Visual Website Optimizer kan lave beregningen for os. Men vidste du, at beregningen indtil for nylig blev påvirket af, hvor ofte du kiggede på den? Bekymrende ikke? Det kaldes ”Peeking effect” og skyldes, at den statistiske beregning foretages hver gang, du beder om at få at vide, hvordan testen går. Kigger du tidligt og ofte, måske bare efter at par dage, så er der fare for, at det påvirker dine resultater.

Nu bruger Visual Website Optimizer og andre split-test værktøjer, der kaldes en Bayesiansk statistik-model:

”Bayesiansk statistik er en metode, hvor beviser eller observationer løbende anvendes til at opdatere eller inferere sandsynligheden for at en given hypotese er sand. ” (Fra dansk Wikipedia).

Og det er jo netop det, vi gerne vil have en vurdering af i vores split-test.

På ”Split-test i praksis” hos UX mentor går vi mere i dybden med både det tekniske, praktiske og metodiske setup for split-test. Indtil vi ses der, kan vi anbefale, at du varmer op med ConversionXL’s blogindlæg om typiske fejl mange gør, når de laver split-test.

Eller du kan læse Ole’s populære blogindlæg på Amino om kvalitet i split-test resultater: Split-test og mit pis i kog 2016

Så undgå de typiske fejl og forstå hvad, der faktisk ligger bag beregningen.
Kom til kursus i split-test hos UX mentor med senior konsulent Ole Gregersen fra Optuner.