A/B-testen: zo zet je een test op die iets bewijst

Een voorbeeld: een installateur wil meer offerteaanvragen. Versie A is de huidige offertepagina, versie B dezelfde pagina met de levertijd in de kop. Een testtool stuurt elke bezoeker willekeurig naar A of B, en laat een terugkerende bezoeker dezelfde versie zien. Na een vooraf bepaald aantal bezoekers vergelijk je het percentage dat een offerte aanvroeg.

Dat willekeurige verdelen is de kracht van de test. Beide groepen komen in dezelfde weken binnen, uit dezelfde kanalen, met hetzelfde weer en dezelfde acties. Het enige verschil is de kop. Vergelijk je de nieuwe kop met de maand ervoor, dan meet je ook alles wat er in die maand veranderde. A/B-testen is daarmee het bewijsdeel van conversie-optimalisatie: je houdt alleen wat aantoonbaar beter werkt.

Wat een test niet oplost, is toeval. Ook als A en B precies even goed zijn, converteert de ene groep door toeval net wat beter. Hoeveel bezoekers je nodig hebt om toeval van een echt verschil te onderscheiden, lees je verderop. Er zijn meer soorten tests, elk met een eigen doel:

Begin bij de pagina waar je bezoekers binnenkomen: een goede landingspagina heeft één doel en één knop, en dat maakt meten eenvoudig. Hoe je de getallen in dit plan uitrekent, staat in het volgende deel.

Google Optimize, de gratis testtool van Google, bestaat niet meer. Volgens Google zijn Optimize en Optimize 360 sinds 30 september 2023 niet meer beschikbaar. Google zegt te werken aan koppelingen met Google Analytics voor drie testtools van andere makers: AB Tasty, Optimizely en VWO. Via die koppeling zie je de uitslag per versie ook in Google Analytics.

VWO en AB Tasty kondigden op 20 januari 2026 aan dat ze samengaan. Het testplatform van VWO heet op de eigen site nu Wingify Experimentation en draait volgens de maker A/B-, multivariate en split-URL-tests op websites, in apps en op de server. Optimizely rekent met een eigen methode, Stats Engine, die volgens Optimizely bewijs verzamelt terwijl de test loopt. Werk je met HubSpot, dan zit het A/B-testen van pagina's volgens HubSpot in Content Hub Professional en Enterprise. Elke tool rekent op zijn eigen manier; reken daarom ook zelf uit hoeveel bezoekers je nodig hebt.

Vul je eigen cijfers in. De planner rekent uit hoeveel bezoekers elke versie nodig heeft en hoeveel hele weken je test daarmee duurt.

De planner gebruikt de standaardformule voor het vergelijken van twee percentages: een tweezijdige toets met de normale benadering, zoals de rekenhulp van de University of California, San Francisco (UCSF) die beschrijft. Je hebt drie keuzes nodig:

De looptijd volgt daaruit. Deel het totaal van beide versies door je bezoekers per week: 27.828 ÷ 7.000 = 3,98, dus 4 weken. Rond altijd af naar hele weken, zodat elke weekdag even vaak in je test zit.

Twee dingen vallen op. Een lage conversie vraagt veel meer bezoekers dan een hoge. En een half zo grote stijging vraagt ongeveer vier keer zoveel: bij 3% conversie heb je voor +10% 53.211 bezoekers per versie nodig, 3,8 keer zoveel als voor +20%.

Andere calculators komen soms iets anders uit. De calculator van Evan Miller gebruikt in het eerste deel van de formule de spreiding van je huidige conversie in plaats van het gemiddelde, en komt voor hetzelfde voorbeeld op 13.051 per versie, 6% lager. Tools met een eigen methode, zoals Optimizely, wijken verder af. Welke je ook gebruikt: kies er één, en reken ermee voordat je start.

De 95% zekerheid geldt voor één blik op het geplande einde. Kijk je elke dag en stop je zodra de tool ‘significant’ meldt, dan geef je het toeval elke dag een nieuwe kans. Evan Miller, van die calculator, rekende in 2010 een uiterste geval door: na elke bezoeker kijken, bij 50% conversie en hooguit 150 bezoekers. Een test zonder echt verschil wees dan in 26,1% van de gevallen een winnaar aan, in plaats van 5%.

Wij rekenden het na voor het voorbeeld uit deze gids, op 28 september 2026: 10.000 gesimuleerde A/A-tests waarin A en B allebei precies 3% converteren, met 500 bezoekers per versie per dag, 28 dagen lang. Dat is de looptijd uit het testplan. Elke test is gecontroleerd met een tweezijdige toets op 95%. De simulatie gebruikt een vaste startwaarde, dus elke keer dezelfde uitkomst; hieronder staan de eerste 20.

Eén keer kijken houdt de valse winnaars rond de 5% die je afsprak. Elke dag kijken en stoppen bij de eerste 95% maakt er 27,6% van: ruim een op de vier tests wijst een winnaar aan terwijl er niets verschilt.

Een test met te weinig bezoekers vindt een echte verbetering vaak niet. Je concludeert dan ‘geen verschil’ en gooit een goed idee weg. In het voorbeeld is de kans dat je een echte stijging naar 3,6% ziet 80% als je het plan volgt, maar 50,8% als je bij de helft stopt en 28,8% bij een kwart.

Heb je te weinig verkeer, test dan een grotere verandering: bij 3% conversie vraagt +50% 2.518 bezoekers per versie, tegen 53.211 voor +10%. Of meet een eerdere stap die vaker voorkomt, zoals de klik op de offerteknop: een microconversie met een hogere conversieratio vraagt minder bezoekers. Lukt ook dat niet, zet de nieuwe versie dan live en vergelijk voor en na, in de wetenschap dat dat zwakker bewijs is.

Dat gaat op twee manieren mis. Verander je in versie B de kop, de foto en het formulier tegelijk, dan weet je bij een winst niet welke verandering het deed. En vergelijk je meerdere versies of meerdere doelen, dan geldt de 5% kans op een valse winnaar per vergelijking. Staan de vergelijkingen los van elkaar, dan is de kans op minstens één valse winnaar bij drie vergelijkingen 14,3%, bij vijf 22,6% en bij tien 40,1%.

Versies die je allemaal tegen dezelfde A zet, hangen iets samen; de kans ligt dan wat lager, maar het patroon blijft. Kies daarom vooraf één hoofddoel. Test je toch drie versies, deel de 5% dan door het aantal vergelijkingen met A, de Bonferroni-correctie. In het voorbeeld heeft elke versie dan 16.850 bezoekers nodig, 21% meer, voor drie versies in plaats van twee: de test duurt 8 weken in plaats van 4.

A en B draaien in dezelfde weken, dus een drukke week raakt beide versies. Maar bezoekers in een actieweek gedragen zich anders dan in een gewone week, en wat dan wint, wint niet vanzelf in een gewone maand. Optimizely adviseert daarom minimaal één hele week, zodat elke vorm van gedrag meedoet. Drie regels: