A / B testing

Doel

Met het uitvoeren van een A/B test komen we te weten aan welke versie van een onderdeel de bezoekers (onbewust) de voorkeur geven.

Uitleg

Bij een A/B Testing worden er twee varianten van één website online geplaatst en bezoekers gelijkmatig verdeeld over beide versies. De websites verschillen één onderdeel van elkaar. We kunnen zien welke versie het beste werkt voor de bezoekers, dankzij het opstellen van doelen. De versie die het doel behaalt heeft, kan geïmplementeerd worden.

Voor het uitvoeren van een A/B Test is het handig om eerst onderzoek gedaan te hebben naar mogelijke problemen op de website. Dit is echter niet nodig. We kunnen iteratieve tests doen, waarin we een test uitvoeren, een keuze maken voor nieuw onderdeel en vervolgens weer een test uitvoeren en zo door gaan tot we tevreden zijn met het resultaat.

Net zoals bij on-site web analyses hebben we geen respondenten nodig bij het uitvoeren van een A/B test. We krijgen namelijk gegevens binnen van de bezoekers van de website, zonder dat dit hen afleidt.

Planning

Ontwikkelproces

Deze methode kan pas uitgevoerd worden als er een website is, als we weten waar het probleem ongeveer ligt of als we verschillende versies hebben voor verschillende onderdelen. Deze methode past in het uitvoeren van een onderzoek, maar we kunnen het ook uitvoeren zonder onderzoek. Dit houdt in dat we aanpassingen maken, verder gaan met andere werkzaamheden en vervolgens aanpassingen maken aan de website als we voldoende reacties terug hebben. Op die manier kunnen we de website beetje bij beetje verbeteren.

Planning in het onderzoek

Tijdens het uitvoeren van andere methoden kunnen er mogelijke probleempunten gevonden zijn of ideeën boven water komen die mogelijk positief uitpakken voor de website. Dankzij het uitvoeren van een A/B test kunnen we vervolgens kijken welke oplossingen of ideeën het beste werken voor de bezoekers.

Voor- en nadelen en aandachtspunten

Voordelen

• De bezoekers zijn sowieso representatief, anders waren ze niet op de website gekomen.
• Er hoeven geen respondenten geworven te worden, dit scheelt tijd en kosten.
• We kunnen de testtijd gebruiken om een volgende A/B test voor te bereiden.
• Voor het uitvoeren van een A/B test hoeven we geen heel onderzoek opstarten.
• A/B testing kan een iteratief proces zijn, waarbij we de verbeteringen blijft testen.
• Er zijn goede tools aanwezig die kunnen helpen met de uitvoering, de verwerking, analyse en presentatie.

Aandachtspunten

• We kunnen geen betrouwbare resultaten krijgen als we te weinig bezoekers op de website hebben gehad. Hoe minder bezoekers, hoe meer de resultaten van toeval afhankelijk zijn geweest, waardoor deze onbetrouwbaarder zijn.
• Als de conversie van een website laag is, dan duurt het langer om significante verschillen te kunnen zien, dan bij een website waarbij de conversie hoger is.
• Als de resultaten die we gebruiken niet betrouwbaar zijn, kan dit meer schade opleveren, dan goed doen.