Observaties

Doel

We voeren een observatie uit om erachter te komen hoe de doelgroep daadwerkelijk omgaat met uw website. De andere methoden zijn over het algemeen gericht op het achterhalen van de wensen, behoeften en meningen van respondenten, we krijgen informatie door te luisteren naar wat zij zeggen. Wat ze zeggen en wat ze doen kan echter verschillen. Daarom moet we altijd controleren of ze ook daadwerkelijk doen wat ze zeggen te doen. Dat doe we doormiddel van een observatie.

Uitleg

Observeren wordt soms ook usability testing genoemd, omdat deze naam verwarrend kan werken, is er gekozen voor de naam observaties. Tijdens het uitvoeren van een observatie wordt er gekeken naar hoe de respondent, die binnen de doelgroep valt, omgaat met de website of een ander testobject. Hij moet een aantal opdrachten uitvoeren die zo representatief mogelijk zijn voor de website en de werkelijkheid. Op deze manier kunnen we achter (prestatie) problemen van de website komen.

Er zijn verschillende versies observaties. Deze zijn grotendeels gelijk, maar verschillen op enkele vlakken. Hier gaan we uit van een prestatietest, omdat deze de basis is voor de andere versies.

• Prestatietest: Puur gericht op de prestaties om kwantitatieve gegevens te krijgen.
• Retrospective interview: De respondent vertelt na de observatie wat er door hem heen ging toen hij de taken uitvoerde.
• Think Aloud: De respondent vertelt hard op wat hij denkt terwijl hij de taken uitvoert.
• Co-discovery: Tijdens de observatie leggen twee respondenten aan elkaar uit wat ze doen, zien en denken.
• Onderzoeker in dezelfde ruimte: Combinatie tussen Think Aloud en Co-discovery, waarbij de onderzoeker vragen stelt terwijl de respondent de taken uitvoert en hardop denkt.
• Online observatie: De respondent voert de taken op afstand uit, achter zijn eigen computer.
• Logging actual use: De handelingen van de respondent worden bijgehouden door een tool of handmatig.

Planning

Observaties kunnen ten alle tijden uitgevoerd worden, als we maar iets hebben om te observeren, daarom wordt deze methode meestal uitgevoerd na het ontwerp of na de realisatie. We kunnen het gebruik van prototypes of andere testobjecten observeren, maar ook verschillende websites of verschillende versies.

Aanvullende methoden

Een observatie gaat er voornamelijk over dat we informatie krijgt over hoe een respondent de website gebruikt. Daarnaast is het ook belangrijk om erachter te komen wat de respondent denkt en wat zijn mening is over de website. Door methoden uit te voeren voor en/of na de observatie, krijgen we hier meer informatie over.

interviews en enquêtes zijn algemene methoden die we goed kan gebruiken als aanvullende methoden. Daarnaast kunnen we na het uitvoeren van een observatie een focusgroep sessie houden.

Input verkregen van de volgende methoden

Door het uitvoeren van de volgende methoden kunnen er realistische taken bedacht worden:

• card sorting
• enquêtes
• focusgroep sessies
• interviews
• on-site web analyses
• wensen en behoeften analyse

Uitput geven aan de volgende methoden

• a/b test

Voor- en nadelen en aandachtspunten

Voordelen

• De enige manier om achter het daadwerkelijke gebruik te komen.
• Veel verschillende versies, waardoor het een erg flexibele methoden is.
• We krijgen erg snel een algemene indruk van het testobject.
• Er zijn veel tools die we kunnen helpen met het uitvoeren, de verwerking en de analyse.
• We kunnen het zo duur of goedkoop maken als uw budget toestaat.
• We kunnen ook prototypes of andere testobjecten gebruiken.
• Filmpjes waarin de respondent omgaat met het testobject spreken voor zich en werken verhelderend.
• We kunnen een iteratief proces opstarten, waarbij we steeds observaties uitvoeren, aanpassingen maken en opnieuw observaties uitvoeren. Dit doe we net zo lang tot we geen nieuwe problemen meer tegen komt.

Nadelen

• De setting is kunstmatig, hierdoor kunnen de resultaten anders zijn, dan wanneer een bezoeker dezelfde taak thuis zou uitvoeren.

Aandachtspunten

Er zit een verschil in wat een respondent zegt te doen en wat een respondent daadwerkelijk doet. Dit kan met verschillende dingen te maken hebben: de respondent zegt wat hij denkt dat de onderzoeker wil horen, ze weten niet precies hoe ze iets daadwerkelijk doen of andere redenen. Daarom willen we zowel te weten komen wat een respondent zegt te doen en wat hij daadwerkelijk doet. Voor dit laatste gebruik we een observatie. Om erachter te komen wat hij zegt te doen of wat hij vindt, kunnen we andere methoden gebruiken of we kunnen we hierop richten voor, tijdens of na de observatie. 

Grootschalige observaties met kwantitatieve resultaten kunnen veel nuttige, concrete resultaten opleveren, waarmee het mogelijk is om bijvoorbeeld vergelijkingen tussen verschillende ontwerpen of testobjecten te trekken. Let hierop, kwalitatief onderzoek kent veel valkuilen: testers die niet representatief zijn voor de doelgroep, omgevingsfactoren die mogelijk invloed hebben gespeeld, correlaties die niet significant worden bekeken, geen causaal verband hebben vanwege de invloed van een derde variabele.

Voor- en nadelen verschillende versies

De invloed van de onderzoeker op de uitvoering van de taken verschilt per versie. Het gaat van passief naar actief. Bij passief worden de verwachtingen, taken en vragen van tevoren of na het uitvoeren van de observatie behandeld. De observator is tijdens de test niet aanwezig of houdt zich afzijdig. We proberen hier kwantitatieve gegevens te krijgen, waardoor we geen inzicht krijgt op het ‘waarom’. Bij actief is de observator meer betrokken bij de test. De observator mag vragen stellen. Als we hiervoor kiezen, mag de respondent ook vragen stellen. Als we willen weten waarom iemand iets doet, dan kunnen we het gewoon vragen.

Prestatietest

Dit is de strengste manier om te observeren, passiever kan niet. We willen achter kwantitatieve gegevens komen, hierdoor is de invloed van de onderzoeker minimaal. Het beste is zelfs als hij niet aanwezig is. Vervolgens kunnen we kijken hoeveel fouten er worden gemaakt (effectiviteit en leerbaarheid), hoe gemakkelijk en snel een taak wordt uitgevoerd (efficiëntie en bedieningsgemak), wat voor fouten er worden gemaakt (robuustheid)

Voordeel

• We krijgen kwantitatieve gegevens, hierdoor kunnen we verschillende versies met elkaar vergelijken als we genoeg respondenten (minstens 20) observeren.

Nadeel

• We weten niet wat er door de respondent heen gaat, dit kunnen we alleen raden naar aanleiding van wat hij doet.

Retrospective interview

We laten de respondent de taken uitvoeren, zoals we doem bij een prestatietest. Dit houdt in dat onze invloed minimaal is. We nemen zowel het gezicht van de respondent als het scherm op en we maakt aantekeningen van dingen die fout gaan, vragen die we hebben of andere opvallende dingen. Hierdoor kunnen we na het uitvoeren van de observatie, het geheel of een gedeelte aan de respondent terug laten zien en/of vragen wat er door hem heen ging.

Voordelen

• Zowel kwalitatieve als kwantitatieve gegevens.
• Dit werkt goed bij mensen waarbij praten en taken uitvoeren tegelijk erg lastig kan zijn. Denk aan kleine kinderen, bejaarden, mensen met cognitieve beperkingen, enzovoorts.
• Respondenten kunnen in dezelfde tijd meer taken uitvoeren dan bij think aloud, let er wel op dat we deze ook nog moet bespreken.

Nadelen

• Het nabespreken van de observatie duurt soms veel langer dan de observatie zelf. Dit kan erg uitputtend zijn voor de respondent.
• Er zijn onderzoekers die een retrospective interview liever vermijden. Het geeft de respondenten namelijk de kans hun gedrag te herzien en rationaliseren in plaats van te vertellen wat er gebeurde en waarom dat gebeurde.

Think aloud

Bij think aloud vragen we aan de respondent of hij vertelt wat hij denkt en wat er door hem heen gaat als hij een taak uitvoert. Hij kan vertellen over de stappen die hij uitvoert om een taak te volbrengen, de verwachtingen die hij van tevoren heeft en wat hij denkt achteraf. Think aloud kan helpen begrijpen wat een respondent doet, waarom hij iets doet, wat zijn reactie is en wat er door hem heen gaat.

Voordelen

• We krijgen direct feedback, waardoor we meer te weten kan komen wat er door de respondent heen gaat.
• We kunnen het ook voor andere methoden gebruiken.

Nadelen

• De respondent kan stil vallen als hij met iets lastigs bezig is, terwijl we juist dan wil weten wat hij denkt.
• Het kan erg onwennig en ongemakkelijk zijn voor een respondent om hardop te moeten denken.
• Respondenten laten altijd, bewust of onbewust dingen achter als ze moeten vertellen wat ze denken. Daarom is het niet mogelijk alles te weten te komen.
• We kunnen alleen de kwalitatieve gegevens gebruiken. We kunnen namelijk geen tijd bijhouden omdat het verwoorden van gedachten ervoor zorgt dat het langer duurt om een taak uit te voeren.

Co-discovery

Bij Co-discovery laat we twee respondenten het testobject bekijken en taken uitvoeren. Vragen we of ze aan elkaar uitleggen wat ze doen en laten ze samenwerken om de taken uit te voeren. Om dit te vergemakkelijken kunnen we ze verschillende rollen geven. Zo kan de een de rol van leraar op zich nemen, die uitlegt aan de leerling hoe iets werkt en kunnen we ze samen laten werken door de een de muis te laten bedienen en de ander het toetsenbord.

Voordelen

• Als de respondenten elkaar kennen, krijg we meer informatie en kom we achter meer fouten dan tijdens think aloud.
• Handig als we daarna een focusgroep sessie wil houden met testobject, we hebben namelijk de helft van de computers en onderzoekers nodig dan als we dit zou doen met een individuele observatie.
• Het voelt natuurlijker dan bij think aloud, omdat de respondenten tegen elkaar praten en niet hardop tegen zichzelf.
• Werkt erg goed als we kinderen of ouderen wil observeren.

Nadelen

We krijgen geen individuele kwantitatieve gegevens. Om dit wel te krijgen kunnen we beter een prestatietest uitvoeren.

Observator in dezelfde ruimte, samen exploreren

Terwijl we samen het testobject exploreren, kan we vragen stellen, hints geven en kan de respondent aan ons uitleggen wat hij doet en wat hij denkt. Dit is een handige versie als we willen weten wat de respondenten vinden van het testobject. Dit zorgt voor een combinatie tussen co-discovery en think aloud.

Voordelen

• Het voelt natuurlijker dan bij think aloud, omdat de respondent tegen ons praat en niet hardop tegen zichzelf.

Nadelen

• Het kan zijn dat we de respondent beïnvloeden.

Online observatie

Dit lijkt op een prestatietest, maar wordt gedaan via de computer. Wij kunnen bepalen hoe veel invloed we uitoefenen op de respondent.

Voordelen

• We hoeven niet fysiek aanwezig te zijn op de plaats.
• De respondent bevindt zich in zijn eigen omgeving. Dit zorgt ervoor dat het minder kunstmatig aanvoelt voor de respondent.
• We kunnen de verschillende versies ook laten uitvoeren op afstand. Als we bijvoorbeeld think aloud gegevens willen kunnen we deze krijgen door de juiste tools te gebruiken.

Nadelen

• Het kan zijn dat de respondent dingen moet installeren voordat we dit daadwerkelijk kan uitvoeren. Niet iedereen wil dit.
• De respondent moet een webcam hebben, anders kunnen we zijn gezichtsuitdrukking niet lezen, waardoor we mogelijke problemen over het hoofd zien.
• De respondent moet een microfoon hebben, waardoor we hem kunnen horen en we met elkaar kunnen praten.

Logging actual use

Het gaat hier meer om een toevoeging aan de bovenstaande versies, dan om een opzichzelfstaande versie. Door het gebruik van tools kunnen we namelijk verschillende dingen bijhouden, die lastiger of niet te doen zijn om handmatig te doen. Denk bijvoorbeeld aan filmpjes met mousemovement, heatmaps, clickmaps of zelfs eyetracking.

Voordelen

• Handig als naslagwerk.
• We kunnen zien wat één respondent/ bezoeker deed.
• We kunnen zien wat het totaal aan respondenten / bezoekers deed en wat daar het gemiddelde resultaat van is.
• We kunnen het los van observaties uitvoeren, waarbij we de gegevens van bezoekers krijgen en niet van respondenten.

Nadelen

• Als we bezoekers gebruiken en geen respondenten, is het lastig om erachter te komen waarom bepaalde dingen (niet) gedaan worden. Daarom moeten vermoedens bevestigd of ontkrachten worden door het uitvoeren van bijvoorbeeld interviews, enquêtes of door het opzetten van een andere versie van een observatie.