Experimenteren

Een onderzoeksmethode om een hypothese te testen.

Aangereikt door:

Anne Moes (docent-onderzoeker),  Lectoraat Crossmedia

 

Samenvatting

“Een experiment is een onderzoeksmethode waarbij individuen (zoals consumenten) random worden toegewezen aan groepen die verschillende treatments ontvangen. De reacties van de individuen op deze treatments worden groepsgewijs met elkaar vergeleken.” 

– Anne Moes

 

Bij een experiment wil je het effect van X op Y meten. Dit doe je door minimaal twee groepen te vergelijken: de experimentele groep en de controlegroep. Bij de experimentele groep wordt een onafhankelijke variabele (treatment) gemanipuleerd met de bedoeling om het oorzakelijke of causale effect daarvan vast te stellen op de afhankelijke variabele.

 

Doel van een experiment

Het doel van een experiment is het in beeld te krijgen of één onafhankelijke variabele een effect heeft op de afhankelijke variabele. Je meet dus als het ware of X invloed heeft op Y.

 

Hoe werkt het?

Je hebt een hypothese waarbij je graag wil weten of iets effect heeft op het ander. Als je in beeld hebt wat je wilt gaan onderzoeken, ga je aan de slag met het opzetten van het experiment. Je maakt twee verschillende versies van stimulusmateriaal: één met één onafhankelijke variabele en één zonder. Dit kan bijvoorbeeld een poster, een product of een advertentie zijn. Vervolgens ga je op zoek naar participanten die geschikt zijn voor jouw onderzoek en verdeel je die in twee groepen. Dit doe je aan de hand van randomisatie. Je voert je experiment uit en vergelijkt de reacties van de twee verschillende groepen. Hieronder gaan wij dieper op ieder onderwerp in.

Treatment

Een treatment is hetgeen dat een effect zal veroorzaken. De treatment is de gemanipuleerde onafhankelijke variabele die je toevoegt aan je experimentele stimulusmateriaal. Het wordt gecreëerd en gecontroleerd door de onderzoeker. Je vergelijkt altijd minimaal twee treatments. Bij de eerste groep participanten komt een gemanipuleerde treatment aan bod en bij de tweede groep wordt de gemanipuleerde treatment weggelaten. 

Participanten

Om een experiment uit te kunnen voeren heb je minimaal twee groepen aan mensen nodig. Het is hierbij wel nodig om een minimaal aantal aan participanten per groep aan te houden namelijk 25 per groep. Hoe groter het aantal participanten in de groepen hoe beter de resultaten van het experiment zullen worden.

Randomisatie

Om het experiment zo goed mogelijk te laten verlopen is het belangrijk dat de participanten random worden toegewezen aan een groep. Je kan dit doen aan de hand van lootjes trekken of het gooien van een dobbelsteen. Randomisatie zorgt ervoor dat de groepen niet systematisch van elkaar verschillen. 

Reacties vergelijken & analyseren van de verzamelde data

Na het experiment heb je de data verzameld van minimaal twee verschillende groepen. Deze data heb je gekregen door te observeren, te meten of te vragen. Vervolgens ga je kijken of de ene groep anders scoort dan de andere groep. Dan is er een effect van de treatment. Dit kan je gemakkelijk zien door de gemiddelden van de twee groepen met elkaar te vergelijken. 

 

Welke data kun je verzamelen?

De data die over het algemeen wordt verzameld tijdens een experiment is kwantitatief, de data komt vaak terug in de vorm van cijfers.

 

Voorbeeld

Hiernaast is een voorbeeld van een experiment te vinden. In dit experiment is gekeken naar impulsaankoopgedrag aan de hand van 1 van de 6 principes van Cialdini. In het voorbeeld dat hier benoemd is is er gekozen voor het principe schaarste. Er zijn twee advertenties gemaakt die bij twee verschillende groepen worden voorgelegd. De groepen bestonden beide uit 15 participanten die random ingedeeld zijn. Zo zijn de participanten gekozen op basis van lootjes. Als een participant instemde om mee te doen aan het experiment, werd er een lootje uit een schaal getrokken en die werd dan gelinkt aan die participant. De experimentele groep kreeg een advertentie te zien met een gemanipuleerde variabele erin en de controlegroep kreeg een advertentie te zien waar die gemanipuleerde variabele is weggelaten. Vervolgens hadden de participanten een aantal stellingen beantwoord over de advertentie die zij te zien kregen op basis van een schaal van 1 tot 7. Om een conclusie te trekken of de gemanipuleerde variabele een effect heeft, zijn de antwoorden van groep 1 vergeleken met de antwoorden van groep 2. Hierbij is er gekeken naar het gemiddelde van de antwoorden op de stellingen. Als het gemiddelde van de antwoorden op de stellingen van de experimentele groep hoger ligt dan het gemiddelde van de controlegroep, kunnen we concluderen dat de gemanipuleerde variabele wel effect heeft. Als het gemiddelde van de stellingen van de experimentele groep lager ligt dan die van de controlegroep, kunnen we concluderen dat de gemanipuleerde variabele geen effect heeft. Buiten het kijken naar het gemiddelde kan er ook gekeken worden naar de standaarddeviatie om zo een beeld te krijgen van de spreiding van de data. 

 

Moeilijkheidsgraad

Het doen van het experiment is niet lastig. De voorbereiding kan echter tijdsintensief zijn. Verder is het belangrijk dat de sampling en randomisatie in orde is, zodat er geen onjuiste conclusies worden getrokken aan de hand van de data.

Voordelen

  • Door middel van een experiment kan er causaliteit aangetoond worden. 
  • Je hebt controle over de situatie waardoor je zeker weet dat je informatie krijgt over jouw onderwerp. 
  • Door randomisatie en manipulatie kan je oorzaak-gevolg goed aantonen.
  • Deze methode kan zowel fysiek als remote uitgevoerd worden.

Nadelen

  • Als randomisatie mis gaat is het experiment niet meer betrouwbaar.
  • De connectie met de realiteit is moeilijk te maken in een artificiële omstandigheid. Mensen gedragen zich anders in een hedendaagse setting.
  • Er is een kans dat mensen niet komen opdagen voor het experiment, niet hun best doen of valse antwoorden geven.

Tips & Tricks

  • Tijdens het experiment is het belangrijk dat er geen kwaad wordt gedaan aan de participanten. Om interpersonal (vernedering), psychological (frustratie), social en societal harm (uitbuiting door data te verkopen) te voorkomen kan je gebruik maken van informed consent. Hier kan je toelichten dat bijvoorbeeld de data anoniem blijft en alleen wordt gebruikt voor educatieve doeleinden.
  • Er moet voor worden gezorgd dat alle data wordt verwerkt, ongeacht de nuttigheid.
  • Overweeg om de participanten te betalen voor hun deelname, bijvoorbeeld in de vorm van een beloning. Om ervoor te zorgen dat ze opdagen tijdens het experiment en hun best doen.
  • Hanteer de volgende punten om het onderzoek ethisch verantwoord te houden:
    • Geïnformeerde toestemming.
    • Respect.
    • Verantwoordelijkheid.
    • Eerlijkheid.
    • In geval van twijfel om advies vragen.

Evaluatie en resultaten

  • Reacties worden met elkaar vergeleken aan de hand van de experimenten data in Excel, SPSS of een ander soortgelijk programma. De resultaten worden gebruikt om de hypothese te beantwoorden.

Gerelateerde methodes

Auteurs: Maaike van Dijk, Vera Visser, Mitchell Gordon, Naomi Nazar