Inzicht in interne en externe validiteit

Interne en externe validiteit zijn concepten die aangeven of de resultaten van een onderzoek betrouwbaar en zinvol zijn. Terwijl interne validiteit betrekking heeft op hoe goed een onderzoek is uitgevoerd (de structuur ervan), heeft externe validiteit betrekking op hoe toepasbaar de bevindingen zijn op de echte wereld.

Wat is interne validiteit?

Interne validiteit is de mate waarin een onderzoek een betrouwbare oorzaak-en-gevolgrelatie tussen een behandeling en een uitkomst vaststelt. Interne validiteit geeft ook aan dat een bepaald onderzoek het mogelijk maakt om alternatieve verklaringen voor een bevinding te elimineren.

Als u bijvoorbeeld een programma om te stoppen met roken implementeert met een groep individuen, hoe zeker kunt u dan zijn dat enige verbetering in de behandelgroep te wijten is aan de behandeling die u heeft toegediend?

Interne validiteit hangt grotendeels af van de procedures van een onderzoek en hoe rigoureus het wordt uitgevoerd.

Interne validiteit is geen 'ja of nee'-concept. In plaats daarvan bekijken we hoe zeker we kunnen zijn met de bevindingen van een onderzoek, op basis van de vraag of het valkuilen vermijdt die de bevindingen twijfelachtig kunnen maken.

Hoe minder kans er is op "verwarring" in een onderzoek, hoe hoger de interne validiteit en hoe meer vertrouwen we kunnen hebben in de bevindingen. Confounding verwijst naar een situatie waarin andere factoren een rol spelen die de uitkomst van een onderzoek in de war brengen. Een onderzoek kan ons bijvoorbeeld onzeker maken of we erop kunnen vertrouwen dat we het bovenstaande "oorzaak-en-gevolg"-scenario hebben geïdentificeerd.

Kortom, u kunt er alleen zeker van zijn dat uw onderzoek intern valide is als u alternatieve verklaringen voor uw bevindingen kunt uitsluiten. Kort samengevat: u kunt alleen oorzaak-en-gevolg aannemen als u in uw onderzoek aan de volgende drie criteria voldoet:

De oorzaak ging qua tijd vooraf aan het gevolg.
De oorzaak en het gevolg variëren samen.
Er zijn geen andere waarschijnlijke verklaringen voor deze relatie die u hebt waargenomen.

Factoren die de interne validiteit verbeteren

Als u de interne validiteit van een onderzoek wilt verbeteren, moet u rekening houden met aspecten van uw onderzoeksopzet die het waarschijnlijker maken dat u alternatieve hypothesen kunt verwerpen. Er zijn veel factoren die de interne validiteit kunnen verbeteren.

verblindend: Deelnemers - en soms ook onderzoekers - die niet weten welke interventie ze krijgen (zoals het gebruik van een placebo in een medicatieonderzoek) om te voorkomen dat deze kennis hun percepties en gedrag en dus de uitkomst van het onderzoek vertekent
experimentele manipulatie: Manipuleren van een onafhankelijke variabele in een onderzoek (bijvoorbeeld rokers een stopprogramma geven) in plaats van alleen een associatie te observeren zonder enige interventie (onderzoek naar de relatie tussen lichaamsbeweging en rookgedrag)
Willekeurige selectie: Je deelnemers willekeurig kiezen of op een manier die representatief is voor de populatie die je wilt bestuderen
Randomisatie: Willekeurig deelnemers toewijzen aan behandelings- en controlegroepen, en ervoor zorgen dat er geen systematische vertekening tussen groepen is
Leerprotocool: Het volgen van specifieke procedures voor het toedienen van een behandeling om geen effecten te introduceren van bijvoorbeeld dingen anders doen bij de ene groep mensen dan bij een andere groep mensen

Factoren die de interne validiteit bedreigen

Net zoals er veel manieren zijn om ervoor te zorgen dat een onderzoek intern valide is, is er ook een lijst met mogelijke bedreigingen voor de interne validiteit waarmee rekening moet worden gehouden bij het plannen van een onderzoek.

uitputtingsslag: Deelnemers die uitvallen of een onderzoek verlaten, wat betekent dat de resultaten gebaseerd zijn op een bevooroordeelde steekproef van alleen de mensen die er niet voor hebben gekozen om te vertrekken (en mogelijk allemaal iets gemeen hebben, zoals een hogere motivatie)
verwarrend: Een situatie waarin kan worden gedacht dat veranderingen in een uitkomstvariabele het gevolg zijn van een derde variabele die verband houdt met de behandeling die u heeft toegediend.
Diffusie: Dit verwijst naar de behandeling in een studie die zich van de behandelingsgroep naar de controlegroep verspreidt via de groepen die interactie hebben en met elkaar praten of elkaar observeren. Dit kan ook leiden tot een ander probleem dat wrokkige demoralisatie wordt genoemd, waarbij een controlegroep minder haar best doet omdat ze wrok koesteren over de groep waarin ze zich bevinden.
Vooringenomenheid van de experimentator: Een onderzoeker die zich op een andere manier gedraagt met verschillende groepen in een onderzoek, wat leidt tot een impact op de resultaten van dit onderzoek (en wordt geëlimineerd door blindering)
Historische evenementen: Kan de uitkomst van onderzoeken beïnvloeden die gedurende een bepaalde periode plaatsvinden, zoals een verandering in de politieke leider of een natuurramp die van invloed is op hoe deelnemers aan de studie zich voelen en handelen
Instrumentatie: Het is mogelijk om deelnemers aan een onderzoek op bepaalde manieren te 'primen' met de maatregelen die u gebruikt, waardoor ze op een andere manier reageren dan ze anders zouden hebben gedaan.
Rijping: Dit beschrijft de impact van tijd als variabele in een onderzoek. Als een onderzoek plaatsvindt over een periode waarin het mogelijk is dat deelnemers op de een of andere manier van nature veranderden (ouder werden, vermoeid raakten), dan kan het onmogelijk zijn uit te sluiten of de effecten die in het onderzoek werden waargenomen eenvoudigweg te wijten waren aan het effect van tijd.
Statistische regressie: Het natuurlijke effect van deelnemers aan extreme uiteinden van een maatregel die in een bepaalde richting vallen, alleen vanwege het verstrijken van de tijd in plaats van het effect van een interventie
Testen: Het herhaaldelijk testen van deelnemers met dezelfde maatregelen beïnvloedt de uitkomsten. Als je iemand drie keer dezelfde test geeft, is het dan niet waarschijnlijk dat ze het beter zullen doen als ze de test leren of gewend raken aan het testproces, zodat ze anders antwoorden?

Wat is externe validiteit?

Externe validiteit verwijst naar hoe goed de uitkomst van een onderzoek naar verwachting van toepassing is op andere instellingen. Met andere woorden, dit type validiteit verwijst naar hoe generaliseerbaar de bevindingen zijn. Zijn de bevindingen bijvoorbeeld van toepassing op andere mensen, instellingen, situaties en tijdsperioden?

Ecologische validiteit, een aspect van externe validiteit, verwijst naar de vraag of de bevindingen van een onderzoek kunnen worden gegeneraliseerd naar de echte wereld.

Hoewel rigoureuze onderzoeksmethoden interne validiteit kunnen garanderen, kan externe validiteit daarentegen door deze methoden worden beperkt.

Een andere term die overdraagbaarheid wordt genoemd, heeft betrekking op externe validiteit en verwijst naar een kwalitatief onderzoeksontwerp. Overdraagbaarheid verwijst naar de vraag of resultaten worden overgedragen naar situaties met vergelijkbare kenmerken.

Factoren die de externe validiteit verbeteren

Wat kunt u doen om de externe validiteit van uw onderzoek te verbeteren?

Overweeg psychologisch realisme: Zorg ervoor dat deelnemers de gebeurtenissen van een onderzoek als een echte gebeurtenis ervaren door hen een "coververhaal" te vertellen over het doel van het onderzoek. Anders kunnen deelnemers zich in sommige gevallen anders gedragen dan ze in het echte leven zouden doen als ze weten wat ze kunnen verwachten of weten wat het doel van het onderzoek is.
Herverwerking of kalibratie uitvoeren: Gebruik statistische methoden om problemen met externe validiteit op te lossen. Als een onderzoek bijvoorbeeld ongelijke groepen had voor een bepaald kenmerk (zoals leeftijd), kan herweging worden gebruikt.
repliceren: Voer het onderzoek opnieuw uit met verschillende monsters of in verschillende instellingen om te zien of u dezelfde resultaten krijgt. Als er veel onderzoeken zijn gedaan, meta-analyse kan ook worden gebruikt om te bepalen of het effect van een onafhankelijke variabele betrouwbaar is (op basis van de bevindingen van een groot aantal onderzoeken over één onderwerp).
Probeer veldexperimenten: Voer een onderzoek uit buiten het laboratorium in een natuurlijke omgeving.
In- en uitsluitingscriteria gebruiken: Dit zorgt ervoor dat je de populatie die je in je onderzoek bestudeert duidelijk hebt gedefinieerd.

Factoren die de externe validiteit bedreigen

Externe validiteit wordt bedreigd wanneer een onderzoek geen rekening houdt met de interacties van variabelen in de echte wereld

Pre- en post-test effecten: Wanneer de pre- of posttest op de een of andere manier gerelateerd is aan het effect dat in het onderzoek wordt gezien, zodat de oorzaak-gevolgrelatie verdwijnt zonder deze toegevoegde tests
Voorbeeldfuncties: Wanneer een bepaald kenmerk van het specifieke monster verantwoordelijk was voor het effect (of gedeeltelijk), wat leidde tot beperkte generaliseerbaarheid van de bevindingen
Selectiebias: Beschouwd als een bedreiging voor de interne validiteit, beschrijft selectiebias verschillen tussen groepen in een onderzoek die verband kunnen houden met de onafhankelijke variabele (nogmaals, zoiets als motivatie of bereidheid om deel te nemen aan het onderzoek, specifieke demografische gegevens van individuen die eerder geneigd zijn deel te nemen in een online-enquête).
Situationele factoren: Tijd van de dag, locatie, geluid, kenmerken van de onderzoeker en hoeveel metingen worden gebruikt, kunnen de generaliseerbaarheid van bevindingen beïnvloeden.

Interne versus externe validiteit

Interne en externe validiteit zijn als twee kanten van dezelfde medaille. U kunt een onderzoek hebben met een goede interne validiteit, maar over het algemeen kan het irrelevant zijn voor de echte wereld. Aan de andere kant zou je een veldonderzoek kunnen doen dat zeer relevant is voor de echte wereld, maar dat geen betrouwbare resultaten heeft in termen van weten welke variabelen de resultaten hebben veroorzaakt die je ziet.

overeenkomsten

Wat zijn de overeenkomsten tussen interne en externe validiteit? Het zijn beide factoren waarmee rekening moet worden gehouden bij het opzetten van een onderzoek, en beide hebben implicaties voor de vraag of de resultaten van een onderzoek betekenis hebben. Beide zijn geen 'of/of'-concepten, en u zult dus altijd beslissen in welke mate uw onderzoek presteert in termen van beide soorten validiteit.

Elk van deze concepten wordt meestal gerapporteerd in een onderzoeksartikel dat is gepubliceerd in een wetenschappelijk tijdschrift. Dit is zodat andere onderzoekers het onderzoek kunnen evalueren en beslissingen kunnen nemen over de bruikbaarheid en validiteit van de resultaten.

Verschillen

Het essentiële verschil tussen interne en externe validiteit is dat interne validiteit verwijst naar de structuur van een onderzoek en zijn variabelen, terwijl externe validiteit betrekking heeft op hoe universeel de resultaten zijn. Er zijn nog meer verschillen tussen de twee.

Interne goedkeuring

Conclusies zijn gerechtvaardigd
Regelt externe variabelen
Elimineert alternatieve verklaringen
Focus op nauwkeurigheid en sterke onderzoeksmethoden

Externe validiteit

Bevindingen kunnen worden gegeneraliseerd
Uitkomsten gelden voor praktijksituaties
Resultaten zijn van toepassing op de hele wereld
Resultaten kunnen worden vertaald naar een andere context

Interne validiteit richt zich op het aantonen van een verschil dat alleen te wijten is aan de onafhankelijke variabele, terwijl externe validiteitsresultaten kunnen worden vertaald naar de wereld als geheel.

Voorbeelden van geldigheid

Een voorbeeld van een onderzoek met een goede interne validiteit zou zijn als een onderzoeker veronderstelt dat het gebruik van een bepaalde mindfulness-app de negatieve stemming zal verminderen. Om deze hypothese te testen, wijst de onderzoeker willekeurig een steekproef van deelnemers toe aan een van de twee groepen: degenen die de app gedurende een bepaalde periode zullen gebruiken en degenen die een controletaak uitvoeren.

De onderzoeker zorgt ervoor dat er geen systematische vertekening is in de manier waarop deelnemers aan de groepen worden toegewezen, en verblindt ook zijn onderzoeksassistenten voor de groepen waarin de studenten zich bevinden tijdens het experimenteren.

Er wordt een strikt onderzoeksprotocol gebruikt dat de procedures van het onderzoek beschrijft. Potentiële verstorende variabelen worden samen met de stemming gemeten, zoals de sociaaleconomische status van de deelnemers, geslacht, leeftijd en andere factoren. Als deelnemers uit het onderzoek vallen, worden hun kenmerken onderzocht om er zeker van te zijn dat er geen systematische vertekening is in termen van wie in het onderzoek blijft.

Een voorbeeld van een onderzoek met goede externe validiteit zou in het bovenstaande voorbeeld zijn, de onderzoeker zorgde er ook voor dat het onderzoek externe validiteit had door deelnemers de app thuis te laten gebruiken in plaats van in het laboratorium. De onderzoeker definieert duidelijk de populatie van interesse en kiest een representatieve steekproef, en hij/zij repliceert het onderzoek voor verschillende technologische apparaten.

Een woord van Verywell

Het opzetten van een experiment zodat het een goede interne en externe validiteit heeft, houdt in dat je vanaf het begin bewust moet zijn van factoren die elk aspect van je onderzoek kunnen beïnvloeden.

Het is beter om extra tijd te besteden aan het ontwerpen van een structureel verantwoord onderzoek dat verstrekkende gevolgen heeft, in plaats van snel door de ontwerpfase te rennen om later problemen te ontdekken. Alleen wanneer zowel de interne als de externe validiteit hoog is, kunnen sterke conclusies over uw resultaten worden getrokken.

Een overzicht van de wetenschappelijke methode