Verschillende media schreven er over: van Sesamstraat worden kinderen slimmer (Trouw, AD, Huffington Post, The Economist). Zij baseerden hun nieuwtje op een stuk in The Washington Post. Daarin wordt gesproken van “landmark academic research” en de “most authoritative study ever done on the impact of Sesame Street”. Dat zijn hele grote woorden voor een onderzoek dat nog niet gepubliceerd is in een peer-reviewed tijdschrift. Het verscheen namelijk als working paper [volledige paper]. Om het erger te maken: het is geschreven door twee economen die de bestaande literatuur over effecten van educatieve programma’s niet kennen.

Uitzendmasten

Het paper bevat geen enkele mediatheorie. Er wordt simpelweg verondersteld dat blootstelling tijdens de jeugd een effect heeft. In 1969, toen Sesamstraat startte, had twee derde van de Amerikaanse bevolking toegang tot het programma. Het leeftijdscohort dat toen op de kleuterschool zat wordt onderzocht. Van hen is het schoolcijfer in 1980, opleidingsniveau in 1990 en arbeidsmarktresultaten in 2000 genomen als uitkomst van effect. Er wordt daarbij gekeken naar de nabijheid van een uitzendmast om goede blootstelling te bepalen.

De onderzoekers vinden effecten op het schoolcijfer. De kinderen die vroeger (waarschijnlijk) Sesamstraat keken, deden het beter op school. Dat geldt vooral voor jongens, voor zwarte kinderen en voor kinderen die in achterstandsgebieden woonden. Dat effect zet zich blijkbaar niet door: voor uiteindelijk opleidingsniveau wordt geen effect gevonden en voor arbeidsmarktresultaten zijn onduidelijk. De onderzoekers concluderen dat Sesamstraat slaagt in haar taakstelling: kinderen die kijken zijn daardoor beter voorbereid op school.

Beperkingen

Er zit veel evidente beperkingen aan het onderzoek die de onderzoekers niet noemen. Allereerst gaat het bijna volledig voorbij aan het uitvoerige onderzoek dat er al is gedaan naar Sesamstraat (het Web of Science geeft 176 artikelen op ‘Sesame Street’ als onderwerp). Daarnaast is het niet duidelijk of het effect Sesamstraat betreft, of toegang publieke omroep PBS in het algemeen. Bovendien wordt er niets gezegd over hoe dit effect dan mogelijk zou werken. Tot slot gaat de studie alleen over Sesamstraat toen. Over effecten nu, bijna een halve eeuw (!) later, kan niets gezegd worden. Het feit dat het paper nog niet gepubliceerd is, is hier veelzeggend.

Het paper stelt dat Sesamstraat eigenlijk de eerste MOOC was omdat het gaat om het elektronisch uitzenden van educatief materiaal. Dit doet zowel Sesamstraat als MOOCs tekort, maar geeft natuurlijk wel een prettig ‘haakje’ voor nieuwsmedia. Het is bijzonder jammer dat geen van de redacteuren die erover schreef de moeite heeft genomen het daadwerkelijke onderzoek te lezen.

Replicatieonderzoek (het opnieuw uitvoeren van een onderzoek met andere proefpersonen) is een tijdje niet zo populair geweest, omdat het vaak minder interessant leek voor wetenschappelijke journals om te publiceren. Maar gelukkig is het tij aan het keren, in die mate zelfs dat er soms al klachten zijn over een ‘replicatiepolitie‘ (een 1 april-bericht waarvan de bronnen spijtig genoeg geen grap zijn).

Nochtans: als een studie opnieuw gedaan wordt en de oorspronkelijke inzichten worden bevestigd, dan is dat toch fijn? Crowdsourcing leverde het project Reproducibility Project: Psychology op waarin honderd psychologische onderzoeken opnieuw werden uitgevoerd. Ogenschijnlijk is het resultaat niet zo hoopgevend: slechts 39 onderzoeken werden positief bevestigd.

Dit geeft echter slechts een oppervlakkig beeld. De 61 andere studies waren niet per definitie fout, slechts 15 werden echt helemaal tegengesproken. 24 kwamen nog steeds behoorlijk dicht in de buurt, maar konden op basis van de vooropgestelde criteria niet als een ‘ja’ gemarkeerd worden.

Lees meer op het nieuwsblog van Nature waar dit onderzoek momenteel under review is. 

Dit stuk verscheen eerder op Pedro’s blog X, Y of Einstein.

Politieke socialisatie betekent dat een individu leert hoe hij/zij een burger wordt een politiek systeem. Hoewel dit een proces is dat een leven lang duurt, vindt het grootste gedeelte plaats in de kinder- en jeugdperiode. Het gaat daarbij niet alleen om stemgedrag. In de huidige cultuur kun je immers op meerdere manieren politiek betrokken zijn: door te stemmen met je portemonnee, door petities te ondertekenen of door te demonstreren. Uit onderzoek weten we dat blootstelling aan politiek nieuws leidt tot hogere politieke betrokkenheid: je moet immers weten dat er iets is waar je tegen in beweging wilt komen. In een recente studie [abstract] onderzoeken Judith Moeller en Claes de Vreese van de Universiteit van Amsterdam de rol van media bij de politieke socialisatie van jongeren.

Ze maakten gebruik van de European Social Survey en ondervroegen 6935 jongeren tussen de 14 en 20 uit 21 Europese landen. Zij werden vergeleken met een volwassenen (21+).

Effect van leeftijd
De onderzoekers veronderstelden dat blootstelling aan nieuwsmedia leidt tot een hogere maatschappelijke participatie [civic engagement]. Dit bleek wel zo te zijn voor volwassenen, maar niet op te gaan voor de jongeren.

De onderzoekers veronderstelden ook dat blootstelling aan entertainmentmedia zou leiden tot lager politiek vertrouwen en lagere betrokkenheid. Dit bleek inderdaad zo te zijn: jongeren die veel entertainmentnieuws tot zich nemen, hebben minder politiek vertrouwen, tekenen minder vaak een petitie en doen minder aan ‘consumentenpolitiek’. Deze verbanden zijn echter heel erg klein. Bovendien is er een interactie-effect van leeftijd: hoe ouder je bent, hoe sterker het verband is tussen entertainmentmedia en gebrek aan politiek vertrouwen.

Tot slot dachten de onderzoekers dat jongeren die opgroeien in een land met een lage kwaliteit democratie meer politiek actief zouden zijn. Dit bleek omgekeerd te zijn: het zijn stabiele democratieën waarin de meeste jongeren politiek actief zijn.

Puzzel
Moeller en De Vreese zijn enigszins verbaasd over hun resultaten. Adolescenten gebruiken de meeste media en daarom dachten zij dat de effecten van media groot zouden zijn op deze leeftijd. Het tegenovergestelde blijkt waar. Ze dragen twee mogelijke verklaringen aan. Het kan zijn dat mediaeffecten cumulatief werken en dus met leeftijd opstapelen. Het zou ook kunnen dat media op latere leeftijd belangrijker worden omdat er in het leven van jongeren nog veel andere invloeden zijn, zoals ouders en school.

Ze wijzen er daarbij ook nog op dat het belangrijk is een onderscheid te maken tussen generatie- of leeftijdseffecten. Bij een generatie gaat het om een specifieke groep die opgroeit onder bepaalde gedeelde omstandigheden (zoals jongeren in Duitsland die opgroeiden na de val van de muur). Bij leeftijdscohort gaat het om het effect van jong zijn, ongeacht de situatie waarin men opgroeit.

Leeswijzer: low-medium-high verwijst naar de mate van blootstelling aan type media. Jongeren die weinig entertainmentnieuws nuttigen, zijn dus eerder geneigd om een petitie te tekenen dan jongeren die veel entertainmentnieuws tot zich nemen.

Het derdepersoonseffect (ook wel derdepersoonsperceptie) is een bekend concept in de communicatiewetenschap. Het houdt in dat mensen denken dat media een slecht effect hebben, maar op anderen en niet op henzelf. Anders gezegd: gewelddadige videospelletjes maken anderen agressief, maar mij niet. In een recente studie [abstract] wordt onderzocht waar dit beeld vandaan komt. De auteurs onderzochten het effect van twee manieren van ‘bewijs’ leveren in de media: door met onderzoek en statistiek te komen, of door een anekdotisch verhaal te vertellen.

De respondenten (257 in totaal, allemaal bachelorstudenten media) vulden eerst een vragenlijst in over hun gebruik van en opvattingen over games. Vervolgens werden ze verdeeld over vier groepen (condities) en kregen ze één krantenbericht voorgelegd. Er waren dus vier varianten van dat bericht. Twee varianten stelden dat games onschadelijk waren en twee dat games schadelijk waren. Daarnaast was er verschil in de manier van bewijs leveren: een met statistiek (1000 respondenten), de ander met een verhaal over ene Bill Jones, “a college senior who spends 50 hours a week playing games, and his experiences were examples of such intensive play either with or without harmful outcomes”. Vervolgens vulden de respondenten een vragenlijst in over game-effecten.

Uit de analyse blijkt dat de respondenten die het schadelijke verhaal met de anekdote lazen, meer vinden dat anderen gevoelig zijn voor deze effecten. Oftewel: als er in de media een portret geschetst wordt van één persoon die schade ondervindt van gamen, denken de lezers meer dat gamen slecht is voor anderen. Deze resultaten zijn opmerkelijk: van dat bericht met n=1 gaat dus grotere overtuigingskracht uit dan van een bericht waarin staat dat onderzoek onder 1000 gamers laat zien dat gamen slecht is (nb: de respondenten waren studenten). De auteurs koppelen dit direct aan de aard van het derdepersoonseffect: in het voorbeeld met de ene gamer is er sprake van één duidelijk herkenbare ander. Het sluit dus direct aan op dat idee dat effecten groter zijn voor iemand anders.

Mensen met uitgesproken meningen doen het goed in de media. Als zij dan nog controverse en simpele oneliners kunnen formuleren, goed retorisch onderbouwd zijn en inhoudelijk kunnen polariseren zijn hoge kijk-, luister- en klikcijfers gegarandeerd. In tegenstelling tot het politieke domein, waar dit soort mediagenialiteit bijna noodzakelijk is, zijn wetenschappers die op dit spoor varen niet al sinds Diederik Stapel verdacht. Want anders dan in de politiek is  wetenschap zonder nuance onmogelijk. Dit geldt voornamelijk voor de sociale en geesteswetenschappen waar ‘bewijzen’ voor bepaalde verbanden nooit eenduidig zijn.

Een recent voorbeeld is het vier pagina lange interview in de Volkskrant van 17 Maart van de bekende psycholoog Bart Bakker over het (tamelijk oude) onderwerp seksverslaving. Het interessante aan dit interview was niet de seksverslaving aan zich, maar de reden voor het ontstaan van deze aandoening waar je volgens Bakker “niet veel meer dan een mavo-diploma [hoeft te hebben] om het te begrijpen”. Schuld aan deze aandoening zijn natuurlijk de huidige media, die het mogelijk en makkelijk maken om bloot te worden gesteld aan porno. “Het is echt heel simpel”, volgens Bakker.

Ook al doet het beschuldigen van de media het altijd goed, vooral als het gaat om de negatieve effecten van media, zit het helaas niet zo simpel in elkaar als Bram Bakker ons wijs wil maken. Tot nu toe is er nog geen enkel causaal verband  aangetoond tussen het kijken naar porno en seksverslaving. Wetenschappelijk gezien is deze uitspraak dus onhoudbaar. Dit geldt overigens ook voor veel andere aandoeningen, waar de media verantwoordelijk voor worden gehouden, zoals roken en overmatig alcoholconsumptie.  Ze baseren grotendeels op beweringen die nooit wetenschappelijk onderbouwd zijn. Voor wie zich wil verdiepen in deze complexe materie van media-effecten is het (her- ) lezen van Vincent Crone’s proefschrift hierover [PDF] sterkstens aan te raden.

CC foto: Blakespot

Onderzoeken naar de negatieve effecten van Facebook schieten de afgelopen jaren als paddenstoelen uit de grond. Dit is aan zich niet opmerkelijk. Zo staan en stonden nieuwe media altijd onder verdacht schadelijk te zijn voor de gezondheid van vooral jongeren en vrouwen. Opvallend aan de onderzoeken naar Facebook is de schijnbaar obsessieve aandacht voor alcohol en dan met name in Amerikaanse onderzoeken. Al in 2009, toen Facebook pas vijf jaar oud was, werd er een onderzoek gehouden naar de manier waarop Facebook omging met alcoholreclames met als resultaat een nogal streng videoclipje waarin nog eens werd uitgelegd waar overmatige alcoholconsumptie toe kan leiden:

Ook in een recent onderzoek [abstract] naar collegestudenten en hun afbeeldingen met alcoholreferenties op hun profielen schemert een ondefinieerbare angst voor dit sociale medium door. Ofschoon in het onderzoek alleen maar geteld werd hoeveel foto’s met alcoholreferenties collegestudenten op hun ‘walls’ plaatsen worden er in de conclusie nogal harde uitspraken gedaan over de effecten van deze foto’s. Zo wordt er verwezen naar de “Super Peer Theorie” waarna media de invloed van ‘peers’  kunnen versterken. De foto’s met alcoholreferenties zouden dus andere studenten tot alcoholconsumptie kunnen verleiden. Ziehier de schadelijke invloed van Facebook.

Dat overmatige alcoholconsumptie schadelijk is staat buiten discussie. Maar dit soort uitspraken baseren op hoogst speculatieve aannames, waarbij achteraf theorieën aangehaald worden om de cijfers te verklaren en houden derhalve weinig rekening met de sociale realiteit die veel complexer in elkaar zit dan dit soort onderzoeken doen vermoeden.

CC Foto: MrVJTod

Wat gebeurt er bij heteroseksuele jongeren die naar homo-erotische beelden kijken? Dit is de hoofdvraag van een recent verschenen onderzoek [abstract], waarin gekeken werd of het kijken naar deze erotische beelden negatieve stereotypen over homoseksuelen versterkt of juist verzwakt. Wat bleek is dat de mannelijke participanten (allemaal studenten overigens) die aangaven onzeker te zijn over hun seksualiteit na het kijken een positievere attitude hadden ten opzichte van homoseksuelen, terwijl participanten met een hoge seksuele tevredenheid juist een negatievere attitude vertonden. Bij de vrouwelijke respondenten vond helemaal geen attitudeverandering plaats.

Dergelijk onderzoek is exemplarisch voor onderzoek in de sociale psychologie, een discipline die het moeilijk heeft deze dagen. Met de onthulling van de frauduleuze praktijken van Diederik Stapel heeft het vakgebied een deuk opgelopen en zit het nu met een geloofwaardigheidsprobleem. Volgens een artikel van Margreet Fogteloo en Casper Thomas in De Groene Amsterdammer [toegang vereist] is er veel mis met deze wetenschap. Naast het feit dat sociaalpsychologische onderzoeken vooral in laboratoria plaatsvinden en daarom alleen maar in zeer beperkte mate vertaald kunnen worden naar de werkelijkheid, worden er vervolgens voornamelijk studenten voor deze onderzoeken gebruikt, wat de betrouwbaarheid van deze onderzoeken wederom niet ten goede komt. Het grootste probleem is dat deze tak van wetenschap veel te weinig theoretische verankering heeft en dit vaak probeert te camoufleren door de focus te leggen op de methode en het aantonen van significante verbanden tussen variabelen die gebaseerd zijn op ondoorzichtige data.

Ook het onderzoek naar het effect van homo-erotische beelden levert geen verklaringen voor de gevonden resultaten, vermoedelijk uit gebrek aan theorie. Tenenkrommend is de aanname dat het kortstondig bekijken van beelden langdurig effect zou hebben op attitudes van mensen. Een andere punt van ergernis is de manier waarop er in het onderzoek gender alleen wordt besproken in dichotome termen, een mankement dat dit onderzoek overigens deelt met veel kwantitatief onderzoek. Tenslotte houdt deze benadering geen rekening met de belevingswereld van zowel hetero’s als homo’s en wordt homoseksualiteit in dit onderzoek gereduceerd tot homo-erotische handelingen. Dit soort onderzoeken dragen nu juist niet bij om de geloofwaardigheid en het aanzien van dit vakgebied te verhogen.

CC Foto: See-Ming Lee