Seth Stephens-Davidowitz is econoom en schrijver, bekend van het boek Everybody Lies. Daarin kijkt hij naar zoekopdrachten in plaats van naar survey-antwoorden, om te betogen dat mensen eerlijker zijn tegen Google dan tegen onderzoekers. Om zijn nieuwe boek Don’t Trust Your Gut: Using Data to Get What You Really Want in Life te promoten verscheen er een artikel van hem op Wired over dating en data science, met de catchy titel ‘People Are Dating All Wrong, According to Data Science’. Klopt dat?

Datagedreven
Stephens-Davidowitz’s stijl is aanstekelijk en gepersonaliseerd. In plaats van te beschrijven dat ene Samantha Joel 43 bestaande datasets combineerde en daarop een kunstmatige intelligentie losliet, schrijft hij over “a young, energetic, uber-curious, and brilliant scientist, Samantha Joel” die “recruited a large number of scientists”. Dat leidde dan tot een indrukwekkende dataset.

“Joel and her team didn’t just have more data than everybody else in the field. They had better statistical methods. Joel and some of the other researchers had mastered machine learning, a subset of artificial intelligence that allows contemporary scholars to detect subtle patterns in large mounds of data. One might call Joel’s project the AI Marriage, as it was among the first studies to utilize these advanced techniques to try to predict relationship happiness.”

Het is hyperbolisch taalgebruik dat de hype rond big data en data science (alsof niet alle wetenschap datagedreven is) aanwakkert: het idee is dat als je dataset maar groot genoeg is, je alle antwoorden kunt vinden. Dat blijkt niet zomaar zo te zijn, ook niet in het geval de zoektocht naar een romantische partner.

Opzet studie
Het is veelzeggend dat Stephens-Davidowitz nauwelijks iets vertelt over de onderzoeksvragen en de gehanteerde methode. Nu is het alsof de ‘AI Marriage’ magisch analyses uitvoerde, in plaats van door mensen werd gevoed met specifieke data. Uiteraard staat deze informatie wel in het artikel over de studie.

Er werden 43 datasets gecombineerd, met daarin in totaal 11.196 stellen die meermaals ondervraagd zijn, variërend van twee tot elf keer, over een tijdsperiode variërend van twee tot 48 maanden. Deze data zeggen dus sowieso niets over relaties langer dan vier jaar. De onderzoekers wilden weten hoeveel van de variantie in relatiekwaliteit verklaard kan worden en welke psychologische maten het beste zijn in relatiekwaliteit voorspellen. De mate van verklaarde variantie verwijst naar de grootte van de voorspellende waarde van een variabele.

Resultaten volgens Stephens-Davidowitz
In zijn boek en op Wired schrijft Stephens-Davidowitz dat big data ons niet kan helpen bij het vinden van een romantische partner. Volgens hem is er geen set van eigenschappen die geluk in de liefde garandeert en geen AI die kan voorspellen welke twee mensen met elkaar geluk gaan vinden. De factoren die wél voorspellende kracht hebben gaan over de respondent zelf, dus degene die de vragenlijst ingevuld had. Als iemand tevreden over zijn leven was voor de relatie begon, vrolijk ingesteld en niet depressief was, dan was de kans groter op een succesvolle relatie.

In de rest van het stuk reflecteert Stephens-Davidowitz op wat het betekent dat de resultaten van zo’n omvattend onderzoek exact hetzelfde is als de common sense-wijsheid “Nobody can make you happy until you’re happy with yourself first”. Hij blijft – uiteraard – enthousiast over een ‘data driven life’ en legt zich er maar bij neer:

“we data geeks must also accept [sic] when the data confirms conventional wisdom or clichéd advice. We must be willing to go wherever the data takes us, even if that is to findings like those featured on Daily Inspirational Quotes.”

Zijn uiteindelijke conclusie is dat we het verkeerde najagen op de datemarkt: lange mannen met sexy banen gaan ons niet gelukkig maken. Goh.

Resultaten volgens de studie
Het is belangrijk op te merken dat het onderzoek nooit ging over lange mannen met sexy banen. Lengte van de partner komt in het gehele onderzoek niet voor, de enige variabele die over uiterlijk ging was de mate waarin iemand de partner aantrekkelijk vond. In plaats daarvan staat in het onderzoek een onderscheid centraal tussen individuele variabelen (over de respondent zelf) en relatie-specifieke variabelen (over de partner en over de relatie), en gaat de conclusie over het verschil daartussen. Ook daarover rapporteert Stephens-Davidowitz verkeerd.

Relatie-variabelen, dus de manier waarop een respondent naar de relatie en de partner kijkt, verklaren 45 procent van de variantie aan het begin van het onderzoek en tot 18 procent van de variantie in relatiekwaliteit aan het einde van de studie. Individuele variabelen verklaren minder variantie, maar nog steeds 21 procent aan het begin en 12 aan het eind. Deze uitkomst sluit aan bij bestaande meta-analyses, oftewel: dit wisten we al.

Implicaties
Er is dus een grote mismatch tussen wat Stephens-Davidowitz beweert op basis van dit onderzoek en het onderzoek zelf. Het klinkt natuurlijk leuk: de belofte dat we beter zouden kunnen daten als we meer datagedreven zouden zijn. ‘Big data’ suggereert dat we voorbij menselijke fouten kunnen gaan – de computer weet het beter. Maar al aan het begin gaan hier dingen mis.

Wat zou goed daten inhouden? Dat we direct een partner voor het leven vinden? Dat zou betekenen dat mensen niet daten voor de seks en het impliceert dat een levenslange partner ideaaltypisch is boven bijvoorbeeld meerdere langdurige partners.

Een tweede fout is het idee dat partnerkeuze en/of relatiesucces überhaupt te verklaren is met kenbare variabelen. Mensen vinden het heel moeilijk te omschrijven waarom ze op iemand vallen, het meest in de buurt komt vaak ‘die persoon is fijn om bij te zijn’. Als onafhankelijke (voorspellende) variabele heb je daar niets aan als onderzoek want de samenhang met de afhankelijke variabele is veel te groot. De beste voorspeller voor geluk in de liefde is dan of je graag bij iemand bent. Daar verkoop je geen boeken mee.