Science News · Wetenschap

AI-agenten zijn nog niet klaar om mensen te vervangen in gedragsonderzoek

Een recente studie suggereert dat AI digitale tweelingen, ontworpen om individueel gedrag na te bootsen voor sociaalwetenschappelijk onderzoek, nog niet nauwkeurig genoeg zijn om menselijke proefpersonen te vervangen. Hoewel ze enige belofte tonen, vervormen deze AI-surrogaten vaak de meningen en presteren ze slechts iets beter dan chatbots met basale demografische informatie.

Het vervangen van menselijke proefpersonen door AI-surrogaten, of digitale tweelingen, is een idee dat sommige sociaal wetenschappers overwegen vanwege de kosten, vermoeidheid en mogelijke stress die gepaard gaan met menselijke deelnemers. Een studie gepubliceerd in Science Advances geeft echter aan dat deze AI-tweelingen de meningen van hun surrogaat kunnen vervormen, wat een "spiegelpaleis"-effect creëert.

Onderzoekers, waaronder Olivier Toubia van Columbia Business School, ontwikkelden AI-tweelingen door uitgebreide persoonlijke gegevens van meer dan 2,000 individuen in een groot taalmodel te voeren. Deze tweelingen werden vervolgens getest in 19 sociaalwetenschappelijke experimenten, waarbij reacties op verschillende scenario's werden geëvalueerd, waaronder politieke donaties en algoritmische aanwervingen. Hoewel de tweelingen beter presteerden dan willekeurig, hadden ze ongeveer een kwart van de tijd onjuiste antwoorden, vergelijkbaar met chatbots die alleen demografische gegevens ontvingen.

Ondanks hun algemene onnauwkeurigheden, legden de digitale tweelingen meer variatie in reacties vast in vergelijking met LLM's met beperkte informatie. Ze konden bijvoorbeeld onderscheid maken tussen de zelf gerapporteerde niveaus van zelfbeheersing van individuen, terwijl eenvoudigere modellen deze verschillen mogelijk zouden middelen.

De studie schrijft de beperkingen van de AI-tweelingen toe aan verschillende factoren: hun reacties waren doorgaans homogener en neigden naar demografische stereotypen. Hun nauwkeurigheid correleerde ook met de welvaart en het opleidingsniveau van de deelnemers. Bovendien vertoonden de tweelingen vooroordelen, zoals verhoogd vertrouwen en verminderde zorg over technologische bedreigingen, en leken ze rationeler dan hun menselijke tegenhangers.

Hadi Hosseini, een AI-onderzoeker aan Penn State University, merkte een vergelijkbare neiging op bij LLM's om menselijk oordeel te vervormen naar overmatige rationaliteit. Hij suggereert dat dynamischere trainingsmethoden, zoals AI die individuen gedurende hun dag volgt of regelmatige gesprekken voert, de kwaliteit van de dataset kunnen verbeteren.

Toubia erkent dat de geteste digitale tweelingen beperkingen hebben, maar dat ze nog steeds nuttig kunnen zijn in specifieke onderzoekssituaties. Hun onvermoeibare aard maakt bijvoorbeeld gedetailleerde antwoorden mogelijk waar vermoeide mensen mogelijk korte antwoorden geven. Het vooraf testen van experimenten met digitale tweelingen kan ook helpen bij het verfijnen van studieontwerpen voordat menselijke deelnemers worden ingeschakeld. Toubia benadrukt echter de noodzaak van realistische verwachtingen met betrekking tot de voorspellende kracht van synthetische gegevens bij het vastleggen van het volledige spectrum van menselijk gedrag.

AI-samenvatting op basis van de bron.