‘Taal is de sleutel tot echte artificiële intelligentie'

Een tienermeisje achter haar computer. Met taaltechnologie valt automatisch te monitoren of er op sociale media sprake is van bijvoorbeeld pestgedrag, depressieve gevoelens of pedofielen die zich voordoen als jongeren. ©ANP XTRA

Rappende robots, algoritmes die online op pedofielen jagen of racisme opsporen in teksten. Waar taal en technologie elkaar kruisen, ontstaat op dit moment een van dé onderzoeksdomeinen van de toekomst. Aan de Universiteit Antwerpen wordt er volop op ingezet. Op bezoek in het taallab.

On the radio station,
thinking that it’s not a game
I’m about to bust ’em,
I hit ’em up like Lebron James

Toegegeven, echt grensverleggend zijn ze nog niet, de rhymes van rapper MC Turing. Om de concurrentie te kunnen aangaan met grote namen als Kendrick Lamar, Jay-Z, Drake of Travis Scott zal de ambitieuze MC nog wat moeten oefenen. Maar de jonge rapper heeft een geldig excuus. Hij is geen mens, maar een algoritme.

MC Turing is een project van een team wetenschappers van de Universiteit Antwerpen (Mike Kestemont en Enrique Manjavacas) en het Nederlandse Meertens Instituut (Folgert Karsdorp). Samen wilden ze achterhalen of de ‘code’ van rapmuziek te kraken valt met artificiële intelligentie. Kan een computer rapteksten schrijven die zo goed zijn dat ze niet te onderscheiden zijn van menselijke inspanningen?

De Britse wiskundige alan turing, die als inspiratie diende voor raprobot MC Turing. ©doc

Het algoritme achter MC Turing moet het antwoord op die vraag opleveren. De wetenschappers voedden hun ‘rapper’ met 66.000 teksten van Engelstalige rapnummers. Het neuraal netwerk dat achter MC Turing schuilgaat, leert met de techniek van machine learning in dat corpus van letters en woorden patronen herkennen. ‘Na een tijd heeft het algoritme door hoe een tekst wordt opgebouwd’, zegt Kestemont, letterkundige aan de Universiteit Antwerpen. ‘Als je het maar genoeg naar hiphop laat ‘luisteren’, is het na een tijd in staat om op basis van één letter te bepalen welke letter er waarschijnlijk op zal volgen. En zo rollen er na een tijdje hele teksten uit.’

Giphart

Kestemont is met MC Turing niet aan zijn proefstuk toe. Hij was eerder betrokken bij een gelijkaardig project, waarbij de Nederlandse auteur Ronald Giphart een literaire tekst schreef met de hulp van een tekstgenererend algoritme. ‘We wisten dus al dat het kon, een computer teksten laten schrijven. Maar we merkten bij dat literaire project dat het resultaat moeilijk te evalueren viel. Dit hiphopproject is eigenlijk een spin-off van dat onderzoek.’

Doe zelf de Turingtest

Benieuwd of u er zelf in slaagt menselijke rapteksten te onderscheiden van door een algoritme gegenereerde rhymes? Op de website van het hiphopproject van de Universiteit Antwerpen en het Meertens Instituut kan u uw eigen inschattingsvermogen testen. U krijgt er tien dilemma's voorgeschoteld, die u moet beoordelen op hun 'echtheid'. 

Doe hier de test. 

De aanpak voor zo'n evaluatie zit verscholen in de naam van de raprobot. De ‘Turing’ in MC Turing komt van de briljante Britse wiskundige Alan Turing, die zich midden vorige eeuw al bezighield met vraagstukken als kunstmatige intelligentie. In 1950 ontwikkelde Turing een test waarbij mensen moesten uitmaken of iets dat ze voorgeschoteld kregen was gegenereerd door een mens of door een machine. Als de evaluator de twee niet kon onderscheiden, zou je kunnen spreken van een machine die intelligent gedrag vertoont. Naar analogie daarmee ontwikkelden Kestemont & co. dus MC Turing, een algoritme waar niet alleen de genese van rapteksten mee kon worden bestudeerd, maar dat ook het potentieel bezat om het resultaat uit te testen bij een groot publiek.

Dat grote publiek vonden de wetenschappers op het Nederlandse muziekfestival Lowlands, dat eind augustus plaatsvond. Daar kregen bezoekers twee rapteksten naast elkaar voorgeschoteld, en moesten ze met een eenvoudige druk op een knop tien keer aanduiden welke van de twee een menselijke lyric was.

De resultaten moeten nog worden geanalyseerd. ‘Maar de gemiddelde score lag ergens tussen 5 en 7’, zegt Kestemont. ‘Ook koning Willem-Alexander heeft het geprobeerd, trouwens. Hij haalde 7 op 10. Een van de dingen die we merkten, is dat als de computer scheldwoorden in de tekst stak, mensen vaak verkeerd gokten. Blijkbaar denken mensen dat een computer zich niet aan een ‘bitch’ of ‘motherfucker’ zou bezondigen.’ (lacht)

Photoshop voor tekst

Zo’n vuilbekkende raprobot oogt leuk, maar er valt dus ook een pak uit te leren over hoe taal tot stand komt. En, zo onderstreept Kestemont, je kan je ook perfect indenken dat uit dit soort experimenten concrete toepassingen voortvloeien. ‘Op korte termijn zouden we een robot kunnen maken die rappers helpt betere teksten te schrijven. Niet alleen puur tekstueel, maar ook rond het moeilijk definieerbare concept van de flow. Iedereen hoort dat de raps van Dr. Dre helemaal anders klinken dan die van pakweg Eminem, maar niemand kan exact vatten wat hun typische ‘flow’ precies inhoudt. Daarom zijn we nu modellen aan het bouwen van verschillende flows, om te zien wat we daaruit kunnen leren. Op termijn kan dat ook helpen om betere teksten te schrijven.’

De Amerikaanse nieuwssite Vox deed zijn best om het concept van de 'flow' in rapmuziek uit te leggen in een korte video.

‘Maar we kunnen nog verder denken’, zegt Kestemont met een mysterieus lachje. ‘Waar ik aan denk? Wat dacht je van een photoshop voor tekst? Foto’s kan je nu volop bewerken. Je kan met de kleuren spelen, de resolutie aanpassen, je kan dingen toevoegen of weglaten, noem maar op. Zou het niet mooi zijn als je dat ook met teksten kunt doen? Een applicatie die je vraagt om bijvoorbeeld adjectieven toe te voegen. Of om een tekst in journalistieke of commerciële stijl te herschrijven. Of je maakt een plug-in waar je al je persoonlijke gegevens bij ingeeft, en die je dan helpt om stap voor stap een goede sollicitatiebrief te schrijven.’

De grijns van Kestemont wordt breder. ‘Of wacht! Als je vandaag inlogt op Netflix, krijg je op basis van je gebruiksgeschiedenis een hoop suggesties aangereikt. Wel, volgens mij komt er een dag dat je je Netflix-app zal kunnen openen, en zeggen: vandaag voor mij graag een spannende detective met een sterke vrouwelijke hoofdrol die zich in Geraardsbergen afspeelt. En dat Netflix dan in realtime voor jou zo’n film of serie genereert. Waarom zou dat niet kunnen? Beelden genereren kan vandaag al. Denk maar aan het algoritme dat duizenden foto’s van slaapkamers op Airbnb te zien kreeg, en op basis daarvan zelf afbeeldingen van slaapkamers ging produceren, die er griezelig echt uitzien. Als wij er straks in slagen het probleem van de narratologie (de wetenschap van het vertellen van verhalen, red.) te kraken, staat niets zo’n in realtime ontwikkelde serie in de weg.’

Het tot de verbeelding sprekende onderzoek van Kestemont is één manier om het raakpunt tussen taal en technologie te benaderen. Maar aan de Universiteit Antwerpen wordt het ook nog vanuit een ander oogpunt bekeken. Waar Kestemont zich richt op het genereren van tekst, is de door professor Walter Daelemans mee opgerichte vakgroep CLiPS (Computational Linguistics en Psycholinguistics) bezig met de automatische analyse van taal. Het is een domein dat momenteel erg in trek is, maar waar de UAntwerpen echt in heeft gepionierd.

Speld in hooiberg

Aan CLiPS wordt volop onderzoek gedaan naar hoe informatie kan worden gehaald, gecategoriseerd en verwerkt uit enorme stromen data. ‘Vroeger was automatisch vertalen zowat de enige commercieel interessante toepassing van taaltechnologie’, legt CLiPS-onderzoeker Guy De Pauw uit. ‘Maar na de doorbraak van sociale media begonnen zich ook andere markten te openen voor de technologie. Plots schreven heel veel mensen op heel veel manieren over heel veel onderwerpen. Dat is een schat aan informatie voor taalkundigen.’

De speld in de hooiberg vinden, dát kan deze technologie.
Guy De Pauw
zaakvoerder Textgain

Die explosie van beschikbare data ging bovendien samen met een exponentiële stijging in rekenkracht, vult collega Tom De Smedt aan. ‘Toen ik hier begon in 2007 lieten we een computer los op een hoop documenten, en kreeg je de volgende dag of volgende week pas een analyse voorgeschoteld. Vandaag gebeurt dat zo goed als in realtime. Dat maakt dat de toepassingen die worden ontwikkeld ook praktisch inzetbaar zijn.’

Die combinatie van rekenkracht en beschikbaarheid van data opende een enorm nieuw scala aan mogelijkheden voor taaltechnologie. Die variëren erg, maar De Pauw vat het mooi samen. ‘Eigenlijk is zoeken naar informatie online als zoeken naar een speld in een hooiberg. Wel, dát kan deze technologie: uit een gigantische datastroom dat ene ding vissen waar je effectief naar op zoek bent.’

Sentiment en profiel

Wat dat ding dan precies is, kan sterk uiteenlopen. Aan CLiPS wordt onderzoek gedaan op drie verschillende niveaus, zegt ‘founding father’ Daelemans. ‘Het eerste niveau draait puur om de inhoud. We bouwen ‘machine reading’-systemen die gevoed worden met tekst, en die de kennis die daarin zit eruit proberen te halen. Een voorbeeld van een project waar we nu aan werken, is het lezen en analyseren van medische teksten. Ons systeem probeert door patroonherkenning in klinische rapporten automatisch te achterhalen welke therapieën kunnen werken.’

Walter Daelemans, 'founding father' van CLiPS, de onderzoeksgroep aan de Universiteit Antwerpen waar taal en tech elkaar ontmoeten. ©Universiteit Antwerpen

Op een tweede niveau komen er ook emoties aan te pas. Daelemans: ‘Wat denken mensen over bepaalde onderwerpen? Uit hoe mensen taal gebruiken, valt heel veel af te leiden. Niet alleen wat ze van een bepaald merk vinden, maar bijvoorbeeld ook of ze radicaliseren. Racisme, haatboodschappen, terrorisme, dat zijn dingen die je in tekst kan opsporen met ‘sentiment mining’.’

Het derde niveau is proberen om meta-informatie te achterhalen op basis van tekst. ‘Profiling’, noemt Daelemans dat luik. ‘Is de auteur een man of een vrouw? Extravert of introvert? Kritisch of meegaand? Vanwaar is de persoon afkomstig? Dat kan van pas komen in hr of in marketing, maar evengoed in bijvoorbeeld een forensische context. Is iemand die schijnbaar zelfmoord heeft gepleegd ook de auteur van de bijbehorende afscheidsbrief? Door op grote schaal teksten te analyseren, kan je een hele hoop onderzoeksvragen beantwoorden over de auteurs.’

Dat derde niveau is meteen ook het moeilijkste. Maar het voordeel is dat je geen 100 procent accuraatheid moet hebben om toch nuttige toepassingen te kunnen ontwikkelen, legt Daelemans uit. Hij haalt het in 2015 gestarte interuniversitaire AMiCA-project, dat draait rond de cyberveiligheid van jongeren, aan als voorbeeld. Daarmee werd technologie ontwikkeld die automatisch bedreigende situaties voor jongeren op sociale media kan detecteren, zoals depressie, pesterijen of pedofilie.

In dat laatste geval gaat het bijvoorbeeld om het opsporen van veertigers die zich voordoen als tienermeisjes, aan de hand van hun taalgebruik. ‘Een online moderator zou in principe duizenden reacties per minuut moeten screenen en beoordelen of er iets gebeurt dat niet door de beugel kan. Maar met profilingtechnieken kan je dat terugbrengen tot een paar 100 per uur, waar dan nog een mens een oordeel over moet vellen. Dat verhoogt de efficiëntie.’

Viagra en Nigeriaanse prinsen

Of je nu wil onderzoeken wat een hele hoop mensen van een nieuwe smaak cola vindt of racisme wil opsporen, de achterliggende techniek blijft min of meer dezelfde, legt De Smedt uit. ‘Eigenlijk kan je dat vergelijken met de spamfilter in je mailbox. Als die in je mails termen als ‘viagra’, ‘loterij’ of ‘Nigeriaanse prins’ leest, dan weet zo’n systeem dat het statistisch gezien waarschijnlijk om spam gaat. Datzelfde principe kan je toepassen op eender welk probleem. Als je een algoritme voedt met genoeg kwalitatieve data, zal het daar zelf patronen in gaan herkennen. Neem het voorbeeld dat je het geslacht van een auteur wil weten. Dan voed je bijvoorbeeld 10.000 teksten geschreven door mannen en 10.000 teksten geschreven door vrouwen aan je systeem, en leert het algoritme dat vrouwen statistisch gezien meer voornaamwoorden - ik, jij, wij, mijn - gebruiken dan mannen. Dat is heel subtiel, in een gewoon gesprek zou het wellicht niet opvallen. Maar dat is dan één puzzelstukje dat de technologie kan gebruiken in haar analyse van anonieme teksten.’

Ik ben niet zo optimistisch over AI. Ik zie de ontwikkeling ervan binnenkort plafonneren.
Walter Daelemans
stichter onderzoeksgroep CLiPS

‘Het mooie is dat zo’n systeem ons na een tijdje zelf dingen bijleert’, vult De Pauw aan. ‘Toen we onderzoek deden over racisme, zagen we plots het woord ‘kansparel’ opduiken. Daar hadden we nog nooit van gehoord. Dat bleek dan enkele weken ervoor gelanceerd te zijn door de Nederlandse blog Geenstijl om een asielzoeker te omschrijven, en was volop overgenomen op sociale media. Omdat dat steeds terugkwam in een racistische context, leerde het systeem zichzelf aan dat ‘kansparel’ vaak een rode vlag is voor racisme.’

Van leger tot banken

De toepassingen die aan CLiPS werden ontwikkeld, vinden ondertussen volop hun weg naar de markt. Aanvankelijk gratis. De Smedt had een open source bibliotheek aan software die hij had geschreven online aangeboden. ‘Dat waren tools waar je zelf analyses mee kon gaan uitvoeren. En dat werd volop gebruikt, van het Amerikaanse leger tot recent nog een grootbank. Daar stond dan een ‘donate’-knop bij, waar mensen een vrije bijdrage konden doen. Daar hebben we in totaal een goede 1.000 euro aan overgehouden (lacht). Na een tijdje hadden we wel door dat we waardevolle technologie misschien niet gratis moesten weggeven.’

Omdat er bij CLiPS steeds meer aanvragen binnenliepen voor commerciële opdrachten, besloten De Smedt, De Pauw en Daelemans de ontwikkelde technologie in een bedrijf te steken. De spin-off Textgain bedient vandaag een breed scala aan klanten. Dat gaat van bedrijven die hun interne data efficiënter willen beheren, over marketeers die de reactie op hun merken gekwantificeerd willen opvolgen, tot overheden die gebruik willen maken van de technologie om maatschappelijke problemen als nepnieuws, radicalisering of racisme mee te identificeren.

Papegaaien

Er is dus in korte tijd enorm veel mogelijk geworden op het vlak van taaltechnologie en artificiële intelligentie. Toch is Daelemans niet meteen diep onder de indruk van de staat van AI vandaag de dag. ‘Het probleem van de huidige artificiële intelligentie is dat ze eigenlijk nog erg dom is. De systemen die nu worden ontwikkeld, zijn goed in één specifieke, zeer afgebakende taak. Maar zodra er ook maar in het minst wordt afgeweken van dat uitgetekende pad, zijn die systemen hulpeloos. Het zijn eigenlijk geavanceerde papegaaien die enkel kunnen reproduceren wat ze is voorgekauwd.’

Als ik nu zeg dat ik een pizza met ansjovis eet of dat ik een pizza met mijn dochter eet, dan snap je als mens dat er daar een wereld van verschil tussen zit. voor een AI-systeem is dat aartsmoeilijk.
Walter Daelemans
Mede-oprichter CLiPS

‘In mijn cursus geef ik altijd hetzelfde voorbeeld, met twee gelijkaardige zinnen: ‘Ik eet een pizza met ansjovis’ en ‘Ik eet een pizza met mijn dochter’. Dat is een wereld van verschil, maar voor zo’n computer is het aartsmoeilijk om te vatten dat we geen mensen op onze pizza leggen of niet met vissen naar de pizzeria trekken. Wij mensen snappen dat, omdat we door jarenlange interactie met de werkelijkheid in staat zijn om contexten in te schatten. We snappen dat als we een sprookje lezen, een vis op restaurant of een kannibaal die pizza met mensen eet plots wel kan. Hoe flexibel mensen zijn in die contextwissels, zo dom zijn algoritmes ermee. Hoe je die common sense in machines krijgt, dat is dé onderzoeksvraag om aan echte artificiële intelligentie te geraken. Maar door de huidige focus op big data en machine learning wordt er eigenlijk te weinig belang aan gehecht.’

Aan CLiPS proberen Daelemans en zijn collega’s wel langzaam maar zeker een mate van ‘bewustzijn’ mee te geven aan hun systemen. ‘Op termijn willen we dat AI intelligent genoeg wordt om zich aan te kunnen passen aan verschillende contexten’, zegt Daelemans. ‘Maar meer intentie meegeven aan applicaties is een bijzonder complex proces dat in heel kleine stapjes verloopt.’

Dat taal daarin een sleutelrol vervult, staat volgens Daelemans wel buiten kijf. ‘Vooruitgang in AI en vooruitgang in taalverwerking gaan hand in hand. Taal is het grote op te lossen probleem. Omdat ze zo dicht staat bij ons denken, bij de notie van bewustzijn. Maar of we dat ooit opgelost krijgen, is maar de vraag. Ik ben eerlijk gezegd niet zo optimistisch. Eigenlijk zie ik de ontwikkeling van AI binnenkort plafonneren. Alle vooruitgang die wordt geboekt gebeurt met dezelfde, eigenlijk relatief eenvoudige trucjes. Willen we verder geraken, dan moeten we erin slagen machines een redeneringsvermogen mee te geven.’

Lees verder

Advertentie
Advertentie
Advertentie
Advertentie

Gesponsorde inhoud

Partner content