Je voelt je niet lekker, maar in plaats van een afspraak te maken met de dokter, pak je je telefoon en zeg je: ‘Hallo Siri, mankeer ik iets?’ In een oogwenk vertelt de persoonlijke assistent je of je COVID-19 hebt, depressief bent of lijdt aan parkinson.
Je stem verraadt wat je mankeert, en artsen maken daar al jaren gebruik van.
Een van de criteria voor het diagnosticeren van een bipolaire stoornis is bijvoorbeeld veel en snel praten, wat patiënten in de manische fase doen. En een schorre of hese stem is duidelijk een teken van keelpijn of verkoudheid.
Maar de stem kent veel meer facetten die veranderen bij allerlei ziekten, en die veranderingen zijn vaak zo klein dat artsen het verschil niet kunnen horen.
Daarom krijgen ze hulp van geavanceerde algoritmen die kunstmatige intelligentie gebruiken om de stem van de patiënt te analyseren en te luisteren naar afwijkende patronen in stemvoering, toonhoogte, spraaksnelheid en woordkeuze.
Mobiel redt hartpatiënten
Patiënt beantwoordt vragen
De patiënt activeert de app en beantwoordt een aantal willekeurige vragen. De app neemt het antwoord op en stopt na 20 seconden – ongeacht wat de persoon heeft gezegd.
Stemdetails vormen een beeld
De app zoekt naar 223 karakteristieke details in het stemgebruik, zoals variaties in toonhoogte of volume in combinatie met een trillende of bibberige stem. De details worden in een matrix met kleurcodes geplaatst.
App stelt de diagnose
Kunstmatige intelligentie vergelijkt het beeld van de stem van de patiënt met duizenden stembeelden van andere patiënten met bekende diagnoses en ziekteverlopen. De meest waarschijnlijke diagnose voor de patiënt wordt bepaald.
Door stempatronen van duizenden gezonde en zieke mensen te vergelijken, kunnen de algoritmen de verschillen leren herkennen en precies de details in de stem aanwijzen waaruit blijkt of iemand lijdt aan een hartkwaal, migraine heeft of het risico loopt zelfmoord te plegen.
Kunstmatige intelligentie luistert mee
Al in 2017 vroeg Amazon octrooi aan op een technologie waarmee zijn persoonlijke assistent, Alexa, op basis van stemanalyse kan bepalen of iemand keelpijn heeft.
In het octrooi staat dat Amazon in dat geval de gebruiker advertenties voor verkoudheidsmedicijnen kan laten zien of kan aanbieden om het medicijn binnen een uur na aanschaf te leveren. Maar gelukkig hangt het onderzoek naar stem en gezondheid niet alleen af van commerciële belangen.
Als mensen 112 bellen, zijn ze vaak in paniek en in de war, dus de medewerker van de alarmcentrale kan vaak moeilijk begrijpen waar de oproep over gaat en hoe ernstig de situatie werkelijk is. Daarom heeft het Deense startupbedrijf Corti een algoritme ontwikkeld dat meeluistert bij noodoproepen.
De onderzoekers wisten met 99 procent zekerheid vast te stellen of iemand parkinson had of niet, gewoon door te luisteren wanneer hij of zij ‘ahhh’ zei.
De kunstmatige intelligentie van het alarmsysteem zoekt realtime naar patronen in woorden en zinsdelen die duiden op een hartstilstand en informeert de hulpdiensten als daarvan sprake is.
Samen kunnen mens en machine 95 procent van de oproepen met betrekking tot een hartstilstand identificeren, terwijl dit maar 73 procent is zonder de hulp van kunstmatige intelligentie.
Lettergreep verraadt parkinson
Terwijl Corti’s systeem om te luisteren naar hartaanvallen is gebaseerd op de woordkeuze en dus de gemoedstoestand van de persoon weerspiegelt, luisteren andere systemen naar de stem zelf en in principe niet naar wat er wordt gezegd.
Veel ziekten hebben namelijk invloed op de manier waarop woorden worden uitgesproken. Bij een verkoudheid zijn je stembanden aangetast en klink je hees, bij te koude lippen ga je lispelen. En parkinson heeft invloed op vele aspecten van spraak.
Parkinsonpatiënten bewegen krachtelozer, langzamer en schokkeriger, en dat geldt ook voor hun tong. De spraak wordt trager en zachter, de stem begint te trillen en de patiënt spreekt bepaalde lettergrepen op een andere manier uit.
Laboratoriumanalyses, bloedonderzoeken en hersenscans kunnen geen betrouwbare diagnose van parkinson stellen, en daarom bekijken onderzoekers of stemanalyses soelaas bieden.
Al in 2012 namen onderzoekers van de universiteit van Oxford in Groot-Brittannië de stem van 10 gezonde mensen en 33 parkinsonpatiënten op die ‘ahhh’ zeiden.
Met behulp van computersoftware voor stemanalyse identificeerden de onderzoekers wel 132 details in de manier waarop die simpele lettergreep werd uitgesproken. Toen ze de 132 details in de stem van alle 43 proefpersonen vergeleken, konden ze 10 fonetische details in de lettergreep identificeren waarbij gezonde mensen en parkinsonpatiënten van elkaar verschilden.
Het verschil was zo groot dat de onderzoekers met 99 procent zekerheid konden bepalen of iemand parkinson had of niet, gewoon door te luisteren naar zijn of haar ‘ahhh’.
Trage spraak duidt op alzheimer
Alzheimer is ook een hersenziekte die aan de hand van de stem te ontdekken valt. Hierbij hebben patiënten moeite om de juiste woorden te vinden, dus ze laten meer pauzes vallen. Verder gebruiken ze vaak voornaamwoorden als ‘hij’ in plaats van iemands naam, en algemene woorden als ‘huis‘ in plaats van specifieke termen als ‘twee-onder-een-kapwoning’ of ‘rijtjeshuis’.
Onderzoekers van de universiteit van Toronto in Canada voerden in 2016 een proef uit met 167 alzheimerpatiënten en 97 gezonde controlepersonen. De proefpersonen moesten in 45 seconden in eigen woorden zo veel mogelijk details beschrijven van een tekening waarop je kinderen koekjes uit de kast ziet pikken terwijl moeder de vaat doet.
De onderzoekers stelden 400 parameters in voor de beschrijvingen van de proefpersonen. Bijvoorbeeld of ze het woord ‘moeder’ zeiden, hoeveel werkwoorden ze gebruikten, hoe lang de woorden gemiddeld waren, hoe snel de lettergrepen na elkaar werden uitgesproken, enzovoort.
Grafieken bepalen de ziekte
Gezonde stem is levendiger
Qua toon en woordkeuze praten gezonde mensen levendiger, spontaner en in nauwkeurigere formuleringen dan zieke mensen. Die kennis kan worden gebruikt om de stem van gezonde mensen te vergelijken met die van een patiënt bij wie de diagnose is gesteld of die ziek is geworden.
Depressieve stem klinkt monotoon
Depressieve mensen spreken doorgaans vrij monotoon, dat wil zeggen dat ze minder variatie kennen in het aantal trillingen, ook wel de frequentie genoemd. De kleurcodes drukken het volume van de stem uit. Hoe donkerder en paarser de kleur, des te meer decibellen.
Vervolgens vergeleek een computer hoe gezonde en zieke mensen aan de parameters voldeden. De computer gebruikte machine learning om patronen of verbanden in de vele gegevens te zoeken waarin de twee groepen van elkaar verschilden.
Toen het leerproces erop zat, kon de kunstmatige intelligentie met 82 procent zekerheid bepalen of iemand alzheimer had of niet, gewoon door naar 35 van de 400 parameters te kijken. Sinds 2016 hebben onderzoekers hun algoritmen zodanig verbeterd, dat de kunstmatige intelligentie nu met 92 procent zekerheid de diagnose ‘alzheimer’ kan stellen.
COVID-19 toont zich in een hoest
Sinds de coronapandemie begin 2020 uitbrak is er wereldwijd niet alleen gewerkt aan de ontwikkeling van een vaccin, maar er ontstond ook een ware race om als eerste een mobiele app te ontwikkelen die COVID-19 kan diagnosticeren, gewoon door in de microfoon te spreken of te hoesten.
Onder de partijen die in de race zijn, bevindt zich een team onderzoekers van het Massachusetts Institute of Technology (MIT) in Cambridge, VS. In september 2020 publiceerden ze een systeem dat het verschil had leren kennen tussen de hoest van gezonde mensen en die van mensen met de diagnose COVID-19.
🎬 Onderzoekers ontdekken kanker met machine learning
Computers laten miljarden berekeningen los op de gegevens die wetenschappers aandragen om kankercellen te vinden en levens te redden.
Het neurale netwerk van de kunstmatige intelligentie had geluisterd naar de hoest van 4256 mensen en geoefend met het verschil tussen gezonde en zieke personen. Vervolgens werden de hoestgeluiden van 1064 nieuwe mensen in het systeem ingevoerd, en nu stelde het neurale netwerk in 97 procent van alle gevallen direct de juiste diagnose.
De hoesttest is dus bijna net zo betrouwbaar als de zogeheten PCR-test die overheden momenteel gebruiken om de bevolking op COVID-19 te testen. Maar waar de PCR-test ruim 25 euro kost om uit te voeren, de aanwezigheid van personeel vereist en twee dagen in beslag neemt, is de hoesttest gratis, kan hij thuis worden uitgevoerd en geeft hij direct uitslag.
Onderzoekers van het MIT moeten de app nog verfijnen, zodat deze nog betrouwbaarder wordt en de goedkeuring van de autoriteiten kan krijgen, maar dan kan hij gedownload worden op mobiele telefoons waar ook ter wereld.
Daarna zullen er meer apps verschijnen, waardoor je zelf voor allerlei ziekten een diagnose kunt stellen, gewoon door de persoonlijke assistent van je telefoon te vragen wat je mankeert.