Een nieuwe handschoen met bewegingssensoren kan via een app op de telefoon gebarentaal omzetten in gesproken taal.
De sensoren zitten over de lengte van de vijf vingers van de handschoen en registreren de bewegingen waarmee mensen die doof zijn of een spraakstoornis hebben letters en cijfers maken.
De bewegingen worden omgezet in elektrische signalen, die via een zender om de pols naar de telefoon worden gestuurd. De app vertaalt ze in spraak.
Hulp voor 500.000 mensen
De handschoen is ontwikkeld door onderzoekers van de universiteit van Californië en kan op dit moment alleen Amerikaanse gebarentaal vertalen. Alleen al in de VS is gebarentaal voor ruim 500.000 mensen de primaire manier om te communiceren.
Een handschoen met bewegingssensoren vertaalt via een app gebarentaal in spraak. Zo herkent hij het gebaar voor ‘I love you’. (Jun Lab/UCLA).
De vertaalsoftware is ontwikkeld met behulp van machine learning, waarbij een algoritme zichzelf op basis van ervaring verbetert. De onderzoekers testten de software bij vier dove mensen, die een groot aantal tekens 15 keer herhaalden. Het bleek dat de handschoen en de software 600 tekens konden herkennen en vertalen.
Naast letters en cijfers kan de handschoen ook woorden en gangbare uitspraken vertalen. Zo wordt een gebaar dat de letters I, L en Y combineert, vertaald in ‘I love you’.
