A meno di un anno dalla sua nascita, “CapisciAMe” – applicazione progettata dall’ingegnere Davide Mulfari, Responsabile Unità di staff “Assistive Technology for Special Needs” dell’Università di Messina –, è stata selezionata da MAKEtoCARE 2020.
MAKEtoCARE è un contest promosso da Sanofi Genzyme, speciality care di Sanofi, divisione specializzata nelle malattie rare, sclerosi multipla, oncologia e immunologia.
La competizione nasce dalla volontà di far emergere e sostenere iniziative e progetti nati dall’ingegno e dalla passione della comunità Maker, che tramite la propria creatività e il proprio saper fare innovazione, è in grado di offrire una migliore qualità di vita ai pazienti, contribuendo a cambiare concretamente il loro presente e progettando, insieme a loro, un futuro migliore.
Davide Mulfari e il suo progetto per chi soffre di disabilità linguistica
In tal senso, l’applicazione realizzata da Davide Mulfari aderisce perfettamente ai requisiti di MAKEtoCARE. “CapisciAMe”, infatti, è un progetto di riconoscimento vocale che consente di semplificare i rapporti fra l’Internet delle cose e le persone, favorendo le possibilità comunicative di coloro i quali sono affetti da disabilità linguistica.
Le attuali tecnologie di riconoscimento vocale basate su sistemi cloud disponibili nelle piattaforme di virtual assistants, come Google Assistant o Amazon Alexa, consentono di usare la propria voce per controllare sistemi domotici e\o accedere ai dispositivi informatici.
Purtroppo, questa forma di interazione si rivela inaccessibile per le persone con disartria, un disturbo neuromotorio del linguaggio ma spesso associato a tetraparesi, SLA, esiti di ictus ed altre tipologie di disturbi degenerativi, che provocano gravi impedimenti fisici a chi ne è affetto e che troverebbe grande giovamento da questo utilizzo della voce.
La disartria è caratterizzata da una grande variabilità del linguaggio (intra ed inter-utenti) e ciò, insieme alla scarsissima disponibilità di contributi vocali di persone con disartria, provoca un bassissimo livello di comprensione da parte dei virtual assistants. Di conseguenza, gli utenti con disartria e disabilità motorie, che troverebbero utilissimo sfruttare i servizi degli assistenti virtuali, non possono usufruirne.
Come funziona l’app di Davide Mulfari
Il progetto “CapisciAMe” di Davide Mulfari usa il machine learning supervisionato per realizzare soluzioni altamente personalizzate di riconoscimento vocale on edge destinati ad utenti con disartria. Queste tecniche di speaker-dependent permettono di riconoscere un set limitato di parole quando sono pronunciate da chi ha contribuito, con la sua voce, al training del sistema di intelligenza artificiale.
Per rendere più agevole la raccolta delle voci, è stata sviluppata una app mobile, denominata “CapisciAMe”, disponibile gratuitamente sul Google Play Store. Con essa le persone con disartria usano uno smartphone per registrare i propri campioni vocali, in modo guidato e il più possibile non faticoso. Questi serviranno al training di reti neurali specializzate sulle quali è basato poi il riconoscimento. Attualmente le lingue supportate sono l’italiano e l’inglese, ma potenzialmente è estendibile ad altre lingue.
Il modello vocale è stato integrato con OpenHab, un framework open source per smart home in esecuzione su sistemi Raspberry, al fine di utilizzare le parole riconosciute per controllare elementi di smart home. Simili risultati sono stati ottenuti attraverso la sua integrazione con Google Assistant. Attualmente il sistema di riconoscimento vocale in tempo reale on edge è in fase di ulteriore implementazione su piattaforme embedded nelle quali si sperimenta la voce per interagire con video games e semplici robot.
Adesso per poter entrare l’app di Davide Mulfari nella fase finale del contest sarà necessario votare “CapisciAMe” a questo link.
(1443)
