Λύσεις Τεχνητής Νοημοσύνης για κωφούς και βαρήκοους από το ευρωπαϊκό έργο aiD

Οι αναδυόμενες τεχνολογίες όπως η τεχνητή νοημοσύνη, η μηχανική μάθηση και η επαυξημένη πραγματικότητα ξαναγράφουν τους κανόνες για τον τρόπο επικοινωνίας των κωφών και βαρήκοων ατόμων. Σχεδόν το 10% του πληθυσμού της ΕΕ είναι άτομα κωφά ή βαρήκοα. Αυτό σημαίνει ότι ένας στους 10 πολίτες δυσκολεύεται με απλές καθημερινές εργασίες, όπως η συμμετοχή σε μία συζήτηση, η παρακολούθηση μαθημάτων ή τηλεόρασης. Στο πλαίσιο αυτό, το έργο aiD, που χρηματοδοτήθηκε από την ΕΕ, αξιοποιεί τις δυνατότητες τέτοιων αναδυόμενων τεχνολογιών, όπως η τεχνητή νοημοσύνη (ΤΝ), η μηχανική μάθηση και η επαυξημένη πραγματικότητα για να βελτιώσει σημαντικά την επικοινωνία για την κοινότητα των ανθρώπων με προβλήματα ακοής.

«Χρησιμοποιώντας αναδυόμενες τεχνολογίες, δημιουργήσαμε μια σειρά από καινοτόμες λύσεις για να βοηθήσουμε τους κωφούς και ακούοντες ανθρώπους να επικοινωνούν μεταξύ τους», λέει ο Σωτήριος Χατζής, αναπληρωτής καθηγητής στο Τεχνολογικό Πανεπιστήμιο Κύπρου. Μία από αυτές τις λύσεις είναι μια εφαρμογή δημιουργίας νοηματικής γλώσσας κατά παραγγελία. Το εργαλείο χρησιμοποιεί τεχνητή νοημοσύνη για την παραγωγή βίντεο νοηματικής γλώσσας από μηνύματα κειμένου.

«Αν ένας κωφός μαθητής είναι στην τάξη, μπορεί απλά να ανοίξει την εφαρμογή στο κινητό του τηλέφωνο, και το προσωπικό του avatar θα του παρέχει αυτόματα τη διάλεξη της ημέρας», εξηγεί ο Σ. Χατζής. Η εφαρμογή μπορεί επίσης να χρησιμοποιηθεί για τη διευκόλυνση των συνομιλιών μεταξύ κωφών και ακουώντων ατόμων, παρέχοντας μια μετάφραση της συνομιλίας σε νοηματική γλώσσα για το κωφό άτομο και μια μετάφραση της νοηματικής γλώσσας σε μορφή κειμένου για το άτομο με ακοή.

«Αυτή η πρωτοποριακή λύση θα μπορούσε να αποδειχθεί πολύ χρήσιμη όταν ένα κωφό άτομο ταξιδεύει, για παράδειγμα, παρέχοντας μεταφράσεις στη νοηματική σχετικών ανακοινώσεων που γίνονται σε αεροδρόμιο ή σιδηροδρομικό σταθμό», προσθέτει ο Σ. Χατζής.

Η εφαρμογή τεχνητής νοημοσύνης υποβλήθηκε προς αξιολόγηση από το κορυφαίο συνέδριο European Conference on Computer Vision (ECCV).

Μια λύση μετάφρασης βίντεο στη νοηματική γλώσσα

Ένα ακόμα κύριο αποτέλεσμα του έργου, το οποίο έλαβε υποστήριξη από το πρόγραμμα Marie Skłodowska-Curie Actions, ήταν μια υπηρεσία μετάφρασης βίντεο στη νοηματική γλώσσα. Όπως στα βίντεο που διαθέτουν υπότιτλους, η καινοτόμος εφαρμογ΄ξη προσθέτει έναν avatar μεταφραστή νοηματικής γλώσσας στη γωνία της οθόνης ενός βίντεο που μεταφράζει σε πραγματικό χρόνο μία εκπομπή ή μία ταινία.

«Αυτό που κάνει αυτή την εφαρμογή τόσο σημαντική είναι το άνευ προηγουμένου επίπεδο ακρίβειάς της, με αποτύπωμα μνήμης έως και 70% μικρότερο από τις υπάρχουσες λύσεις», σημειώνει ο κ. Χατζής. Το αποτύπωμα μνήμης είναι η ποσότητα της κύριας μνήμης που χρησιμοποιεί ένα πρόγραμμα κατά την εκτέλεση.
Το έργο aiD συνέβαλε επίσης στη δημιουργία ενός νέου συνόλου δεδομένων για την ελληνική νοηματική γλώσσα που θα διαδραματίσει κρίσιμο ρόλο στην ανάπτυξη πιο ακριβών και αποτελεσματικών εργαλείων μετάφρασης της νοηματικής γλώσσας.

Αξιοποίηση της τεχνολογίας για την προώθηση μιας συμπεριληπτικής κοινωνίας

Αυτές οι τεχνολογίες, καθώς και άλλες, δοκιμάστηκαν κατά τη διάρκεια ενός εκτεταμένου πιλοτικού προγράμματος, το οποίο περιελάμβανε τη λειτουργία των λύσεων του aiD με μια νέα υπηρεσία, κατά τη διάρκεια τηλεδιάσκεψης, με μια αυτοματοποιημένη υπηρεσία αναμετάδοσης καταστάσειων έκτακτης ανάγκης και ως διαδραστικό ψηφιακό δάσκαλο.

Οι πιλοτικές εφαρμογές ήταν καθοριστικές για την επίδειξη τόσο των τεχνολογιών που χρησιμοποιήθηκαν, όσο και των πρακτικών εφαρμογών που μπορούν να προσφέρουν οι αναπτυγμένες λύσεις στην κοινότητα κωφών και βαρήκοων. «Οι πιλοτικές εφαρμογές μας δείχνουν ότι ο αντίκτυπος του aiD εκτείνεται πολύ πέρα από τις τεχνολογίες του και συμβάλλει στην προώθηση μιας πιο δίκαιης, χωρίς αποκλεισμούς, κοινωνίας όπου η βαρηκοΐα δεν αποτελεί πλέον εμπόδιο στην επικοινωνία, την εκπαίδευση ή τις ευκαιρίες απασχόλησης», καταλήγει ο Σ. Χατζής.

Αν και το έργο έχει πλέον ολοκληρωθεί, οι ερευνητές συνεχίζουν να εργάζονται για να προωθήσουν τις τεχνολογίες του έργου aiD ως εμπορικό προϊόν. Αναπτύσσουν επίσης ένα επιχειρηματικό μοντέλο που προβλέπει τη διάθεση των λύσεών του μέσω μιας συνδρομής. Τεχνικός συντονιστής του έργου, που είχε διάρκεια 4 έτη, ήταν ο Δρ Κυριάκος Τολιάς, Διευθυντής του ΕΚΤ.

Σημειώνεται ότι το Εθνικό Κέντρο Τεκμηρίωσης και Ηλεκτρονικού Περιεχομένου (ΕΚΤ) είναι Εθνικό Σημείο Επαφής για τον Ορίζοντα Ευρώπη, και συγκεκριμένα στον Πυλώνα 1 του προγράμματος για τη θεματική ομάδα Marie Skłodowska-Curie Actions (MSCA), στον Πυλώνα 2 για τις θεματικές ομάδες 1 «Υγεία» και 4 «Ψηφιακές τεχνολογίες, Βιομηχανία και Διάστημα», καθώς και για την «Αποστολή για τον Καρκίνο». Σε αυτό το πλαίσιο, το ΕΚΤ υποστηρίζει οργανισμούς, επιχειρήσεις, ακαδημαϊκούς και ερευνητικούς φορείς σε όλη τη διαδρομή: από τον εντοπισμό ευκαιριών χρηματοδότησης μέχρι τη σύνταξη και υποβολή προτάσεων, την υλοποίηση των έργων και την αξιοποίηση των ερευνητικών αποτελεσμάτων.