Rozwiązania AI dla osób niesłyszących i niedosłyszących

Nowe technologie, takie jak sztuczna inteligencja, uczenie maszynowe i rzeczywistość rozszerzona, zmieniają zasady komunikacji osób niesłyszących i niedosłyszących.

Prawie 10% populacji UE to osoby niesłyszące lub niedosłyszące. Oznacza to, że jeden na 10 obywateli ma trudności z codziennymi czynnościami, takimi jak prowadzenie rozmowy, uczęszczanie na zajęcia czy oglądanie telewizji.

Ale już wkrótce może to się zmienić, częściowo dzięki pracy wykonanej przez aiD. Finansowany ze środków UE projekt wykorzystuje możliwości takich nowych technologii, jak sztuczna inteligencja (AI), uczenie maszynowe i rzeczywistość rozszerzona, aby znacznie usprawnić komunikację dla społeczności osób niedosłyszących.

„Wykorzystując nowe technologie, stworzyliśmy szereg innowacyjnych rozwiązań, które mają pomóc osobom niesłyszącym i słyszącym komunikować się ze sobą” — mówi Sotirios Chatzis, profesor nadzwyczajny na Cypryjskim Uniwersytecie Technologicznym.

Jednym z tych rozwiązań jest aplikacja do generowania języka migowego na żądanie. Narzędzie wykorzystuje generatywną sztuczną inteligencję do tworzenia w sposób kompleksowy filmów w języku migowym ze wskazówek tekstowych.

„Jeśli w klasie jest niesłyszący uczeń, może po prostu otworzyć aplikację na swoim telefonie komórkowym, a jego osobisty awatar automatycznie zamiga wykład danego dnia” — wyjaśnia Chatzis.

Aplikacja może być również używana do ułatwiania rozmów między osobami niesłyszącymi i słyszącymi, zapewniając migane tłumaczenie rozmowy dla osoby niesłyszącej i tłumaczenie tekstowe języka migowego dla osoby słyszącej.

„To przełomowe rozwiązanie może okazać się bardzo pomocne, gdy osoba niesłysząca podróżuje, na przykład zapewniając migane tłumaczenia odpowiednich komunikatów wygłaszanych na lotnisku lub dworcu kolejowym” — dodaje Chatzis.

Aplikacja generatywnej sztucznej inteligencji została zgłoszona do rozpatrzenia na prestiżowej konferencji European Conference on Computer Vision.

Rozwiązanie do transkrypcji wideo w języku migowym

Innym kluczowym rezultatem projektu, który otrzymał wsparcie z programu działania „Maria Skłodowska-Curie”, była usługa transkrypcji wideo w języku migowym. Podobnie jak w przypadku napisów kodowanych, rozwiązanie to dodaje awatara tłumacza języka migowego w rogu ekranu wideo, który jednocześnie miga program lub film.

„To, co sprawia, że ten rozwój jest tak ważny, to jego bezprecedensowy poziom dokładności, przy o 70% mniejszym zużyciu pamięci w porównaniu z istniejącymi rozwiązaniami" — zauważa Chatzis.

Zużycie pamięci to ilość pamięci głównej używanej przez program podczas działania.

Projekt aiD dostarczył również nowy zestaw danych dla greckiego języka migowego, który odegra kluczową rolę w rozwoju dokładniejszych i wydajniejszych narzędzi do tłumaczenia języka migowego.

Wykorzystanie technologii do promowania bardziej inkluzywnego społeczeństwa

Wszystkie te technologie, a także inne, zostały przetestowane podczas szeroko zakrojonego programu pilotażowego, który obejmował uruchomienie rozwiązań opracowanych w ramach projektu aiD z serwisem informacyjnym, podczas wideokonferencji, z automatyczną usługą przekaźnikową w nagłych wypadkach oraz jako interaktywny cyfrowy nauczyciel.

Programy pilotażowe odegrały kluczową rolę w zademonstrowaniu zarówno wykorzystywanych technologii, jak i praktycznych zastosowań, które opracowane rozwiązania mogą zapewnić społeczności osób niesłyszących i niedosłyszących.

„Nasze programy pilotażowe pokazują, że wpływ projektu aiD wykracza daleko poza jego technologie i pomaga wspierać bardziej inkluzywne i sprawiedliwe społeczeństwo, w którym upośledzenie słuchu nie jest już barierą w komunikacji, edukacji czy możliwościach zatrudnienia” — podsumowuje Chatzis.

Chociaż projekt został już zakończony, naukowcy nadal pracują nad rozwojem technologii aiD w kierunku komercjalizacji. Rozwijają również model biznesowy, który przewiduje udostępnianie swoich rozwiązań na podstawie opłaty abonamentowej.

© Unia Europejska, [2024] | źródło: CORDIS