Tłumaczenie maszynowe języków migowych

Tłumaczenie maszynowe języków migowych stało się możliwe od 1977 roku, kiedy to po raz pierwszy została opracowana metoda literowania słów w języku migowym przy pomocy sztucznej dłoni. Technologie te pozwalają na tłumaczenie języków migowych na formę pisemną i ustną (lub odwrotnie) bez udziału ludzkiego tłumacza. Wynalazcy opracowali produkty na szeroką skalę, aby zmniejszyć zależność od ludzkich tłumaczy. Języki migowe mają inne cechy fonologiczne niż języki mówione, co okazało się być przeszkodą dla programistów. Wykorzystują oni komputerowe rozpoznawanie obrazu i uczenie maszynowe, aby rozpoznawać pewne fonologiczne parametry, charakterystyczne dla języków migowych. Ponadto rozpoznawanie mowy i przetwarzanie języka naturalnego umożliwiają interaktywną komunikację między osobami słyszącymi i niedosłyszącymi. Niektóre z tych technologii są opracowywane przez zespół inżynierów i specjalistów należących do społeczności osób głuchych.

Historia

Historia automatycznego tłumaczenia języka migowego rozpoczęła się wraz z rozwojem technik komputerowych, takich jak literowanie słów w języku migowym przy pomocy sztucznej dłoni. W 1977 roku w ramach projektu Ralph stworzono sztuczną dłoń, umożliwiającą tłumaczenie alfabetu na literowane słowa w języku migowym. Późniejsze zastosowanie rękawic z czujnikami ruchu stało się powszechnie akceptowane. Dodatkowo narodziły się też projekty, takie jak CyberGlove i VPL Data Glove. Przenośny sprzęt umożliwił wychwycenie kształtu dłoni i ruchów osób głuchych przy pomocy programów komputerowych. Jednak kamery umożliwiające widzenie komputerowe zastąpiły te przenośne urządzenia, a to dzięki ich skuteczności i mniejszym ograniczeniom fizycznym narzucanym osobom głuchym. W celu przetworzenia danych zebranych przy pomocy kamer, naukowcy wprowadzili sieci neuronowe (np. Stuttgart Neural Network Simulator) do rozpoznawania schematów w projektach, takich jak CyberGlove. Badacze korzystają także z wielu innych metod dotyczących rozpoznawania znaków. Jako przykład warto wskazać Hidden Markov Models, które są wykorzystywane do analizy danych statystycznych. Ponadto GRASP i inne programy uczenia maszynowego używają zestawów treningowych w celu zwiększenia dokładności rozpoznawania znaków.

Technologie

SignAloud

SignAloud jest technologią, która wykorzystuje parę rękawiczek, stworzonych przez grupę studentów z University of Washington, do transliteracji amerykańskiego języka migowego na język angielski. Wiosną 2016 roku Thomas Prior i Navid Azodi, dwóch słyszących studentów Uniwersytetu w Waszyngtonie, wpadło na pomysł stworzenia takiego urządzenia. Azodi posiada obszerną wiedzę w dziedzinie zarządzania, podczas gdy Prior ma ogromne doświadczenie w inżynierii. W maju 2016 roku twórcy urządzenia ogłosili w amerykańskim publicznym radiu NPR, że ściśle współpracują z osobami komunikującymi się przy pomocy amerykańskiego języka migowego. Celem tej kooperacji jest lepsze zrozumienie odbiorców i dostosowanie produktu do faktycznych, a nie rzekomych potrzeb tych ludzi. Jednakże żadne nowsze wersje nie zostały wydane od tamtego czasu. Wynalazek ten był jednym z siedmiu, który otrzymał nagrodę dla studentów the Lemelson-MIT Student Prize. Celem tej organizacji jest nagradzanie młodych wynalazców. Ich wynalazek podlegał pod kategorię „Use it!”, która obejmuje postępy technologiczne stosowane dla istniejących produktów. Twórcom urządzenia przyznano nagrodę w wysokości 10 000 dolarów.

Rękawice mają czujniki, które monitorują ruchy rąk użytkowników, a następnie wysyłają dane do systemu komputera przez Bluetooth. System analizuje dane i porównuje je z angielskimi słowami, które następnie są wypowiadane przez elektroniczny głos. Rękawice nie są w stanie odpowiedzieć na pisemną informację zredagowaną w języku angielskim. Nie posiadają też zdolności słyszenia języka, by następnie przekazać go osobom głuchym za pomocą języka migowego. Oznacza to, że nie zapewniają wzajemnej komunikacji. Urządzenie nie wykorzystuje mimiki ani innych języków migowych, które mogą zmienić rzeczywiste tłumaczenie z amerykańskiego języka migowego.

ProDeaf

ProDeaf (WebLibras) to program komputerowy, który jest w stanie przetłumaczyć tekst i głos na Portugalski Język Migowy (Portuguese Libras) „w celu usprawnienia komunikacji między osobami głuchymi i słyszącymi”. Obecnie w produkcji dla amerykańskiego języka migowego istnieje również wydanie beta. Pierwotny zespół rozpoczął pracę nad projektem w 2010 roku we współpracy ze słyszącymi i niedosłyszącymi ekspertami, takimi jak: językoznawcy, projektanci, programiści i tłumacze. Zespół powstał na Uniwersytecie Federalnym w Pernambuco (ang. skrót UFPE) i składał się z grupy studentów uczestniczących w projekcie informatycznym. Jednym z członków była osoba głucha, doświadczająca trudności w komunikowaniu się z resztą grupy. Aby ukończyć projekt i pomóc członkowi w komunikacji, grupa utworzyła program Proativa Soluções i od tamtego czasu prace posunęły się do przodu. Obecna wersja beta w amerykańskim języku migowym jest bardzo ograniczona np. posiada sekcję słownikową, ale jedyne słowo znajdujące się pod literą ‘J’ to ‘jump’ (ang. skakać). Jeśli urządzenie nie zostało zaprogramowane dla danego słowa, to cyfrowy awatar musi literować to słowo w języku migowym. Ostatnia aktualizacja aplikacji miała miejsce w czerwcu 2016 roku, a ProDeaf został opisany w ponad 400 artykułach i reportażach przygotowanych przez najbardziej popularne środki masowego przekazu.

Aplikacja nie potrafi czytać języka migowego i przekształcać go na słowa lub teksty, dlatego służy jedynie jako jednostronna forma komunikacji. Ponadto użytkownik nie może zalogować się do aplikacji, by uzyskać angielskie tłumaczenie w dowolnej formie, ponieważ język ten jest nadal w wersji beta.

Kinect Sign Language Translator

Począwszy od 2012 roku naukowcy z Chińskiej Akademii Nauk i specjaliści surdopedagogiki z Uniwersytetu w Pekinie współpracują w ramach azjatyckiego zespołu należącego do oddziału Microsoft Research firmy Microsoft, w celu stworzenia programu Kinect Sign Language Translator. Tłumacz składa się z dwóch trybów pracy: trybu tłumacza i trybu komunikacji. Tryb tłumacza potrafi przełożyć pojedyncze słowa z języka migowego na słowa pisane i odwrotnie. Drugi tryb, komunikacji, potrafi tłumaczyć całe zdania, a rozmowa może być automatycznie przetłumaczona przy użyciu awatara 3D. Ponadto tryb tłumacza może również wykrywać ruchy i kształty dłoni osoby posługującej się językiem migowym. Tryb ten jest także w stanie wychwycić tor ruchu przy wykorzystaniu technik uczenia maszynowego, rozpoznawania wzorców i obrazów. Urządzenie pozwala również na wzajemną komunikację dzięki temu, że technologia rozpoznawania mowy umożliwia przetłumaczenie jej na język migowy, a trójwymiarowy awatar przy pomocy języka migowego przekazuje wiadomość osobom głuchym.

Pierwotny projekt został uruchomiony w Chinach wykorzystując tłumaczenie chińskiego języka migowego. W 2013 roku projekt został przedstawiony na najważniejszym spotkaniu oddziału badań naukowych Microsoft Research Faculty Summit oraz na posiedzeniu firmy Microsoft. Obecnie projekt ten jest również opracowywany przez naukowców ze Stanów Zjednoczonych, którzy chcą wykorzystać go do tłumaczenia amerykańskiego języka migowego. Jak na razie urządzenie wciąż jest tylko prototypem, a dokładność tłumaczenia w trybie komunikacji nadal nie jest idealna.

SignAll

SignAll to system automatycznego tłumaczenia języka migowego, który jest dostarczany przez Dolphio Technologies na Węgrzech. Zespół „wprowadza pierwsze zautomatyzowane rozwiązanie dla tłumaczenia języka migowego, opierając się na technologiach rozpoznawania obrazów i przetwarzania języka naturalnego (z ang. NLP), aby zapewnić codzienną komunikację między osobami słyszącymi, które używają języka angielskiego w mowie, a głuchymi lub niedosłyszącymi posługującymi się Amerykańskim Językiem Migowym.” System SignAll wykorzystuje czujnik Kinect opracowany przez Microsoft oraz inne kamerki internetowe z czujnikami głębi podłączonymi do komputera. Dzięki technologii rozpoznawania obrazów możliwe jest zidentyfikowanie kształtu rąk i ruchu osób posługujących się językiem migowym. Następnie system przetwarzania języka naturalnego przekształca dane zebrane przy pomocy technologii rozpoznawania obrazów na proste wyrażenie w języku angielskim. Programistą urządzenia jest osoba głucha, a pozostała część zespołu pracująca nad tym projektem składa się z wielu inżynierów i specjalistów językowych należących zarówno do społeczności głuchej, jak i słyszącej. Technologia ma możliwość włączenia wszystkich pięciu parametrów AJM, za pomocą których urządzenie jest w stanie dokładnie interpretować ruchy osoby używającej język migowy. SignAll został zatwierdzony przez wiele firm, w tym Deloitte i LT-innovative i utworzył partnerstwa z Microsoft Bizspark oraz Hungary’s Renewal.

MotionSavvy

MotionSavvy był pierwszym systemem przekształcającym język migowy na mowę. Urządzenie zostało stworzone w 2012 roku przez grupę z National Technical Institute for the Deaf i „powstał z akceleratora ruchu AXLR8R firmy the Leap Motion”. Zespół użył do konstrukcji sprzęt komputerowy, który wykorzystuje możliwości kontrolera firmy the Leap Motion. Sześcioosobowa grupa składa się wyłącznie z niesłyszących uczniów uczęszczających do szkół dla głucho-niemych. Jest to obecnie jedno z dwóch urządzeń umożliwiających wzajemną komunikację wyłącznie dla amerykańskiego języka migowego. Pozwala to głuchym osobom przekazać urządzeniu znak języka migowego, który jest następnie interpretowany. Urządzenie działa też w drugą stronę, tzn. rozpoznaje mówiony język angielski i tłumaczy go na Amerykański Język Migowy. Urządzenie kosztuje 198 dolarów. Niektóre inne funkcje obejmują zdolność do współdziałania, do podawania obecnej godziny, do wyrażania w różnorodny sposób słowa przy użyciu znaku oraz umożliwia komunikację z innymi użytkownikami w ramach programu CrowdSign.

Urządzenie zostało przetestowane przez wszystkie czasopisma o tematyce technologicznej, również przez Time. Jedno z amerykańskich czasopism Wired odnotowało: „Można było łatwo się przekonać, jak bardzo to małe urządzenie mobilne [UNI] może stać się rewolucyjną technologią” i że „[UNI] jeszcze nas zaskoczy.” Katy Steinmetz z TIME stwierdziła, że ta technologia może zmienić sposób życia osób niesłyszących. Sean Buckley z Engadget wspomniał, że „UNI może stać się niesamowitym narzędziem komunikacji.”