Respeaking

Respeaking – metoda tworzenia napisów na żywo z wykorzystaniem specjalistycznego oprogramowania do rozpoznawania mowy. Polega na powtarzaniu lub parafrazowaniu przez respikera wypowiedzianych przez mówcę treści i uzupełnieniu ich, m.in. o znaki interpunkcyjne oraz specjalne oznaczenia dla niesłyszących i niedosłyszących odbiorców. Wypowiedzi sformułowane przez respikera są następnie przetwarzane przez program do rozpoznawania mowy i zamieniane na napisy, które po sprawdzeniu (moderacji) przez respikera lub moderatora wyświetlane są na ekranie z możliwie najkrótszym opóźnieniem.

Zastosowanie

Dzięki respeakingowi wydarzenia stają się bardziej dostępne dla osób słabosłyszących, niesłyszących oraz innych grup z utrudnionym dostępem do treści. Obecność napisów może ułatwić dostępność również uczestnikom wydarzenia nieznającym języka, w którym odbywa się wydarzenie, a także tym łączącym się zdalnie, kiedy istnieje ryzyko wystąpienia problemów związanych ze złą jakością dźwięku.

Obecnie respeaking wykorzystuje się zarówno w kontekstach publicznych (np. podczas konferencji, wykładów uniwersyteckich), jak i prywatnych (np. podczas spotkań biznesowych).

Tworzenie napisów

Projekt ILSA (Interlingual Live Subtitling for Access) dofinansowany przez Program Erasmus + Unii Europejskiej miał na celu zwiększenie świadomości na temat dostępności mediów, szczególnie w odniesieniu do napisów tworzonych na żywo. W ramach projektu naukowcy dążyli do opracowania i zatwierdzenia pierwszego kursu szkoleniowego w zakresie międzyjęzykowych napisów na żywo. Stworzono wytyczne odnoszące się do respeakingu wykorzystywanego w kontekście wydarzeń, edukacji oraz telewizji.

Oprogramowanie do rozpoznawania mowy

Do rozpoznawania mowy wykorzystuje się, np. programy Newton Dictate i Dragon Professional, które instaluje się lokalnie na komputerze. W przeciwieństwie do rozwiązań zdalnych, dostępnych w chmurze, umożliwiają one respikerowi dodawanie nowych terminów do słownika systemu rozpoznawania mowy.

Rekomendacje

• Poprawianiem napisów na żywo powinien zajmować się moderator.
• Jeśli na podstawie zapisu napisów na żywo ma powstać protokół lub transkrypcja, tekst powinien zostać sprawdzony i ewentualnie zmodyfikowany przez respikera lub moderatora po zakończeniu wydarzenia.
• Ze względu na duże obciążenie poznawcze podczas wykonywania respeakingu zaleca się zatrudnienie zespołu respikerów lub zaplanowanie przerw podczas wydarzenia w celu odciążenia respikera.
• Długość pracy respikera wewnątrzjęzykowego nie powinna przekraczać 45 minut, a w przypadku respikera międzyjęzykowego – 30 minut.
• Zaleca się sprawdzenie przez respikera rozpoznawania przez program ważnych nazwisk przed wydarzeniem oraz uzupełnienie słownika oprogramowania o główne terminy i nazwy, które przydadzą się podczas wydarzenia.

Typy respeakingu

Podział ze względu na język

Respeaking można podzielić ze względu na wykorzystywane w nim języki na respeaking wewnątrzjęzykowy i międzyjęzykowy.

Respeaking wewnątrzjęzykowy (ang. intralingual respeaking) charakteryzuje się tworzeniem napisów w tym samym języku, w którym prezentowana jest wypowiedź mówcy.

Przy wykorzystywaniu tego rodzaju respeakingu zaleca się współpracę respikera z moderatorem, który koryguje tekst, zanim zostanie on wyświetlony obecnym na wydarzeniu. Ma to na celu wyeliminowanie błędów powstałych podczas rozpoznawania mowy. W pierwszej kolejności poprawiane są błędy zmieniające znaczenie tekstu. Tworzenie napisów z moderacją może być stosowane w telewizji.

Respiker może sam dokonywać korekty tekstu, gdy ten jest mówiony wolno i w językach, przy zapisywaniu których programy do rozpoznawania mowy popełniają niewiele błędów. Samodzielnej moderacji nie stosuje się jednak podczas pracy z językami silnie fleksyjnymi (m.in. językiem polskim).

W respeakingu międzyjęzykowym (ang. interlingual respeaking/transpeaking) napisy tworzone są za pomocą tłumaczenia z języka obcego.

Wykonywanie tego typu respeakingu może obejmować współpracę z tłumaczem. W takiej sytuacji tekst jest tłumaczony respikerowi, ten z kolei dyktuje go, a moderator wprowadza poprawki. Respiker nie musi zatem znać języka obcego. Respiker może sam być tłumaczem („reaspeakerem międzyjęzykowym”, ang. transpeaker) i dyktować tekst do napisów już w języku docelowym. W przypadku rzadziej występujących języków jednak jest trudno znaleźć wykwalifikowanego respikera, który znałby dane języki. W tym rodzaju respeakingu można również wykorzystywać tłumaczenie maszynowe, trzeba jednak pamiętać o tym, że jego jakość może być niewystarczająca. Ten rodzaj tłumaczenia wykonuje się dopiero po podyktowaniu napisów przez respikera.

Podział ze względu na miejsce

Drugim kryterium podziału jest miejsce wykonywania respeakingu.

Respeaking w miejscu wydarzenia charakteryzuje się obecnością respikera w tym samym pomieszczeniu, w którym ma miejsce wydarzenie. Zazwyczaj respiker wraz z moderatorem znajduje się w kabinie tłumaczeniowej (dźwiękoszczelnej), w której słyszą wypowiedź mówcy za pośrednictwem słuchawek. Gdy nie ma możliwości korzystania z kabiny, stosuje się stenomaskę (osłonę z mikrofonem, nakładaną na twarz). W przypadku respeakingu międzyjęzykowego czasem stosuje się wiele kabin.

Podczas respeakingu zdalnego respiker znajduje się w innym pomieszczeniu budynku, w którym odbywa się wydarzenie lub poza obszarem wydarzenia. Alternatywą dla kabiny tłumaczeniowej może być tworzenie napisów przez zespół w cichym pomieszczeniu w budynku wydarzenia. Przebywanie w tym samym budynku umożliwia lokalną transmisję dźwięku i obrazu (bez korzystania z internetu). Przy niektórych rodzajach wydarzeń ułatwia to organizację. Respikerzy i moderatorzy mogą pracować z tego samego miejsca lub z różnych. W drugim przypadku wymaga to korzystania z narzędzi, które umożliwią zmiany respikerów i płynną komunikację.

Historia

Rozwój respeakingu w Stanach Zjednoczonych wiąże się z postępem technologii sporządzania protokołów sądowych. Początkowo tradycyjną metodę stenografii próbowano zastąpić nagrywaniem przemówień sądowych z użyciem mikrofonów, jednak panujący na sali hałas uniemożliwiał uzyskanie nagrania o jakości pozwalającej na późniejszą transkrypcję. Jednakże już w latach 40. XX wieku protokolant sądowy Horace Webb wynalazł tzw. stenomaskę, a więc rodzaj mikrofonu w dźwiękoszczelnej obudowie przylegającej do ust mówcy. W pierwszej stenomasce mikrofon umieszczono w masce tlenowej używanej przez pilotów wojskowych, którą następnie połączono z dzbankiem wypełnionym dźwiękochłonnym materiałem. Dzięki wynalazkowi Webba protokolanci mogli powtarzać słowa przemówień bezpośrednio do mikrofonu zamontowanego w stenomasce, uzyskując tym samym nagranie bez szumów nadające się do transkrypcji. Technika ta uważana jest za istotną w rozwoju respeakingu, który również wykorzystuje zasadę powtarzania usłyszanych słów do urządzenia rejestrującego dźwięk.

Pierwszy przypadek wykorzystania prawdziwego respeakingu w Stanach Zjednoczonych miał miejsce w 1999 roku, kiedy to inny protokolant, Chris Ales, wykorzystał oprogramowanie do rozpoznawania mowy Dragon NaturallySpeaking do przetranskrybowania jednego z posiedzeń Sądu Okręgowego w Lapeer, w stanie Michigan. W 2003 roku natomiast po raz pierwszy w USA użyto respeakingu do tworzenia napisów w telewizji.

W Europie najważniejszą rolę w rozwijaniu napisów na żywo odegrały stacje telewizyjne, a przede wszystkim flamandzkie VRT i brytyjskie ITV (później także BBC), które po raz pierwszy przetestowały tę technologię odpowiednio w 1981 i 1982 roku. Początkowo do tworzenia napisów korzystano z tradycyjnej klawiatury, ale z uwagi na niedostateczną szybkość tej techniki zdecydowano się następnie na użycie klawiatury sylabicznej Velotype (we Flandrii jedynie w fazie testów). Obiecujące efekty przyniosły też próby jednoczesnej współpracy dwóch osób przy tworzeniu napisów na żywo do jednego programu. Przy takiej technice udało się uzyskać szybkość od 120 do 160 słów na minutę, przy czym przeciętna szybkość mówienia prezenterów telewizyjnych w Wielkiej Brytanii wynosiła 180 słów na minutę. Jeszcze lepsze wyniki dało wprowadzenie przez BBC za przykładem amerykańskiego National Captioning Institute klawiatury stenotypicznej i zatrudnienie zawodowych stenotypistów, którzy potrafili tworzyć napisy z szybkością od 220 do 225 słów na minutę.

Pomysł połączenia klawiatury z technologią rozpoznawania mowy jako metody tworzenia napisów został po raz pierwszy w Europie wysunięty w 1985 przez Dampera i jego zespół badawczy, ale w tamtym momencie system rozpoznawania mowy nie był jeszcze na odpowiednim poziomie. Do tego rozwiązania powrócono jednak w 1998 roku, kiedy to zajęły się nim spółka Synapsys i Uniwersytet Hertfordshire. Dzięki ich badaniom BBC pierwszy raz użyło respeakingu do tworzenia napisów na żywo; miało to miejsce w kwietniu 2001 roku podczas relacjonowania Mistrzostw Świata w Snookerze. Wiosną 2001 roku zastosowano respeaking do tworzenia napisów w czasie rzeczywistym także we Flandrii.

Obecnie metoda ta używana jest w wielu europejskich krajach, m.in. w Niemczech, Francji, Włoszech czy Hiszpanii.

Respeaking w Polsce

W Polsce po respeaking do tworzenia napisów w czasie rzeczywistym po raz pierwszy sięgnięto w 2013 przy okazji transmitowania jednej z konferencji sejmowych. Dokonała tego grupa Dostępni.eu. Ta sama organizacja w 2014 roku wykonała też pierwszy na polskim rynku respeaking zdalny, a w 2018 roku także pierwszy w Polsce respeaking międzyjęzykowy bez udziału tłumacza. W latach 2020-2021 metodą respeakingu Dostępni.eu tworzyli również napisy na żywo do programów nadawanych na kanale Polsat News.

Pierwszym w Polsce programem rozrywkowym z napisami tworzonymi na bieżąco metodą respeakingu była siódma edycja tanecznego show „Dancing with the Stars. Taniec z Gwiazdami” nadawanego na antenie Polsatu. Stało się to po licznych petycjach osób ze społeczności Głuchych oraz interwencji organizacji pozarządowych. Jedną z uczestniczek była Iwona Cichosz-Yggeseth, Miss Świata Głuchych 2016. Napisy realizował zespół Dostępni.eu.

W Polsce respeakingiem od strony naukowej zajmuje się m.in. Laboratorium Przekładu Audiowizualnego (AVT Lab), założone przez prof. ucz. dr hab. Agnieszkę Szarkowską. Działa ono w Instytucie Lingwistyki Stosowanej Uniwersytetu Warszawskiego, a oprócz respeakingu bada też inne rodzaje tłumaczeń audiowizualnych.

Bibliografia

• AVT Lab. [online] [dostęp 2024-06-14], https://avt.ils.uw.edu.pl/

• Dostępni.eu. Napisy na żywo. [online] [dostęp 2024-05-31], https://dostepni.eu/napisy-na-zywo-t20
• Dutka Ł., Live subtitling with respeaking in Polish: technology, user expectations and quality assessment. 2022, rozprawa doktorska, Uniwersytet Warszawski. (ang.).

• Fundacja Widzialni. (2016) „Dopóki odbiorcami napisów będą ludzie, człowiek ma pewne zajęcie – o napisach tworzonych metodą respeakingu opowiada tłumacz i respeaker Łukasz Dutka”. Warszawa: Fundacja Widzialni. [online] [dostęp 2024-05-29] https://saccessibility.pl/dopoki-odbiorcami-napisow-beda-ludzie-czlowiek-ma-pewne-zajecie/
• ILSA. [online] [dostęp 2024-05] www.ka2-ilsa.webs.uvigo.es
• NVRA. History Horace Webb Story. [online] [dostęp 2024-06-27]. https://nvra.org/page/HistoryHoraceWebbStory [ang]
• Polska Akademia Dostępności (2015). Kilka słów o dostępności. 31.03.2015. [online] [dostęp 2024-05-30], https://pad.widzialni.org/kilka-slow-o-respeakingu,new,mg,4.html,729
• Romero-Fresco, P. (2020). Subtitling through speech recognition: Respeaking. Routledge.
• Saerens, G., Tampir, M., Dutka. Ł, Szczygielska, M., Szarkowska, A., Romero-Fresco, P., A., Pöchhacker, F., Figiel, W., Schrijver, I., Haverhals, V., Robert, I., (2020) Jak realizować napisy na żywo w telewizji. Wytyczne w zakresie produkcji programów telewizyjnych z napisami na żywo. Unknown place of publication: ILSA project. [online] [dostęp 2024-05-31], http://ka2-ilsa.webs.uvigo.es/guidelines.
• Szczygielska, M., Dutka, Ł., Szarkowska, A., Romero-Fresco, P., Pöchhacker, F., Tampir, M., Figiel, W., Moores, Z., Robert, I., Schrijver, I., Haverhals, V. (2020) Jak realizować napisy na żywo podczas wydarzeń. Wytyczne w zakresie organizacji wydarzeń z napisami na żywo. Unknown place of publication: ILSA project. [online] [dostęp 2024-05-29], https://dostepni.eu/content/artykuly/files/Jak%20realizowa%C4%87%20napisy%20na%20%C5%BCywo%20podczas%20wydarze%C5%84.pdf
• Szczygielska, M., Marcinkowski, P., Luboń, M. (2020) ‘Napisy na żywo’ in: Wytyczne dotyczące dostępności multimediów. Warszawa: Urząd m.st. Warszawa. [online] [dostęp 2024-05] https://sport.um.warszawa.pl/documents/55624/29024707/DOSTEPNOSC%2BMULTIMEDIOW.pdf
• Szczygielska, M. (2019). Napisy dla niesłyszących w Polsce. Historia, problemy, wyzwania. Półrocznik Językoznawczy Tertium, 4(1). [online] [dostęp 2024-05-31] https://doi.org/10.7592/Tertium2019.4.1.Szczygielska
• Zadrożny, J. (2017). Napisy na żywo po raz pierwszy w polskiej telewizji. Informaton. [online] [dostęp 2024-05-31] https://informaton.blog/2017/03/30/napisy-na-zywo-po-raz-pierwszy-w-polsce/