ARM-1 drugi w konkursie PolEval 2019

Silnik ARM-1 był jednym z systemów współzawodniczących w kategorii Automatic Speech Recognition w ramach PolEval 2019. PolEval to organizowane corocznie konkursy w różnych kategoriach związanych z przetwarzaniem języka naturalnego, inspirowane przez SemEval International Workshop on Semantic Evaluation.

W szranki stają narzędzia i systemy realizujące zadania w wybranych, ogłaszanych co roku, kategoriach tematycznych. W tym roku jedną z kategorii było automatyczne rozpoznawanie mowy z nagrań, w których występują zakłócenia, a konkurującymi systemami były narzędzia klasyfikowane jako systemy Large-Vocabulary Continuous Speech Recognition (LVSCR). ARM-1 wystartował w podkategorii systemów bazujących na dowolnych zasoby akustycznych i językowych, w odróżnieniu od systemów, które mogły bazować tylko na wskazanych przez organizatorów, ogólnie dostępnych korpusach. Wyjątek stanowiły nagrania tegorocznych wystąpień sejmowych, spośród których wybrane zostały nagrania testowe. W fazie rozpoznawania mowy można było wykorzystywać tylko autorskie rozwiązania.

Zbiór testowy obejmował 29 nagrań wystąpień sejmowych różnych mówców o łącznej długości ok. 48 minut, a podstawą oceny wyników rozpoznania mowy był WER (Word Error Rate). ARM-1 osiągnął najlepszy wynik w swojej podkategorii systemów „otwartych” z WER = 26,4% i poprawnością = 77%, a w całym konkursie zajął drugie miejsce.