Автоматическое стенографирование речи : состояние и перспективы

1. Автоматическое стенографирование речи: состояние и перспективы Пилипенко В.В. Международный научно-учебный центр информационных технологий и систем

2. Стенографирование 29.01.2013 Стенографирование vs речевой диалог Стенографирование — получение текстов из записанных речевых файлов при помощи автоматического распознавания речи Особенности: • Нет непосредственной обратной связи от говорящего • Слитная речь с большим объемом словаря • Много дикторов разного стиля произношения, акценты • Слабо контролируемые условия записи Преимущества: • Можно анализировать в несколько проходов • Можно легко задействовать много компьютеров Область применения: • Новости • Парламент • Телевизионные шоу • Суды • Научные доклады

3. Стенографирование 29.01.2013 Парламентская речь • Спонтанная речь. Иногда встречаются доклады, зачитываемые по заранее подготовленному тексту. • Публичные дикторы. • Быстрый темп. • Часто эмоционально окрашена. • Непрерывные выступления дикторов. • Качество записи достаточно высокое, поскольку каждое депутатское место оснащено микрофоном.

4. Стенографирование 29.01.2013 Стенографирование в парламентах • Стенографист набирает текст в 3-5 раз медленнее темпа речи. • Обычно допускает в тексте 2-5% ошибок. • 6-7 стенографистов набирают текст порциями по 3 минуты. • Черновая стенограмма готова на следующее утро. • Отдел редактирования (около 20 человек) готовит официальную стенограмму обычно в течение двух недель. Отличается от сказанного.

5. Стенографирование 29.01.2013 Наша цель Автоматизированное стенографирование. Один стенографист прослушивает речь и устраняет ошибки в темпе поступления речи. Точность автоматического распознавания не менее 85%.

6. Распознавание речи 29.01.2013 Пилипенко В.В. Схема распознавания речи

7. Распознавание речи 29.01.2013 Пилипенко В.В. Спектральный анализ сигнала

8. Распознавание речи 29.01.2013 Анализ сигнала

9. Распознавание речи 29.01.2013 Пилипенко В.В. Задача распознавания речи последовательность векторов наблюдений

10. Распознавание речи 29.01.2013 Пилипенко В.В. Задача распознавания речи последовательность векторов наблюдений

11. Распознавание речи 29.01.2013 Пилипенко В.В. Задача распознавания речи последовательность векторов наблюдений правило Байеса акустическая часть лингвистическая часть

12. Распознавание речи 29.01.2013 Модель порождения речевого сигнала Состояния Наблюдаемая последовательность Поиск кратчайшего пути при помощи алгоритма динамического программирования

13. Распознавание речи 29.01.2013 Пилипенко В.В. Вероятность порождения речи моделью

14. Распознавание речи 29.01.2013 Пилипенко В.В. Лингвистическая модель - история Ф – класс эквивалентности N-граммная модель - коэффициенты сглаживания

15. Распознавание речи 29.01.2013 Пилипенко В.В. Виды моделей при распознавании

16. Стенографирование 29.01.2013 Корпуса речи и текстов Радуцкий Александр, SRS Верховная Рада 65 часов 300 дикторов Телевизиные передачи 280 часов 3000 дикторов Новости телеканала NewsOne 700 часов Запись из телевизионного канала Застенографировано и размечено экспертами на фразы Текстовый корпус из Интернета больше 600 миллионов слов

17. Стенографирование 29.01.2013 Причины понижения точности Людовик Татьяна Влияние каналов связи и шумов Разнообразие голосов дикторов Неизвестные слова от 2 до 20% словаря Построение лингвистических моделей по текстам Собственные имена от 5 до 20% словаря Экстралингвистические явления от 2 до 15% случаев Редукция и быстрый темп Суржик и другое неправильное произношение

18. Стенографирование 29.01.2013 Многодикторное распознавание

19. Стенографирование 29.01.2013 Адаптация к голосу диктора Юхименко Александр Для адаптации необходимо 2 минуты речи диктора Для известных дикторов (которые вошли в обучающий корпус) - 2% улучшения точности распознавания Для неизвестных дикторов — от 5 до 20% улучшения Разработана технология адаптации без участия эксперта для транскрибирования адаптационного образца речи

20. Стенографирование 29.01.2013 Варианты транскрипций словоформ, индивидуальные для дикторов Робейко Валентина Около 3% улучшения точности распознавания

21. Стенографирование 29.01.2013 Моделирование незнакомых слов

22. Стенографирование 29.01.2013 Пример ответа распознавания при наличии незнакомых слов провадження !B ж о к' І х !E санкцій проти !B т й х' І т р !E на провайдерів які не відключають !B н е !E законні комітети провадження * санкцій проти * на провайдерів які не відключають * законні комітети

23. Стенографирование 29.01.2013 Экстралингвистические явления Ладошко Ольга, Гузиенко Ирина Экстралингвистические явления от 2 до 15% случаев Улучшение точности распознавания от 2 до 6%

24. Стенографирование 29.01.2013 Распознавание многоязычной речи без идентификации языка Людовик Татьяна Набор фонем — украинский Для русских фонем замены: «и» на «і», «э» на «е», «г» на «ґ» Словарь - 56753украинские словоформы и 58058 русских словоформ

25. Стенографирование 29.01.2013 Обучение на корпусе с неточным текстовым сопровождением Селюх Руслан Для обучения необходимо точное соответствие звука и текста Обычно стенограмма имеет от 5 до 20% несовпадений Для точной разметки эксперт тратит в 8 раз больше времени звучания Исходный корпус 100 часов речи — несовпадение 15% Размеченный корпус 60 часов Улучшение точности распознавания на 5%

26. Стенографирование 29.01.2013 Примеры ответов распознавания

27. Стенографирование 29.01.2013 Примеры ответов распознавания Суд над Тимошенко 67%

28. Стенографирование 29.01.2013 Достигнутое состояние Средняя точность распознавания — 77% Для отдельных дикторов - 89%

29. Стенографирование 29.01.2013 Лингвистические модели Сажок Николай Семинар ”Образный компьютер” 12 февраля 2013

30. Спасибо за внимание !