А.Н. Чернодуб

1. А.Н. Чернодуб Прямий метод навчання нейромереж прямого поширення на основі пакетного фільтра Калмана для багатокрокового прогнозування часових рядів ІПММС НАНУ, м. Киев відділНейротехнологій 25квітня 2013р.

2. Аннотація Доклад присвячено темі багатокрокового прогнозування часових рядів. Розглядаються існуючи методи навчання рекурентних і нерекурентних нейромереж для задач багатокрокового прогнозування, в тому числі методи зворотного поширення похибки у часі і метод розширеного фільтра Калмана. Пропонується новий метод навчання мереж прямого поширення на основі пакетної версії фільтра Калмана і спеціального способу обчислення похідних «прогнозуюче поширення у часі». Надано результати експериментів на хаотичному процесі Маккея-Гласса і даних часового ряда «Santa Fe Laser Data Series».

3. Задача ідентифікації

4. Нейромережева ідентифікація динамічного об’єкта

5. Типи нейронних мереж для вирішення задачі ідентифікації Існує два базових підходи для надання нейронним мережам прямого поширення властивостей, необхідних для обробки динамічних даних: • додавання ліній затримок до нейромережі; • додавання рекурентних зв'язків до внутрішньої структури нейронної мережі;

6. Динамічная лінійна нейронна мережа (DLNN) Обчислення похідних для навчання: зворотне проширення похибки (Backpropagation)

7. Динамічний багатошаровий персептрон (DMLP) Обчислення похідних для навчання: зворотне проширення похибки (Backpropagation)

8. Рекурентний багатошаровий персептрон (RMLP) Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

9. Cхема обчислення динамічних похідних BPTT для мережі RMLP Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

10. Нейромережа нелінійної авторегресії із зовнішніми входами (NARX) Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

11. Cхема обчислення динамічних похідних BPTT для мережі NARX Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

12. Cхема обчислення динамічних похідних BPTT для мережі NARX Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

13. Порівняння різних типів архітектур нейронних мереж Усього для кожного з часових рядів було навчено 10 мереж DLNN, 1100 мереж DMLP, 2750 мереж NARX з різними параметрами кількості нейронів у прихованому шарі, вхідних та вихідних затримок.

14. Результати кращіх нейромереж на задачі однокрокового прогнозування

15. Навчання нейромереж методом розширеного фільтра Калмана

16. Задача багатокрокового прогнозування

17. Обчислення похідних методом «прогнозуюче поширення в часі»

18. Багатокрокове прогнозування різними типами нейромереж

19. Пакетна версія метод розширеного фільтра Калмана для навчання нейромереж

20. Експеримент з прогнозування рядів Маккея-Гласса на горизонт H=14

21. Експеримент з прогнозування даних лазера «Санта-Фе» H=100

22. Система магнітної левітації

23. Програмна модель системи магнітної левітації в Simulink

24. Схема з пропусканням похибки через нейроемулятор у режимі реального часу: навіщо?

25. Поведінка навчених нейроемуляторів

26. Схема PID-управління

27. Результати оптимізації PID-контролерів: 1) Оригінальна модель Simulink

28. Результати оптимізації PID-контролерів: 2) Нейроемулятор DMLP + EKF + BP

29. Результати оптимізації PID-контролерів: 3) Нейроемулятор DMLP + BEKF + FPTT

30. Результати оптимізації PID-контролерів

31. Дякую за увагу!