Нейро-автоматное управление в машинном обучении

1. Нейро-автоматное управление в машинном обучении Выполнил: Губин Ю.А. ст. гр. 6539. Руководитель: Шалыто А.А. д.т.н, проф., зав. каф. ТП, СПбГУ ИТМО

2. Автоматное Программирование • Программа рассматривается как совокупность автоматизированных объектов управления. • Каждый такой объект состоит из системы управления и объекта управления. Понятие автомата 2

3. Искусственные Нейронные Сети • Предложены Норбертом Винером в 1943г. • Принцип организации и функционирования биологических нейронных сетей. • Персептрон, сети Хопфилда, Хемминга Многослойный персептрон 3

4. Использование ИНС и Автоматов • Нейронная сеть используется для классификации значений вещественных входных переменных и выработки входных логических переменных для автомата. 4

5. Использование ИНС и Автоматов • Клеточный автомат – элемент нейронной сети Хопфилда. • Автомат как источник входных данных для нейронной сети. 5

6. Актуальность • В описанных методах: • Автомат – средство для работы с ИНС или часть ИНС. • ИНС – объект для связи среды с автоматом. • Используется одна ИНС. • Осложнено повторное использование разработанных автоматов. • Нет возможности корректировать ИНС в процессе работы. 6

7. Метод Нейро-Автоматного Управления • Использование ИНС для обработки данных в состоянии. • Расширенное состояние. • Реализация изначально неопределенной логики переходов. • Корректировка ИНС в процессе работы автомата. • Использование расширенных состояний для реализации ядра автомата. 7

8. Метод Нейро-Автоматного Управления Автомат находится в состоянии А. Подается входное воздействие, состоящее из управляющего воздействия E и входных данных D1, D2, D3. По управляющему воздействию E срабатывает переход из состояния Aв расширенное состояние B. При входе в расширенное состояние Bвходные данные D1, D2, D3подаются на вход нейронной сети, вычисляются V1, V2, V3. 8

9. Метод Нейро-Автоматного Управления • Функция работы с НС. • Использование результатов работы НС для генерации нового события. 9

10. Метод Нейро-Автоматного Управления Автомат находится в состоянии A. На вход подается воздействия E1и входные данные D1, D2,D3, D4, D5. Автомат переходит в расш. состояние B. Обработка D1, D2, D3 нейросетью состояния B. Генерации нового управляющего воздействия E2. По управляющему воздействию E2 автомат переходит в C. Обработка D4, D5, нейросетью состояния C. 10

11. Метод Нейро-Автоматного Управления • Определение структуры ядра автомата. • Создание графа переходов автомата с использованием расширенных состояний для ядра автомата. • Выбор топологии нейронной сети, используемой в расширенном состоянии. • Реализация функции работы с НС. • Сбор и подготовка данных для обучения. • Обучение нейронных сетей расширенных состояний. • Определение правил корректировки характеристик сети в процессе работы автомата. • Проверка адекватности обучения и правил корректировки во время тестирования. 11

12. Реализация • Используется разработанная библиотека для создания автоматных классов на языке Java: • Классы для создания состояний, переходов, групп состояний. • Абстрактные классы для реализации действий и условий. • Возможность изоморфного переноса кода в графическую модель (Graphviz API). • Класс для создания расширенного состояния. • Классы для создания нейронных сетей. 12

13. Пример: Робот-Исследователь Диаграмма состояний автомата Explorer 13

14. Выводы • ИНС – составляющая состояний автомата. • Использование нескольких ИНС. • Возможность корректировки ИНС во время работы. • Доступно повторное использование разработанных автоматов. 14

15. Заключение • Предложен метод использования нейронных сетей в автоматах. • Предложено использование расширенных состояний. • Продемонстрировано применение предложенного метода. 15

16. Спасибо за внимание!