Соколов Б.В., Юсупов Р.М.

1. Соколов Б.В., Юсупов Р.М. Квалиметриямоделей и полимодельных комплексов: концептуальные основы и перспективы исследований Санкт-Петербургский институт информатики и автоматизации РАН (http://www.spiiras.nw.ru) E-mail: spiiran@iias.spb.su

2. Основные понятия и определения • модель– это система, исследование которой служит средством для получения информации о другой системе[ Калинин, Резников]; • модель – это способ существования знаний [Гаврилова, Хорошевский ]; • модель – это искусственно созданный физический или абстрактный объект(процесс), свойства которого и отношения между ними в рамках достижения поставленной цели полагаются аналогичными свойствам и отношениям объекта оригинала [Краснощеков, Петров]; • модель– это системное многоместное отображение объекта оригинала, имеющее наряду с безусловно-истинным, условно-истинное и ложное содержание, проявляющееся и развивающееся в процессе его создания и практического использования [Перегудов, Тарасенко ]; • моделирование– один из этапов познавательной деятельности субъекта, включающий в себя разработку (выбор) модели, произведение на ней исследований, получение и анализ результатов, выдачу рекомендаций о дальнейшей деятельности субъекта и оценивание качества самой модели применительно к решаемой задаче с учётом конкретных условий [ Савин, Емельянов, Перегудов, Тарасенко];

3. Основные понятия и определения Основополагающие подходы к решению проблемы: Объектами исследования являются не только модели объектов- оригиналов, но и развивающая ситуация, участниками которой являются объекты и субъекты моделирования, а также метамодели (модели моделей); Процесс моделирования объектов исследования интерпретируется как процесс управления развивающейся ситуации в условиях неопределённости

4. Основные понятия и определения . Качество – совокупность характеристик объекта, определяющих его способности удовлетворять установленным или предполагаемым потребностям (Международный стандарт ISO-8402). Качествоведение – отрасль знаний, в которой изучаются закономерности получения и обработки информации о качестве объекта на всех этапах его жизненного цикла. Квалиметрия–раздел качествоведения, в котором разрабатываются методологические и методические основы количественного оценивания качества продукции, средства обеспечения единства форм оценивания указанного качества и достижение требуемой точности

5. Основные понятия и определения Построение машинной модели (программирование) Выбор ( построение) математической модели Разработка вычислительного алгоритма Анализ результатов Проведение вычислений на ЭВМ Качество модели – совокупность свойств модели, обуславливающих ее пригодность для использования по назначению. Возможные предназначения модели – имитация функционирования объекта-оригинала в целях более глубокого познания его свойств, оптимизации его характеристик, прогнозирования его поведения, принятие управленческих решений

6. Основные понятия и определения • ВалькманЮ.Р. О проблеме “отчуждения” моделей исследуемых объектов от создателей в проектировании сложных изделий // Теория и системы управления, 1996. — №3 — с.146–152. • Краснощеков П. С., Петров А. А. Принципы построения моделей. М.: Фазис, 2000. — 400 с. • Пешель М. Моделирование сигналов и систем. М.: Мир, 1981. — 303 с. • Полляк Ю. Г. Вероятностное моделирование на электронных вычислительных машинах. М.: Сов. радио, 1971. — 399 с. • Самарский А. А., Михайлов А. П. Математическое моделирование: Идеи. Методы. Примеры. М.: Физматлит, 2001. — 320 с. • Технология системного моделирования / Е. Ф. Аврамчук, А. А. Вавилов, С. В. Емельянов и др.; Под общ. ред. С. В. Емельянова и др. М.: Машиностроение; Берлин: Техника, 1988. — 520 с. • Юсупов Р. М., Иванищев В. В., Костельцев В. И., Суворов А. И. Принципы квалиметрии моделей // IV СПб Международная конференция «Региональная информатика-95», тез. докладов. СПб, 1995. — с.90–91.

7. Возможный перечень свойств моделей • Адекватность • Гибкость (адаптивность) • Интеллектуальность • Наблюдаемость • Надежность • Открытость и доступность • Развиваемость • Робастность • Сложность • Универсальность и проблемная ориентация • Управляемость • Устойчивость • Чувствительность • Эффективность машинной реализации

8. Основные понятия и определения Прямые задачи – анализ качества продукции Обратные задачи– синтез продукции с заданными (требуемыми) свойствами, управление качеством продукции с целью придания ей необходимых свойств. В квалиметрии моделей главную роль играют обратные задачи, т.к. модели являются основным предметом разработки.

9. Качество программных изделий • Липаев В.В. Надежность программных средств. М.:Синтег, 1998. • Липаев В.В. Оценка качества программных изделий. М.:Эрис, 2001. • Липаев В.В. Обеспечение качества программных средств. Методы и стандарты. М.:Синтег, 2001. • Липаев В.В. Качество программных средств. М.:Янус, 2002. • Международный стандарт ISO 9126:1991 «Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению». • Пальчун Б.П., Юсупов Р.М. Оценка надежности программного обеспечения. СПб.:Наука, 1991. • Баранов С.Н., Домарацкий А.Н., Ласточкин Н.К., Морозов В.П. Процесс разработки программных изделий. М.:Наука, 2000.

10. Общие показатели качества программных средств

11. Частные показатели качества программных средств

12. Частные показатели качества программных средств Продолжение

13. Варианты технологий комплексного моделирования

14. Варианты технологий комплексного моделирования

15. Первоочередные задачи исследований на этапе формирования основных положений квалиметрии моделей и полимодельных комплексов • Формирование понятийно-терминологического аппарата • Описания, классификация и выбор системы показателей и критериев, с помощью которых оцениваются свойства моделей и полимодельных комплексов • Разработка обобщенного описания различных классов моделей, позволяющего, во-первых, устанавливать взаимосвязи и соответствия между ними, и, во-вторых, сравнивать и упорядочивать их с использованием различных метрик • Разработка комбинированных методов оценивания показателей качества моделей, заданных с использованием числовых и нечисловых шкал • Разработка методов и алгоритмов решения задач многокритериального анализа, упорядочения и выбора предпочтительных моделей и полимодельных комплексов, управления их качеством, анализа и синтеза технологий моделирования

16. Квалиметрия моделей и полимодельных комплексов Состояние исследований проблем квалиметрии моделей и полимодельных комплексов Место квалиметрии моделей и полимодельных комплексов в системе междисциплинарных исследований

17. Состояние исследований проблем квалиметрии моделей и полимодельных комплексов Основополагающие научные работы • Комплексное моделирование • Бусленко, 1977 • Киндлер, 1986 • Шеннон, 1975 • Форрестер, 1970 • Иванищев, 1982, 1986 • Пешель, 1981 • Емельянов, 1988 • Моисеев, 1971 • Полляк, 1971 • Системный анализ • Поспелов Г.С. 1981 • Афанасьев В.Г. 1980 • Клир, 1985 • Касти, 1979 • Саати, 1972, 1990 • Гвишиани, Прангвишвили, 1998

18. Состояние исследований проблем квалиметрии моделей и полимодельных комплексов Основополагающие научные работы • Искусственный интеллект • Russel, 1995 • White, Sofge, 1992 • Gupta, Sinha, 1996 • Васильев, 1992, 1998 • Harrison, Chess, 1995 • Поспелов Д.А. 1985 • Wooldridge, Jenning, 1998 • Городецкий, 1993, 1998, 2001 • Теория систем • Месарович, Такахара, 1975 • Уемов 1978 • Урсул 1981 • Калинин, Резников, 1974 • Гиг Дж, 1978 • Бурбакии, 1953, 1955 • Эшби, 1956, 1963

19. Состояние исследований проблем квалиметрии моделей и полимодельных комплексов Основополагающие научные работы • Теория принятия решений и управления • Athaus, Falb, 1966 • Понтрягин, 1961 • Bellmann, 1957 • Моисеев, 1974 • Цурков, 1989 • Siliak, 1990 • Singh, Titli, 1979 • Ranch, Schmidt, Natoki, 1996 • Bellmann, Zadeh, 1970 • Moore, Harris, 1992 • Nerode, Kokh, 1993 • Юсупов, Розенвассер, 1999 • Павловский, 1994

20. Методологические основы квалиметрии моделей и полимодельных комплексов • Концепции:системного анализа и моделирования, качествоведения, теории систем и управления сложными динамическими системами с перестраиваемой структурой; • Принципы:программно-целевого управления, полимодельности и многокритериальности, внешнего дополнения и погружения, необходимого разнообразия и неокончательных решений • Подходы: интегративный,структурно-математический, категорийно-функторный; • Требования (к облику АРМ оценивания и управления качеством моделей и полимодельных комплексов):требования системного подхода к организации процессов управления, универсальности и проблемной ориентации, адекватности, гибкости, адаптивности и самоорганизации.

21. Обобщенное описание моделей и полимодельных комплексов Структура теоретико-множественных моделей Схема образования математических структур

22. card X dim X Конструкция основной ступени шкалы множеств cc cJ ccc ccJ  1 M11 M12 M13 M14 M15 M16 M17 M18  1 n m M21 M22 M23 M24 M25 M26 M27 M28  F0 1 M31 M32 M33 M34 M35 M36 M37 M38  F0 m M41 M42 M43 M44 M45 M46 M47 M48  F1 1 M51 M52 M53 M54 M55 M56 M57 M58  F1 m M61 M62 M63 M64 M65 M66 M67 M68  F2  M71 M72 M73 M74 M75 M76 M77 M78             Классы моделей систем n Обобщенное описание моделей и полимодельных комплексов

23. Обобщенное описание моделей и полимодельных комплексов

24. Обобщенное описание моделей и полимодельных комплексов (i)(fi) – сюръективны. Эпиморфизмом называется гомоморфизм, все fi которого сюръективны.

25. Обобщенное описание моделей и полимодельных комплексов (i)(fi) – биективны. Изоморфизмом называется К-гомоморфизм, все fi которого биективны.

26. Обобщенное описание моделей и полимодельных комплексов (i)(fi) – инъективны. Мономорфизмом называется гомоморфизм, все fi которого инъективны.

27. Обобщенное описание моделей и полимодельных комплексов Пример 1. ccJ. Пример 2. r2=<R, Y, F>, где RXX, F: R Y, Y= R1 Пример 3.

28. Обобщенное описание моделей и полимодельных комплексов

29. Обобщенное описание моделей и полимодельных комплексов

30. Обобщенное описание моделей и полимодельных комплексов Категорией P (Kat P) будем называть математическую конструкцию, состоящую из класса объектов Ob P и класса морфизмов (стрелок) Mor P, которая удовлетворяет следующим условиям: а) для каждой упорядоченной пары объектов А и B определяется множество морфизмов MorP(A,B) с элементами (морфизмами) вида f: AB, где А – область определения или начало морфизма, а В – область значений или конец морфизма; б) для любой упорядоченной тройки объектов А, В, С и морфизмов f: A B,g: B C определена операция композиции (произведения) морфизмов: g○f: A C; в) для любой упорядоченной четвёрки объектов A, B, C, Dи морфизмов f: A B,g: B C, h: C D выполняется аксиома (закон) ассоциативности композиции морфизмов: h○(g○f)=(h○g)○f; г) для каждого объекта А в множестве морфизмов Morp(A,A) выделен тождественный или единичный морфизм 1A: A  A, для которого и любой пары морфизмов f: A  B,g: С  А выполняется аксиома (закон) тождества: f○1A=f;1A○g=g.

31. Обобщенное описание моделей и полимодельных комплексов Функтором (одноместным ковариантным функтором) F: P L из категории Р в категорию L будем называть пару отображений F:ObP Ob L;F: Mor P  Mor L, сопоставляющих каждому объекту А Ob P объект F(А) Ob L, каждому морфизму f  MorP(А,В) морфизм F(f)  MorL(F(А),F(В)) и сохраняющих операцию умножения (композиции) морфизмов F(f○g)=F(f )○F(g) и тождественный морфизм (F(1A)=1F(A)).

32. Обобщенное описание моделей и полимодельных комплексов

33. Качество программных изделий

34. Обобщенное описание моделей и полимодельных комплексов

35. Обобщенное описание моделей и полимодельных комплексов

36. Классификация моделей (трихотомия моделей)

37. Классификация моделей

38. Классификация моделей

39. Классификация моделей

40. Возможная технология решения проблемы оценивания качества и выбора моделей • Оценивание адекватности моделей или верификация моделей (Model Verification) • Оценивание пригодности модели для практического использования (Model Validation): оценивание реализуемости модели на компьютере с позиций вычислительной сложности, потребности ресурсов разного вида для ее реализации и эксплуатации, чувствительности по отношению к вариациям исходных данных и параметров модели, робастности, развиваемости модели для повторного и последующих использований при моделировании сходных объектов и т.д. • Сравнительное оценивание и выбор наилучшей модели по некоторым сводным (обобщенным) показателям и критериям

41. Адекватность моделей Адекватность– adaequates (лат.) приравненный, сравнимый, вполне соответствующий. Адекватность моделей– идентичность, неразличимость модели по определенным признакам (показателям) от объектов-аналогов, согласие между поведением модели и реального объекта. Необходимые условия адекватностимоделей (Захаров И.Г.):на содержательном уровне это соблюдения законов логики (закон тождества, закон противоречий, закон достаточного основания), на формальном уровне – соблюдение условий корректности модели (существование, единственность, устойчивость решений, получаемых с помощью модели); Достаточные условия адекватности моделей(Захаров И.Г.): точность и полезность модели.

42. Адекватность моделей • Мартин Ф. Моделирование на вычислительных машинах. М.:Сов.радио, 1972. • Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. М.:Мир, 1975. • Пешель М. Моделирование сигналов и систем. М.:Мир, 1984. • Городецкий В.И., Марков В.М., Петухов Г.Б., Юсупов Р.М. Элементы теории испытаний и контроля технических систем. Под ред. Р.М.Юсупова. Л.:Энергия, 1978. Глава пятая «Проверка адекватности моделей испытываемых объектов». • Ростовцев Ю.Г., Юсупов Р.М. Проблема обеспечения адекватности субъектно-объектного моделирования. / Приборостроение, том 34, №7, 1990.

43. Адекватность моделей • Модели реально существующих объектов, допускающих экспериментальные исследования • Модели объектов, которые еще не существуют (предвосхищающие модели) или эксперименты с которыми не допустимы • Промежуточный класс моделей объектов, допускающих проведение экспериментов только с отдельными элементами (блоками) объекта

44. Варианты задания метрик

45. Варианты задания метрик (варианты задания шкал измерения качества моделей)

46. Варианты задания метрик

47. Наименование Формула Средневзвешенное арифметическое (СВА) Среднеарифметическое (СА), частный случай СВА при равнозначности измерений (сi=1/n) Среднеквадратичное (СК) Средневзвешенное геометрическое (СВГм) Среднегеометрическое (СГм), частный случай СВГм (сi=1/n) Средневзвешенное гармоническое (СВГр) Среднегармоническое (СГр) Варианты задания метрик (основные формулы осреднения показателей качества)

48. Варианты задания метрик ,

49. Обобщенная технология оценивания и управления качеством (в т.ч. адекватностью) моделей первого класса 7 6 5 Мs М1 2 4 О 1 3 1 - Формирование целей функционирования объекта; 2 - Формирование входных сигналов; 3 - Формирования целей моделирования; 4 - Управление качеством модели; 5,6,7 - управление параметрами, структурой, концептуальным описанием

50. Оценивание адекватности моделей первого класса • мера адекватности – «расстояние» между моделью и объектом в пространстве «входные-выходные» сигналы • абсолютная адекватность • адекватность, Обобщенная технология проверки адекватности модели Y О X анализ YM М