А . В . Лотов Вычислительный Центр им. А.А.Дородницына РАН ВМК МГУ им. М.В.Ломоносова

1. Визуализация границы Парето в задачах многокритериальной оптимизации(Лекции в МФТИ, февраль 2013 г.) А. В. Лотов Вычислительный Центр им. А.А.Дородницына РАН ВМК МГУ им. М.В.Ломоносова

2. Часть II. Визуализации границы Парето и ее применение. Содержание • А. Краткий обзор методов визуализации малого числа критериальных точек • Б. Визуализации границы Парето в выпуклых задачах многокритериальной оптимизации: аппроксимация оболочки Эджворта-Парето и диалоговые карты решений • В. Метод достижимых целей в выпуклом случае. Примеры практического применения метода достижимых целей • Г. Визуализация границы Парето в задачах анализа данных и примеры ее практического применения. • Д. Метод достижимых целей в невыпуклом случае. Примеры практического применения метода достижимых целей в невыпуклом случае.

3. Многокритериальная оптимизация Множество допустимых решений Решения отображаются в многомерное векторное пространство Условная запись, означающая, что желательно уменьшать значения каждого из критериев при неизменных других.

4. Доминирование по Парето и граница Парето Доминирование по Парето Граница Парето множество достижимых значений критериев Пусть

5. Оболочка Эджворта-Парето Имеет место

6. Решение задачи МКО Математическое (теоретическое) решение задачи МКО – множество в пространстве критериев (граница Парето) и множество в пространстве решений (множество решений, оптимальных по Парето)

7. Лицо, принимающее решение В рамках методов МКО считается, что выбор единственного решения, оптимального по Парето, осуществляется лицом, принимающим решение (ЛПР).

8. Классификация современных методов в соответствии с ролью ЛПР Методы МКО No-preference methods A posteriori methods A priori preference methods Interactive methods

9. Задачи с двумя критериями: замещения видны на рисунке y2 y1 Норма замещения (Tradeoff rate)

10. Методы визуализации многомерной границы Парето Основная идея – перенесение на случай многих критериев методики, эффективно использующейся при двух критериях. При этом важно помнить, что при анализе границы Парето в двумерном случае важную роль играют не только сами значения критериев, но и информация о замещении одного критерия другим.

11. А. Краткий обзор методов визуализации малого числа критериальных точек

12. Метод параллельных прямых(Value path) Изображение значений каждой из альтернатив в виде ломаной линии на параллельных прямых, соответствующих критериям.

13. Value path: 8 решений и 22 критерия

14. Value path: 77 решений и 10 критериев

15. Радарные диаграммы: 4 решения и 20 критериев

17. Scatterplot Matrix Ошибочная попытка изобразить критериальные точки для случая более чем двух критериев с помощью проекций на всевозможные двухкритериальные плоскости

18. Пример scatterplot matrix

19. Б. Визуализации границы Парето в выпуклых задачах многокритериальной оптимизации: аппроксимация оболочки Эджворта-Парето и диалоговые карты решений

20. Аппроксимация с целью визуализации границы Парето(метод Диалоговых карт решений) Метод основан на аппроксимации ОЭП простыми фигурами и на быстрой диалоговой визуализации двумерных сечений ОЭП Совокупность границ двумерных сечений ОЭП дает ЛПР представление о границе Парето.

21. Аппроксимация ОЭП Построение методов аппроксимации ОЭП явилось основной математической проблемой, которую понадобилось решить при разработке метода Диалоговых карт решений. В случае выпуклого ОЭП в качестве аппроксимирующего тела используется выпуклое многогранное множество. Эта задача тесно связана с задачей полиэдральной аппроксимации выпуклых компактных тел.

22. Итерационные методы полиэдральной аппроксимации выпуклых многомерных компактных тел (в.к.т.) Рассмотрим задачу аппроксимации в.к.т. СизRm. Под итерационными методами полиэдральной аппроксимации в.к.т. принято понимать такие методы построения последовательности телесных многогранников P0 , P1 , …, Pk , … с растущим на единицу числом вершин (или граней), в которых последующий многогранник строится на основе предыдущегодобавлением одной новой вершины. Требуется где =max {sup{d(x, C2):xC1}, sup{d(x,C1):xC2}}.

23. Схемы восполнения Итерационные алгоритмы различаются способом построения последующего многогранника по предыдущему. Здесь ограничимся схемами восполнения, имеющими следующий вид. Пусть P(C)– семейство выпуклых телесных многогранников, вершины которых принадлежат границе C аппроксимируемого в.к.т. C. Пусть PkP(C). Тогда (k+1)-я итерация состоит из двух шагов. Шаг 1. Выбирается точка y* C; Шаг 2. Строится Pk = conv { y*, Pk }. Выбор точки осуществляется на основе расчета значение опорной функции в.к.т. C gС (u) = max {<u, y>: y С}. для некоторого направления uS = {vRm: <v, v> = 1}. Очевидно, что если в некотором алгоритме, построенном на основе схемы восполнения, многогранник начального приближения P0 принадлежит P(C), то и PkP(C) для любого k.

24. Адаптивные методы Итеративные методы делятся на адаптивные и неадаптивные. В неадаптивных методах требуется заранее выбрать систему направлений u(1),…u(N)S, для которых будет измеряться опорная функция. В адаптивные методах для выбора направления uS , используемого для расчета опорной функции, используется информация о многограннике Pk. В этом случае выбор направления uSадаптирован к форме C в той мере, в какой Pk аппроксимирует C. Адаптивные алгоритмы являются более эффективными, нежели неадаптивные, основанные на построении априорной сетки на сфере направлений, т.е. не учитывающие конкретную форму аппроксимируемого тела. В то же время, неадаптивные методы обладают рядом преимуществ, которые обсудим позднее.

25. Метод Уточнения оценки Первый (исторически) адаптивный метод для m>2, метод Уточнения оценки (УО), был предложен В.А.Бушенковым и А.В.Лотовым (1982).

26. Метод уточнения оценки Пусть аппроксимируется телесное в.к.т. C. Обозначим через U(P) конечное множество единичных внешних нормалей к гиперграням телесного многогранника P. Очевидно, что множество U(P) задано, если многогранник P задан в виде множества решений системы линейных неравенств. Рассмотрим (k+1)-й итерацию. Перед началом итерации должен быть построен многогранник Pk, заданный в виде множества решений системы линейных неравенств.

27. Метод уточнения оценки 2 Шаг 1: находим u* U(Pk), на котором достигается Вкачестве y* берем такую точку C, что < u*, y* > = gC(u*). Шаг 2: находим U(Pk+1) для Pk+1= conv { y*, Pk } на основе построения conv {y*, Pk } в виде множества решений системы линейных неравенств. Предполагается, что перед началом работы алгоритма задан исходный многогранник P0 (обычно берется симплекс), методы построения которого здесь рассматриваться не будут. Отметим, что в результате решения задач оптимизации на шаге 1 одновременно строится внешняя аппроксимация C = {y Rm: <u, y> gC(u),u  U(Pk) }

28. Теоретический анализ адаптивных методов.Многогранники наилучшей аппроксимации При анализе адаптивных методов для их оценки была использована “образцовая” последовательность многогранников – последовательность многогранников наилучшей аппроксимации. Пусть задано некоторое в.к.т. C. Тогда среди многогранников с числом вершин, не более чем N, найдется многогранник PN, на котором достигается минимум расстояния по Хаусдорфу. Этот многогранник называется многогранником наилучшей аппроксимации (МНА). Он может служить эталоном аппроксимации тела C. Существование таких многогранников доказано для любых в.к.т. Методы построения МНА отсутствуют, но их свойства известны и дают информацию для изучения качества численных методов аппроксимациив.к.т. Известно, в частности, что d (C, PN)0 при N.

29. Известна оценка сходимости МНА для гладких тел • Существуют такие kC и KC , что kC / N 2/(m-1) d(C, PN)  KC / N 2/(m-1) • Для m=2 получаем 2/(m-1) 1/N2 • Для m=3 получаем 2/(m-1) 1/N • Для m=5 получаем 2/(m-1) 1/N0.5 • Для m=7 получаем 2/(m-1)1/N1/3

30. Анализ хаусдорфовых адаптивных методов аппроксимации Хаусдорфовы методывозникли какобобщение метода УО. Метод полиэдральной аппроксимации называют хаусдорфовым для в.к.т.C с константой γ > 0, если он порождает {Pk}, k = 0, 1, ... со свойством d(Pk, Pk+1)  γ d (Pk, C), k = 0, 1, ... Основной теоретический результат для хаусдорфовых адаптивных методов: для любого в.к.т.C d(C, Pk) ~ 1 / Nk 2/(m-1). При этом гладкость границы не предполагается.

31. Результаты изучения хаусдорфовыхметодов приведены в книге Г.К.Каменев «Оптимальные адаптивные методы полиэдральной аппроксимации выпуклых тел». М: Изд. ВЦ РАН, 2007, 233 с.

32. Асимптотическая эффективность Пусть F = {Pk}k = 0, 1, ... – последовательность многогранников, сходящаяся к в.к.т. C. Величину назовем асимптотической эффективностью последовательности F. Для последовательностей МНА имеем η(F) = 1; для последовательностей, не оптимальных по порядку числа вершин, имеем η(F)=0; в остальных случаях η(F) между 0 и 1.

33. Асимптотическая эффективность для хаусдорфовыхпоследовательностей Показано, что для в.к.т. с трижды непрерывно дифференцируемой границей для последовательности F, полученной на основе хаусдорфового метода с константой γ , имеет место где rmin и rmax – минимальный и максимальный радиусы кривизны C, а θm– плотность покрытия пространства Rm единичными шарами (1< θm <2).

34. Свойства метода УО • Метод УО является реализацией хаусдорфовым для любого в.к.т. C и имеет константу γ, в процессе аппроксимации стремящуюся к 1/a(C), где a(C) – асферичностьC. • Для в.к.т. с дважды непрерывно дифф. границей метод УО обладает константой γ, стремящейся к единице, причем • Для в.к.т. с дважды непрерывно дифф. границей метод УО асимптотическая оптимален по числу расчетов опорной функции.

35. Экспериментальные исследования (аппроксимации 2-4 мерных эллипсоидов) позволили сделать следующие выводы • Алгоритм УО, как и следует из теоретического анализа, являются оптимальными по порядку числа вершин аппроксимирующих многогранников; • в трех- и четырехмерных случаях экспериментальная асимптотическая эффективность алгоритма УОпревосходит 1/2; • экспериментальная асимптотическая эффективность алгоритма УОрастет с ростом размерности; • экспериментальная асимптотическая эффективность алгоритма УО мало зависит от асферичности аппроксимируемого тела.

36. Построение выпуклой оболочки многогранника и точки (метод beneath-beyond)

37. Методы, основанные на схеме beneath-beyond различаются между собой по способу решения трех задач: • Как определить видимость из присоединяемой точки; • Как определить соседство двух плоскостей; и • Как найти выпуклую оболочку точки и многогранника. Устойчивый вычислительный алгоритм метода УО реализован О.Л.Черных в 1986 г. на основе метода свертывания линейных неравенств, предложенного Фурье в начале XIX века и модифицированного С.Н.Черниковым в 1960х годах.

38. Хотя метод О.Л.Черных применим в случае последовательного поступления точек, для простоты предположим, что задано sточек{v1, v2, ... , vs} Rm, выпуклая оболочка которых должна быть построена в виде решения системы линейных неравенств. По определению, точкаyRmпринадлежит выпуклой оболочке {v1, v2, ... , vs} Rm, если найдутся такие величины λ1, λ2,...,λs, что Рассмотрим пространствоRs+mпеременныхλ1, λ2,...,λsиy. Тогда эта система задает многогранное множество в Rs+m. Искомая выпуклая оболочка – проекция этого множества на пространство Rmпеременных y. На основе методов проектирования Фурье-Черникова был построен устойчивый метод построения выпуклой оболочки.

39. Таким образом, теоретические и экспериментальные исследования подтверждают возможность аппроксимации выпуклых множеств в пространствах размерности от трех до семи-восьмис помощью адаптивных алгоритмов, в частности, метода УО.

40. Аппроксимация выпуклой ОЭП Отличается от аппроксимации в.к.т. тем, что исходное множество – не симплекс, а конус (симплекс с бесконечно удаленными точками).

41. Далее…

42. Неадаптивные методы Адаптивные методы имеют ряд недостатков. Во-первых, итеративное построение аппроксимации неудобно при распараллеливании алгоритмов, поскольку число решаемых задач оптимизации может резко меняться от итерации к итерации. Во вторых, в сети Интернет, когдакрайне удобно выполнять построение аппроксимации на специальном ресурсе, а расчет опорной функции – на компьютере пользователя, наличие итераций приводит к требованию многократного (до нескольких сотен раз) взаимодействию пользователя с ресурсом, что не является практичным.

43. Характерный пример зависимости числа решаемых задач расчета опорной функции в методе УО от номера итерации

44. Построение субоптимальной системы направлений Как уже говорилось, в неадаптивных методах требуется заранее выбрать систему направлений u(1),…u(N)S, для которых будет измеряться опорная функция. Поскольку эта система направлений строится заранее и не зависит от аппроксимируемого множества, целесообразно сделать эти направления равномерно расположенными на m-мерной единичной сфере. Этого можно добиться за счет построения покрытия сферы системой окрестностей заданного числа точек сферы с минимальным радиусом покрытия. Далее, эти точки можно использовать как направления в неадаптивных методах. Поскольку задача построения оптимального покрытия сферы не имеет решения при m>2, строится субоптимальное покрытие.

45. Метод пошагового пополнения покрытия, ППП Метод ППП (StepwiseSupplementofCovering, SSC) предназначен для численного построения покрытий многомерной единичной сферы окрестностями конечного числа точек. Итеративно строится последовательность покрытий, каждое из которых отличается от предыдущего включением всего одной точки. Ясно, что такие покрытия заведомо не являются оптимальными. Однако, при разумном выборе точки, включаемой в базу покрытия, они являются асимптотически субоптимальными.

46. Оптимальное покрытие Оптимальное покрытие для непустого множества A некоторого метрического пространства Zс метрикой определяется следующим образом. Пусть T – конечное подмножество A. Пусть – замкнутая ε-окрестность T. Если , то будем называть (конечным) покрытиемA, а T – базой покрытия. Радиусом покрытия множества A будем называть величину . Пусть Ωk – совокупность подмножеств A, составленных из k>0 точек. Для данного A введем обозначение . Если существует база покрытия Ωk, на которой достигается величина , то полученное покрытие назовем оптимальным k-точечным покрытием A.

47. Покрытие единичной сферы Обратимся к покрытиям единичной сферы Sm-1={ :<u, u> =1}, т.е. будем считать, что Z=A=Sm-1. Рассмотрим на Sm-1внутреннюю метрику, совпадающую с минимальным углом между векторами, направленными на точки сферы, т.е. с минимальной длиной дуги большого круга (сечения сферы двумерной плоскостью, проходящей через ее центр и рассматриваемые точки).

48. Субоптимальные покрытия Рассмотрим на Sm-1бесконечные последовательности баз покрытия Tk, k=1,2,…, с растущим числом точек, причем пусть для простоты величина k означает не только номер базы, но и число ее точек. Для A=Sm-1и любого k>0 существует оптимальное покрытие с базой. Поэтому среди последовательностей баз покрытия Tk, k=1,2,…, наилучшей является, k=1,2,…. Последовательности покрытий сферы и их баз Tk, k=1,2,…, будем называть (асимптотически) субоптимальными, если

49. Расчет радиуса покрытия • Расчет радиуса покрытия для любого конечного покрытия единичной многомерной сферы Sm-1, заданного базой покрытия Tkоснован на построении Pk – выпуклого телесного многогранника с kвершинами в точках Tk. Имеет место связь между и расстоянием по Хаусдорфуhk между Pk и шаром Bm= { : <u, u> ≤ 1} • Для использования этого соотношения достаточно по точкам базы Tk построить многогранник Pk в форме решения системы линейных неравенств. Такое представление многогранника позволяет найти величину расстояния по Хаусдорфуhk между Pk и шаром Bm.

50. Метод ППП Метод ППП основан на использовании метода УО для построения последовательности выпуклых телесных многогранниковPk, k=d+1, d+2,…, аппроксимирующих шар Bm. Совокупность вершин Pk порождает базу Tk покрытия Sm-1. Асимптотическая эффективность последовательности покрытий, заданных базой Tk, построенной с использованием метода ППП, определяется как