ЛОГІТ ТА ПРОБІТ-МОДЕЛІ РЕГРЕСІЇ В ПРОГНОЗУВАННІ СЕП

1. ЛОГІТ ТА ПРОБІТ-МОДЕЛІ РЕГРЕСІЇ В ПРОГНОЗУВАННІ СЕП Моделі дискретного вибору. Логіт та пробіт-моделі регресії. Особливості вирішення логіт та пробіт-моделей в аналітичних пакетах.

2. Определение Модель дискретного выбора – модель регрессии, в которой зависимая переменная является дискретной.

3. Причины дискретности зависимой переменной: • Целочисленность • Качественная природа зависимой переменной • Порядковая или ранговая переменная

4. Примеры моделей дискретного выбора • Решение об участии на рынке труда • Выбор вида транспорта • Выдача кредитов • Голосование...

5. Методы оценивания: • Линейная вероятностная модель (linear probability model) • Логит (logit) • Пробит (probit) • Множественный логит (multinomial logit) • Упорядоченный логит (ordered logit) • Модели с группировкой (nested logit)

6. Виды моделей дискретного выбора: • Модели бинарного выбора • Модели множественного выбора

7. Модели бинарного выбора Модель бинарного выбора – частный случай модели дискретного выбора, при котором зависимая переменная может принимать только два значения (1 или 0)

8. Модели множественного выбора • Модель множественного выбора –модель дискретного выбора, при котором зависимая переменная может принимать более двух значений

9. Виды моделей множественного выбора • Номинальные (важно только количество принимаемых значений, или состояний) – модели с неупорядоченными альтернативами • Порядковые (важно ранжирование значений зависимой переменной) – модели с упорядоченными альтернативами

10. Модели с неупорядоченными альтернативами: • Множественный логит и пробит • Предположение о максимизации полезности, связанной с каждой из альтернатив • Оценка при помощи метода максимального правдоподобия • Использование моделей с группировкой при многошаговом процессе принятия решений

11. Модели с упорядоченными альтернативами: • Проблематичность применения МНК из-за качественной природы зависимой переменной • Упорядоченный логит и пробит

13. Выберите максимизирующиеоценки константы и параметров для: логарифмической функции правдоподобия ^ ^ ∑ log(pi) + ∑ log(1 – pi) обучающие наблюдения со вторичным исходом обучающие наблюдения с первичным исходом Прогнозная формула логистической регрессии p 1 – p ^ ( ) ^ ^ ^ = w0 + w1x1 + w2x2 · · логит-баллы log ^ ...

14. связывающая функция (логит 5 1 0 -5 Связывающая функция - логит ^ ^ ^ = w0 + w1x1 + w2x2 · · p 1 – p логит-баллы ^ ( ) log ^ Логит-функция преобразует вероятность (между 0 и 1) в логит-баллы (между −∞ и +∞). ...

15. Связывающая функция - логит ^ ^ ^ = w0 + w1x1 + w2x2 = · · p 1 – p ^ ( ) log ^ logit scores logit( p ) ^ 1 1 + e-logit( p ) ^ p= ^ Для получения оценки прогноза логит-уравнение решается относительно p. ^ ...

16. Связывающая функция - логит logit scores ...

17. 0.70 0.50 0.40 0.60 Пример использования регрессии Прогнозирование цвета точки по ее координатамx1иx2. 1.0 0.9 0.8 0.7 0.6 Необходимо вычислить значение константы и других параметров модели. x2 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 x1 ...

18. 0.70 0.60 0.50 0.40 Пример использования регрессии 1.0 0.9 0.8 0.7 0.6 Поиск максимизирующих оценок параметров x2 0.5 0.4 0.3 0.2 обучающие наблюдения с первичным исходом обучающие наблюдения со вторичным исходом 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 логарифмическая функция правдоподобия x1 ...

19. 0.70 0.50 0.40 0.60 Выберите правильный ответ из списка Что будет значением прогноза для точки x1=0,3 x2=0,7? • 0.243 • 0.56 • желтая • Ответ зависит от … 1.0 0.9 0.8 0.7 0.6 x2 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 x1

20. 0.70 0.50 0.40 0.60 Правильный ответ Что будет значением прогноза для точки x1=0,3 x2=0,7? • 0.243 • 0.56 • Желтая • Ответ зависит от … 1.0 0.9 0.8 0.7 0.6 x2 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 x1

21. Особенности модели LOGIT • P[0, 1], L (-∞, +∞) • L линейна по переменным, вероятности – нет • Интерпретация параметров: при изменении фактора j на 1 ед. логарифм относительного числа шансов в пользу события Y=1 к числушансов против события Y=1 изменится в среднем на bj единиц при условии, что все остальные факторы модели зафиксированы • Возможность перехода к оценкам вероятности

22. Оценка параметров модели LOGIT • Метод максимального правдоподобия для:

23. Модель PROBIT Функция, характеризующая искомую вероятность, определяется как кумулятивная функция нормального распределения: где z = a+b1X1+…+bkXk+u

24. ВАЖНО! Оценки коэффициентов моделей логит и пробит НЕЛЬЗЯ интерпретировать как показатели силы связи из-за нелинейности по параметрам. Однако от этих оценок можно легко перейти к относительным показателям силы связи для отдельных факторов, включенных в модель.

25. Сравнение моделей LOGIT и PROBIT • Индивидуальный выбор исследователя • Разница в «крутизне» функции распределения • Аналогичные результаты для выборок с небольшим разбросом объясняющих переменных

26. Logitи probitмодели: преимущества и недостатки Недостатки Преимущества Дает статистически надежные результаты: исправляет недостатки линейной модели Результаты легко интерпретируются Сравнительно несложный метод анализа. фото Необходимый большой размер выборки (>500) Проблемы мультиколлинеарности Минимум 10 исходов на каждую независимую переменную фото фото Высшая школа экономики, Москва, 2012

27. Сравнение использования logitи probitмоделей фото Качественно, logitи probitмодели дают примерно одинаковые результаты фото фото Высшая школа экономики, Москва, 2012

28. Оценка качества моделей: • Псевдо коэффициент детерминации: • Индекс отношения правдоподобия: • Проверка гипотез на основе теста правдоподобия:

30. Регрессия: обзор возможных проблем Работа с пропущенными значениями Интерпретация модели Настройка экстремальных и нетипичных значений Использование не численных входных переменных Работа с нелинейностью ...

31. Обзор инструментов для регрессии Заменяет пропущенные значения для интервальных (средним) икатегориальных данных (модой). Создает уникальный индикатор замены. Создает модели линейной и логистической регрессии. Выбирает входные переменные с помощью метода последовательного выбораи соответствующей статистики подгонки. Интерпретирует модели с помощью коэффициентов вероятностей. Регуляризирует распределения входных переменных. Обычно применяются логарифмические преобразования, управляющие асимметрией входных переменных. продолжение...

32. Обзор инструментов для регрессии Объединяет уровни категориальной входной переменной с использованием окна Term Editor. Добавляет члены полиномиальной регрессиилибо вручную, либо с помощью автономного поиска методом полного перебора.

33. Коэффициент вероятности и удваивающийся коэффициент первичного исхода p 1 – p ^ Логит-баллы ( ) ^ ^ ^ log = w0 + w1x1 + w2x2 · · ^ Δxiрезультат 1 отнош. exp(wi) Коэффициент вероятности: Увеличение значения вероятности первичного исхода связанное с изменением входной переменной на единицу измерения. 0.69 wi отнош. 2 Удваивающийся коэффициент: Входная переменная изменяется на 0,69/wi при удвоении вероятности первичного исхода. ...