Метод Наименьших Квадратов (МНК) д ля нахождения коэффициентов уравнения регрессии.

1. Метод Наименьших Квадратов (МНК) для нахождения коэффициентов уравнения регрессии.

2. Метод Наименьших Квадратов y yi (xi, yi) (x2, y2) (x1, y1) xi x Пусть у нас есть набор данных вида (xi, yi), для i=1, 2,.., n. Данные можно изобразить на графике точками (xi, yi).

3. Метод Наименьших Квадратов y линия регрессии y = f(x) x Регрессия – функция, описывающая среднюю зависимость между исходными данными. Пусть мы ищем уравнение регрессии y = f(x)

4. Метод Наименьших Квадратов y отклонение |yi - f(xi)| линия регрессии y = f(x) x Регрессия – функция, описывающая среднюю зависимость между исходными данными. Пусть мы ищем уравнение регрессии y = f(x) Тогда отклонение для точки (xi,yi) будет равно yi - f(xi).

5. y x Метод Наименьших Квадратов отклонение |yi - f(xi)| линия регрессии y = f(x) Оценка параметров уравнений регрессии осуществляется методом наименьших квадратов (МНК).

6. y x Метод Наименьших Квадратов отклонение |yi - f(xi)| линия регрессии y = f(x) Оценка параметров уравнений регрессии осуществляется методом наименьших квадратов (МНК). Основной принцип МНК рассмотрим на примере: Две величины (два показателя) x и y взамосвязаны между собой, причем y находится в некоторой зависимости от x. Следовательно y будет зависимой (результативной), а x - независимой (факторной) величинами.

7. y x Метод Наименьших Квадратов отклонение |yt - f(xt)| линия регрессии y = f(x) Сущность метода наименьших квадратов заключается в нахождении параметров модели (a, b), при которых минимизируется сумма квадратов отклонений эмпирических значений результативного признака от теоретических, полученных по выбранному уравнению регрессии:

8. y x Метод Наименьших Квадратов отклонение |yt - f(xt)| линия регрессии y = f(x) Сущность метода наименьших квадратов заключается в нахождении параметров модели (a, b), при которых минимизируется сумма квадратов отклонений эмпирических значений результативного признака от теоретических, полученных по выбранному уравнению регрессии: То есть S = Σ(yi - f(xi))2  min Поэтому он и называется методом наименьших квадратов.

9. y x Метод Наименьших Квадратов отклонение |yt - f(xt)| линия регрессии y = f(x) Сущность метода наименьших квадратов заключается в нахождении параметров модели (a, b), при которых минимизируется сумма квадратов отклонений эмпирических значений результативного признака от теоретических, полученных по выбранному уравнению регрессии: То есть S = Σ(yi - f(xi))2  min Поэтому он и называется методом наименьших квадратов. Для линейной зависимости (y = a + bx): S = Σ(yi - a - bxi)2  min;

10. Метод Наименьших Квадратов Для линейной зависимости (y = a + bx): S = Σ(yi - a - bxi)2  min; Распишем S: S = Σ(a2 + b2xi2 + yi2 + 2*abxi – 2*bxiyi – 2*ayi)= = a2*n + b2(Σxi2) + (Σyi2) + 2*ab(Σxi) - 2*b(Σxiyi) - 2*a(Σyi); (n)*a2 + (2*b(Σxi) - 2*(Σyi))*a + (b2(Σxi2) + (Σyi2) - 2*b(Σxiyi) - 2*a(Σyi));

11. Метод Наименьших Квадратов Для линейной зависимости (y = a + bx): S = Σ(yi - a - bxi)2  min; Распишем S: S = Σ(a2 + b2xi2 + yi2 + 2*abxi – 2*bxiyi – 2*ayi)= = a2*n + b2(Σxi2) + (Σyi2) + 2*ab(Σxi) - 2*b(Σxiyi) - 2*a(Σyi); (n)*a2 + (2*b(Σxi) - 2*(Σyi))*a + (b2(Σxi2) + (Σyi2) - 2*b(Σxiyi) - 2*a(Σyi)); Теперь, рассматривая S как функцию от одной переменной - S(a), находим, что это парабола с ветвями, направленными вверх. S a min

12. Метод Наименьших Квадратов Для линейной зависимости (y = a + bx): S = Σ(yi - a - bxi)2  min; Распишем S: S = Σ(a2 + b2xi2 + yi2 + 2*abxi – 2*bxiyi – 2*ayi)= = a2*n + b2(Σxi2) + (Σyi2) + 2*ab(Σxi) - 2*b(Σxiyi) - 2*a(Σyi); (n)*a2 + (2*b(Σxi) - 2*(Σyi))*a + (b2(Σxi2) + (Σyi2) - 2*b(Σxiyi) - 2*a(Σyi)); Теперь, рассматривая S как функцию от одной переменной - S(a), находим, что это парабола с ветвями, направленными вверх, у такой параболы минимум будет соответствовать нулевой производной. Минимизируя функцию S(a), находим искомый коэффициент a. Аналогично ищем коэффициент b. Минимум функции будет достигнут при и Где - частная производная функции S по переменной a. S a min

13. Метод Наименьших Квадратов Необходимо вычислить эти производные: Известно, что производная суммы слагаемых равна сумме производных этих слагаемых:

14. ( ( ) ) ¶ ¶ ¶ g f g x f = × ; g x ¶ ¶ ¶ x Метод Наименьших Квадратов Необходимо вычислить эти производные: Известно, что производная суммы слагаемых равна сумме производных этих слагаемых: является сложной функцией вида f(g(x)), где f(t) = t2. Правило нахождения производных от сложных функций:

15. ( ( ) ) ¶ ¶ ¶ g f g x f = × ; g x ¶ ¶ ¶ x ¶ x Метод Наименьших Квадратов Необходимо вычислить эти производные: Известно, что производная суммы слагаемых равна сумме производных этих слагаемых: является сложной функцией вида f(g(x)), где f(t) = t2. Правило нахождения производных от сложных функций: Применим правило для f(t) = t2: ¶ ¶ ¶ ¶ ¶ 2 f g g g g g = = × × 2 ; × × ¶ ¶ ¶ ¶ x g x g

16. Метод Наименьших Квадратов Вычислим эти производные как производные от сложных функций: 1.

17. Метод Наименьших Квадратов Вычислим эти производные как производные от сложных функций: 1. 2.

18. Метод Наименьших Квадратов Вычислим эти производные как производные от сложных функций: 1. 2. Подставим в систему: Сократим постоянный множитель 2. ¶ S ì ì ( ) å ( ) å = + - = + - = 2 a bx y 0 ; a bx y 0 ; ï ï ¶ a í í ¶ S ( ) å ( ) å = + - = 2 a bx y x 0 ; ï ï + - = a bx y 0 ; x ¶ b î î

19. ì ( ) å + - = a bx y 0 ; ï í ( ) å ï + - = a bx y 0 ; x î Метод Наименьших Квадратов

20. ì ( ) å å å å + - = ì a bx y 0 ; - + + = y b x a 0 ; ï í å å å í - + = 2 b x xy a x 0 ; ( ) î å ï + - = a bx y 0 ; x î Метод Наименьших Квадратов Раскроем скобки.

21. ì ( ) å å å å + - = ì a bx y 0 ; - + + = y b x a 0 ; ï í å å å í - + = 2 b x xy a x 0 ; ( ) î å ï + - = a bx y 0 ; x î Метод Наименьших Квадратов Раскроем скобки. Заметим, что Σ(a) = an, так как в сумме всего n слагаемых.

22. ì ( ) å å å å + - = ì a bx y 0 ; - + + = y b x a 0 ; ï í å å å í - + = 2 b x xy a x 0 ; ( ) î å ï + - = a bx y 0 ; x î Метод Наименьших Квадратов Раскроем скобки. Заметим, что Σ(a) = an, так как в сумме всего n слагаемых. Перенесем выражения, содержащие y,в правую сторону:

23. ì ( ) å å å å + - = ì a bx y 0 ; - + + = y b x a 0 ; ï í å å å í - + = 2 b x xy a x 0 ; ( ) î å ï + - = a bx y 0 ; x î Метод Наименьших Квадратов Раскроем скобки. Заметим, что Σ(a) = an, так как в сумме всего n слагаемых. Перенесем выражения, содержащие y,в правую сторону: Эта система называется системой нормальных уравнений Теперь выведем эту же систему матричным способом:

24. Метод Наименьших Квадратов Матричный вид записи

25. Метод Наименьших Квадратов У нас есть набор данных, состоящий из n точек (xi, yi), мы стремимся подобрать коэффициенты a, bтаким образом, чтобы функция регрессии проходила через все эти точки. Для каждого xiзначение функции регрессии должно совпадать со значением yi.

26. Метод Наименьших Квадратов У нас есть набор данных, состоящий из n точек (xi, yi), мы стремимся подобрать коэффициенты a, bтаким образом, чтобы функция регрессии проходила через все эти точки. Для каждого xiзначение функции регрессии должно совпадать со значением yi. То есть мы стремимся выполнить систему из nуравнений: Это система из nлинейных уравнений с двумя неизвестными переменными. Для того, чтобы удовлетворить всем уравнениям одновременно, необходимо перейти к системе более простого вида.

27. Метод Наименьших Квадратов 1. Система уравнений:

28. Метод Наименьших Квадратов 1. Система уравнений: 2. Представим ее в матричном виде:

29. Метод Наименьших Квадратов 1. Система уравнений: 2. Представим ее в матричном виде: 3. Обозначим левую матрицу через Y:

30. Метод Наименьших Квадратов 1. Система уравнений: 2. Представим ее в матричном виде: 3. Обозначим левую матрицу через Y: 4. Тогда уравнение запишется в виде:

31. Метод Наименьших Квадратов 1. Уравнение в матричном виде:

32. Метод Наименьших Квадратов 1. Уравнение в матричном виде: 2. Правую часть можно представить в виде произведения двух матриц:

33. Метод Наименьших Квадратов Правило умножения матриц: строка умножается на столбец 2 2 Произведение двух матриц возможно только тогда, когда количество столбцов в первой матрице совпадает с количеством строк во второй.

34. Метод Наименьших Квадратов Правило умножения матриц: строка умножается на столбец n 2 1 1 2 Произведение двух матриц возможно только тогда, когда количество столбцов в первой матрице совпадает с количеством строк во второй. При умножении мы получаем матрицу с количеством строк, равным количеству строк в первой матрице, и количеством столбцов, равным количеству столбцов во второй. Для простого случая, как у нас, мы получим матрицу с 1столбцом и n строками.

35. Метод Наименьших Квадратов Правило умножения матриц: строка умножается на столбец Произведение двух матриц возможно только тогда, когда количество столбцов в первой матрице совпадает с количеством строк во второй. При умножении мы получаем матрицу с количеством строк, равным количеству строк в первой матрице, и количеством столбцов, равным количеству столбцов во второй. Для простого случая, как у нас, мы получим матрицу с 1 столбцом и n строками. Каждая ячейка i-ой строки j-го столбца результирующей матрицы вычисляется как произведение i-ой строки первой матрицы на j-ый столбец второй матрицы.

36. × + × = + 1 a x b a bx 1 1 Метод Наименьших Квадратов Правило умножения матриц: строка умножается на столбец Произведение двух матриц возможно только тогда, когда количество столбцов в первой матрице совпадает с количеством строк во второй. При умножении мы получаем матрицу с количеством строк, равным количеству строк в первой матрице, и количеством столбцов, равным количеству столбцов во второй. Для простого случая, как у нас, мы получим матрицу с 1 столбцом и n строками. Каждая ячейка i-ой строки j-го столбца результирующей матрицы вычисляется как произведение i-ой строки первой матрицы на j-ый столбец второй матрицы. Под произведением строки на столбец понимается сумма произведений соответствующих ячеек. Пусть ячейка первой матрицы находится в i-ой строке и k-ом столбце, ей соответствует ячейка второй матрицы в k-ой строке и j-ом столбце.

37. 1 1 a x b a bx 1 1 × + × = + 1 a x b a bx 2 2 Метод Наименьших Квадратов Правило умножения матриц: строка умножается на столбец × + × = + Произведение двух матриц возможно только тогда, когда количество столбцов в первой матрице совпадает с количеством строк во второй. При умножении мы получаем матрицу с количеством строк равным количеству строк в первой матрице, и количеством столбцов равным количеству столбцов во второй. Для простого случая, как у нас, мы получим матрицу с 1 столбцом и n строками. Каждая ячейка i-ой строки j-го столбца результирующей матрицы вычисляется как произведение i-ой строки первой матрицы на j-ый столбец второй матрицы. Под произведением строки на столбец понимается сумма произведений соответствующих ячеек. Пусть ячейка первой матрицы находится в i-ой строке и k-ом столбце, ей соответствует ячейка второй матрицы в k-ой строке и j-ом столбце.

38. × + × = + 1 a x b a bx 1 1 × + × = + 1 a x b a bx n n Метод Наименьших Квадратов Правило умножения матриц: строка умножается на столбец Произведение двух матриц возможно только тогда, когда количество столбцов в первой матрице совпадает с количеством строк во второй. При умножении мы получаем матрицу с количеством строк равным количеству строк в первой матрице, и количеством столбцов равным количеству столбцов во второй. Для простого случая, как у нас, мы получим матрицу с 1 столбцом и n строками. Каждая ячейка i-ой строки j-го столбца результирующей матрицы вычисляется как произведение i-ой строки первой матрицы на j-ый столбец второй матрицы. Под произведением строки на столбец понимается сумма произведений соответствующих ячеек. Пусть ячейка первой матрицы находится в i-ой строке и k-ом столбце, ей соответствует ячейка второй матрицы в k-ой строке и j-ом столбце.

39. Метод Наименьших Квадратов

40. Метод Наименьших Квадратов Обозначим матрицы именами Z иA:

41. Метод Наименьших Квадратов Обозначим матрицы именами Z иA: Система уравнений в матричном виде представляется:

42. Метод Наименьших Квадратов

43. Метод Наименьших Квадратов Умножим левую и правую части уравнения на ZT слева:

44. Метод Наименьших Квадратов Умножим левую и правую части уравнения на ZT слева: Где ZT– транспонированная матрица (матрица полученная из матрицы Z, зеркальным отражением относительно диагонали, строки меняются на столбцы, а столбцы на строки).

45. Метод Наименьших Квадратов Умножим левую и правую части уравнения на ZT слева: Где ZT– транспонированная матрица (матрица полученная из матрицы Z, зеркальным отражением относительно диагонали, строки меняются на столбцы, а столбцы на строки).

46. Метод Наименьших Квадратов Умножим левую и правую части уравнения на ZT слева: Где ZT– транспонированная матрица (матрица полученная из матрицы Z, зеркальным отражением относительно диагонали, строки меняются на столбцы, а столбцы на строки).

47. Метод Наименьших Квадратов Умножим левую и правую части уравнения на ZT слева: Где ZT– транспонированная матрица (матрица полученная из матрицы Z, зеркальным отражением относительно диагонали, строки меняются на столбцы, а столбцы на строки).

48. Метод Наименьших Квадратов Умножим левую и правую части уравнения на ZT слева: Где ZT– транспонированная матрица (матрица полученная из матрицы Z, зеркальным отражением относительно диагонали, строки меняются на столбцы, а столбцы на строки).

49. Метод Наименьших Квадратов Умножим левую и правую части уравнения на ZT слева: Где ZT– транспонированная матрица (матрица полученная из матрицы Z, зеркальным отражением относительно диагонали, строки меняются на столбцы, а столбцы на строки).

50. Метод Наименьших Квадратов