[ppt]Слайд 1ito.fa.ru/ppt/mmep/econometry/27.ppt · web viewНЕЛИНЕЙНАЯ...

1

НЕЛИНЕЙНАЯ РЕГРЕССИЯ

Принцип минимизации суммы квадратов отклонений.

Эта процедура состоит из последовательности шагов:1. Принимаются некоторые правдоподобные исходные значения параметров.

2. Вычисляются предсказанные значения Y по фактическим значениям Х с использованием этих значений параметров.

3. Вычисляются остатки для всех наблюдений в выборке и, следовательно, RSS, т. е. сумма квадратов остатков.

2

4. Вносятся небольшие изменения в одну или более оценок параметров.

5. Вычисляются новые предсказанные значения Y, остатки и RSS.

6. Если RSS меньше, чем прежде, то новые оценки параметров лучше прежних и их следует использовать в качестве новой отправной точки.

Принцип минимизации суммы квадратов отклонений

3

7. Шаги 4, 5 и 6 повторяются вновь до тех пор, пока не окажется невозможным внести такие изменения в оценки параметров, которые привели бы к уменьшению RSS.

8. Делается вывод о том, что величина RSS минимизирована и конечные оценки параметров являются оценками по методу наименьших квадратов.

Принцип минимизации суммы квадратов отклонений

4

бананы доход (фунтов) ($10,000) хозяйства Y X Z

1 1.71 1 1.002 6.88 2 0.503 8.25 3 0.334 9.52 4 0.255 9.81 5 0.206 11.43 6 0.177 11.09 7 0.148 10.87 8 0.139 12.15 9 0.11

10 10.94 10 0.10

5

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11 12

НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ

Численные методы поиска регрессионных коэффициентов для нелинеаризуемых задач на примере модели потребления бананов. Метод нелинейной оптимизации.

uZuX

Y 212

1

X

Y

XZY 99.1048.1299.1048.12ˆ

6

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11 12


Предположим нам известно, что 1 = 12. Поиск 2 на основе критерия минимизации суммы квадратов остатков. Предположим, что 2 = 6.

XbY 212ˆ

XY 212

Y

X

7

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11 12


Строим модели и ищем сумму квадратов остатков.

XY 212

XY 612ˆ

Y

X

8

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11 12


Строим модели и ищем сумму квадратов остатков .

XY 212

XY 612ˆ

Y

X

9


RSS=29,17.

b2 = -6 b2 = -7

X Y Y e e2

1 1.93 6.00 -4.30 18.452 7.13 9.00 -2.12 4.493 8.78 10.00 -1.75 3.064 9.69 10.50 -0.98 0.975 10.09 10.80 -0.99 0.986 10.42 11.00 0.43 0.187 10.62 11.14 -0.06 0.008 10.71 11.25 -0.38 0.149 10.79 11.33 0.82 0.67

10 11.13 11.40 -0.47 0.22

Total 29.17

^

10

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11 12


Повторим процедуру, модифицировав значение коэффициента на -7.

XY 212

XY 712ˆ

Y

X

11

0

2

4

6

8

10

12

14

0 1 2 3 4 5 6 7 8 9 10 11 12


На графике видно, что это приближение лучше.

XY 212

XY 712ˆ

Y

X

12

b2 = -6 b2 = -7

X Y Y e e2 Y e e2

1 1.93 6.00 -4.30 18.45 5.00 -3.30 10.862 7.13 9.00 -2.12 4.49 8.50 -1.62 2.623 8.78 10.00 -1.75 3.06 9.67 -1.42 2.004 9.69 10.50 -0.98 0.97 10.25 -0.73 0.545 10.09 10.80 -0.99 0.98 10.60 -0.79 0.626 10.42 11.00 0.43 0.18 10.83 0.60 0.357 10.62 11.14 -0.06 0.00 11.00 0.09 0.018 10.71 11.25 -0.38 0.14 11.13 -0.26 0.079 10.79 11.33 0.82 0.67 11.22 0.93 0.87

10 11.13 11.40 -0.47 0.22 11.30 -0.37 0.13

Total 29.17 18.08


Вычисленное значение RSS свидетельствует о том же.

^ ^

13


Повторяя процедуру далее можно увидеть, что оптимальное решение лежит между -10 и -11.

b2 RSS

-6 29.17-7 18.08-8 10.08-9 5.19-10 3.39-11 4.70

0

5

10

15

20

25

30

-12 -11 -10 -9 -8 -7 -6 -5

14


Уменьшая интервал и шаг можно получить новое приближение на интервале -10.0 и -10.1. С точностью до 0,01 получаем приближение 10,08.

Повторяя эту же процедуру по двум параметрам можно получить решение с заданной точностью.

b2 RSS

-11 4.70-10.9 4.43-10.8 4.19-10.7 3.98-10.6 3.80-10.5 3.66-10.4 3.54-10.3 3.46-10.2 3.41-10.1 3.38-10.0 3.39

0

1

2

3

4

5

6

7

-12 -11 -10 -9 -8 -7 -6 -5

XY 08.1012ˆ

15

ТЕСТЫ КОКСА-БОКСА

Проблема сравнения качества альтернативных

регрессионных моделей.

Когда альтернативные регрессионные модели имеют одинаковые переменные, то лучшая выбирается по критерию максимума R2.

Что делать, когда переменные различны, как например в линейной и логарифмической моделях.

uXY 21

uXY 21log

16


Среднее арифметическое логарифма Y сводится к среднему геометрическому Y.

Среднее в одной модели связано со средним в другой.

Усреднение позволяет сравнивать модели между собой по остаткам.

nn

YYY

YYYn

Yn

YYYe

ee

nn

ni

1

21)...log(

)...log(1log1

)...(1

21

21

17


Нормировка значений зависимых переменных

в полулогарифмической модели по

Методу Зарембки.

uXY 21log

YскоегеометричесреднееYY /*

uXY 21

18


uXY 21log

uXY '2

'1*

uXY '2

'1*log

Сравнение нормированных моделей Y* and logeY по среднеквадратичным отклонениям (RSS). Логарифм отношения остатков имеет χ2-распределение. Если χ>χ2 – критическое при заданном пороге вероятности , то модель с меньшим RSS будет лучше.

uXY 21

YскоегеометричесреднееYY /*

RSSRSSn

меньшее большее ln

2 )1(2

19

. sum LGEARN

Variable | Obs Mean Std. Dev. Min Max---------+----------------------------------------------------- LGEARN | 570 2.430133 .5199059 1.163151 4.417514 EARNSTAR=EARNINGS/exp(2.430133) LGEARNST=ln(EARNSTAR)


nn

YYY

YYYn

Yn

YYYe

ee

nn

ni

1

21)...log(

)...log(1log1

)...(1

21

21

Найдем среднее для LGEARN и обозначим LGEARNST=ln( EARNSTAR).

20

. reg EARNSTAR S

Source | SS df MS Number of obs = 570---------+------------------------------ F( 1, 568) = 65.64 Model | 30.8184248 1 30.8184248 Prob > F = 0.0000Residual | 266.69807 568 .469538855 R-squared = 0.1036---------+------------------------------ Adj R-squared = 0.1020 Total | 297.516494 569 .522876089 Root MSE = .68523

------------------------------------------------------------------------------EARNSTAR | Coef. Std. Err. t P>|t| [95% Conf. Interval]---------+-------------------------------------------------------------------- S | .0944558 .0116589 8.102 0.000 .0715559 .1173557 _cons | -.1224433 .1602326 -0.764 0.445 -.437164 .1922774------------------------------------------------------------------------------


Найдем регрессионную зависимость нормированного значения EARNSTAR от S и определим RSS.

21

. reg LGEARNST S

Source | SS df MS Number of obs = 570---------+------------------------------ F( 1, 568) = 93.21 Model | 21.6812545 1 21.6812545 Prob > F = 0.0000Residual | 132.120642 568 .232606764 R-squared = 0.1410---------+------------------------------ Adj R-squared = 0.1395 Total | 153.801897 569 .270302103 Root MSE = .48229

------------------------------------------------------------------------------LGEARNST | Coef. Std. Err. t P>|t| [95% Conf. Interval]---------+-------------------------------------------------------------------- S | .0792256 .0082061 9.655 0.000 .0631077 .0953435 _cons | -1.071214 .1127785 -9.498 0.000 -1.292727 -.8496999------------------------------------------------------------------------------


То же сделаем для нормированной переменной LGEARNST.

22


Значение статистики 200.2. Оно существенно выше 2 с 1 степенью свободы на 0.1% уровне, исходя из чего можно утверждать о значимости предпочтения полулогарифмической модели линейной.

2.2001.1327.266ln

2570

0.1%уровнена ст.св, 1 ,83.10 2crit

[ppt]Слайд 1ito.fa.ru/ppt/mmep/econometry/27.ppt · web viewНЕЛИНЕЙНАЯ...

Documents