<<

стр. 22
(всего 28)

СОДЕРЖАНИЕ

>>

(X ? Za0 ) (X ? Za0 ) / (N (N ? n ? 1))
575
18.2. Тест на существенность ограничения

Здесь a? M a? — объясненная дисперсия в регрессии, а (X?Za0 ) (X?Za0 )/N =
= s2 — остаточная дисперсия (смещенная оценка). Видим, что
e

R2 (N ? n ? 1)
c
F= ,
(1 ? R2 )n
а это стандартная форма F -статистики.
Более простой способ получения этого результата состоит в том, чтобы возвра-
титься к исходной задаче условной минимизации. Ограничение, что все коэффи-
циенты, кроме свободного члена, равны нулю, можно подставить непосредственно
в целевую функцию (сумму квадратов остатков). Очевидно, что решением задачи
1
будет an+1 = X 1N = x и aj = 0, j = n + 1, т.е.
?
N
? ?
?0n ?
a1 = ? ? .
x?

Отсюда получаем, что остатки равны центрированным значениям зависимой пере-
?
менной: e1 = X. Следовательно, из (18.3) получим

(X X ? e0 e0 )/n
??
Fc = .
e0 e0 /(N ? n ? 1)

В числителе стоит объясненная сумма квадратов, а в знаменателе — сумма
квадратов остатков.
Покажем, что t-критерий также является частным случаем данного критерия.
Нулевая гипотеза заключается в том, что j-й параметр регрессии равен нулю.
Таким образом, в этом случае k = 1,

R = (0, . . . , 0, 1, 0, . . . , 0) и r = 0.
j


При этом R(Z Z)?1 R = m?1 , где m?1 — j-й диагональный элемент мат-
jj jj
1
рицы M ?1 , а M = Z Z — матрица вторых начальных моментов факторов Z.
N
В числителе F -статистики стоит несмещенная оценка остаточной дисперсии

s2 = (X ? Za0 ) (X ? Za0 ) / (N ? n ? 1) .
?e

Кроме того, Ra0 ? r = a0j . Окончательно получаем

a2
0j
? F1, N ?n?1 .
c
F=
m?1 s2 /N
jj ?e
576 Глава 18. Классические критерии проверки гипотез

Здесь m?1 s2 /N = s2j — оценка дисперсии коэффициента a0j . Видим, что
jj ?e a
F -статистика имеет вид:
2
a2 a0j
0j
= t2 ,
c
F=2= j
saj saj

т.е. это квадрат t-статистики для коэффициента a0j . Для квантилей F -
распределения выполнено F1, N ?n?1, 1?? = t2 ?n?1, 1?? . Нулевая гипотеза H0 :
v
N
, т.е. если |tj | = F c > tN ?n?1, 1?? .
c>F
?j = 0 отвергается, если F 1, N ?n?1, 1??
Видим, что два критерия полностью эквивалентны.
Рассмотрим регрессию, в которой факторы разбиты на два блока:

X = Z1 ?1 + Z2 ?2 + ?.

В качестве промежуточного случая между F -критерием для регрессии в целом
и t-критерием для одного фактора рассмотрим F -критерий для группы факторов.
Требуется получить ответ на вопрос о том, нужна ли в регрессии группа факторов
Z2 . Для проверки гипотезы H0 : ?2 = 0 мы можем воспользоваться полученными
выше результатами. В этом случае k = n2 , где n2 — количество факторов во
второй группе, а матрицы, задающие ограничение, равны
? ?
· · · 0 1 0 · · · 0?
?0
? ?
?. ?
.
?. . 0 1 · · · 0?
?. . ?
R=? ? = [0n2 ?n1 ; In2 ] и r = 0n2 .
? . . .. .?
? .?
.. . .?
..
?
? ?
0 ··· 0 0 0 ··· 1
n1 n2


Очевидно, что оценки с этими ограничениями будут равны
? ?
?1
?(Z 1 Z1 ) Z 1 X ?
a=? ?,
0n2

а остатки можно найти по формуле e1 = IN ? Z1 (Z 1 Z1 )?1 Z X.
1

F -статистику можно рассчитать по общей формуле (18.3):

(e1 e1 ? e0 e0 )/n2
? Fn2 ,N ?n?1 .
Fc =
e0 e0 /(N ? n ? 1)
577
18.2. Тест на существенность ограничения

Мы неявно рассматривали здесь тест на исключение факторов. Можно рас-
сматривать его с другой точки зрения — как тест на включение факторов, при этом
формулы не поменяются. То есть мы, оценив регрессию X = Z1 ?1 + ?, можем
проверить, следует ли включать в нее дополнительные факторы Z2 .
Тест на включение факторов особенно полезен для проверки того, не наруша-
ются ли предположения модели регрессии. Это так называемые диагностические
тесты. Все они строятся по одному и тому же принципу: если модель X = Z1 ?1 + ?
специфицирована корректно, то любые дополнительные факторы Z2 скорее все-
го будут незначимы в тесте на их включение (т.е. с большой вероятностью будет
принята нулевая гипотеза ?2 = 0). Факторы Z2 конструируются таким образом,
чтобы тест имел бо? льшую мощность против определенного класса нарушений пред-
положений модели регрессии. Из сказанного следует, что во всех диагностических
тестах нулевой гипотезой является то, что базовая модель корректно специфи-
цирована. Если нулевая гипотеза будет отвергнута, то естественно искать другую
модель, которая бы лучше описывала имеющиеся данные. Следует понимать, что
регрессия X = Z1 ?1 + Z2 ?2 + ? в этом случае будет носить обычно вспомога-
тельный характер, то есть оценки коэффициентов в ней, вообще говоря, не при-
званы нести смысловой нагрузки. Она нужна только для проверки базовой модели
X = Z1 ?1 + ?. (Хотя здесь есть, конечно, и исключения.)


18.2.1. Тест Годфрея (на автокорреляцию ошибок)

Оценим регрессию X = Z1 ?1 + ?. Для проверки отсутствия автокорреляции
p-го порядка попытаемся ввести такой набор факторов:
? ?
···
?0 0 0?
? ?
? ?
? e1 0?
···
0
? ?
? ?
? ?
? e2 0?
···
e1
? ?
? . ?.
Z2 = ? . . .?
..
?. . .?
.
. .
? ?
?. ?
. .
?.
e1 ?
. .
?. ?
. .
? ?
?. .?
. .
?. .?
. .
?. . . .?
? ?
eN ?1 · · · · · · eN ?p

Столбцы матрицы Z2 состоят из лагов остатков, дополненных нулями. Ес-
ли нулевая гипотеза (?2 = 0) отвергается, то делается вывод о наличии авто-
корреляции. При p = 1 тест Годфрея представляет собой близкий аналог теста
578 Глава 18. Классические критерии проверки гипотез

Дарбина—Уотсона, однако при p > 1 помогает обнаруживать и автокорреляцию
более высоких порядков, в чем и состоит его преимущество.

18.2.2. Тест RESET Рамсея (Ramsey RESET test)
на функциональную форму уравнения

Рассмотрим модель X = Z1 ?1 + ?, которую можно записать в виде
X = X 0 + ?, где X 0 = Z1 ?1 . Можно рассмотреть возможность наличия между
X и X 0 более сложной нелинейной зависимости, например, квадратичной. Для
проверки линейности модели против подобной альтернативы служит тест Рамсея.
Оценим регрессию X = Z1 ?1 + ?. Попытаемся ввести фактор
? ?
c2
? (x1 ) ?
? ?
? ?
Z2 = ? . ?,
.
?. ?
? ?
(xc )2
N

где X c = Z1 a1 — расчетные значения из проверяемой регрессии. Если ?2 = 0,
то зависимость линейная, если ?2 = 0, то зависимость квадратичная.
Можно тем же способом проводить тест на 3-ю, 4-ю степени и т.д. Матрица
добавляемых факторов имеет следующую общую форму:
? ?
c2 (xc )3 · · · (xc )m ?
? (x1 ) 1 N
? ?
? . ?.
Z2 = ? . . .?
. .
?. . .?
? ?
(xc )2 (xc )3 ··· (xc )m
N N N


18.2.3. Тест Чоу (Chow-test) на постоянство модели

Часто возникает сомнение в том, что для всех наблюдений 1, . . . , N модель
неизменна, в частности, что параметры неизменны.
Пусть все наблюдения в регрессии разбиты на две группы. В первой из них —
N1 наблюдений, а во второй — N2 наблюдений, так что N1 + N2 = N . Без огра-
ничения общности можно считать, что сначала идут наблюдения из первой группы,
а потом из второй. Базовую регрессию X = Z? + ? можно представить в следую-
щем блочном виде:
? ? ? ? ??
?X1 ? ?Z1 ? ??1 ?
? ? = ? ?? + ? ? .
X2 Z2 ?2
579
18.2. Тест на существенность ограничения

Требуется проверить, действительно ли наблюдения в обеих группах подчиня-
ются одной и той же модели x = z? + ?.

1-я форма теста Чоу

В качестве альтернативы базовой модели рассмотрим регрессию
? ? ? ?? ? ??
?X1 ? ?Z1 0 ? ??1 ? ??1 ?
? ?=? ?? ? + ? ?.
X2 0 Z2 ?2 ?2

Фактически, это две разные регрессии:

и
X1 = Z1 ?1 + ?1 X2 = Z2 ?2 + ?2 ,

но предполагается, что дисперсия в них одинакова.
Пусть e0 — вектор остатков в регрессии на всей выборке, e1 — вектор остат-
ков в регрессии с наблюдениями 1, . . . , N1 , e2 — вектор остатков в регрессии
с N1 + 1, . . . , N наблюдениями. Требуется проверить нулевую гипотезу о равен-
стве коэффициентов по двум частям выборки:

H0 : ?1 = ?2 .

Для того чтобы применить здесь тест добавления переменных, обозначим
?2 ? ?1 = ? и подставим ?2 = ?1 + ? в рассматриваемую модель:

X2 = Z2 ?1 + Z2 ? + ?2 ,

Таким образом, можно рассматривать следующую регрессию (для упрощения
обозначений пишем ? вместо ?1 ):
? ? ? ?? ? ??
?X1 ? ?Z1 0 ? ??? ??1 ?
? ?=? ?? ? + ? ?. (18.5)
X2 Z2 Z2 ? ?2

Мы хотим проверить гипотезу H0 : ? = 0.
Если нулевая гипотеза принимается, то это означает, что ?1 = ?2 , т.е. коэф-
фициенты постоянны.
Заметим, что в регрессии (18.5) с ограничениями остатки окажутся равными e0 ,
??
?e1 ?
а в регрессии (18.5) без ограничений — ? ?. Суммы квадратов остатков равны
e2
580 Глава 18. Классические критерии проверки гипотез

e0 e0 и e1 e1 + e2 e2 , соответственно. В регрессии с ограничениями оценивается
n + 1 параметров, без ограничений — 2 (n + 1). Всего проверяется k = n + 1
ограничений. Используя общую формулу (18.2), получим

(e0 e0 ? e1 e1 ? e2 e2 ) / (n + 1)
? Fn+1, N ?2(n+1) .
Fc =
(e1 e1 + e2 e2 ) / (N ? 2 (n + 1))

Для того чтобы применить этот тест, нужно оценить модель по двум частям
выборки. Это можно сделать, когда количество наблюдений превышает количество
параметров, т.е. N1 n + 1 и N2 n + 1. Кроме того, если Nj = n + 1, то остатки
ej = 0 (j = 1, 2). Таким образом, для применимости теста требуется, чтобы хотя
бы в одной части количество наблюдений превышало количество параметров.


2-я форма теста Чоу

То, что модель в двух частях одна и та же, можно проверить и по-другому. Пусть
сначала рассчитывается регрессия по N1 < N наблюдениям, а затем по всем
N наблюдениям. Если полученные результаты существенно отличаются, то это
должно означать, что во второй части модель каким-то образом поменялась.
Реализуем эту идею с помощью вспомогательной регрессии, к которой можно
применить тест добавления переменных:
? ? ? ?? ? ??
?X1 ? ?Z1 0N1 ?N2 ? ??? ??1 ?
? ?=? ?? ? + ? ?. (18.6)
X2 Z2 IN2 ? ?2

Эта регрессия с ограничением ? = 0 совпадает с регрессией по всем N на-
блюдениям по первоначальной модели, и остатки равны e0 .
Если же оценить (18.6, 18.5) без ограничений, то, как можно показать, оценки ?
совпадут с оценками по N1 < N наблюдениям, т.е. по регрессии X1 = Z1 ?1 + ?1 .
? ?
? e1 ? 1
Остатки будут иметь вид ? ?.
0n2

1
Это связано с тем, что добавочные переменные являются фиктивными переменными, каждая
из которых всюду равна нулю, за исключением одного из наблюдений второй части выборки. Такие
фиктивные переменные приводят к «обнулению» остатков. Следовательно, задача минимизации
суммы квадратов остатков по N наблюдениям здесь сводится к задаче минимизации суммы квадратов
остатков по первым N1 наблюдениям.
581
18.2. Тест на существенность ограничения

Действительно, запишем модель в матричном виде. Пусть
? ? ? ?
?Z1 0? ?X1 ?
Z=? ?, X = ? ?.
Z2 I X2
??
?a?
Тогда оценки коэффициентов модели ? ? удовлетворяют нормальным уравнени-
d
ям:
??
?a?
Z Z ? ? = Z X,
d

или
? ?? ? ? ?
?Z1 Z1 + Z2 Z2 Z2 ? ?a? ?Z1 X1 + Z2 X2 ?
? ?? ? = ? ?.
Z2 I d X2

Получаем следующую систему уравнений для оценок коэффициентов:
?
?
? Z Z a+Z Z a+Z d=Z X +Z X ,
11 22 11 22
2
(18.7)
?
?
Z2 a + d = X2 .

Умножив второе уравнение системы (18.7) слева на Z2 , получим

Z2 Z2 a + Z2 d = Z2 X2 .

После вычитания из первого уравнения системы (18.7) получим

Z1 Z1 a = Z1 X1 .

Таким образом, оценки коэффициентов a являются оценками МНК по первой
части выборки.
Далее, остатки второй части равны

e2 = X2 ? Z2 a ? d = 0.

Последнее равенство следует из второго уравнения системы (18.7).
582 Глава 18. Классические критерии проверки гипотез

Суммы квадратов остатков в двух моделях равны e0 e0 и e1 e1 , соответственно.
Количество ограничений k = N2 . Таким образом, получаем следующую статистику:

(e0 e0 ? e1 e1 ) /N2
? FN2 , N1 ?n?1 .
Fc =
e1 e1 / (N1 ? n ? 1)

Статистика имеет указанное распределение, если выполнена нулевая гипотеза

H0 : ? = 0.

Если нулевая гипотеза принимается, это означает, что модель не менялась.
Заметим, что в случае, когда наблюдений в одной из частей выборки не хватает,
чтобы оценить параметры, либо их столько же, сколько параметров, например,
n + 1, второй тест Чоу можно рассматривать как распространение на этот
N2
вырожденный случай первого теста Чоу.
Второй тест Чоу можно интерпретировать также как тест на точность прогноза.
Поскольку Z2 a — прогнозы, полученные для второй части выборки на основе оце-
нок первой части (a), то из второго уравнения системы (18.7) следует, что оценки
d равны ошибкам такого прогноза:

d = X2 ? Z2 a.

Таким образом, проверяя гипотезу ? = 0, мы проверяем, насколько точны прогно-
зы. Если модель по второй части выборки отличается от модели по первой части,
то ошибки прогноза будут большими и мы отклоним нулевую гипотезу.


18.3. Метод максимального правдоподобия
в эконометрии
18.3.1. Оценки максимального правдоподобия

Метод максимального правдоподобия — это один из классических методов оце-
нивания, получивший широкое распространение в эконометрии благодаря своей
универсальности и концептуальной простоте.
Для получения оценок максимального правдоподобия следует записать функ-
цию правдоподобия, а затем максимизировать ее по неизвестным параметрам мо-
дели. Предположим, что изучаемая переменная x имеет распределение с плот-
ностью fx (x), причем эта плотность зависит от вектора неизвестных параметров
?, что можно записать как fx (x|?). Тогда для N независимых наблюдений за
переменной x, т.е. x1 , . . . , xN , функция правдоподобия, по определению, есть
583
18.3. Метод максимального правдоподобия в эконометрии

плотность их совместного распределения, рассматриваемая как функция от ? при
данном наборе наблюдений x1 , . . . , xN :
N
fx (xi |?).
L (?) =
i=1

Если изучаемая переменная имеет дискретное распределение, то fx (x|?) сле-
дует понимать как вероятность, а не как плотность. Наряду с функцией L (?) из со-
ображений удобства рассматривают также ее логарифм, называемый логарифми-
ческой функцией правдоподобия.
Оценки максимального правдоподобия ? ? для параметров ? являются, по
определению, аргмаксимумом функции правдоподобия (или, что то же самое, лога-
рифмической функции правдоподобия). Они являются решением уравнения прав-
доподобия:
? ln L
= 0.
??

В более общем случае нельзя считать наблюдения за изучаемой переменной,
x1 , . . . , xN , независимыми и одинаково распределенными. В этом случае задается
закон совместного распределения всех наблюдений, fx (x1 , . . . , xN |?) = fx (x|?) ,
и функция правдоподобия для данного вектора наблюдений x полагается рав-
ной fx (x|?).
Известно, что оценки максимального правдоподобия обладают свойствами со-
стоятельности, асимптотической нормальности и асимптотической эффективности.
Оценку ковариационной матрицы оценок ? ? можно получить на основе мат-
рицы вторых производных (матрицы Гессе) логарифмической функции правдопо-
добия:
?1
? 2 ln L(? ? )
? .
????

Другая классическая оценка ковариационной матрицы имеет вид

(I(? ? ))?1 ,

где

? 2 ln L(?)
I(?) = E ?
????

— так называемая информационная матрица.
584 Глава 18. Классические критерии проверки гипотез

18.3.2. Оценки максимального правдоподобия для модели
линейной регрессии

Рассмотрим модель линейной регрессии xi = zi ? + ?i , где вектор коэффициен-
тов имеет размерность n + 1, ошибки ?i независимы и распределены нормально:
?i ? N (0, ? 2 ), а факторы zi являются детерминированными. При этом изучаемая
переменная тоже имеет нормальное распределение: xi ? N (zi ?, ? 2 ). Плотность
этого распределения равна
1 1 2
e? 2?2 (xi ?zi ?) .
v
2?? 2
Перемножая плотности для всех наблюдений (с учетом их независимости), получим
функцию правдоподобия:
N
1
(xi ?zi ?)2
?
1 2? 2
L (?, ?) = e .
i=1
N /2
?N
(2?)
Соответствующая логарифмическая функция правдоподобия равна

1N
N
(xi ? zi ?)2 ,
ln L (?; ?) = ? ln (2?) ? N ln ? ? 2
2 2? i=1

или в матричных обозначениях
N 1
ln L (?; ?) = ? ln (2?) ? N ln ? ? 2 (X ? Z?) (X ? Z?) .
2 2?
Берем производные:
? ln L 1
= 2 Z (X ? Z?) = 0,
?? ?
? ln L N 1
= ? + 3 (X ? Z?) (X ? Z?) = 0.
?? ? ?
Из первого уравнения получим оценки максимального правдоподобия для ко-
эффициентов ?:
?1
a= ZZ Z X.

Видим, что оценки наименьших квадратов и оценки максимального правдопо-
добия совпадают. Из второго уравнения, подставляя в него оценки a вместо ?,
получим оценку дисперсии ? 2 :
1
s2 = e e,
N
585
18.3. Метод максимального правдоподобия в эконометрии

где e e = (X ? Za) (X ? Za) — сумма квадратов остатков. Оценка максималь-
ного правдоподобия для дисперсии ошибки смещена. Несмещенная оценка, ис-
пользуемая в МНК, равна
1
s2 =
? e e.
N ?n?1
Тем не менее, оценки (a, s) асимптотически несмещены, состоятельны, асимп-
тотически эффективны в классе любых оценок (а не только линейных, как при
МНК).
Чтобы проверить, на самом ли деле мы нашли точку максимума правдоподобия,
исследуем матрицу вторых производных:
? 2 ln L 1
= ? 2 Z Z,
???? ?
2 ln L
? N 3
= 2 ? 4 (X ? Z?) (X ? Z?) ,
?? 2 ? ?
? 2 ln L ? 2 ln L 2
= ? 3 Z (X ? Z?) .
=
???? ???? ?
Таким образом,
? ?
1 2
(X ? Z?) Z
? 2 ln L ? ?
ZZ
?2 ?3
= ?? ?.
?2 N?
?(?; ?)?(?; ?) 3
Z (X ? Z?) (X ? Z?) (X ? Z?) ? 2
?3 ?4 ?
Значение матрицы вторых производных в точке оценок (a, s) равно
? ?
? 2 ln L N ?Z Z 0 ?
=? ? ?.
?(?; ?)?(?; ?) ee
0 2N
a,s


Видно, что матрица вторых производных отрицательно определена, то есть най-
дена точка максимума. Это дает оценку ковариационной матрицы оценок (a, s):
? ?
?1
e e ?(Z Z) 0?
? ?.
N 1
0 2N

Таким образом, оценка ковариационной матрицы для a является смещенной
(поскольку основана на смещенной оценке дисперсии):
ee ?1
Ma = ZZ .
N
586 Глава 18. Классические критерии проверки гипотез

В методе наименьших квадратов в качестве оценки берут
ee ?1
Ma = ZZ .
N ?n?1
При N > ? эти две оценки сходятся.
Метод максимального правдоподобия дает также оценку дисперсии для s:
ee
var(s) = .
2N 2
Рассчитаем также информационную матрицу. Для этого возьмем математиче-
ское ожидание от матрицы вторых производных со знаком минус:
? ? ? ?
1 2 1
(X ? Z?) Z
? ? ? 2Z Z 0?
ZZ
?2 ?3
I = E? ? = ?? ?,
?2 N? ? 2N ?
3
Z (X ? Z?) (X ? Z?) (X ? Z?) ? 2 0
?3 ?4 ?2
?
где мы воспользовались тем, что X ?Z? представляет собой вектор ошибок моде-
ли ? и выполнено E (?) = 0, E (? ?) = N ? 2 . Обращая информационную матрицу
в точке (a, s), получим ту же оценку ковариационной матрицы, что и раньше. Таким
образом, оба метода дают одинаковый результат.
Рассмотрим логарифмическую
функцию правдоподобия как функ-
Ln L
цию одного из коэффициентов, ?j ,
при остальных коэффициентах за-
фиксированных на уровне оценок
максимального правдоподобия, т.е. срез
(n + 2)-мерного пространства (см. рис.
18.1). Видим, что оценка aj тем точнее,
чем острее пик функции правдоподобия.
А степень остроты пика показывает
xj j
вторая производная (по абсолютному
значению). Поэтому математическое
Рис. 18.1
ожидание матрицы вторых производных
со знаком минус называется информационной матрицей. Эта матрица удовле-
творяет естественным требованиям: чем больше имеем информации, тем точнее
оценка.
Если в логарифмическую функцию правдоподобия ln L (?; ?) подставить оцен-
ку s2 для ? 2 , которая найдена из условия ? ln L ?? = 0:

ee
s2 = ,
N
587
18.3. Метод максимального правдоподобия в эконометрии

то получится так называемая концентрированная функция правдоподобия, которая
зависит уже только от ?:
N N 1 N
ln Lc (?) = ? ln (2?) ? ee ? .
ln
2 2 N 2

Очевидно, что максимизация концентрированной функции правдоподобия эк-
вивалентна методу наименьших квадратов (минимизации суммы квадратов остат-
ков).


18.3.3. Три классических теста для метода
максимального правдоподобия

Рассмотрим линейную регрессию с нормальными ошибками. Требуется прове-
рить гипотезу о том, что коэффициенты этой регрессии удовлетворяют некоторым
линейным ограничениям. Пусть a0 — оценки, полученные методом максималь-
ного правдоподобия без учета ограничений, а a1 — оценки, полученные тем же
методом с учетом ограничений, и пусть ln L0 — значение логарифмической функ-
ции правдоподобия в точке a0 , а ln L1 — значение логарифмической функции
правдоподобия в точке a1 . Статистику для проверки такой гипотезы естественно
строить как показатель, измеряющий существенность различий между двумя моде-
лями — с ограничениями и без них. Если различия не очень велики (ограничения
существенны), то гипотезу о том, что ограничения выполнены, следует принять,
а если достаточно велики — то отвергнуть. Рассмотрим три возможных способа
измерения этих различий, проиллюстрировав их графически.
Критерий отношения правдоподобия
(Likelihood ratio test — LR) основан Ln L
на различии значений логарифмической
функции правдоподобия в точках a0 и Ln L0
a1 (см. рис. 18.2), или, что то же са-
мое, на логарифме отношения правдопо- Ln L1
добия, т.е. величине
L0
ln L0 ? ln L1 = ln .
L1
a1 a0 a
0
Критерий множителей Лагранжа
(Lagrange multiplier test — LM) осно- Рис. 18.2
ван на различии тангенса угла наклона
касательной к логарифмической функции правдоподобия в точках a0 и a1 . По-
скольку в точке a0 он равен нулю, то следует рассмотреть, насколько тангенс угла
наклона касательной в точке a1 отличен от нуля (см. рис. 18.3).
588 Глава 18. Классические критерии проверки гипотез

Критерий Вальда (Wald test — W)
Ln L
основан на невязках рассматриваемых
ограничений. В точке a1 , по опреде-
Ln L0
лению, невязки равны нулю. Таким об-
разом, следует рассмотреть, насколь-
?
Ln L1
ко невязки в точке a0 отличны от ну-
ля. В случае одного параметра точка
a1 однозначно задается ограничения-
ми, и невязка в точке a0 при линей-
a1 a0 a
0 ных ограничениях будет некоторой ли-
нейной функцией разности оценок a0
Рис. 18.3
и a1 (см. рис. 18.4).
Покажем, как соответствующие кри-
терии выводятся в рассматриваемом нами Ln L
случае линейной регрессии с нормальными
ошибками, когда требуется проверить ли-
нейные ограничения на коэффициенты. (В
общем случае построение критериев про-
исходит аналогичным образом.) При выво-
де критериев нам понадобится следующая
лемма (см. Приложение A.3.2).
Лемма: Пусть ? — вектор (? ? Rk )
a1 a0 a
0
случайных величин, подчиненных мно-
гомерному нормальному распределению: Рис. 18.4
? ? N 0, ? 2 ? , где матрица ? неособенная. Тогда

1
? ??1 ? ? ?2 .
2 k
?

Доказательство:
Так как ? положительно определена (cм. Приложения A.1.2 и A.1.2), то су-
ществует неособенная квадратная матрица C, такая, что ??1 = CC . Рассмотрим
1 1
вектор C?. Ясно, что E C? = 0, а ковариационная матрица этого вектора
? ?
равна

1
E C?? C = C?C = Ik .
?2

1
Таким образом, вектор C? состоит из k некоррелированных и, как следствие
?
(по свойству многомерного нормального распределения), независимых случайных
589
18.3. Метод максимального правдоподобия в эконометрии

величин, имеющих стандартное нормальное распределение. Тогда (по определению
1
распределения ?-квадрат) сумма квадратов вектора C? распределена как ?2 . k
?

Тест Вальда (W-тест)

Для оценки коэффициентов регрессии без ограничений выполнено
?1 ?1
Z X ? N ?, ? 2 Z Z
a0 = Z Z .

Рассмотрим невязки ограничений Ra0 ? r. Чем они больше, тем более прав-
доподобно, что ограничения не выполнены. Ясно, что (см. Приложение A.3.2)

Ra0 ? r ? N R? ? r; ? 2 A ,

где, как и раньше, используется обозначение A = R (Z Z)?1 R . Матрица A имеет
размерность k ? k, где k — количество ограничений. Пусть выполнена нулевая
гипотеза

H0 : R? = r.

Тогда Ra0 ? r ? N 0; ? 2 A . По лемме
1
(Ra0 ? r) A?1 (Ra0 ? r) ? ?2 .
2 k
?
Поскольку известны лишь a0 — оценки без ограничений, то в качестве оценки
1
неизвестной величины ? 2 берем N e0 e0 , где e0 = X ? Za0 — остатки из модели
без ограничений. Отсюда получаем статистику Вальда:
?1
N ?1
(Ra0 ? r) R Z Z (Ra0 ? r) .
W= R
e0 e0

Эта статистика распределена примерно как ?2 . Тогда, если W < ?2 , то сле-
k k,?
2
дует принять H0 , что ограничения выполнены. При W > ?k,? ограничения суще-
ственны и следует отвергнуть H0 .
Можно увидеть, что статистика Вальда имеет следующую структуру:
?1
W = (Ra0 ? r) RMa0 R (Ra0 ? r) ,

e0 e0
(Z Z)?1 — оценка ковариационной матрицы оценок a0 . Фактиче-
где Ma0 =
N
ски это общая формула для статистики Вальда, применимая в случае произвольной
модели, а не только линейной регрессии с нормальными ошибками.
590 Глава 18. Классические критерии проверки гипотез

Тест отношения правдоподобия (LR-тест)
L1
Рассмотрим статистику LR = ?2 (ln L1 ? ln L0 ) = ?2 ln, называемую ста-
L0
тистикой отношения правдоподобия. Здесь L1 и L0 — значения логарифмической
функции правдоподобия в точках a0 и a1 :

N N e e0
ln 0
ln L0 = ? (1 + ln 2?) ? ,
2 2 N


N N e e1
ln 1
ln L1 = ? (1 + ln 2?) ? .
2 2 N

Суммы квадратов остатков здесь равны

e0 e0 = (X ? Za0 ) (X ? Za0 )

и

e1 e1 = (X ? Za1 ) (X ? Za1 ) =
= (X ? Za0 ) (X ? Za0 ) + (Ra0 ? r) A?1 (Ra0 ? r) .

Покажем, что если верна нулевая гипотеза R? = r, то приближенно выполнено
?2 ln (L1 /L0 ) ? ?2 .
k
Действительно,

(Ra0 ? r) A?1 (Ra0 ? r)
L1 e e1
= N ln 1
?2 ln = N ln 1 + .
(X ? Za0 ) (X ? Za0 )
L0 e0 e0

Для натурального логарифма при малых x выполнено ln (1 + x) ? x. Рассмот-
рим последнюю дробь. При большом количестве наблюдений оценки a0 стремятся
к вектору ?, для которого выполнено H0 : R? = r. Отсюда следует, что при боль-
шом количестве наблюдений дробь — малая величина, и получаем приближенно

(Ra0 ? r) A?1 (Ra0 ? r)
L1
LR = ?2 ln ?N = W.
(X ? Za0 ) (X ? Za0 )
L0

Таким образом, статистика отношения правдоподобия приближенно равна ста-
тистике Вальда, которая приближенно распределена как ?2 . Получили LR-тест:
k
2 , то H неверна, ограничения не выполнены, а если LR < ?2 ,
если LR > ?k,? 0 k,?
то наоборот.
591
18.3. Метод максимального правдоподобия в эконометрии

Тест множителей Лагранжа (LM-тест)

Ранее мы получили выражение для множителей Лагранжа, соответствующих
ограничению R? = r:

? = A?1 (Ra0 ? r) .

N R? ? r; ? 2 A ,
Из того, что Ra0 ? r ? ?
следует, что ?
N A?1 (R? ? r); ? 2 A?1 .
Отсюда при H0 : R? = r выполнено ? ? N 0; ? 2 A?1 , поэтому в силу леммы
1
имеем 2 ? A? ? ?2 . Поскольку известны только оценки с ограничением, a1 ,
k
?
1
то в качестве оценки ? 2 берем e e1 .
N1
Получили статистику
N N ?1
LM = ? A? = ?R ZZ R ?.
e1 e1 e1 e1

Если LM > ?2 , то H0 отвергается, ограничения не выполнены. Если
k,?
2 , то H принимается.
LM < ?k,? 0

Вспомним, что из нормальных уравнений для оценок при ограничениях
R ? = Z (X ? Za1 ).
В то же время

? ln L(a1 , e1 e1 /N ) N
Z (X ? Za1 ) —
=
?? e1 e1
производная логарифмической функции правдоподобия (это функция без учета огра-
e1 e1
ничений) по параметрам в точке оценок при ограничениях a1 и s1 = .
N
Статистика множителей Лагранжа, таким образом, имеет следующую структуру:

e1 e1 ? ln L(a1 , e1 e1 /N ) ?1 ? ln L(a1 , e1 e1 /N )
LM = (Z Z) =
N ?? ??
? ln L(a1 , e1 e1 /N ) ? ln L(a1 , e1 e1 /N )
= Ma0 (a1 ) ,
?? ??
e1 e1 ?1
где Ma0 (a1 ) = (Z Z) — оценка ковариационной матрицы оценок a0 , вы-
N
численная на основе информации, доступной в точке a1 . Это общая формула
для статистики множителей Лагранжа, применимая в случае произвольной моде-
ли, а не только линейной регрессии с нормальными ошибками. В таком виде тест
называется скор-тестом (score test) или тестом Рао.
592 Глава 18. Классические критерии проверки гипотез

18.3.4. Сопоставление классических тестов
?1
Величину (Ra0 ? r) R (Z Z)?1 R (Ra0 ? r), которая фигурирует в фор-
мулах для рассматриваемых статистик, можно записать также в виде e1 e1 ? e0 e0 .
Таким образом, получаем следующие формулы для трех статистик через суммы
квадратов остатков:

e1 e1 ? e0 e0
W =N ,
e0 e0
e e1 ? e0 e0
LM = N 1 ,
e1 e1
e e1
LR = N ln 1 .
e0 e0

F -статистику для проверки линейных ограничений можно записать аналогич-
ным образом:

N ? n ? 1 e1 e1 ? e0 e0
F= .
k e0 e0

Нетрудно увидеть, что все три статистики можно записать через F -статистику:

k
LR = N ln 1 + F,
N ?n?1
N
W= kF,
N ?n?1
N
LM = kF.
kF + N ? n ? 1

Заметим, что по свойству F -распределения kF в пределе при N > ? схо-
дится к ?2 , чем можно доказать сходимость распределения всех трех статистик
k
к этому распределению.
Так как e1 e1 e0 e0 , то W LM . Следовательно, тест Вальда более жест-
кий, он чаще отвергает ограничения. Статистика отношения правдоподобия лежит
всегда между W и LM. Чтобы это показать, обозначим

e e1 ? e0 e0
k
F= 1
x= .
N ?n?1 e0 e0

Доказываемое свойство следует из того, что при x > ?1 выполнено неравенство
x
ln (1 + x) x.
1+x
593
18.4. Упражнения и задачи

18.4. Упражнения и задачи

Упражнение 1

В Таблице 18.1 приведены данные о продаже лыж в США: SA — продажа лыж
в США, млн. долл., PDI — личный располагаемый доход, млрд. долл.

1.1. Оценить регрессию SA по константе и PDI. Построить и проанализировать
автокорреляционную функцию остатков.

1.2. Оценить регрессию с добавлением квартальных сезонных переменных Q1 ,
Q2 , Q3 , Q4 . Константу не включать (почему?). Оценить ту же регрессию,
заменив Q4 на константу. Построить и проанализировать автокорреляцион-
ную функцию остатков в регрессии с сезонными переменными.

1.3. Проверить гипотезу о том, что коэффициенты при сезонных переменных
равны одновременно нулю. Есть ли сезонная составляющая в данных?


Таблица 18.1. (Источник: Chatterjee, Price, Regression Analysis
by Example, 1991, p.138)

Квартал SA PDI Квартал SA PDI Квартал SA PDI

1965.1 37.4 118 1968.1 44.2 143 1971.1 52 180

1965.2 31.6 120 1968.2 40.4 147 1971.2 46.2 184

1965.3 34 122 1968.3 38.4 148 1971.3 47.1 187

1965.4 38.1 124 1968.4 45.4 151 1971.4 52.7 189

1966.1 40 126 1969.1 44.9 153 1972.1 52.2 191

1966.2 35 128 1969.2 41.6 156 1972.2 47 193

1966.3 34.9 130 1969.3 44 160 1972.3 47.8 194

1966.4 40.2 132 1969.4 48.1 163 1972.4 52.8 196

1967.1 41.9 133 1970.1 49.7 166 1973.1 54.1 199

1967.2 34.7 135 1970.2 43.9 171 1973.2 49.5 201

1967.3 38.8 138 1970.3 41.6 174 1973.3 49.5 202

1967.4 43.7 140 1970.4 51 175 1973.4 54.3 204
594 Глава 18. Классические критерии проверки гипотез


Таблица 18.2. (Источник: M.Pokorny, An Introduction to Econometrics.
Basil Blackwell, 1987, p.230)

Год Год
X L K D X L K D

1965 190.6 565 4.1 0.413 1973 130.2 315 4.2 0.091

1966 177.4 518 4.3 0.118 1974 109.3 300 4.2 5.628

1967 174.9 496 4.3 0.108 1975 127.8 303 4.2 0.056

1968 166.7 446 4.3 0.057 1976 122.2 297 4.3 0.078

1969 153 407 4.3 1.041 1977 120.6 299 4.4 0.097

1970 144.6 382 4.3 1.092 1978 121.7 295 4.6 0.201

1971 147.1 368 4.3 0.065 1979 120.7 288 4.9 0.128

1972 119.5 330 4.3 10.8 1980 128.2 286 5.2 0.166



1.4. Оценить ту же регрессию, считая, что коэффициент при Q1 равен коэффи-
циенту при Q4 («зимние» кварталы) и коэффициент при Q2 равен коэффи-
циенту при Q3 («летние» кварталы).

1.5. Мы предполагали выше, что константа меняется в зависимости от квартала.
Теперь предположим, что в коэффициенте при PDI также имеется сезонность.
Создать необходимые переменные и включить их в регрессию. Меняется ли
коэффициент при PDI в зависимости от квартала? Проверить соответствую-
щую гипотезу.



Упражнение 2

В Таблице 18.2 приведены данные о добыче угля в Великобритании: X —
общая добыча угля (млн. тонн), L — общая занятость в добыче угля (тыс. чел.),
K — основные фонды в угледобывающей отрасли (восстановительная стоимость
в ценах 1975 г., млн. фунтов), D — потери рабочих дней в угледобывающей от-
расли из-за забастовок (млн. дней).


2.1. Оценить уравнение регрессии X = const + bK + cD. На основе графиков
остатков по времени и по расчетным значениям сделать выводы относительно
гетероскедастичности, автокорреляции и функциональной формы.
595
18.4. Упражнения и задачи

2.2. Провести вручную с помощью соответствующих регрессий тесты: а) на ге-
тероскедастичность, б) тест Годфрея на автокорреляцию остатков, в) тест
Рамсея на функциональную форму.
2.3. Провести Чоу-тест (тест на постоянство коэффициентов регрессии) с по-
мощью умножения на фиктивную переменную. Данные разбить на 2 части:
с 1965 по 1972 и с 1973 по 1980 гг. Сделать выводы.
2.4. Провести тест на добавление фактора L. Оценить уравнение регрессии
X = const + bK + cD + aL.
2.5. Правильно ли выбрана функциональная форма регрессии? В случае, если она
выбрана неправильно, попробовать исправить ее путем добавления квадра-
тов переменных K и L.


Упражнение 3

В Таблице 15.3 на стр. 520 приведены данные о совокупном доходе и потребле-
нии в США в 1953–1984 гг.

3.1. Оценить потребительскую функцию (в логарифмах) ln Ct = ? + ? ln Yt + ?t .
3.2. Проверить гипотезу ? = 1 с помощью: а) теста Вальда, б) преобразованной
модели ln Yt = ? + (? ? 1) ln Yt + ?t , в) теста отношения правдоподобия.
3.3. Проверить гипотезу об отсутствии автокорреляции первого порядка.
3.4. Предположим, что ошибка подчинена авторегрессионному процессу первого
порядка ?t = ??t?1 + ut . Оценить соответствующую модель.
3.5. Модель с авторегрессией в ошибке можно записать в следующем виде:
ln Ct = ?(1 ? ?) + ? ln Yt ? ?? ln Yt?1 + ? ln Ct?1 + ut .
Эта же нелинейная модель представляется в виде линейной регрессии:
ln Ct = ? + ? ln Yt + ? ln Yt?1 + ? ln Ct?1 + ut ,
где ? = ?, ? = ?(1 ? ?), ? = ???, ? = ?. Оцените модель как линейную
регрессию.
3.6. Для той же нелинейной модели должно выполняться соотношение между ко-
эффициентами линейной регрессии: ? ? = ?? . Проверить данную гипотезу.
3.7. Оценить нелинейную регрессию. Использовать тест отношения правдоподо-
бия для проверки той же гипотезы, т.е. ? ? = ?? .
596 Глава 18. Классические критерии проверки гипотез

Задачи

1. Оценивается функция Кобба—Дугласа (в логарифмическом виде) с ограни-
чением однородности первой степени. Запишите матрицы (R и r) ограниче-
ний на параметры регрессии.

2. Запишите матрицы (R и r) ограничений на параметры регрессии в случае
проверки того, что 1-й и 3-й коэффициенты регрессии X = Z? + ? совпа-
дают, где матрица наблюдений
? ?
?1 3?
11
? ?
? ?
?1 2 1?
? ?
0
? ?
? ?
Z = ?1 3 ?1? .
3
? ?
? ?
? ?
?1 4 3?
0
? ?
? ?
125 2

3. Запишите матрицы (R и r) ограничений на параметры регрессии в случае
проверки значимости j-го коэффициента регрессии.

4. Запишите матрицы (R и r) ограничений на параметры регрессии в случае
проверки значимости уравнения регрессии в целом.

5. Исходные данные для модели линейной регрессии x = ?1 z1 + ?2 z2 + ? неиз-
вестны, известно только, что количество наблюдений N = 100, сумма квад-
ратов остатков равна 196,
? ? ??
?3?
?2 ?3?
ZZ=? ? Z X = ? ?.
и
?3 5 6

а) Используя эту информацию, рассчитайте оценки МНК.
б) Рассчитайте оценки МНК, учитывая ограничение 2?1 ? 3?2 = 10. Най-
дите сумму квадратов остатков.
в) Рассчитайте статистику, с помощью которой можно проверить гипотезу
2?1 ? 3?2 = 10. Какое распределение имеет эта статистика?

6. Регрессию xi = a0 + a1 zi1 + a2 zi2 + ei оценили без ограничений на пара-
метры и получили остатки (3, ?2, ?4, 3), а затем оценили с ограничением
a1 + a2 = 1 и получили остатки (2, ?1, ?4, 3). Найдите F -статистику для
597
18.4. Упражнения и задачи

проверки ограничений. С чем ее следует сравнить? В каком случае гипотеза
принимается?

7. В регрессии с одним фактором и свободным членом остатки равны
(1; ?1; 0; ?1; 1; 0). Если не включать в регрессию свободный член, то остат-
ки равны (1; ?2; 1; ?1; 1; 0). Проверьте гипотезу о том, что свобод-
ный член равен нулю, если 5%-ные границы F -распределения равны
F1,1 = 161.5; F1,2 = 18.51; F1,3 = 10.13; F1,4 = 7.71; F1,5 = 6.61.

8. Как с помощью критерия Стьюдента проверить автокорреляцию первого по-
рядка в остатках регрессии X = Z1 ?1 + ??

9. Пусть в простой линейной регрессии остатки равны (0; 2; ?2; 1; ?2; 1).
После добавления в исходную регрессию лага остатков (0; 0; 2; ?2; 1; ?2)
текущие остатки оказались равны (0; 0; 0; 1; ?1; 0). Проверить гипотезу
об отсутствии автокорреляции ошибок, если 5%-ные границы F -распреде-
ления равны F1,1 = 161.5, F1,2 = 18.51, F1,3 = 10.13, F1,4 = 7.71,
F1,5 = 6.61.

10. С помощью какой регрессии можно проверить правильность функциональ-
ной формы уравнения регрессии?

11. Уравнение регрессии с двумя факторами и константой оценено по времен-
ным рядам длиной 10. Сумма квадратов остатков, полученная в регрессии по
всем наблюдениям, равна 100, сумма квадратов остатков, полученная в ре-
грессии по первым 5-ти наблюдениям, равна 40, а сумма квадратов остатков,
полученная в регрессии по последним 5-ти наблюдениям, равна 20. Найдите
F -статистики для гипотезы о постоянстве коэффициентов регрессии. С чем
ее следует сравнить? В каком случае гипотеза принимается?

12. В исходной регрессии было 12 наблюдений, 2 фактора и константа. Сумма
квадратов остатков была равна 120. Затем выборку разбили на две части,
в первой из которых 6 наблюдений. В регрессии по первой части выбор-
ки сумма квадратов оказалась равной 25, а по второй части 15. Проверить
гипотезу о постоянстве коэффициентов в регрессии, если 5%-ные границы
F -распределения равны: F2,1 = 199.5, F2,2 = 19, F2,3 = 9.55, F2,4 = 6.94,
F2,5 = 5.79, F2,10 = 4.10, F3,1 = 215.7, F3,2 = 19.16, F3,3 = 9.28,
F3,4 = 6.59, F3,5 = 5.41, F3,10 = 3.71.

13. Тест Чоу применили к регрессии, разбив выборку на N1 и N2 наблюдений.
Количество факторов равно n. Приведите условия на N1 , N2 и n, при
которых невозможно использовать первую форму теста Чоу.
598 Глава 18. Классические критерии проверки гипотез

14. Тест Чоу применили к регрессии, разбив выборку на N1 и N2 наблюдений.
Количество факторов равно n. Приведите условия на N1 , N2 и n, при
которых невозможно использовать вторую форму теста Чоу.

15. Для чего можно использовать информационную матрицу в методе макси-
мального правдоподобия?

16. В регрессии X = Z? + ? матрица
? ?
?1 1 ?
? ?
? ?
?1 2 ?
? ?
Z=? ?,
? ?
?1 3 ?
? ?
? ?
14

а остатки ? равны (1, 1, 2, ?2) . Запишите информационную матрицу.

17. В регрессии X = Z? + ? матрица
? ?
?1 1 ?
? ?
? ?
?1 2 ?
? ?
Z=? ?,
? ?
?1 1 ?
? ?
? ?
12

а оценка дисперсии, найденная методом максимального правдоподобия, рав-
5
на . Запишите информационную матрицу.
8
18. Регрессию x = a0 + a1 z1 + a2 z2 + e оценили без ограничений на параметры и
получили остатки (0, ?1, 1, 0) , а затем оценили с ограничением a1 +a2 = 1
и получили остатки (2, ?1, ?4, 3) . Найдите статистику отношения прав-
доподобия для проверки ограничений. С чем ее следует сравнить? В каком
случае гипотеза принимается?

19. Регрессию x = a0 + a1 z1 + a2 z2 + e оценили без ограничений на парамет-
ры и получили остатки (2, ?1, ?4, 3) , а затем оценили с ограничением
a1 + a2 = 1 и получили остатки (3, ?2, ?4, 3) . Найдите статистику мно-
жителя Лагранжа для проверки ограничений. С чем ее следует сравнить? В
каком случае гипотеза принимается?
599
18.4. Упражнения и задачи

20. Регрессию x = a0 + a1 z1 + a2 z2 + e оценили без ограничений на парамет-
ры и получили остатки (0, ?1, ?1, 2), а затем оценили с ограничением
a1 + a2 = 1 и получили остатки (1, ?2, ?2, 3). Найдите статистику Валь-
да для проверки ограничений. С чем ее следует сравнить? В каком случае
гипотеза принимается?

21. В модели линейной регрессии x = ?1 z1 + ?2 z2 + e по некоторому на-
бору данных (N = 100 наблюдений) получены следующие оценки МНК:
a = (0.4, ?0.7) . Оценка ковариационной матрицы этих оценок равна
? ?
? 0.01 ?0.02?
Ma = ? ?.
?0.02 0.08

Используя общую формулу для статистики Вальда, проверьте следующие
гипотезы на уровне 5%:

а) H0 : ?1 = 0.5, ?2 = ?0.5,
б) H0 : ?1 ? ?2 = 1,
в) H0 : 3?1 + ?2 = 0.

22. В регрессии x = a0 + a1 z1 + a2 z2 + a3 z3 + a4 z4 + e по 40 наблюдениям
с помощью теста Вальда проверяют гипотезы a1 = a4 + 1, a3 + a2 = 1.
Как распределена статистика W (Вальда)? В каком случае гипотеза прини-
мается?

23. Методом наименьших квадратов была оценена производственная функция:

ln Y = 1.5 + 0.6 ln K + 0.45 ln L,
(0.3) (0.2)

где Y — объем производства, K — капитал, L — труд. В скобках указаны
стандартные ошибки коэффициентов. Ковариация оценок коэффициентов
при ln K и ln L равна 0.05. Коэффициент детерминации равен R2 = 0.9.
Проверьте следующие гипотезы:

а) как труд, так и капитал не влияют на объем производства;
б) эластичности объема производства по труду и капиталу совпадают;
в) производственная функция характеризуется постоянной отдачей от мас-
штаба (сумма эластичностей равна единице).

24. При каких условиях можно применить критерии Вальда (W), отношения прав-
доподобия (LR), множителей Лагранжа (LM)?
600 Глава 18. Классические критерии проверки гипотез

а) без ограничений;
б) известны оценки параметров при ограничениях;
в) и те и другие оценки.

Для каждого из пунктов (а), (б) и (в) указажите имена тестов, которые можно
применить.


Рекомендуемая литература
1. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика — начальный
курс. — М.: «Дело», 2000. (Гл. 3, 11).

2. Себер Дж. Линейный регрессионый анализ. — М.: «Мир», 1980.

3. Статистические методы в экспериментальной физике. — М: Атомиздат,
1976. (Гл. 5, 8–10).

4. Цыплаков А.А. Некоторые эконометрические методы. Метод максималь-
ного правдоподобия в эконометрии. — Новосибирск: НГУ, 1997.

5. Baltagi, Badi H. Econometrics, 2nd edition, Springer, 1999. (Ch. 7).

6. Davidson, R., and J.G. MacKinnon. Estimation and Inference in Econometrics.
Oxford University Press, 1993. (Ch. 1, 3, 8, 13).

7. Engle R. Wald, Likelihood Ratio and Lagrange Multiplier Tests in Econometrics,
in Handbook of Econometrics, vol. II, Amsterdam: North Holland, 1984.

8. Greene W.H. Econometric Analysis, Prentice-Hall, 2000. (Ch. 4, 7).

9. Judge G.G., Griffiths W.E., Hill R.C., Luthepohl H., Lee T. Theory and Practice
of Econometrics. — New York: John Wiley & Sons, 1985. (Ch. 2, 5).

10. Ruud Paul A. An Introduction to Classical Econometric Theory, Oxford University
Press, 2000. (Ch. 4, 11, 17).
Глава 19

Байесовская регрессия


Прежде чем переходить к регрессии, полезно напомнить, в чем заключается
байесовский подход. Он основан на теореме Байеса (см. Приложение A.3.1)

p(B|A)p(A)
(19.1)
p(A|B) = ,
p(B)

которая следует из определения вероятности совместного события:

p(A ? B) = p(A|B)p(B) = p(B|A)p(A).

Пусть теперь

Mi , i = 1, . . . , k — гипотезы, модели, теории, суждения об изучаемом
предмете; они являются взаимоисключающими и образуют исчерпывающее
множество возможных объяснений изучаемого феномена;

p(Mi ) — априорные (доопытные, субъективные) вероятности, выражаю-
щие совокупность априорных (доопытных, субъективных) знаний об изучае-
мом предмете; p(Mi ) = 1;

D — результат наблюдения, опыта;

<<

стр. 22
(всего 28)

СОДЕРЖАНИЕ

>>