<<

стр. 11
(всего 28)

СОДЕРЖАНИЕ

>>

оценивания:

a = (M ? W )?1 (m ? w),

который обеспечивает состоятельность оценок и делает их менее смещенными.

Это формула следует из

E (? x) = E (? z ) ? + ? ? ??
z? z?

заменой теоретических моментов на их оценки.

Обычно предполагается, что W — диагональная матрица, а w = 0.
б) Ортогональная регрессия. Поскольку z теперь такие же случайные пере-
менные, наблюдаемые с ошибками, как и x, имеет смысл вернуться к обозначениям
6-го раздела, где через x обозначался n-мерный вектор-строка всех переменных.
Пусть ? — вектор их ошибок наблюдения, а x0 — вектор их истинных значений,
то есть

x = x0 + ?, X = X 0 + ?.

Предположения (8.5) записываются следующим образом:

E(?0 , ?) = 0, E(?0 , x0 ) = M 0 , E(? , ?) = ? 2 ?.
x x?

Теперь через M 0 обозначается матрица, которую в обозначениях, используемых
в этом пункте выше, можно записать следующим образом:
? ?
2 m0 ?
? ?x 0
? ?,
? ?
m0 M0

а через ? 2 ? матрица
? ?
?2 ??
?
? ?.
? ?

Поскольку речь идет о линейной регрессии, предполагается, что между истин-
ными значениями переменных существует линейная зависимость:

x0 ? = 0.
273
8.5. Метод инструментальных переменных

Это означает, что

M 0 ? = 0.

Рассуждая так же, как при доказательстве соотношения (8.7), легко установить,
что

E(M ) = M 0 + ? 2 ?,

(M — фактическая матрица ковариации X) т.е.

(E(M ) ? ? 2 ?)? = 0.

Таким образом, если считать, что ? известна, а ? 2 — минимизируемый параметр
(в соответствии с логикой МНК), то решение задачи

(M ? ? 2 ?)a = 0, ? 2 > min!

даст несмещенную оценку вектора ? . А это, как было показано в пункте 6.4, есть
задача регрессии в метрике ??1 (см. (6.37)). Преобразованием в пространстве
переменных она сводится к «обычной» ортогональной регрессии.
Т.е. если для устранения последствий нарушения гипотезы g4 используется
преобразование в пространстве наблюдений, то при нарушении гипотезы g2 надо
«работать» с преобразованием в пространстве переменных.
Несмотря на то, что методы ортогональной регрессии и регрессии в метрике
??1 в наибольшей степени соответствуют реалиям экономики (ошибки есть во всех
переменных, стоящих как в левой, так и в правой частях уравнения регрессии), они
мало используются в прикладных исследованиях. Основная причина этого заклю-
чается в том, что в большинстве случаев невозможно получить надежные оценки
матрицы ?. Кроме того, ортогональная регрессия гораздо сложнее простой с вы-
числительной точки зрения, и с теоретической точки зрения она существенно менее
изящна и прозрачна.
В следующем параграфе излагается еще один метод, который позволяет решить
проблему ошибок в переменных (и в целом может использоваться при любых
нарушениях гипотезы g2).


8.5. Метод инструментальных переменных
Предполагаем, что в регрессии x = z? + ? переменные-факторы z являются
случайными, и нарушена гипотеза g2 в обобщенной формулировке: ошибка ? зави-
сит от факторов z, так что корреляция между z и ошибкой ? не равна нулю. Такую
274 Глава 8. Нарушение гипотез основной линейной модели

регрессию можно оценить, имея набор вспомогательных переменных y, называ-
емых инструментальными переменными. Часто инструментальные переменные
называют просто инструментами.
Для того, чтобы переменные y можно было использовать в качестве инстру-
ментальных, нужно, чтобы они удовлетворяли следующим требованиям:
1) Инструменты y некоррелированы с ошибкой ?. (В противном случае метод
даст несостоятельные оценки, как и МНК.) Если это условие не выполнено, то
такие переменные называют негодными инструментами4 .
2) Инструменты y достаточно сильно коррелированы с факторами z. Если
данное условие не выполнено, то это так называемые «слабые» инструменты.
Если инструменты слабые, то оценки по методу будут неточными и при малом
количестве наблюдений сильно смещенными.
Обычно z и y содержат общие переменные, т.е. часть факторов используется в
качестве инструментов. Например, типична ситуация, когда z содержит константу;
тогда в y тоже следует включить константу.
Пусть имеются N наблюдений, и X, Z и Y — соответствующие данные в
матричном виде. Оценки по методу инструментальных переменных (сокращенно
IV от англ. instrumental variables) вычисляются по следующей формуле:
?1
?1 ?1
(8.8)
aIV = Z Y Y Y YZ ZY Y Y Y X.

В случае, если количество инструментальных переменных в точности равно
количеству факторов, ( rank Y = n + 1) получаем собственно классический ме-
тод инструментальных переменных. При этом матрица Y Z квадратная и оценки
вычисляются как
?1 ?1 ?1
aIV = Y Z Y Y ZY ZY Y Y Y X.

Средняя часть формулы сокращается, поэтому
?1
(8.9)
aIV = Y Z Y X.

Рассмотрим вывод классического метода инструментальных переменных,
т.е. случай точной идентификации (ср. с (6.15) в главе 6):
Умножим уравнение регрессии x = z? + ? слева на инструменты y (с транс-
понированием). Получим следующее уравнение:

y x = y z? + y ?.
В модели ошибок в переменных ошибка регрессии имеет вид ? ? ?z ?, где ? — ошибка в
4

исходном уравнении, а ?z — ошибка измерения факторов z. Чтобы переменные y можно было
использовать в качестве инструментов, достаточно, чтобы y были некоррелированы с ? и ?z .
275
8.5. Метод инструментальных переменных

Если взять от обеих частей математическое ожидание, то получится

E(y x) = E(y z?),

где мы учли, что инструменты некоррелированы с ошибкой, E(y ?) = 0.
Заменяя теоретические моменты на выборочные, получим следующие нормаль-
ные уравнения, задающие оценки a:

Myx = Myz a,
1 1
где Myx = N Y X и Myz = N Y Z. Очевидно, что эти оценки совпадут с (8.9).
Фактически, мы применяем здесь метод моментов.
Метод инструментальных переменных можно рассматривать как так называе-
мый двухшаговый метод наименьших квадратов. (О нем речь еще пойдет ниже в
пункте 10.3.)
1-й шаг. Строим регрессию каждого фактора Zj на Y . Получим в этой ре-
c
грессии расчетный значения Zj . По формуле расчетных значений в регрессии
Zj = Y (Y Y )?1 Y Z. Заметим, что если Zj входит в число инструментов, то по
c
c
этой формуле получим Zj = Zj , т.е. эта переменная останется без изменений.
Поэтому данную процедуру достаточно применять только к тем факторам, которые
не являются инструментами (т.е. могут быть коррелированы с ошибкой). В целом
для всей матрицы факторов можем записать Z c = Y (Y Y )?1 Y Z.
2-й шаг. В исходной регрессии используются Z c вместо Z. Смысл состоит в
том, чтобы использовать факторы «очищенные от ошибок».
Получаем следующие оценки:
?1
a2M = Z c Z c Zc x =
?1
?1 ?1 ?1
= ZY Y Y YY YY YZ ZY Y Y Y x=
?1
?1 ?1
= ZY Y Y YZ ZY Y Y Y x = aIV .

Видим, что оценки совпадают.
Если записать оценки в виде aIV = (Z c Z)?1 Z c x, то видно, что обобщенный
метод инструментальных переменных можно рассматривать как простой метод ин-
струментальных переменных с матрицей инструментов Z c .
Такая запись позволяет обосновать обобщенный метод инструментальных пе-
ременных. Если исходных инструментов Y больше, чем факторов Z, и мы хотим
построить на их основе меньшее количество инструментов, то имеет смысл сопо-
ставить каждому фактору Zj в качестве инструмента такую линейную комбинацию
исходных инструментов, которая была бы наиболее сильно коррелирована с Zj .
c
Этому требованию как раз и удовлетворяют расчетные значения Zj .
276 Глава 8. Нарушение гипотез основной линейной модели

Другое обоснование обобщенного метода инструментальных переменных со-
стоит, как и выше для классического метода, в использовании уравнений E(y x) =
= E(y z?). Заменой теоретических моментов выборочными получим уравнения
Myx = Myz a, число которых больше числа неизвестных. Идея состоит в том, чтобы
невязки Myx ? Myz a были как можно меньшими. Это достигается минимизацией
следующей квадратичной формы от невязок:
?1
(Myx ? Myz a) Myy (Myx ? Myz a),
1
где Myy = Y . Минимум достигается при
NY

?1
?1 ?1
a = Mzy Myy Myz Mzy Myy Myx .

Видим, что эта формула совпадает с (8.8). Эти рассуждения представляют собой
применение так называемого обобщенного метода моментов, в котором количе-
ство условий на моменты может превышать количество неизвестных параметров.

Чтобы можно было использовать метод инструментальных переменных на
практике, нужна оценка ковариационной матрицы, с помощью которой можно
было бы вычислить стандартные ошибки коэффициентов и t-статистики. Такая
оценка имеет вид
?1
MaIV = s2 Z c Z c .

Здесь s2 — оценка дисперсии ошибок ? 2 , например s2 = e e/N или s2 =
= e e/(N ? 1). Остатки рассчитываются по обычной формуле e = x ? ZaIV .
(Здесь следует помнить, что остатки, получаемые на втором шаге тут не годят-
ся, поскольку они равны x ? Z c aIV . Если использовать их для расчета оценки
дисперсии, то получим заниженную оценку дисперсии и ковариационной матрицы.
Отсюда следует, что из регрессии второго шага можно использовать только оценки
коэффициентов. Стандартные ошибки и t-статистики требуется пересчитывать.)
Обсудим теперь более подробно проблему идентификации5 .
Чтобы можно было вычислить оценки (8.8), нужно, чтобы выполнялись следу-
ющие условия:
1) Матрица инструментов должна иметь полный ранг по столбцам, иначе
(Y Y )?1 не существует.
2) Z Y (Y Y )?1 Y Z должна быть невырожденной.
В частности, матрица Z Y (Y Y )?1 Y Z необратима, когда rank Y < rank Z.
Предположим, что матрица факторов Z имеет полный ранг, т.е. rank Z = n+1.
5
См. также обсуждение идентификации в контексте систем уравнений ниже в пункте 10.2.
277
8.5. Метод инструментальных переменных

Т.е. если rank Y < n + 1, то уравнение неидентифицируемо, т.е. невозмож-
но вычислить оценки (8.8). Таким образом, количество инструментов (включая
константу) должно быть не меньше n + 1 (количество регрессоров, включая кон-
станту). Если rank Y > n + 1, то говорят, что уравнение сверхидентицировано.
Если количество инструментов равно n + 1, то это точная идентификация.
Если возможен случай сверхидентификации, то это обобщенный метод инстру-
ментальных переменных. При точной идентификации ( rank Y = n + 1) получаем
собственно классический метод инструментальных переменных.
Таким образом, необходимое условие идентификации имеет следующий вид:

rank Y rank Z(= n + 1).

Это так называемое порядковое условие идентификации, условие на размерность
матриц.
Словесная формулировка порядкового условия:


Количество инструментов Y должно быть не меньше количества ре-
грессоров Z (учитывая константу).


Заметим, что можно сначала «вычеркнуть» общие переменные в Z и Y и смотреть
только на количество оставшихся. Количество оставшихся инструментов должно
быть не меньше количества оставшихся регрессоров.
Почему это только необходимое условие? Пусть, например, некоторый фактор
c
Zj ортогонален Y . Тогда Zj = 0, и невозможно получить оценки aIV , т.е. данное
условие не является достаточным.
Необходимое и достаточное условие идентификации формулируется следую-
щим образом:


Матрица Z c имеет полный ранг по столбцам: rank Z c = n + 1.


Это так называемое ранговое условие идентификации.
Встречаются случаи, когда ранговое условие идентификации соблюдается,
но матрица Z c близка к вырожденности, т.е. в Z c наблюдается мультиколли-
неарность. Например, если инструмент Zj является слабым ( Zj и Y почти ор-
тогональны), то Z c близка к вырожденности. Один из способов проверки того,
является ли инструмент слабым, состоит в анализе коэффициентов детерминации
и F -статистик в регрессиях на первом шаге.
278 Глава 8. Нарушение гипотез основной линейной модели

8.6. Упражнения и задачи
Упражнение 1

Дано уравнение регрессии X = Z? + ? = ?1.410z 1 +
+ 0.080z 2 + 56.962 + ?, где ? — вектор-столбец нормальный
Таблица 8.1
случайных ошибок с нулевым средним и ковариационной мат-
рицей
Z1 Z2 1

E ?? = ? 2 ? =
26.8 541 1
? ?
25.3 616 1
?2 · · · ?N ?1 ?
?1 ?
? ?
? ?
25.3 610 1
?? ?N ?2 ?
···
? ?
1 ?
?2 ? ?
? ?
31.1 636 1
?2 ?N ?3 ? (8.10)
= ···
2? ? ? 1 ?
1?? ? ?
33.3 651 1
?. .?
. . ..
?. . . .?
.
?. . . .?
31.2 645 1
? ?
?N ?1 ?N ?2 ?N ?3 · · · 1
29.5 653 1

с ? = 0.9 и ? 2 = 21.611.
30.3 682 1

Используя нормальное распределение с незасисимыми на-
29.1 604 1
блюдениями, средним 0 и ковариационной матрицей (8.10),
23.7 515 1
получите 100 выборок вектора ? размерности (N ? 1),
15.6 390 1 k = 1, . . . , 100, где N = 20. Эти случайные векторы
потом используйте вместе с известным вектором ? =
13.9 364 1
= (?1.410, 0.080, 56.962) и матрицей регрессоров (табл. 8.1).
18.8 411 1
Сначала получите ожидаемое значения X 0 = Z?, затем,
чтобы получить 100 выборок вектора X размерности (20 ? 1),
27.4 459 1
добавьте случайные ошибки: X 0 + ? = X.
26.9 517 1

1.1. Рассчитайте невырожденную матрицу D такую, что
27.7 551 1
D ?1 D ?1 = ?.
24.5 506 1
1.2. Найдите истинную матрицу ковариации для МНК-оценки
22.2 538 1
(a = (Z Z)?1 Z X):
19.3 576 1
E (a ? ?) (a ? ?) =
24.7 697 1
?1 ?1
=E ZZ Z ?? Z Z Z =
?1 ?1
= ?2 Z Z Z ?Z Z Z
279
8.6. Упражнения и задачи

и истинную матрицу ковариации для ОМНК-оценки
?1
(aомнк = Z ??1 Z Z ??1 X):
?1
E (aомнк ? ?) (aомнк ? ?) = ? 2 (Z D DZ) = ? 2 Z ??1 Z .

Результат поясните.

1.3. Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке зна-
чения следующих оценок:

– МНК-оценки
a = (Z Z)?1 Z X;
– ОМНК-оценки
?1
aомнк = Z ??1 Z Z ??1 X;
– МНК-оценки остаточной дисперсии
(x ? Za) (x ? Za)
s2 = ;
?e
N ?n?1
– ОМНК-оценки остаточной дисперсии
(x ? Zaомнк ) ??1 (x ? Zaомнк )
2 .
sej омнк =
?
N ?n?1

Объясните результаты.

1.4. Вычислите среднее и дисперсию для 10 выборок для каждого из параметров,
полученных в упражнении 1.3 и сравните эти средние значения с истинными
параметрами.

2
1.5. На основе упражнения 1.3 рассчитайте Sa1 омнк , который является первым
?1
диагональным элементом матрицы s2 омнк Z ??1 Z 2
и Sa1 , который явля-
?e
ется первым диагональным элементом матрицы s2 (Z Z)?1 . Сравните раз-
?e
2 2
личные оценки Sa1 и Sa1 омнк друг с другом и с соответствующими значени-
ями из упражнения 1.2.

1.6. На основе результатов упражнений 1.3 и 1.5 рассчитайте значения t-статис-
тики, которые могут быть использованы для проверки гипотез: H0 : ?1 = 0.

1.7. Повторите упражнение 1.3 для всех 100 выборок, постройте распределения
частот для оценок и прокомментируйте результаты.
280 Глава 8. Нарушение гипотез основной линейной модели

Упражнение 2

Предположим, есть данные, состоящие из 100 выборок X,
по 20 значений в каждой, сгенерированных при помощи моде-
Таблица 8.2
ли X = Z? + ? = ?1 z1 + ?2 z2 + 1N ? + ?, где ?i — нормально
и независимо распределенная случайная величина с E (?i ) = 0,
1N
z1 z2
E ?2 = ?i и ?i = e(?1 zi2 +?2 ) . Наблюдения за X были полу-
2 2
i
чены с использованием следующих значений параметров: ? =
13,9 364 1
= (?1 ?2 ?) = (?1.410, 0.080, 56.962) и ? = (?1 ?2 ) =
15,6 390 1
= (0.25, ?2) , а матрица значений факторов, упорядоченных
в соответствии с величиной z2 , имеет следующий вид (табл.
18,8 411 1
8.2).
27,4 459 1

24,5 506 1 2.1. Найдите матрицу ковариации для
?1
23,7 515 1
– ОМНК-оценки aомнк = Z ??1 Z Z ??1 X;
– МНК-оценки a = (Z Z)?1 Z X.
26,9 517 1

22,2 538 1
Что вы можете сказать об относительной эффективности
этих оценок?
26,8 541 1

27,7 551 1 2.2. Используйте 10 из 100 выборок, чтобы посчитать по
каждой выборке значения следующих оценок:
19,3 576 1

– МНК-оценки a = (Z Z)?1 Z X;
29,1 604 1
?1
N N
25,3 610 1
yi ln(e2 ), где yi =
– оценки ? = yi yi i
i=1 i=1
25,3 616 1
= (zi2 , 1) и ei = xi ? zi a;
31,1 636 1
– ОМНК-оценки a, используя найденую оценку ?.
31,2 645 1
Сравните все эти оценки друг с другом и с соответствую-
33,3 651 1 щими истинными значениями.
2
29,5 653 1
2.3. На основе упражнения 2.2 рассчитайте Sa1 омнк , кото-
рый является первым диагональным элементом матри-
30,3 682 1
цы s2 омнк (Z ??1 Z)?1 , Sa1 , который является первым
2
?e
24,7 697 1
диагональным элементом матрицы s2 (Z Z)?1 , а также
?e
2
Sa1 Уайта , который является первым диагональным эле-
ментом скорректированной оценки ковариационной матрицы (оценка Уайта
или устойчивая к гетероскедастичности оценка). Сравните различные оцен-
2 2 2
ки Sa1 , Sa1 омнк и Sa1 Уайта друг с другом и с соответствующими значениями
из упражнения 2.1.
281
8.6. Упражнения и задачи

2.4. На основе результатов упражнений 2.1 и 2.3 рассчитайте значения t-статис-
тики, которые могут быть использованы для проверки гипотез H0 : ?1 = 0.

2.5. Возьмите те же выборки, что и в упражнении 2.2, и проведите проверку
на гетероскедастичность с помощью:

– критерия Бартлета;
– метода второй группы (метод Голдфельда—Квандта) с пропуском 4-х
значений в середине выборки;
– метода третьей группы (метод Глейзера).

2.6. Выполните упражнение 2.2 для всех 100 выборок и, используя результаты,
оцените математическое ожидание и матрицу среднеквадратических ошибок
для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать
об относительной эффективности МНК-оценки и ОМНК-оценки?


Упражнение 3

Предположим, есть данные, состоящие из 100 выборок X, по 20 значений
в каждой, сгенерированных при помощи модели X = Z?+? = ?1 z1 +?2 z2 +1N ? +
+ ?, где ?i = ??i?1 + ?i , и ? — нормально распределенная случайная величина
2 2
с E (?i ) = 0, E ?i = ?? . Наблюдения за X были получены с использованием
следующих значений параметров: ? = (?1 ?2 ?) = (?1.410, 0.080, 56.962),
2
? = 0.8 и ?? = 6.4, а матрица значений факторов взята из упражнения 1.

3.1. Найдите матрицу ковариации для:
?1
– ОМНК-оценки aомнк = Z ??1 Z Z ??1 X;
– МНК-оценки a = (Z Z)?1 Z X.

Что вы можете сказать об относительной эффективности этих оценок?

3.2. Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке зна-
чения следующих оценок:

– МНК-оценки a = (Z Z)?1 Z X;
N
ei ei?1
i=2
– оценку r = ;
N
e2
i
i=1
– ОМНК-оценки, используя найденую оценку r.
282 Глава 8. Нарушение гипотез основной линейной модели

Сравните все эти оценки друг с другом и с соответствующими истинными
значениями.

3.3. Возьмите те же выборки, что и в упражнении 3.2, и проверьте гипотезу об ав-
токорреляции ошибок.

3.4. Найдите скорректированную оценку ковариационной матрицы, устойчивую
к гетероскедастичности и автокорреляции (оценку Ньюи—Уэста).

3.5. Выполните упражнение 3.2 для всех 100 выборок и, используя результаты,
оцените математическое ожидание и матрицу среднеквадратических ошибок
для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать
об относительной эффективности МНК-оценки и ОМНК-оценки?


Упражнение 4
0 0 0
Для уравнения X = Z o ?+? = ?1.410z1 +0.080z2 +1N 56.962+?, z1 = z1 +?z1 ,
0
z2 = z2 + ?z2 и при предположении, что ?i ? N (0, 21.611), ?z1 ? N (0, 21.700)
и ?z2 ? N (0, 21.800), были генерированы 20 значений выборки. Результаты при-
ведены в таблице 8.3.
Предполагая, что истинная матрица факторов Z 0 неизвестна, выполните сле-
дующие задания:

4.1. Найдите МНК-оценки a = (Z Z)?1 Z X параметров уравнения регрессии
X = Z? + ? = ?1 z1 + ?2 z2 + 1N ? + ?.

4.2. Рассчитайте ковариационную матрицу ошибок измерения факторов —
W и ковариационный вектор — w и оцените параметры регрессии как
a = (M ? W )?1 (m ? w).

4.3. Найдите оценку через ортогональную регрессию.

4.4. Сравните эти все оценки друг с другом и с соответствующими истинными
значениями.


Задачи

1. Какие свойства МНК-оценок коэффициентов регрессии теряются, если
ошибки по наблюдениям коррелированы и/или имеют разные дисперсии?

2. Как оцениваются параметры уравнения регрессии, если известна матрица
ковариации ошибок и она не диагональна с равными элементами по диа-
гонали?
283
8.6. Упражнения и задачи




Таблица 8.3

0 0
N ? ?z1 ?z2 z1 z2 z1 z2 X

1 26.19 1.96 37.94 13.9 364 15.86 401.94 92.67

2 6.94 –5.94 3.57 15.6 390 9.66 393.57 73.10

3 5.55 –13.85 –18.78 18.8 411 4.95 392.22 68.88

4 14.00 24.48 14.49 27.4 459 51.88 473.49 69.05

5 0.89 23.91 51.48 24.5 506 48.41 557.48 63.79

6 46.61 –32.80 10.99 23.7 515 –9.10 525.99 111.36

7 –20.52 13.27 11.07 26.9 517 40.17 528.07 39.87

8 10.15 –16.17 18.86 22.2 538 6.03 556.86 78.85

9 –13.95 –28.22 –18.57 26.8 541 –1.42 522.43 48.50

10 14.94 20.64 –10.89 27.7 551 48.34 540.11 76.92

11 19.38 –36.99 –0.91 19.3 576 –17.69 575.09 95.21

12 5.72 –32.44 –12.71 29.1 604 –3.34 591.29 69.97

13 1.08 25.91 7.70 25.3 610 51.21 617.70 71.17

14 11.07 10.90 9.24 25.3 616 36.20 625.24 81.64

15 5.81 –42.77 8.25 31.1 636 –11.67 644.25 69.80

16 27.21 25.63 –29.14 31.2 645 56.83 615.86 91.78

17 –11.63 –13.07 13.20 33.3 651 20.23 664.20 50.46

18 –4.24 10.27 –37.62 29.5 653 39.77 615.38 63.37

19 46.56 44.81 33.93 30.3 682 75.11 715.93 115.36

20 –7.57 –40.10 –6.34 24.7 697 –15.40 690.66 70.32
284 Глава 8. Нарушение гипотез основной линейной модели

3. Рассматривается регрессионная модель X = Z? + ?. Пусть ?? = AX —
это любая несмещенная оценка параметра ?. Полагая, что E (?? ) = ? 2 ?,
покажите, что матрица ковариации ?? превышает матрицу ковариации
?омнк = (Z ??1 Z)?1 Z ??1 X на какую-то положительно полуопределенную
матрицу.

(x ? z?) ??1 (x ? z?)
2 есть оценка ? 2 .
4. Докажите, что ?омнк =
N ?n?1

5. Какое преобразование матрицы наблюдений перед оценкой регрессии полез-
но сделать, если среднеквадратические отклонения ошибок регрессии про-
порциональны какому-либо фактору?

6. Оценивается регрессия по 10 наблюдениям. Известно, что дисперсия оши-
бок для первых 5 наблюдений в два раза больше, чем дисперсия ошибок
остальных 5 наблюдений. Опишите процедуру оценивания этой регрессии.

7. Рассмотрите регрессию xt = ?1 t + ? + ?t , t = 1, . . . , 5, где
E(?t ) = 0, E(?2 ) = ? 2 t2 , E(?t ?s ) = 0, при t = s.
t
Пусть ? = (?1 , ?2 , ?3 , ?4 , ?5 ) и E(?? ) = ? 2 ?.

– определите ?;
– найдите ??1 ;
? ?
??1 ?
– найдите матрицу ковариации МНК-оценки параметра ? = ? ?;
?
? ?
??1 ?
– найдите матрицу ковариации ОМНК-оценки параметра ? = ? ?.
?

8. Рассмотрите регрессию xt = ?1 t + ?t , t = 1, . . . , 5,
где E(?t ) = 0, E(?2 ) = ? 2 t2 , E(?t ?s ) = 0, t = s. Если x = (6, 4, 9, 8, 7) :
t

– определите оценку МНК для ?1 и ее дисперсию;
– определите оценку ОМНК для ?1 и ее дисперсию;
– сравните эти оценки друг с другом и сделайте вывод.

9. Рассматривается модель X = Z? + ?, где ?i — нормально и независимо
распределенная случайная величина с E (?i ) = 0 и E ?2 = ?i = eyi ? .
2
i
285
8.6. Упражнения и задачи
?? ? ? ? ?
?4? ?2 1? ?2 1?
?? ? ? ? ?
?? ? ? ? ?
?8? ?5 1? ?3 1?
?? ? ? ? ?
?? ? ? ? ?
?? ? ? ? ?
В предположении, что X = ?6? , Z =?2 1? , Y = ?1 1? ,
?? ? ? ? ?
?? ? ? ? ?
?? ? ? ? ?
?2? ?1 1? ?0 1?
?? ? ? ? ?
?? ? ? ? ?
9 10 1 21

– найдите МНК-оценки a = (Z Z)?1 ZX;
?1
– найдите ОМНК-оценки aомнк = Z ??1 Z Z ??1 X;
– постройте два 95%-х доверительных интервала для ?1 : один непра-
вильный, основанный на результатах МНК, а другой правильный, осно-
ванный на результатах ОМНК;
– проверьте гипотезу ?1 = 0.

10. Параметры трехфакторного уравнения регрессии оценены по 20 наблю-
дениям. S1 и S2 — остаточные дисперсии по первой и второй половинам
временного ряда. В каком случае гипотезы о гомоскедастичности следует
отвергнуть?

11. Приведите примеры графиков зависимостей ошибки от времени в авторе-
гресионной схеме первого порядка для случаев, когда модуль коэффициента
авторегрессии превышает единицу. Что можно сказать об автокорреляции
ошибок, если этот коэффициент равен нулю?

12. Ошибка в регрессии задана процессом ?i = 0.6?i?1 + ?i , и ? — нор-
2 2
мально распределенная случайная величина с E(?i ) = 0, E(?i ) = ??
и i = 1, . . . , 5. Как выглядит матрица преобразования в пространстве пе-
ременных для ОМНК?

13. Проверьте, что D D = ??1 , где
? ?
v
? 1 ? r2 0 · · · 0?
0
? ?
? ?
? ?r 0?
0 ···
? ?
1
? ?
? ?
D=? 0 0? ,
?r 1 · · ·
? ?
? ?
? .?
. . . ..
. . . .?
? .
. . . .?
?
? ?
0 ··· 1
0 0
286 Глава 8. Нарушение гипотез основной линейной модели
? ?
r2 · · · r N ?1 ?
?1 r
? ?
? ?
?r N ?2 ?
···
? ?
1 r r
1? ?
? ?
?2 r N ?3 ? .
?= ···
2? r r 1 ?
1?r ? ?
?. .?
. . ..
?. . . .?
.
?. . . .?
? ?
r N ?1 r N ?2 r N ?3 · · · 1


14. Найдите D0 D0 , где D0 — это матрица размерности (N ?1)?N , полученная
из матрицы D путем удаления первой строки, и сравните ее с матрицей ??1 .

15. Какое преобразование матрицы наблюдений перед оценкой регрессии полез-
но сделать, если ошибки в каждом наблюдении имеют одинаковую дисперсию
и коррелированы с ошибками в предыдущем наблюдении?

16. Почему при использовании критерия Дарбина—Уотсона требуется знать два
критических значения для расчетной статистики?

17. Фактическое значение dc статистики Дарбина—Уотсона равно 0.5. Что это
означает? Какое преобразование следует применить к этой модели (запишите
формулу)?

18. В регрессионной модели X = Z? + ? существует автокорреляции ошибок
первого порядка и ? = 0.6. Предположим, что
?? ? ?
?4? ?2 1?
?? ? ?
?? ? ?
?8? ?5 1?
?? ? ?
?? ? ?
?? ? ?
X = ?6? , Z =?2 1? ,
?? ? ?
?? ? ?
?? ? ?
?2? ?1 1?
?? ? ?
?? ? ?
9 10 1

– найдите преобразованные наблюдения Dx и Dz;
– найдите ОМНК-оценки параметра ?;
– найдите фактическое значение dc статистики Дарбина—Уотсона
по остаткам после применения ОМНК.
287
8.6. Упражнения и задачи

19. Положим, построили регрессию для N = 20 и n = 4 и нашли оценку
N
ei ei?1
= 0.5, e e = 40, e2 = 1, e2 = 4.
i=2
z= 1 N
N
e2
i
i=1

Найдите фактическое значение dc статистики Дарбина—Уотсона и с ее по-
мощью проведите тест на автокорреляцию.
20. На основе годовых данных 1959–1983 годов были оценены следующие функ-
ции спроса на продовольственные товары.

? 0.47 ln P Ft
ln Qt = 2.83 + 0.64 ln Yt ,

(6.69) (?3.94) (24.48)
R2 = 0.987, DW = dc = 0.627,

? 0.36 ln P Ft
ln Qt = 1.87 + 0.38 ln Yt + 0.44Qt?1 ,

(3.24) (?2.79) (3.20) (24.10)
R2 = 0.990, DW = dc = 1.65,

где Q — спрос на продукты питания, P F — цены на продукты питания,
Y — доход, в скобках приведены значения t-статистики.
Проверьте каждое уравнение на наличие автокорреляции первого порядка
и дайте короткий комментарий результатов.
21. Пусть остатки в регрессии xi = ? + ?zi + ?i равны (1, 2, 0, ?1, ?2) .
Опишите первый шаг метода Кочрена—Оркарта.
22. Денежная масса измеряется с ошибкой. Как смещен коэффициент зависимо-
сти динамики цен от динамики денежной массы относительно его истинного
значения?
23. Пусть в парной линейной регрессии ошибки зависимой переменной и фактора
независимы и имеют одинаковую дисперсию. Запишите задачу для нахожде-
ния оценок коэффициентов данной регрессии (с объяснением обозначений).


Рекомендуемая литература
1. Айвазян С.А. Основы эконометрики. Т.2. — М.: Юнити, 2001. (Гл. 2)
288 Глава 8. Нарушение гипотез основной линейной модели

2. Демиденко Е.З. Линейная и нелинейная регрессия. — М.: «Финансы и ста-
тистика», 1981. (Гл. 1).

3. Джонстон Дж. Эконометрические методы. — М.: «Статистика», 1980.
(Гл. 7, 8).

4. Доугерти К. Введение в эконометрику. — М.: «Инфра-М», 1997. (Гл. 7).

5. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х книгах.
Кн.1 — М.: «Финансы и статистика», 1986. (Гл. 2, 3).

6. Кейн Э. Экономическая статистика и эконометрия. — М.: «Статистика»,
1977. Вып. 2. (Гл. 15).

7. Лизер С. Эконометрические методы и задачи. — М.: «Статистика», 1971.
(Гл. 2).

8. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика — начальный
курс. — М.: Дело, 2000. (Гл. 6, 7, 9).

9. Маленво Э. Статистические методы эконометрии. Вып. 1. — М.: «Стати-
стика», 1975. (Гл. 10).

10. Тинтер Г. Введение в эконометрию. — М.: «Статистика», 1965. (Гл. 6).

11. Baltagi, Badi H. Econometrics, 2nd edition, Springer, 1999. (Ch. 5).

12. Davidson, Russel, Mackinnon, James. Estimation and Inference in Econo-
metrics, N 9, Oxford University Press, 1993. (Ch. 16).

13. William E., Griffiths R., Carter H., George G. Judge Learning and Practicing
econometrics, N 9 John Wiley & Sons, Inc., 1993. (Ch. 9, 15, 16).

14. Greene W.H. Econometric Analysis, Prentice-Hall, 2000. (Ch. 9, 12, 13).

15. Judge G.G., Hill R.C., Griffiths W.E., Luthepohl H., Lee T. Introduction to the
Theory and Practice of Econometric. John Wiley & Sons, Inc., 1993. (Ch 8, 9).

16. Maddala G.S. Introduction to Econometrics, 2nd ed., Prentice Hall, 1992.
(Ch. 5, 6, 7).
Глава 9

Целочисленные переменные
в регрессии


9.1. Фиктивные переменные
С помощью фиктивных или псевдопеременных, принимающих дискретные,
обычно целые значения, в регрессию включают качественные факторы.
Уточнение обозначений:
Z — N ? n-матрица наблюдений за «обычными» независимыми факторами;
? — n-вектор-столбец параметров регрессии при этих факторах;

Z 0 = 1N ; ? 0 =?.

В этих обозначениях уравнение регрессии записывается следующим образом:

X = Z? + Z 0 ? 0 + ?.

Пусть имеется один качественный фактор, принимающий два значения (напри-
мер: «мужчина» и «женщина», если речь идет о модели некоторой характеристики
отдельных людей, или «годы войны» и «годы мира» — в модели, построенной на
временных рядах наблюдений, которые охватывают периоды войны и мира и т.д.).
Ставится вопрос о том, влияет ли этот фактор на значение свободного члена ре-
грессии.
290 Глава 9. Целочисленные переменные в регрессии

Z G = {zij } — N ?2-матрица наблюдений за качественным фактором (мат-
G
G
рица фиктивных переменных): zi1 равен единице, если фактор в i-м наблюдении
G
принимает первое значение, и нулю в противном случае; zi2 равен единице, если
фактор в i-м наблюдении принимает второе значение, и нулю в противном случае.
? ?
??1 ?
?=? ?
?2

— двухкомпонентный вектор-столбец параметров при фиктивных переменных.
Исходная форма регрессии с фиктивными переменными:

X = Z? + Z 0 ? 0 + Z G ? + ?.

Поскольку сумма столбцов матрицы равна Z 0 , оценка параметоров непосред-
ственно по этому уравнению невозможна.
Проводится преобразование фиктивных переменных одним из двух способов.
а) В исходной форме регрессии исключается один из столбцов матрицы фик-
тивных переменных, в данном случае — первый.
?
Z G — матрица фиктивных переменных без первого столбца;
? ?

? ?1 1 0? .
C=? ?
0 ?1 1

Тогда эквивалентная исходной запись уравнения имеет вид:
? ?
0
? G C ?? ? + ?,
0
?? ?
X = Z? + Z , Z
?

?
и после умножения матрицы C справа на вектор параметров получается за-
пись уравнения регресии, в которой отсутствует линейная зависимость между
факторами-регрессорами:

X = Z? + Z 0 ? 0 + Z G ? + ?,
? ??

где ? 0 = ? 0 + ?1 , ? = ?2 ? ?1 .
? ?
После оценки этих параметров можно определить значения исходных пара-
метров ? 0 и ?, предполагая, что сумма параметров при фиктивных переменных
291
9.1. Фиктивные переменные

(в данном случае ?1 +?2 ) равна нулю, т.е. влияние качественного фактора приводит
к колебаниям вокруг общего уровня свободного члена:

?2 = ?/2, ?1 = ??2 , ? 0 = ? 0 + ?2 .
? ?

б) Предполагая, что сумма параметров при фиктивных переменных равна ну-
лю, в исходной форме регрессии исключается один из этих параметров, в данном
случае — первый.
? — вектор-стобец параметров при фиктивных переменных без первого эле-
мента;
? ?
??1?
C = ? ?.
1

Эквивалентная исходной запись уравнения принимает форму:

X = Z? + Z 0 ? 0 + Z G C? + ?,

и после умножения матрицы C слева на матрицу наблюдений за фиктивными
переменными получается запись уравнения регрессии, в которой также отсутствует
линейная зависимость между регрессорами:

X = Z? + Z 0 ? 0 + Z G ? + ?.

После оценки параметров этого уравнения недостающая оценка параметра ?
определяется из условия ?1 = ??2 .
Качественный фактор может принимать больше двух значений. Так, в класси-
ческой модели выделения сезонных колебаний он принимает 4 значения, в случае
поквартальных наблюдений, и 12 значений, если наблюдения проводились по ме-
сяцам. Матрица Z G в этой модели имеет размерность, соответственно, N ? 4 или
N ? 12.
Пусть в общем случае качественный фактор принимает k значений. Тогда:
матрица Z G имеет размерность N ? k, вектор-столбец ? — размерность k,
?
матрицы Z G и Z G — N ? (k ? 1), вектор-столбцы ? и ? — (k ? 1);
?
? ?

? ?1 1 0?
k ? (k + 1) матрица C = ? ?;
0 ?1k?1 Ik?1
? ?
??1 ?
k ? (k ? 1) матрица C = ? k?1 ?;
Ik?1
292 Глава 9. Целочисленные переменные в регрессии
? ? ? ?
?0 ?0
?
?? ?? ?
Z GC = Z G .
C? ?=? ?,
1k ? = 0,
?
? ?
Можно показать, что
? ?? ? ? ?
0 ?0
?1k?1
?1 ? ?? ? ?? ?
? ? ? ? = ? ? , или
?
0 Ik?1 ? 1k?1 ? ?
? ?? ? ? ?
1
1k?1 (Ik?1 ? k 1k?1 )? ?? 0 ? 0
?
?1 ?? ?
? ?? ? = ? ?,
1 ?
Ik?1 ? k 1k?1
0 ? ?

где 1k?1 = 1k?1 1k?1 — (k?1)?(k?1)-матрица, состоящая из единиц; и далее по-
казать, что результаты оценки параметров уравнения с фиктивными переменными
при использовании обоих указанных подходов к устранению линейной зависимости
факторов-регрессоров одинаковы.
В дальнейшем для устранения линейной зависимости столбцов значений фик-
тивных переменных используется способ «б».
После оценки регрессии можно применить t-критерий для проверки значимо-
сти влияния качественного фактора на свободный член уравнения.
Если k слишком велико и приближается к N , то на параметры при фиктив-
ных переменных накладываются более жесткие ограничения (чем равенство нулю
их суммы). Так, например, если наблюдения проведены в последовательные мо-
менты времени, и вводится качественный фактор «время», принимающий особое
значение в каждый момент времени, то Z G = IN , и обычно предполагается, что
значение параметра в каждый момент времени (при фиктивной переменной каж-
дого момента времени) больше, чем в предыдущий момент времени на одну и ту же
величину. Тогда роль матрицы C играет N -вектор-столбец T , состоящий из чи-
сел натурального ряда, начиная с 1, и ? = T ?T , где ?T — скаляр. Уравнение
регрессии с фактором времени имеет вид (эквивалентная исходной форма уравне-
ния при использовании способа «б» исключения линейной зависимости фиктивных
переменных):
X = Z? + Z 0 ? 0 + T ?T + ?.

Метод фиктивных переменных можно использовать для проверки влияния ка-
чественного фактора на коэффициент регрессии при любом обычном факторе. Ис-
ходная форма уравнения, в которое вводится качественный фактор для параметра
?, имеет следующий вид:
X = Z? + Z 0 ? 0 + Zj ?Z G ?j + ?,
?
293
9.1. Фиктивные переменные

где Zj — j-й столбец матрицы Z; ?j — k-вектор-столбец параметров влияния
качественного фактора на ?j ; в векторе ? j-я компонента теперь обозначает-
ся ?0 — средний уровень параметра ?j ; ? — операция прямого произведения
?
j
столбцов матриц.

Прямое произведение матриц A ? B (произведение Кронекера, см. Приложе-
ние A.1.2), имеющих размерность, соответственно, mA ? nA и mB ? nB , есть
матрица размерности (mA mB ) ? (nA nB ) следующей структуры:
? ?
? a11 B · · · a1nA B ?
?. ?
?. ?.
.
.. .
?. ?
. .
? ?
amA 1 B · · · amA nA B

Прямое произведение матриц обладает следующими свойствами:
(A1 ? · · · ? Am )(B1 ? · · · ? B2 ) = (A1 B1 ) ? · · · ? (Am Bm ),
если, конечно, соответствующие матричные произведения имеют смысл:
(A1 ? · · · ? Am ) = A1 ? · · · ? Am ,
(A1 ? · · · ? Am )?1 = A?1 ? · · · ? A?1 ,
1 m

если все матрицы A квадратны и неособенны.
Прямое произведение столбцов матриц применимо к матрицам, имеющим одинако-
вое число строк, и осуществляется путем проведения операции прямого произведе-
ния последовательно с векторами-строками матриц:
? ?? ?? ?
? A1 ? ? B1 ? ? A1 ? B1 ?
? ?? ?? ?
A?B = ? . ? ? ? . ? = ? ?.
.
? . ??? . ? ? .
?. ?
. .
? ?? ?? ?
Am ? Bm
Am Bm

Эта операция обладает следующим важным свойством:
(A1 ? · · · ?Am )(B1 ? · · · ? B2 ) = (A1 B1 )? · · · ?(Am Bm ).
? ? ? ?

Приоритет прямого произведения матриц выше, чем обычного матричного произве-
дения.

При использовании способа «а» эквивалентная исходной форма уравнения
имеет вид (форма «а»):
? ?
0
??j ?
X = Z?j ??j + Z 0 ? 0 + Zj ? Z 0 , Z G C ?
??
? ? + ?,
?j
?
294 Глава 9. Целочисленные переменные в регрессии

где Z?j — матрица Z без j-го столбца, ??j — вектор ? без j-го элемента,
и после устранения линейной зависимости фиктивных переменных:

X = Z? + Z 0 ? 0 + Zj ?Z G C?j + ?.
?

Все приведенные выше структуры матриц и соотношения между матрицами
и векторами сохраняются.
В уравнение регрессии можно включать более одного качественного фактора.
В случае двух факторов, принимающих, соответственно, k1 и k2 значения, форма
«б» уравнения записывается следующим образом:

X = Z? + Z 0 ? 0 + Z 1 ? 1 + Z 2 ? 2 + ?,

где вместо «G » в качестве индекса качественного фактора используется его номер.
Это уравнение может включать фиктивные переменные совместного влияния
качественных факторов (взаимодействия факторов). В исходной форме компонента
совместного влияния записывается следующим образом:

Z 1 ?Z 2 ? 12 ,
?

где ? 12 = (?11 , . . . , ?1k2 , ?21 , . . . , ?2k2 , . . . , ?k1 1 , . . . , ?k1 k2 ) — k1 ? k2 -вектор-
12 12 12 12 12 12
12
столбец, а ?i1 i2 — параметр при фиктивной переменной, которая равна 1, если
первый фактор принимает i1 -е значение, а второй фактор — i2 -е значение, и равна
0 в остальных случаях (вектор-столбцом наблюдений за этой переменной является
(k1 (i1 ? 1) + i2 )-й столбец матрицы Z 1 ?Z 2 ). ?
Как и прежде, вектор параметров, из которого исключены все компоненты,
линейно выражаемые через остальные, обозначается ? 12 . Он имеет размерность
(k1 ? 1) ? (k2 ? 1) и связан с исходным вектором параметров таким образом:

? 12 = C 1 ? C 2 ? 12 ,

где C 1 и C 2 — матрицы размерности k1 ? (k1 ? 1) и k2 ? (k2 ? 1), имеющие
описанную выше структуру (матрица C).
Теперь компоненту совместного влияния можно записать следующим образом:

(Z 1 ?Z 2 )(C 1 ? C 2 )? 12 = (Z 1 C 1 )?(Z 2 C 2 )? 12 = Z 1 ?Z 2 ? 12 = Z 12 ? 12 ,
? ? ?

а уравнение, включающее эту компоненту (форма «б») —

X = Z? + Z 0 ? 0 + Z 1 ? 1 + Z 2 ? 2 + Z 12 ? 12 + ?.

В общем случае имеется n качественных факторов, j-й фактор принимает kj
значений, см. пункт 1.9. Пусть упорядоченное множество {1, . . . , n} обозначается
295
9.2. Модели с биномиальной зависимой переменной

G, а J — его подмножества. Общее их количество, включая пустое подмножество,
равно 2n . Каждому такому подмножеству взаимно-однозначно соответствует чис-
ло, например, в системе исчисления с основанием max kj , и их можно упорядочить
j
по возрастанию этих чисел. Если пустое подмножество обозначить 0, то можно
записать:

J = 0, 1, . . . , n, {1, 2}, . . . , {1, n}, {2, 3}, . . . , {1, 2, 3}, . . . , G.

Тогда уравнение регрессии записывается следующим образом:
G G G
JJ J JJ
Z J ? J + ?,
X = Z? + Z ? + ? = Z? + Z C ? + ? = Z? +
J=0 J=0 J=0


?C j при j > 0, C 0 = 1. Выражение j ? J под зна-
?Z j , C J =
??
где Z J =
j?J j?J
ком произведения означает, что j принимает значения последовательно с первого
по последний элемент подмножества J .
Очевидно, что приведенная выше запись уравнения для n? = 2 является част-
ным случаем данной записи.
Если p(J) — количество элементов в подмножестве J , то Z J ? J или Z J ? J —
J -е эффекты, эффекты p(J)-го порядка; при p(J) = 1 — главные эффекты,
при p(J) > 1 — эффекты взаимодействия, эффекты совместного влияния или
совместные эффекты.
? J или ? — параметры соответствующих J -х эффектов или также сами эти
эффекты.


9.2. Модели с биномиальной зависимой
переменной
Рассмотрим теперь модели, в которых зависимая переменная принимает толь-
ко два значения, т.е. является фиктивной переменной. При этом придется отойти
от модели линейной регрессии, о которой речь шла выше.
Если изучается спрос на рынке некоторого товара длительного пользования,
например, на рынке холодильников определенной марки, то спрос в целом воз-
можно предсказывать с помощью стандартной регрессии. Однако, если изучать
спрос на холодильники отдельной семьи, то изучаемая переменная должна быть
либо дискретной (0 или 1), либо качественной (не покупать холодильник, купить
холодильник марки A, купить холодильник марки B и т.д.). Аналогично, разные
методы приходится применять при изучении рынка труда и при изучении решения
296 Глава 9. Целочисленные переменные в регрессии

отдельного человека по поводу занятости (работать/не работать). Данные о том,
произошло какое-либо событие или нет, также можно представить дискретной
переменной вида 0 или 1. При этом не обязательно наличие ситуации выбора.
Например, можно исследовать данные об экономических кризисах, банкротствах
(произошел или не произошел кризис или банкротство).


9.2.1. Линейная модель вероятности, логит и пробит

В биномиальную модель входит изучаемая переменная x, принимающая два
значения, а также объясняющие переменные z, которые содержат факторы, опре-
деляющие выбор одного из значений. Без потери общности будем предполагать,
что x принимает значения 0 и 1.
Предположим, что мы оценили на основе имеющихся наблюдений линейную
регрессию

x = z? + ?.

Очевидно, что для почти всех значений z построенная линейная регрессия
будет предсказывать абсурдные значения изучаемой переменной x — дробные,
отрицательные и большие единицы, что делает ее не очень полезной на практике.
Более того, линейная модель не может быть вполне корректной с формальной
точки зрения. Поскольку у биномиальной зависимой переменной распределение
будет распределением Бернулли (биномиальным распределением с одним испы-
танием Бернулли), то оно полностью задается вероятностью получения единицы.
В свою очередь, вероятность того, что x = 1, совпадает с математическим ожида-
нием x, если эта переменная принимает значения 0 и 1:

E(x) = Pr(x = 1) · 1 + Pr(x = 0) · 1 = Pr(x = 1).

С другой стороны, ожидание x при данной величине z для линейной модели
равно

E(x) = z? + E(?) = z?.

Отсюда следует, что обычная линейная регрессионная модель не совсем под-
ходит для описания рассматриваемой ситуации, поскольку величина za, вообще
говоря, не ограничена, в то время как вероятность всегда ограничена нулем и еди-
ницей. Ожидаемое значение зависимой переменной, E(x), может описываться
только нелинейной функцией.
Желательно каким-то образом модифицировать модель, чтобы она, с одной
стороны, принимала во внимание тот факт, что вероятность не может выходить
297
9.2. Модели с биномиальной зависимой переменной

за пределы отрезка [0; 1], и, с другой стороны, была почти такой же простой как
линейная регрессия. Этим требованиям удовлетворяет модель, для которой

Pr(x = 1) = F (z?),

где F (·) — некоторая достаточно простая функция, преобразующая z? в число
от нуля до единицы. Естественно выбрать в качестве F (·) какую-либо дифферен-
цируемую функцию распределения, определенную на всей действительной прямой.
В дальнейшем мы рассмотрим несколько удобных функций распределения, кото-
рые удовлетворяют этим требованиям.
Заметим, что если выбрать F (·), соответствующую равномерному распреде-
лению на отрезке [0; 1], то окажется, что
?
?
? 0,
?
? z? 0,
?
?
E(x) = Pr(x = 1) =
? z?, 0 z? 1,
?
?
?
?
?
1, z? 1.

Таким образом, при z? ? [0; 1] получим «линейную регрессию». Это так назы-
ваемая линейная модель вероятности. Однако, вообще говоря, такой выбор F (·)
скорее не упрощает оценивание, а усложняет, поскольку в целом математическое
ожидание зависимой переменной является здесь нелинейной функцией неизвест-
ных параметров ? (т.е. это нелинейная регрессия), причем эта функция недиффе-
ренцируема.
В то же время, если данные таковы, что можно быть уверенным, что величина
z? далека от границ 0 и 1, то линейную модель вероятности можно использо-
вать, оценивая ее как обычную линейную регрессию. То, что величина z? далека
от границ 0 и 1, означает, что z плохо предсказывает x. Таким образом, линей-
ная модель вероятности применима в случае, когда изучаемая зависимость слаба,
и в имеющихся данных доля как нулей, так и единиц не слишком мала. Ее можно
рассматривать как приближение для нелинейных моделей.
Есть два удобных вида распределения, которые обычно используют для моде-
лирования вероятности получения единицы в модели с биномиальной зависимой
переменной. Оба распределения симметричны относительно нуля.
1) Логистическое распределение.
Плотность логистического распределения равна

ey
?(y) = ,
(1 + ey )2
298 Глава 9. Целочисленные переменные в регрессии

а функция распределения равна
ey 1
?(y) = = .
1 + e?y
1 + ey

Модель с биномиальной зависимой переменной с логистически распределен-
ным отклонением называют логит. Для логита
ez? 1
E(x) = Pr(x = 1) = ?(z?) = = .
1 + e?z?
1 + ez?

2) Нормальное распределение (см. Приложение A.3.2).
Модель с нормально распределенным отклонением ? называют пробит. При
этом используется стандартное нормальное распределение, т.е. нормальное рас-
пределение с нулевым ожиданием и единичной дисперсией, N (0, 1). Для пробита
z? z?
1 2 /2
e?t
?(t)dt = v
E(x) = Pr(x = 1) = ?(z?) = dt,
2?
?? ??

где ?(·) — функция распределения стандартного нормального распределения,
?(·) — его плотность.
Логистическое распределение похоже на нормальное с нулевым ожидани-
ем и дисперсией ? 2 /3 (дисперсия логистического распределения). В связи
с этим оценки коэффициентов в моделях различаются примерно на множитель
v
?/ 3 ? 1.8. Если вероятности далеки от границ 0 и 1 (около 0,5), то более точ-
ной оценкой множителя является величина ?(0)/?(0) = 8/? ? 1.6. При малом
количестве наблюдений из-за схожести распределений сложно решить, когда сле-
дует применять логит, а когда — пробит. Различие наиболее сильно проявляется
при вероятностях, близких к 0 и 1, поскольку логистическое распределение име-
ет более длинные хвосты, чем нормальное (оно характеризуется положительным
коэффициентом эксцесса).
Можно использовать в модели и другие распределения, например, асиммет-
ричные.


9.2.2. Оценивание моделей с биномиальной
зависимой переменной

Требуется по N наблюдениям (xi , zi ), i = 1, . . . , N , получить оценки коэффи-
циентов ?. Здесь наблюдения xi независимы и имеют биномиальное распределе-
ние с одним испытанием (т.е. распределение Бернулли) и вероятностью

Pr(xi = 1) = F (zi ?).
299
9.2. Модели с биномиальной зависимой переменной

<<

стр. 11
(всего 28)

СОДЕРЖАНИЕ

>>