<<

стр. 21
(всего 28)

СОДЕРЖАНИЕ

>>


12. Утверждается, что «модель GARCH более компактна, чем модель ARCH».
Что при этом имеется в виду? Почему важна «компактность» модели?

13. Докажите, что процесс GARCH(p, q) не автокоррелирован.

14. Докажите, что процесс GARCH(p, q) является белым шумом, если существу-
ет его безусловная дисперсия.

15. Пользуясь представлением квадратов процесса GARCH(1, 1) в виде
ARMA(1, 1) выведите их автокорреляционную функцию.

16. Запишите автокорреляционную функцию квадратов процесса GARCH(1, 1).
Покажите, что при значении суммы коэффициентов ?1 + ?1 , приближа-
ющемся к 1 (но меньшем 1) автокорреляционная функция затухает мед-
ленно. Покажите, что при фиксированном значении суммы коэффициен-
тов ?1 + ?1 = ? (0 < ? < 1), автокорреляция тем слабее, чем меньше ?1 ,
и стремится к нулю при ?1 > 0.

17. Рассмотрите следующую модель с авторегрессионной условной гетероскеда-
стичностью:

?t = ? + ??t?1 + ?[f (?t?1 )]2 ,
2 2


где f (z) = |z| ? ?z.

а) Укажите значения параметров, при которых эта модель сводится к обыч-
ной модели GARCH.
б) Утверждается, что в этой модели имеет место асимметричность влияния
«шоков» ?t на условную дисперсию. Что при этом имеется в виду? При
каких значениях параметров влияние будет симметричным?

18. Запишите модель GARCH(1, 1)-M с квадратным корнем условной дисперсии
в уравнении регрессии (с расшифровкой обозначений).

19. Рассмотрите модель AR(1) с независимыми одинаково распределенными
ошибками и модель AR(1) с ошибками, подчиняющимися процессу GARCH.

а) Объясните, почему точечные прогнозы по этим двум моделям не будут
отличаться.
б) Как будут отличаться интервальные прогнозы?

20. Пусть имеется некоторый процесс с авторегрессионной условной гетероске-
дастичностью ?t , задаваемый моделью

?t = var(?t |?t?1 ) = h(?t?1 , . . . , ?t?p , ?2 , . . . , ?2 ),
2 2 2
t?1 t?q
544 Модели с авторегрессионной условной . . .

где ?t?1 — предыстория процесса, h(·) — некоторая функция и ?t = ?t ?t .
Предполагается, что инновации ?t имеют стандартное нормальное распреде-
ление и не зависят от предыстории ?t?1 . Найдите куртозис ?t , если известно,
2 4
что E(?t ) = 5, E(?t ) = 100. О чем говорит величина куртозиса?

21. Докажите, что эксцесс распределения отдельного наблюдения ?t процесса
ARCH(1)

?t = ?t ?t , ?t = ? + ??2 ,
2
?t ? N ID(0, 1)
t?1

6? 2
равен .
1 ? 3? 2
22. Какие сложности возникают при построении прогнозных интервалов процес-
са GARCH с заданным уровнем доверия (например, 95%)? Каким способом
можно обойти эту проблему?

23. Почему модель GARCH не подходит для прогнозирования автокоррелиро-
ванных временных рядов?


Рекомендуемая литература
1. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика — начальный
курс. — М.: «Дело», 2000. (Гл. 12).

2. Предтеченский А.Г. Построение моделей авторегрессионной условной гете-
роскедастичности (ARCH) некоторых индикаторов российского финансового
рынка (дипломная работа), ЭФ НГУ, 2000.
( OOO »»UUU?O?U?OU» »O?Y» NO» O »OO O » O U? ON).

3. Шепард Н. Статистические аспекты моделей типа ARCH и стохастическая
волатильность. Обозрение прикладной и промышленной математики. Т. 3,
вып. 6. — 1996.

4. Baillie Richard T. and Tim Bollerslev. Prediction in Dynamic Models with Time
Dependent Conditional Variances // Journal of Econometrics, No. 52, 1992.

5. Bera A.K. and Higgins M.L. ARCH Models: Properties, Estimation and Testing
// Journal of Economic Surveys, No. 7, 1993.

6. Bollerslev T., Engle R.F. and Nelson D.B. ARCH Models // Handbook of
Econometrics. Vol. IV. Ch. 49. — Elsevier Science, 1994.
545
16.5 Упражнения и задачи

7. Bollerslev Tim. Generalized Autoregressive Conditional Heteroskedasticity //
Journal of Econometrics, No. 31, 1993.

8. Bollerslev Tim, Ray Y. Chou and Kenneth F. Kroner. ARCH Modeling
in Finance: A Review of the Theory and Empirical Evidence // Journal of Econo-
metrics, No. 52, 1992.

9. Campbell John Y., Lo Andrew W., MacKinlay A. Craig. The Econometrics
of Financial Markets. — Princeton University Press, 1997. (Ch. 12).

10. Diebold, Francis X. and Jose A. Lopez Modeling Volatility Dynamics,
Macroeconometrics: Developments, Tensions and Prospects. — Kluwer Acade-
mic Press, 1995.

11. Engle, Robert F. Autoregressive Conditional Heteroskedasticity with Estimates
of the Variance of U.K. Inflation // Econometrica, No. 50, 1982.

12. Greene W.H. Econometric Analysis. — Prentice-Hall, 2000. (Ch. 18).

13. Hamilton James D. Time Series Analysis. Ch. 21. — Princeton University Press,
1994.

14. Mills Terence C. The Econometric Financial Modelling Time Series. — Cam-
bridge University Press, 1999. (Ch. 4).
Глава 17

Интегрированные процессы,
ложная регрессия
и коинтеграция


17.1. Стационарность и интегрированные
процессы
Для иллюстрации различия между стационарными и нестационарными случай-
ными процессами рассмотрим марковский процесс, т.е. авторегрессию первого
порядка:
xt = µ + ?xt?1 + ?t ,
или
(1 ? ?L)xt = µ + ?t .
В данной модели xt — не центрированы.
Будем предполагать, что ошибки ?t — независимые одинаково распределен-
2
ные случайные величины с нулевым математическим ожиданием и дисперсией ?? .
Как известно, при |?| < 1 процесс авторегрессии первого порядка слабо стацио-
нарен и его можно представить в виде бесконечного скользящего среднего:
?
µ + ?t µ
?i ?t?i .
xt = = +
1 ? ?L 1 ? ? i=0
547
17.1. Стационарность и интегрированные процессы

Условие |?| < 1 гарантирует, что коэффициенты ряда затухают. Математиче-
µ
ское ожидание переменной xt постоянно: E(xt ) = . Дисперсия равна
1??

? 2
??
2i
var(xt ) = ? var(?t?i ) = .
1 ? ?2
i=0


Найдем также автоковариации процесса:

? ?
?k
2
?2i ?? =
2
?2 .
?i+k ?i ?? k
?k = cov(xt , xt?k ) = =? 2?
1??
i=0 i=0


Таким образом, рассматриваемый процесс слабо стационарен, поскольку сла-
бое определение стационарности требует, чтобы математическое ожидание xt бы-
ло постоянным, а ковариации не зависели от времени, но только от лага. На самом
деле, поскольку ошибки ?t одинаково распределены, то он стационарен и в строгом
смысле.
При |?| > 1 это будет взрывной процесс. Такие процессы рассматриваться
не будут.
Как известно (см. гл. 14), авторегрессионный процесс первого порядка при
? = 1 называют случайным блужданием. Если µ = 0, то это просто случайное
блуждание, а при µ = 0 это случайное блуждание с дрейфом.
У процесса случайного блуждания, начавшегося бесконечно давно, не суще-
ствует безусловного математического ожидания и дисперсии. За бесконечное время
процесс «уходит в бесконечность», его дисперсия становится бесконечной. В свя-
зи с этим будем рассматривать все моменты процесса случайного блуждания как
условные, т.е. будем действовать так, как если бы x0 была детерминированной
величиной. Выразим xt через x0 :

t
xt = x0 + µt + ?i .
i=1


Таким образом, константа (дрейф) в авторегрессионной записи процесса при-
водит к появлению линейного тренда в xt . Мы получили разложение процесса xt
на две составляющие: детерминированный линейный тренд µt и случайное блуж-
дание ?? = x0 + t ?i , такое что ошибка ?t представляет собой его приросты:
t i=1
? . Вторую составляющую, как мы помним, называют стохастическим трен-
?t = ??t
дом, поскольку влияние каждой ошибки не исчезает со временем.
548 Интегрированные процессы...

? = 0. ? = 0.
1 9
4 15


10
2

5
0

0
2

5
20 40 60 80 100 20 40 60 80 100

?=1 ? = 1.02
50 160

40
120
30
80
20

10 40

0
0
20 40 60 80 100 20 40 60 80 100


Рис. 17.1. Поведение процесса AR(1) в зависимости от значения ?



Используя данное представление, найдем математическое ожидание и диспер-
сию:

E(xt |x0 ) = x0 + µt.
t t
2
var(xt |x0 ) = var (17.1)
?i = var (?i ) = t?? .
i=1 i=1

Дисперсия со временем растет линейно до бесконечности.
Случайное блуждание является примером авторегрессионого процесса с еди-
ничным корнем. Это название следует из того, что при ? = 1 корень характери-
стического многочлена 1 ? ?L, соответствующего процессу AR(1), равен единице.
Рисунок 17.1 иллюстрирует поведение марковских процессов при различных
коэффициентах авторегрессии. На каждом из графиков изображены 20 рядов дли-
ной T = 100, случайно сгенерированных по формуле xt = 0.3 + ?xt?1 + ?t с раз-
ными значениями ?: 1) ? = 0.1; 2) ? = 0.9; 3) ? = 1; 4) ? = 1.02. Во всех случаях
использовалось стандартное нормальное распределение для ?t и x0 = 0.
Добавим к стационарному процессу AR(1) детерминированный тренд µ1 t:
xt = µ0 + µ1 t + ?xt?1 + ?t .
549
17.1. Стационарность и интегрированные процессы

Тогда
? ?
µ0 + µ1 t + ?t µ0
? (t ? i) +
i
?i ?t?i =
xt = = + µ1
1 ? ?L 1?? i=0 i=0
? ?
µ0 µ1
? µ1 i
?i ?t?i .
= i? + t+
1?? 1??
i=0 i=0

?
i?i сходится, поскольку i возрастает линейно, а ?i убывает экспо-
Ряд
i=0
?
ненциально при |?| < 1, т.е. значительно быстрее. Его сумма равна .
(1 ? ?)2
Используя это, получаем
? ?
µ0 ?µ1 µ1
? i
?i ?t?i , (17.2)
xt = + t+ ? ?t?i = ?0 + ?1 t +
2
1 ? ? (1 ? ?) 1?? i=0 i=0

где
µ0 ?µ1 µ1
? и
?0 = ?1 = .
1 ? ? (1 ? ?)2 1??

Можно также записать уравнение процесса в виде:

(xt ? ?0 ? ?1 t) = ?(xt?1 ? ?0 ? ?1 (t ? 1)) + ?t .

Ясно, что если вычесть из xt тренд ?1 t, то получится стационарный процесс.
Подобного рода процессы называют стационарными относительно тренда.
Рассмотрим теперь процесс ARMA(p, q):
p q
?i xt?i + ?t ?
xt = ?i ?t?i .
i=1 i=1


Если все корни характеристического многочлена
p
?(z) = 1 ? ?i z i
i=1

по абсолютной величине больше 1, т.е. лежат за пределами единичного круга
на комплексной плоскости, то процесс стационарен. Если один из корней лежит
в пределах единичного круга, то процесс взрывной. Если же d корней равны еди-
нице, а остальные лежат за пределами единичной окружности, то процесс неста-
ционарный, но не взрывной и о нем говорят, что он имеет d единичных корней.
550 Интегрированные процессы...

Нестационарный процесс, первые разности которого стационарны, называют
интегрированным первого порядка и обозначают I(1). Стационарный процесс обо-
значают I(0). Если d-e разности случайного процесса стационарны, то его называют
интегрированным d-го порядка и обозначают I(d).
Рассмотрим, например, процесс
t
xi , где xt = xt?1 + ?t .
yt =
i=1

Он будет I(2), то есть его вторые разности, ?2 yt , стационарны.
Для процессов ARIMA можно дать более удачное определение интегрирован-
ности. Процессом I(0) называется стационарный процесс с обратимым скользя-
щим средним. Процесс I(d) — такой процесс, d-e разности которого являются I(0).
Соответственно, процесс, являющийся d-ой разностью процесса I(0), будет I(?d).
Такое уточнение нужно для того, чтобы необратимые процессы, такие как ?t ??t?1 ,
где ?t — белый шум, по определению были I(?1), но не I(0). По этому уточненному
определению процесс I(d) при d > 0 будет иметь в точности d единичных корней.


17.2. Разложение Бевериджа—Нельсона
для процесса I(1)
Рассмотрим ARIMA-процесс I(1), интегрированный первого порядка. Пусть его
исходная форма, записанная через лаговый оператор, имеет вид

?(L)xt = µ + ?(L)?t .

Поскольку это процесс I(1), то многочлен ?(L) имеет единичный корень и урав-
нение процесса можно представить в виде

(1 ? L)?? (L)xt = ?? (L)?xt = µ + ?(L)?t ,

где у многочлена ?? (L) все корни находятся за пределами единичного круга. От-
сюда следует разложение Вольда для приростов ?xt , которые являются стацио-
нарными:
?
µ + ?(L) µ µ
?xt = ?t = ? + ci ?t?i = + c(L)?t = ? + c(L)?t .
?? (L) ? (L) i=0 p
??
1? j
j=1

Ряд c(z) можно представить следующим образом:

c(z) = c(1) + c? (z)(1 ? z),
551
17.3. Ложная регрессия

где
? ?
?
c? z i , c? =?
с коэффициентами
c (z) = cj .
i i
i=0 j=i+1


Действительно,
? ? ?
?
c? z i c? z i+1 =
c(1) + c (z)(1 ? z) = ?
ci + i i
i=0 i=0 i=0
? ? ? ?
c? (c? ? c? )z i i
ci z i .
= ci + + = c0 + ci z =
0 i i?1
i=0 i=1 i=1 i=0

Таким образом, можно представить ?xt в виде

?xt = ? + (c(1) + c? (L)(1 ? L)) ?t = ? + c(1)?t + c? (L)??t .

Суммируя ?xt , получим

xt = ?t + c(1)?? + c? (L)?t ,
t

где ?? — случайное блуждание, такое что ??? = ?t . Без доказательства отметим,
t t
?
что ряд c? (L) сходится абсолютно1 : |c? | < ?. Следовательно, он соответствует
i
i=0
разложению Вольда стационарного процесса.
Мы получили так называемое разложение Бевериджа—Нельсона. Процесс xt
вида I(1) мы представили как комбинацию детерминированного тренда ?t, стоха-
стического тренда c(1)?? и стационарного процесса c? (L)?t , который здесь обычно
t
интерпретируется как циклическая компонента.


17.3. Ложная регрессия
Одним из важнейших условий получения корректных оценок в регрессионных
моделях является требование стационарности переменных. В экономике довольно
часто встречаются стационарные ряды, например, уровень безработицы. Одна-
ко, как правило, экономические процессы описываются нестационарными рядами:
объем производства, уровень цен и т.д.
? ? ? ? ? ?
|c? | = |ci | = i|ci |. Поскольку ко-
1
Это можно понять из того, что ci
i
i=0 i=0 j=i+1 i=0 j=i+1 i=0
эффициенты ci у стационарного процесса ARMA сходятся экспоненциально, то ряд должен сойтись
(экспоненциальное убывание превосходит рост i).
552 Интегрированные процессы...

Очень важным условием корректного оценивания регрессионных моделей яв-
ляется условие стационарности регрессоров. Если зависимая переменная является
I(1), и, кроме того, модель неверно специфицирована, т.е. некоторые из факторов,
введенные ошибочно, являются I(1), то полученные оценки будут очень «плохими».
Они не будут обладать свойством состоятельности, т.е. не будут сходиться к истин-
ным значениям параметров по мере увеличения размеров выборки. Привычные по-
казатели, такие как коэффициент детерминации R2 , t-статистики, F -статистики,
будут указывать на наличие связи там, где на самом деле ее нет. Такой эффект
называют эффектом ложной регрессии.
Показать эффект ложной регрессии для переменных I(1) можно с помощью
метода Монте-Карло. Сгенерируем достаточно большое число пар независимых
процессов случайного блуждания с нормально распределенными ошибками:

xt = xt?1 + ?t и zt = zt?1 + ?t ,

где ?t ? N (0, 1) и ?t ? N (0, 1). Оценив для каждой пары рядов xt и zt достаточно
много раз регрессию вида

xt = azt + b + ut ,

получим экспериментальные распределения стандартных статистик.
Проведенные экспериментальные расчеты для рядов длиной 50 наблюдений
показывают, что t-статистика для a при номинальной вероятности 0.05 (т.е. 5%)
в действительности отвергает верную гипотезу об отсутствии связи примерно в 75%
случаев. Для того чтобы нулевая гипотеза об отсутствии связи отклонялась с веро-
ятностью 5%, вместо обычного 5%-го квантиля распределения Стьюдента, рав-
ного примерно 2, нужно использовать критическую границу t0.05 = 11.2.
Из экспериментов также следует, что регрессии с независимыми процесса-
ми случайного блуждания с большой вероятностью имеют высокий коэффициент
детерминации R2 из-за нестационарности. Более чем в половине случаев коэф-
фициент детерминации превышает 20%, и несколько менее чем в 5% случаев пре-
вышает 70%. Для сравнения можно построить аналогичные регрессии для двух
независимых нормально распределенных процессов типа белый шум. Оказывает-
ся, что в таких регрессиях R2 чрезвычайно редко превышает 20% (вероятность
этого порядка 0.1%)2 .
То же самое, хотя и в меньшей степени, можно наблюдать и в случае двух стацио-
нарных AR(1)-процессов с коэффициентом автокорреляции ? , близким к единице.
Отличие заключается в том, что здесь ложная связь асимптотически (при стрем-
лении длины рядов к бесконечности) исчезает, а в случае I(1)-процессов — нет.
2
Для двух независимых I(2)-процессов, построенных как проинтегрированные процессы случай-
ного блуждания, примерно в половине случаев коэффициент детерминации превышает 80%!
553
17.4. Проверка на наличие единичных корней

Все же проблема остается серьезной, поскольку на практике экономист имеет дело
с конечными и часто довольно короткими рядами.
Таким образом, наличие в двух независимых процессах стохастических трен-
дов может с высокой вероятностью привести к получению ложного вывода об их
взаимосвязанности, если пользоваться стандартными методами.
Стандартные методы проверки гипотез, применяемые в регрессионном анали-
зе, в данном случае не работают. Это происходит по причине нарушения некоторых
предположений, лежащих в основе модели регрессии. Какие же предположения
нарушаются? Приведем одну из возможных точек зрения.
Предположим, как и выше, что xt и zt — два независимых процесса случай-
ного блуждания, и оценивается регрессия
xt = azt + b + ut .
Поскольку в этой регрессии истинное значение параметра a равно нулю, то
ut = xt ? b, т.е. ошибка в регрессии является процессом случайного блуждания.
Выше получено выражение (17.1) для дисперсии процесса случайного блуждания
(условной по начальному наблюдению):
2
var(ut ) = t?? ,
2
где ?? — дисперсия ?t (приростов xt ). Таким образом, здесь наблюдается силь-
нейшая гетероскедастичность. С ростом номера наблюдения дисперсия ошибки
растет до бесконечности. Вследствие этого t-статистика регрессии имеет нестан-
дартное распределение, и обычные таблицы t-распределения использовать нельзя.
Отметим, что наличие в переменных регрессии обычного детерминированного
тренда также может приводить к появлению ложной регрессии. Пусть, например,
xt и zt заданы формулами
и
xt = µ0 + µ1 t + ?t zt = ?0 + ?1 t + ?t ,
где ?t и ?t — два независимых процесса типа белый шум. Регрессия xt по кон-
станте и zt может иметь высокий коэффициент детерминации, и этот эффект
только усиливается с ростом размера выборки. С «детерминированным» вари-
антом ложной регрессии достаточно легко бороться. В рассматриваемом случае
достаточно добавить в уравнение в качестве регрессора тренд, т.е. оценить регрес-
сию xt = azt + b + ct + ut , и эффект ложной регрессии исчезает.


17.4. Проверка на наличие единичных корней
С осознанием опасности применения ОМНК к нестационарным рядам появи-
лась необходимость в критериях, которые позволили бы отличить стационарный
процесс от нестационарного.
554 Интегрированные процессы...

К неформальным методам проверки стационарности можно отнести визуаль-
ный анализ графиков спектральной плотности и автокорреляционной функции.
В настоящее время самым популярным из формальных критериев является
критерий, разработанный Дики и Фуллером (DF-тест).
Предположим, нужно выяснить, какой из двух процессов лучше подходит для
описания временного ряда:

xt = µ0 + µ1 t + ?t или xt = µ0 + xt?1 + ?t ,

где ?t — стационарный ARMA-процесс. Первый из процессов является стацио-
нарным относительно тренда, а второй содержит единичный корень и дрейф. Каж-
дый из вариантов может рассматриваться как правдоподобная модель экономиче-
ского процесса.
Внешне два указанных процесса сильно различаются, однако можно показать,
что оба являются частными случаями одного и того же процесса:

xt = ?0 + ?1 t + vt ,
vt = ?vt?1 + ?t ,

что можно переписать также в виде

(xt ? ?0 ? ?1 t) = ?(xt?1 ? ?0 ? ?1 (t ? 1)) + ?t . (17.3)

Как было показано ранее (17.2) для марковского процесса, при |?| < 1 данный
процесс эквивалентен процессу xt = µ0 + µ1 t + ?t , где коэффициенты связаны
соотношениями:
µ0 ?µ1 µ1
? и
?0 = ?1 = .
1 ? ? (1 ? ?)2 1??

При ? = 1 получаем

xt ? ?0 ? ?1 t = xt?1 ? ?0 ? ?1 t + ?1 + ?t ,

т.е.

xt = ?1 + xt?1 + ?t .

Таким образом, как и утверждалось, обе модели являются частными случаями
одной и той же модели (17.3) и соответствуют случаям |?| < 1 и ? = 1.
Модель (17.3) можно записать следующим образом:

xt = ?0 + ?1 t + ?(xt?1 ? ?0 ? ?1 (t ? 1)) + ?t .
555
17.4. Проверка на наличие единичных корней

Это модель регрессии, нелинейная по параметрам. Заменой переменных мы
можем свести ее к линейной модели:
xt = µ0 + µ1 t + ?xt?1 + ?t ,
где µ0 = (1 ? ?)?0 + ??1 , µ1 = (1 ? ?)?1 .
Эта новая модель фактически эквивалентна (17.3), и метод наименьших квад-
ратов даст ту же самую оценку параметра ?. Следует, однако, иметь в виду, что
линейная модель скрывает тот факт, что при ? = 1 будет выполнено µ1 = 0.
Базовая модель, которую использовали Дики и Фуллер, — авторегрессионный
процесс первого порядка:
(17.4)
xt = ?xt?1 + ?t .

При ? = 1 это случайное блуждание. Конечно, вряд ли экономическая пере-
менная может быть описана процессом (17.4). Более реалистично было бы пред-
положить наличие в этом процессе константы и тренда (линейного или квадратич-
ного):
(17.5)
xt = µ0 + ?xt?1 + ?t ,
(17.6)
xt = µ0 + µ1 t + ?xt?1 + ?t ,
xt = µ0 + µ1 t + µ2 t2 + ?xt?1 + ?t . (17.7)

Нулевая гипотеза в критерии Дики—Фуллера состоит в том, что ряд нестацио-
нарен и имеет один единичный корень ? = 1, при этом µi = 0, альтернативная —
в том, что ряд стационарен |?| < 1:
H0 : ? = 1, µi = 0,
HA : |?| < 1.

Здесь i = 0, если оценивается (17.5), i = 1, если оценивается (17.6), и i = 2,
если оценивается (17.7).
Предполагается, что ошибки ?t некоррелированы. Это предположение очень
важно, без него критерий работать не будет.
Для получения статистики, с помощью которой можно было бы проверить ну-
левую гипотезу, Дики и Фуллер предложили оценить данную авторегрессионную
модель и взять из нее обычную t-статистику для гипотезы о том, что ? = 1 . Эту
статистику называют статистикой Дики—Фуллера и обозначают DF. При этом
критерий является односторонним, поскольку альтернатива ? > 1, соответству-
ющая взрывному процессу, не рассматривается.
DF заключается в том, что с помощью одной t-статистики как бы проверяется
гипотеза сразу о двух коэффициентах. На самом деле, фактически подразумевается
модель вида (17.3), в которой проверяется гипотеза об одном коэффициенте ?.
556 Интегрированные процессы...

Если в регрессии (17.6) нулевая гипотеза отвергается, то принимается альтер-
нативная гипотеза — о том, что процесс описывается уравнением (17.6) с ? < 1,
то есть это стационарный относительно линейного тренда процесс. В против-
ном случае имеем нестационарный процесс, описываемый уравнением (17.5), где
? = 1, то есть случайное блуждание с дрейфом, но без временного тренда в урав-
нении авторегрессии.
Часто встречается несколько иная интерпретация этой особенности данного
критерия: проверяется гипотеза H0 : ? = 1 против гипотезы HA : ? < 1,
и оцениваемая регрессия не совпадает с порождающим данные процессом,
каким он предполагается согласно альтернативной гипотезе, а именно, в оцени-
ваемой регрессии имеется «лишний» детерминированный регрессор. Так, чтобы
проверить нулевую гипотезу для процесса вида (17.5), нужно построить регрессию
(17.6) или (17.7). Аналогично для проверки нулевой гипотезы о процессе вида
(17.6) нужно оценить регрессию (17.7). Однако приведенная ранее интерпретация
более удачная.
Поскольку статистика Дики—Фуллера имеет нестандартное распределение,
для ее использования требуются специальные таблицы. Эти таблицы были состав-
лены эмпирически методом Монте-Карло. Все эти статистики получены на основе
одного и того же процесса вида (17.4) с ? = 1, но с асимптотической точки зре-
ния годятся и для других процессов, несмотря на наличие мешающих параметров,
которые приходится оценивать.
Чтобы удобно было использовать стандартные регрессионные пакеты, урав-
нения регрессии преобразуются так, чтобы зависимой переменной была первая
разность. Например, в случае (17.4) имеем уравнение


?xt = ?xt?1 + ?t ,


где ? = ? ? 1. Тогда нулевая гипотеза примет вид ? = 0.
Предположение о том, что переменная следует авторегрессионному процессу
первого порядка и ошибки некоррелированы, является, конечно, слишком ограни-
чительным. Критерий Дики—Фуллера был модифицирован для авторегрессионных
процессов более высоких порядков и получил название дополненного критерия
Дики—Фуллера (augmented Dickey—Fuller test, ADF).
Базовые уравнения для него приобретают следующий вид:


k
?xt = (? ? 1)xt?1 + (17.8)
?j ?xt?j + ?t ,
j=1
557
17.4. Проверка на наличие единичных корней

k
?xt = µ0 + (? ? 1)xt?1 + (17.9)
?j ?xt?j + ?t ,
j=1
k
?xt = µ0 + µ1 t + (? ? 1)xt?1 + (17.10)
?j ?xt?j + ?t ,
j=1
k
2
?xt = µ0 + µ1 t + µ2 t + (? ? 1)xt?1 + (17.11)
?j ?xt?j + ?t .
j=1


Распределения этих критериев асимптотически совпадают с соответствующими
обычными распределениями Дики—Фуллера и используют те же таблицы. Грубо
говоря, роль дополнительной авторегрессионной компоненты сводится к тому, что-
бы убрать автокорреляцию из остатков. Процедура проверки гипотез не отличается
от описанной выше.
Как показали эксперименты Монте-Карло, критерий Дики—Фуллера чувстви-
телен к наличию процесса типа скользящего среднего в ошибке. Добавление в чис-
ло регрессоров распределенного лага первой разности (с достаточно большим зна-
чением k) частично снимает эту проблему.
На практике решающим при использовании критерия ADF является вопрос
о том, как выбирать k — порядок AR-процесса в оцениваемой регрессии. Можно
предложить следующие подходы.
1) Выбирать k на основе обычных t- и F -статистик. Процедура состоит в том,
чтобы начать с некоторой максимальной длины лага и проверять вниз, используя
t- или F -статистики для значимости самого дальнего лага (лагов). Процесс оста-
навливается, когда t-статистика или F -статистика значимы.
2) Использовать информационные критерии Акаике и Шварца. Длина лага
с минимальным значением информационного критерия предпочтительна.
3) Сделать остатки регрессии ADF-критерия как можно более похожими на бе-
лый шум. Это можно проверить при помощи критерия на автокорреляцию. Если
соответствующая статистика значима, то лаг выбран неверно и следует увели-
чить k.
Поскольку дополнительные лаги не меняют асимптотические результаты,
то лучше взять больше лагов, чем меньше. Однако этот последний аргумент ве-
рен только с асимптотической точки зрения. ADF может давать разные результаты
в зависимости от того, каким выбрано количество лагов. Даже добавление лага, ко-
торый «не нужен» согласно только что приведенным соображениям, может резко
изменить результат проверки гипотезы.
Особую проблему создает наличие сезонной компоненты в переменной. Если
сезонность имеет детерминированный характер, то достаточно добавить в регрес-
558 Интегрированные процессы...

сию фиктивные сезонные переменные — это не изменяет асимптотического рас-
пределения ADF-статистики. Для случая стохастической сезонности также есть
специальные модификации критерия.
До сих пор рассматривались критерии I(1) против I(0). Временной ряд может
быть интегрированным и более высокого порядка. Несложно понять, что критерии
I(2) против I(1) сводятся к рассмотренным, если взять не уровень исследуемого
ряда, а первую разность. Аналогичный подход рекомендуется для более высоких
порядков интегрирования.
Имитационные эксперименты, проведенные Сэдом и Дики, показали, что сле-
дует проверять гипотезы последовательно, начиная с наиболее высокого порядка
интегрирования, который можно ожидать априорно. То есть сначала следует про-
верить гипотезу о том, что ряд является I(2), и лишь после этого, если гипотеза
отвергнута, что он является I(1).


17.5. Коинтеграция. Регрессии
с интегрированными переменными
Как уже говорилось выше, привычные методы регрессионного анализа не под-
ходят, если переменные нестационарны. Однако не всегда при применении МНК
имеет место эффект ложной регрессии.
Говорят, что I(1)-процессы {x1t } и {x2t } являются коинтегрированными по-
рядка 1 и 0, коротко CI(1, 0), если существует их линейная комбинация, которая
является I(0), т.е. стационарна. Таким образом, процессы {x1t } и {x2t }, интегри-
рованные первого порядка I(1), — коинтегрированы, если существует коэффици-
ент ? такой, что x1t ? ?x2t ? I(0). Понятие коинтеграции введено Грейнджером
в 1981 г. и использует модель исправления ошибок. Коинтегрированные процессы
{x1t } и {x2t } связаны между собой долгосрочным стационарным соотношением,
и предполагается, что существует некий корректирующий механизм, который при
отклонениях возвращает x1t и x2t к их долгосрочному отношению.
Если ? = 1, то разность x1t ?x2t будет стационарной и, грубо говоря, x1t и x2t
будут двигаться «параллельно» во времени. На рисунке 17.2 изображены две такие
коинтегрированные переменные, динамика которых задана моделью исправления
ошибок:

?x1t = ?0.2(x1,t?1 ? x2,t?1 + 2) + ?1t , (17.12)
?x2t = 0.5(x1,t?1 ? x2,t?1 + 2) + ?2t , (17.13)

где ?1t и ?2t — независимые случайные величины, имеющие стандартное нор-
мальное распределение.
559
17.5. Коинтеграция. Регрессии с интегрированными переменными




Рис. 17.2. Два коинтегрированных процесса при ? = 1


Если переменные в регрессии не стационарны, но действительно связаны друг
с другом стационарной линейной комбинацией (модель специфицирована верно),
то полученные оценки коэффициентов этой линейной комбинации будут на самом
деле сверхсостоятельными, т.е. будут сходиться по вероятности к истинным ко-
эффициентам со скоростью, пропорциональной не квадратному корню количества
v
наблюдений T , как в регрессии со стационарными переменными, а со скоростью,
пропорциональной просто количеству наблюдений T . Другими словами, в обыч-
v
ной регрессии T (?? ??) имеет невырожденное асимптотическое распределение,
где ?? — полученная из регрессии оценка ?, а в регрессии с I(1)-переменными
T (?? ? ?) имеет невырожденное асимптотическое распределение.
Обычные асимптотические аргументы сохраняют свою силу, если речь идет
об оценках параметров краткосрочной динамики в модели исправления ошибок.
Таким образом, можно использовать t-статистики, получаемые обычным методом
наименьших квадратов, для проверки гипотез о значимости отдельных перемен-
ных. Важно помнить, что это относится к оценкам краткосрочных параметров.
Этот подход не годится для проверки гипотез о коэффициентах коинтеграционной
комбинации.
Определение коинтеграции естественным образом распространяется на слу-
чай нескольких переменных произвольного порядка интегрирования. Компоненты
k-мерного векторного процесса xt = (x1t , . . . , xkt ) называют коинтегрирован-
ными порядка d и b, что обозначается xt ? CI(d, b), если
1) каждая компонента xit является I(d), i = 1, . . . , k;
2) существует отличный от нуля вектор ?, такой что xt ? ? I(d ? b), d b > 0.
Вектор ? называют коинтегрирующим вектором.
560 Интегрированные процессы...

Коинтегрирующий вектор определен с точностью до множителя. В рассмотрен-
ном ранее примере коинтегрирующий вектор имеет вид ? = (?1, ?). Его можно
пронормировать: ? = (?1/?, 1), или так, чтобы сумма квадратов элементов была
1 ?
равна 1, т.е. ? = ? v ,v .
1 + ?2 1 + ?2


17.6. Оценивание коинтеграционной регрессии:
подход Энгла—Грейнджера
Если бы коэффициент ? был известен, то выяснение того, коинтегрированы
ли переменные x1t и x2t , было бы эквивалентно выяснению того, стационар-
на ли комбинация x1t ? ?x2t (например, с помощью критерия Дики—Фуллера).
Но в практических ситуациях обычно стационарная линейная комбинация неиз-
вестна. Значит, необходимо оценить коинтегрирующий вектор. После этого следует
выяснить, действительно ли этот вектор дает стационарную линейную комбинацию.
Простейшим методом отыскания стационарной линейной комбинации является
метод Энгла—Грейнджера. Энгл и Грейнджер предложили использовать оценки,
полученные из обычной регрессии с помощью метода наименьших квадратов. Одна
из переменных должна стоять в левой части регрессии, другая — в правой:

x1t = ?x2t + ?t .

Для того чтобы выяснить, стационарна ли полученная линейная комбинация,
предлагается применить метод Дики—Фуллера к остаткам из коинтеграционной
регрессии. Нулевая гипотеза состоит в том, что ?t содержит единичный корень,
т.е. x1t и x2t не коинтегрированы. Пусть et — остатки из этой регрессии. Про-
верка нулевой гипотезы об отсутствии коинтеграции в методе Энгла—Грейнджера
проводится с помощью регрессии:

(17.14)
et = ?et?1 + ut .

Статистика Энгла—Грейнджера представляет собой обычную t-статистику
для проверки гипотезы ? = 1 в этой вспомогательной регрессии. Распреде-
ление статистики Энгла—Грейнджера будет отличаться (даже асимптотически),
от распределения DF-статистики, но имеются соответствующие таблицы. Если мы
отклоняем гипотезу об отсутствии коинтеграции, то это дает уверенность в том,
что полученные результаты не являются ложной регрессией.
Игнорирование детерминированных компонент ведет к неверным выводам о ко-
интеграции. Чтобы этого избежать, в коинтеграционную регрессию следует доба-
вить соответствующие переменные — константу, тренд, квадрат тренда, сезонные
561
17.7. Коинтеграция и общие тренды

фиктивные переменные. Например, добавляя константу и тренд, получим регрес-
сию x1t = µ0 +µ1 t+?x2t +?t . Такое добавление, как и в случае критерия DF, меняет
асимптотическое распределение критерия Энгла—Грейнджера. Следует помнить,
что, в отличие от критерия Дики—Фуллера, регрессия (17.14), из которой берется
t-статистика, остается неизменной, то есть в нее не нужно добавлять детермини-
рованные регрессоры.
В МНК-регрессии с коинтегрированными переменными оценки должны быть
смещенными из-за того, что в правой части стоит эндогенная переменная x2t ,
коррелированная с ошибкой ?t . Кроме того, ошибка содержит пропущенные пере-
менные. Коинтеграционная регрессия Энгла—Грейнджера является статической
по форме, т.е. не содержит лагов переменных. С асимптотической точки зрения это
не приводит к смещенности оценок, поскольку ошибка является величиной мень-
шего порядка, чем регрессор x2t , дисперсия которого стремится к бесконечности.
Как уже говорилось, оценки на самом деле сверхсостоятельны. Однако в малых
выборках смещение может быть существенным.
После того как найдена стационарная линейная комбинация, можно оценить
модель исправления ошибок (15.11), которая делает переменные коинтегриро-
ванными. В этой регрессии используются первые разности исходных переменных
и остатки из коинтеграционной регрессии, которые будут представлять корректи-
рующий элемент модели исправления ошибок:
p?1 q?1
?x1t = ??lt + (17.15)
?j ?x1,t?j + ?j ?x2,t?j + vt .
j=1 j=0

Подчеркнем роль корректирующего элемента ?lt . До появления метода
Энгла—Грейнджера исследователи часто оценивали регрессии в первых разно-
стях, что хотя и приводило к стационарности переменных, но не учитывался ста-
ционарный корректирующий член, т.е. регрессионная модель была неверно специ-
фицирована (проблема пропущенной переменной).
Несмотря на то, что в модели исправления ошибок (17.15) используется оцен-
ка коинтегрирующего вектора ( 1 ? ?), оценки коэффициентов такой модели будут
иметь такие же асимптотические свойства, как если бы коинтегрирующий век-
тор был точно известен. В частности, можно использовать t-статистики из этой
регрессии (кроме t-статистики для ?), поскольку оценки стандартных ошибок яв-
ляются состоятельными. Это является следствием сверхсостоятельности оценок
коинтегрирующего вектора.

17.7. Коинтеграция и общие тренды
Можно предположить, что коинтеграция между двумя интегрированными пере-
менными, скорее всего, проистекает из того факта, что обе они содержат одну и ту
562 Интегрированные процессы...

же нестационарную компоненту, называемую общим трендом. Выше мы получили
для интегрированной переменной разложение Бевериджа—Нельсона на детерми-
нированный тренд, стохастический тренд и стационарную составляющую. Следует
показать, что стохастические тренды в двух коинтегрированных переменных долж-
ны быть одними и теми же.
Проведем сначала подобный анализ для детерминированных трендов. Пусть
процессы {xt } и {zt } стационарны относительно некоторого тренда f (t), не обя-
зательно линейного:

и
xt = µ0 + µ1 f (t) + ?t zt = ?0 + ?1 f (t) + ?t ,

где ?t и ?t — два стационарных процесса. В каком случае линейная комбина-
ция этих двух процессов будет стационарной в обычном смысле (не относительно
тренда)? Найдем линейную комбинацию xt ? ?zt :

xt ? ?zt = µ0 ? ??0 + (µ1 ? ??1 )f (t) + ?t ? ??t .

Для ее стационарности требуется, чтобы µ1 = ??1 .
С другой стороны, если бы {xt } содержал тренд f (t), а {zt } — отличный
от него тренд g(t), то, в общем случае, не нашлось бы линейной комбинации,
такой что µ1 f (t) ? ??1 g(t) оказалась бы постоянной величиной. Следовательно,
для {xt } и {zt } не нашлось бы коинтегрирующего вектора. Коинтегрирующий
??1
вектор можно найти только в том случае, если f (t) = g(t) для некоторого ?,
µ1
т.е. если f (t) и g(t) линейно зависимы.
Пусть теперь {xt } и {zt } — два процесса I(1), для которых существуют раз-
ложения Бевериджа—Нельсона:

xt = ?t + vt + ?t ,
zt = ?t + wt + ?t ,

где vt и wt — случайные блуждания, а ?t и ?t — стационарные процессы.
Найдем условия, при которых линейная комбинация xt и zt ,

xt ? ?zt = ?t + vt + ?t ? ?(?t + wt + ?t ) = (? ? ??)t + vt ? ?wt + ?t ? ??t ,

может быть стационарной. Для стационарности требуется, чтобы в получившейся
переменной отсутствовал как детерминированный, так и стохастический тренд. Это
достигается при ? = ?? и vt = ?wt . При этом xt можно записать как

xt = ?(?t + wt ) + ?t ,

т.е. {xt } и {zt } содержат общий тренд ?t + wt .
563
17.8. Упражнения и задачи

Этот взгляд на коинтеграцию развили в 1988 г. Сток и Уотсон: пусть есть
k интегрированных переменных, которые коинтегрированы. Тогда каждая из этих
переменных может быть записана как стационарная компонента плюс линейная
комбинация меньшего количества общих трендов.


17.8. Упражнения и задачи
Упражнение 1

Сгенерируйте 20 марковских процессов xt = ?xt?1 + ?t при различных коэф-
фициентах авторегрессии: а) ? = 0.1; б) ? = 0.9; в) ? = 1; г) ? = 1.02. В качестве
ошибки используйте нормально распределенный белый шум с единичной диспер-
сией и возьмите x0 = 0.

1.1. Изобразите графики для всех 20 рядов для каждого из четырех случаев.
Какой вывод можно сделать?

1.2. Рассчитайте для каждого из четырех случаев дисперсию значений соответ-
ствующих 20 рядов, рассматривая их как выборку для t = 1, . . . , 100. На-
рисуйте график дисперсии по времени для всех четырех случаев. Сделайте
выводы.

1.3. Оцените для всех рядов авторегрессию первого порядка и сравните распреде-
ления оценок для всех 4 случаев с истинными значениями. Сделайте выводы.


Упражнение 2

Покажите эффект ложной регрессии для переменных I(1) с помощью метода
Монте-Карло. Сгенерируйте по 100 рядов xt и zt по модели случайного блужда-
ния:

и zt = zt?1 + ?t ,
xt = xt?1 + ?t

где ошибки ?t ? N (0, 1) и ?t ? N (0, 1) неавтокоррелированы и некоррелированы
друг с другом.

2.1. Оцените для всех 100 наборов данных регрессию xt по константе и zt :

xt = azt + b + ut .

Рассчитайте соответствующие статистики Стьюдента для коэффициента a
и проанализируйте выборочное распределение этих статистик. В скольки
564 Интегрированные процессы...

процентах случаев нулевая гипотеза (гипотеза о том, что коэффициент равен
нулю) отвергается, если использовать стандартную границу t-распределения
с уровнем доверия 95%? Найдите оценку фактической границы уровня дове-
рия 95%.

2.2. Проанализируйте для тех же 100 регрессий выборочное распределение ко-
эффициента детерминации.

2.3. Возьмите пять первых наборов данных и проверьте ряды на наличие единич-
ных корней с помощью теста Дики—Фуллера.

2.4. Повторите упражнения 2.1, 2.2 и 2.3, сгенерировав данные xt и zt по стаци-
онарной модели AR(1) с авторегрессионным коэффициентом 0.5 и сравните
с полученными ранее результатами. Сделайте выводы.


Упражнение 3

Сгенерируйте 100 рядов по модели случайного блуждания с нормально распре-
деленным белым шумом, имеющим единичную дисперсию. Проверьте с помощью
сгенерированных данных одно из значений в таблице статистики Дики—Фуллера.


Упражнение 4

Рассмотрите данные из таблицы 15.3 на стр. 520.

4.1. Преобразуйте ряды, перейдя к логарифмам, и постройте их графики. Можно
ли сказать по графику, что ряды содержат единичный корень?

4.2. Проверьте формально ряды на наличие единичных корней с помощью допол-
ненного теста Дики—Фуллера, включив в регрессии линейный тренд и 4 лага
разностей.

4.3. Используя МНК, оцените параметры модели Ct = ?Yt + ? + ?t , вычислите
остатки из модели. К остатком примените тест Энгла—Грэйнджера.

4.4. Используя коэффициенты из упражнения 4.3, оцените модель исправления
ошибок с четырьмя лагами разностей.


Задачи

1. Задан следующий процесс: xt = 0.8xt?1 + 0.2xt?2 + ?t ? 0.9?t?1 . При каком
d процесс ?d xt будет стационарным?
565
17.8. Упражнения и задачи

2. Изобразите графики автокорреляционной функции и спектра для второй раз-
ности стохастического процесса, содержащего квадратический тренд.
3. Дан процесс xt = ft + ?t , ft = ft?1 + ?t , где ?t ? N(0, 2) и ?t ? N(0, 1).
Определить тип процесса, перечислить входящие в его состав компоненты
и вычислить условное математическое ожидание и условную дисперсию про-
цесса xt .
4. Чем отличается стохастический тренд от обычного линейного тренда с точки
зрения устранения проблемы ложной регрессии?
5. Процессы xt и yt заданы уравнениями xt = ?xt?2 + ?t и yt = ?xt +
+ ?t + ??t?1 , где ?t и ?t — стационарные процессы. При каких условиях
на параметры ?, ? и ? можно было бы сказать, что xt и yt коинтегрированы
как CI(1, 0)?
t
6. Известно, что zt = i=1 xi , где xi — процесс случайного блуждания,
а yt = ?t + 0.5?t?1 + 0.25?t?2 + 0.125?t?3 + . . . . Можно ли построить ре-
грессию zt от yt ? Ответ обосновать.
7. Пусть xt = ? + bxt?1 + ?t , где ?t ? N(0, 1) и b 1, а zt — стохастический
процесс, содержащий линейный тренд. Можно ли установить регрессионную
связь между xt и zt ? Если да, то как?
8. Получены оценки МНК в регрессии xt = ?xt?1 + ?t . Приведите вид стати-
стики, используемой в тесте Дики—Фуллера.
9. Правомерно ли построение долгосрочной зависимости yt по xt , если yt —
процесс случайного блуждания с шумом, xt — процесс случайного блуж-
дания с дрейфом? Если нет,— ответ обосновать. Если да, — изложить эта-
пы построения регрессии с приведением формул, соответствующих каждому
этапу.
10. В чем преимущества дополненного теста Дики—Фуллера по сравнению
с обычным DF-тестом? Привести формулы.


Рекомендуемая литература
1. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика — начальный
курс.— М.: «Дело», 2000 (гл. 12 — стр. 240–249).
2. Banerjee A., Dolado J.J., Galbraith J.W. and Hendry D.F., Co-integration,
Error Correction and the Econometric Analysis of Non-stationary Data, Oxford
University Press, 1993 (гл. 3–5)
566 Интегрированные процессы...

3. Davidson, R., and J.G. MacKinnon. Estimation and Inference in Econometrics.
Oxford University Press, 1993 (Гл. 20.)

4. Dickey, D.A. and Fuller W.A., «Distributions of the Estimators for Autore-
gressive Time Series With a Unit Root», Journal of American Statistical Asso-
ciation, 75 (1979), 427–431.

5. Enders, W. Applied Econometric Time Series. John Wiley & Sons, 1995.

6. Engle, R.F. and Granger C.W.J., «Co-integration and Error Correction: Repre-
sentation, Estimation and Testing», Econometrica, 55 (1987), 251–276.

7. Granger, C.W.J., and Newbold P. «Spurious Regressions in Econometrics»,
Journal of Econometrics, 21 (1974), 111–120.

8. Greene W.H. Econometric Analysis, Prentice-Hall, 2000. (гл.18 — стр. 776–
784)

9. Said, E.S. and Dickey D.A., «Testing for Unit Roots in Autoregressive-Moving
Average Models of Unknown Order», Biometrica, 71 (1984), 599–607.

10. Stock, J.H. and Watson M.W., «Testing for Common Trends», Journal of the
American Statistical Association, 83 (1988), 1097–1107.

11. Stock, J.H., «Asymptotic Properties of Least Squares Estimators of Cointe-
grating Vectors», Econometrica, 55 (1987), 1035–1056.

12. Wooldridge Jeffrey M. Introductory Econometrics: A Modern Approach, 2nd
ed., Thomson, 2003. (Ch. 18).
Часть IV

Эконометрия — II




567
Это пустая страница
Глава 18

Классические критерии
проверки гипотез


18.1. Оценка параметров регрессии при линейных
ограничениях
Рассмотрим модель линейной регрессии X = Z? + ? в случае, когда известно,
что коэффициенты ? удовлетворяют набору линейных ограничений

R? = r,

где R — матрица размерности k?(n+1), а r — вектор свободных частей ограни-
чений длины k. Метод наименьших квадратов для получения более точных оценок
в этом случае следует модифицировать, приняв во внимание ограничения. Оценки
наименьших квадратов при ограничениях получаются из задачи условной миними-
зации:
?
?
?
? (X ? Z?) (X ? Z?) > min!
?
?
?
? R? = r.


Запишем для этой задачи функцию Лагранжа:

L = (X ? Z?) (X ? Z?) + 2? (R? ? r),
570 Глава 18. Классические критерии проверки гипотез

где ? — вектор-столбец множителей Лагранжа. Возьмем производные (см. При-
ложение A.2.2):

?L
= ?2(R? ? r),
??
?L
= ?2(Z (X ? Z?) ? R ?).
??
Следовательно, оценки наименьших квадратов при ограничениях, a1 , находятся из
уравнений:

Ra1 ? r = 0,
Z (X ? Za1 ) ? R ? = 0.

Умножим второе уравнение слева на (Z Z)?1 . Получим
?1 ?1
ZX? ZZ
a1 = Z Z R ?.

Пусть a0 — оценки ? без учета ограничений, то есть a0 = (Z Z)?1 Z X. Тогда
?1
a1 = a0 ? Z Z (18.1)
R ?.

Если умножим это уравнение слева на R, то получим
?1
R ? = Ra0 ? r.
R ZZ

Отсюда

? = A?1 (Ra0 ? r) ,

где мы ввели обозначение A = R (Z Z)?1 R . Это можно проинтерпретировать
следующим образом: чем сильнее нарушается ограничение на оценках из регрес-
сии без ограничений, тем более значимы эти ограничения. Подставим множители
Лагранжа обратно в уравнение (18.1):
?1
R A?1 (Ra0 ? r) .
a1 = a0 ? Z Z (18.2)

Таким образом, оценки a1 и a0 различаются тем сильнее, чем сильнее нарушается
ограничение R? = r в точке a0 , т.е. чем больше невязки Ra0 ? r.
Докажем несмещенность оценок. Для этого в выражении для a везде заменим
a на
?
?1 ?1 ?1 ?1
ZZ ZX= ZZ Z (Z? + ?) = Z Z Z (Z? + ?) = ? + Z Z Z ?.
571
18.1. Оценка параметров регрессии при линейных ограничениях

Получим
?1 ?1 ?1
R A?1 R? + R Z Z
Z ?? Z Z Z ??r .
a1 = ? + Z Z

При выполнении нулевой гипотезы R? = r можем упростить это выражение:

?1 ?1 ?1
R A?1 R Z Z
Z ?? Z Z
a1 = ? + Z Z Z?=
?1 ?1
R A?1 R
=?+ I ? Z Z ZZ Z ?.

Но по предположению классической модели регрессии E(?) = 0, следователь-
но, математическое ожидание второго слагаемого здесь равно нулю. А значит,
E(a1 ) = ?. Несмещенность оценки a1 доказана.
Величина I ? (Z Z)?1 R A?1 R (Z Z)?1 Z ? представляет собой отличие a1
от ?.
Найдем теперь ковариационную матрицу оценок a. После преобразований по-
лучаем
?1 ?1
cov(a1 ) = E (a1 ? ?)(a1 ? ?) = ? 2 I ? Z Z R A?1 R ZZ ,

где используется еще одно предположение модели регрессии — отсутствие авто-
корреляции и гетероскедастичности в ошибках, т.е. E(?? ) = ? 2 I.
В то же время cov(a0 ) = ? 2 (Z Z)?1 . Таким образом, ковариационные
матрицы оценок различаются на положительно (полу-) определенную матрицу
? 2 (Z Z)?1 R A?1 R (Z Z)?1 , что можно интерпретировать в том смысле, что оцен-
ки a являются более точными, чем a, поскольку учитывают дополнительную ин-
?
формацию о параметрах.
Насколько отличаются между собой суммы квадратов остатков в двух рассмат-
риваемых моделях? Ясно, что в регрессии с ограничениями сумма квадратов не
может быть ниже (так как минимизируется та же функция при дополнительных
ограничениях). Вычислим разность между двумя суммами квадратов остатков.
Пусть e0 = X ? Za0 — вектор остатков при оценке параметров регрессии
без ограничений, а e1 = X ? Za1 — вектор остатков при оценке параметров
с ограничениями, и пусть RSS(a0 ) = e1 e1 , RSS(a0 ) = e0 e0 — соответствующие
суммы квадратов остатков. Из (18.2) получаем
?1
R A?1 (Ra0 ? r) ,
X ? Za1 = X ? Za0 + Z Z Z

или
?1
R A?1 (Ra0 ? r) .
e1 = e0 + Z Z Z
572 Глава 18. Классические критерии проверки гипотез

Введем обозначение: ? = Z (Z Z)?1 R A?1 (Ra0 ? r), тогда

e1 = e0 + ?.

Поскольку Z e0 = 0, то ? e0 = 0. Следовательно,

e1 e1 = e0 e0 + ? e0 + e0 ? + ? ? = e0 e0 + ? ?.

Здесь

?1 ?1
R A?1 (Ra0 ? r) R A?1 (Ra0 ? r) =
??= Z ZZ Z ZZ
?1
= (Ra0 ? r) A?1 R Z Z R A?1 (Ra0 ? r) ,

или, учитывая определение матрицы A,

? ? = (Ra0 ? r) A?1 (Ra0 ? r) .

Итак,

RSS(a1 ) ? RSS(a0 ) = e1 e1 ? e0 e0 = (Ra0 ? r) A?1 (Ra0 ? r) .

Как и следовало ожидать, эта разность оказывается неотрицательной.


18.2. Тест на существенность ограничения
Пусть, как и раньше,
e0 — вектор остатков в регрессии без ограничений,
e1 — вектор остатков в регрессии с ограничениями,
N — число наблюдений,
n — количество факторов,
k — общее количество ограничений на параметры регрессии.
В случае, если ограничения R? = r выполнены, то
(e1 e1 ? e0 e0 )/k
? Fk, N ?n?1 .
Fc = (18.3)
e0 e0 /(N ? n ? 1)

Иными словами, статистика, равная относительному приросту суммы квадратов
остатков в регрессии с ограничениями по сравнению с регрессией без ограничений,
скорректированному на степени свободы, имеет распределение Фишера (см. При-
ложение A.3.2). Чем больше RSS(a1 ) будет превышать RSS(a0 ), тем более су-
щественно ограничение и тем менее правдоподобно, что ограничение выполнено.
573
18.2. Тест на существенность ограничения

Докажем, что распределение статистики будет именно таким, если предположить,
что ошибки имеют нормальное распределение:

? ? N (0, ? 2 I).

Мы видели, что e1 = e0 +? . Выразим ? через ? с учетом нулевой гипотезы R? = r:

?1 ?1 ?1
R A?1 (Ra0 ? r) = Z (Z Z) R A?1 R (Z Z)
? = Z (Z Z) Z?=
?1
?1 ?1 ?1
= Z (Z Z) R R (Z Z) R R (Z Z) Z ?.

Для вектора остатков e0 имеем
?1
e0 = I ? Z (Z Z) Z ?.

Совместное распределение векторов ? и e0 является нормальным (так как они
линейно выражаются через ошибки ?). Эти вектора некоррелированы:

E (?e0 ) =
?1
?1 ?1 ?1 ?1
Z E (?? ) I ? Z (Z Z)
= Z (Z Z) R R (Z Z) R R (Z Z) Z =
?1
?1 ?1 ?1 ?1
= ? 2 Z (Z Z) I ? Z (Z Z)
R R (Z Z) R R (Z Z) Z Z = 0.

Последнее равенство здесь следует из того, что
?1 ?1
I ? Z (Z Z) = Z ? Z Z (Z Z) Z = Z ? Z = 0.
Z Z

По свойствам многомерного нормального распределения это означает, что
? и e0 независимы (см. Приложение A.3.2). Кроме того ? имеет форму
?1 ?1
Q (Q Q) Q ? , где Q = Z (Z Z) R .
?1
Для вектора же e0 матрица преобразования равна I ? Z (Z Z) Z . Обе мат-
рицы преобразования являются симметричными и идемпотентными. Ранг матрицы
преобразования (другими словами, количество степеней свободы) равен k для ?
и N ? n ? 1 для e0 . С учетом того, что ? ? N (0, ? 2 I), это означает:
1 1
? ? = 2 (e1 e1 ? e0 e0 ) ? ?2 ,
2 k
? ?
1
e e ? ?2 ?n?1 ,
200 N
?
причем эти две величины независимы. Частное этих величин, деленных на количе-
ство степеней свободы, распределено как Fk,N ?n?1 , что и доказывает утверждение.

Проверяемая нулевая гипотеза имеет вид:

H0 : R? = r,
574 Глава 18. Классические критерии проверки гипотез

то есть ограничения выполнены. Критерий заключается в следующем: если
F c > Fk, N ?n?1, 1?? , то нулевая гипотеза отвергается, если F c < Fk, N ?n?1, 1?? ,
то она принимается.
Распишем статистику подробнее:
?1
(Ra0 ? r) R (Z Z)?1 R (Ra0 ? r) /k
c
(18.4)
F=
(X ? Za0 ) (X ? Za0 ) / (N ? n ? 1)
Покажем, что F -критерий базового курса — это частный случай данного кри-
терия. С помощью F -критерия для регрессии в целом проверяется нулевая гипоте-
за о том, что все коэффициенты ?, кроме свободного члена (последнего, (n + 1)-го
коэффициента), равны нулю:
H0 : ?1 = 0, . . . , ?n = 0.

Запишем эти ограничения на коэффициенты в матричном виде (R? = r). Со-
ответствующие матрицы будут равны
R = [In ; 0n ] и r = 0n .

Обозначим матрицу Z без последнего столбца (константы) через Z? . В этих
обозначениях Z = [Z? ; 1N ]. Тогда
? ?
?? ?
?M + Z Z Z ?
Z Z = N? ?
?
Z 1
и
? ?
1 ? M ?1 ?M ?1 Z ?
?
?1
=? ?,
ZZ
N
?ZM ?1 1 + ZM ?1 Z
? ? ?

1 1??
?
где Z = 1N Z? — вектор средних, а M = Z Z — ковариационная матрица
N N
?1
факторов Z? . Умножение (Z Z) слева и справа на R выделяет из этой матрицы
левый верхний блок:
1 ?1
?1
R ZZ R= M.
N
Подставим это выражение в (18.4), обозначая через a? = Ra0 вектор из пер-
вых n компонент оценок a0 (все коэффициенты за исключением константы):
(a ? M a? ) /n
Fc = .

<<

стр. 21
(всего 28)

СОДЕРЖАНИЕ

>>