<<

стр. 17
(всего 28)

СОДЕРЖАНИЕ

>>

(1 ? ?1 L ? ?2 L2 )xt = ?t .

Для стационарности процесса авторегрессии AR(2) необходимо, чтобы корни
?1 , ?2 характеристического уравнения

1 ? ?1 z ? ?2 z 2 = 0,

которые, вообще говоря, могут быть комплексными, находились вне единичного
круга на комплексной плоскости, т.е. |?1 | > 1, |?2 | > 1.


Неформально обоснуем условия стационарности AR(2), разложив характеристиче-
ский полином ?(z) на множители (по теореме Виета ?1 ?2 = ?1 ?2 ):
z z
?(z) = ??2 (?1 ? z)(?2 ? z) = 1 ? 1? = (1 ? G1 z)(1 ? G2 z),
?1 ?2
где мы ввели обозначения G1 = 1 ?1 и G2 = 1 ?2 .
Такое разложение позволяет представить уравнение AR(2) в виде:

(1 ? G1 L)(1 ? G2 L)xt = ?t . (14.13)
Глава 14. Линейные стохастические модели ARIMA
436

Введем новую переменную:

vt = (1 ? G2 L)xt , (14.14)

тогда уравнение (14.13) примет вид:

(1 ? G1 L)vt = ?t .

Видим, что ряд vt является процессом Маркова:

vt = G1 vt?1 + ?t .

Для того чтобы процесс vt был стационарным, коэффициент G1 по модулю должен
быть меньше единицы, т.е. |?1 | > 1.
С другой стороны, из (14.14) следует, что xt имеет вид процесса Маркова с ошиб-
кой vt :

xt = G2 xt?1 + vt .

Условие стационарности такого процесса имеет аналогичный вид: |?2 | > 1.
Приведенные рассуждения не вполне корректны, поскольку vt не является белым
шумом. (Укажем без доказательства, что из стационарности vt следует стационар-
ность xt .) Кроме того, корни ?1 , ?2 могут быть, вообще говоря, комплексными,
что требует изучения свойств комплексного марковского процесса. Более коррект-
ное обоснование приведенного условия стационарности будет получено ниже для
общего случая AR(p).

Условия стационарности процесса AR(2), |?1 | > 1, |?2 | > 1, можно переписать
в эквивалентном виде как ограничения на параметры уравнения авторегрессии:
?
? ?2 + ?1 < 1,
?
?
? ? ? < 1, (14.15)
?2 1
?
? ? 1 < ? < 1.
2


Проверим эти условия. Для этого рассмотрим два случая.
1) Пусть корни характеристического уравнения вещественные, то есть
?2 + 4?2 0. Тогда для выполнения условий |?1 | > 1, |?2 | > 1 необходимым
1
1
требованием является |?1 ?2 | > 1 или ? ?2 > 1. В таком случае один из корней
обязательно лежит вне отрезка [?1, 1]. Для того чтобы и второй корень не попал
в этот отрезок, необходимо и достаточно, чтобы значения характеристического по-
линома ?(L) = 1 ? ?1 L ? ?2 L2 в точках ?1 и 1 были одного знака. Это условие
можно описать неравенством:

?(?1) · ?(1) > 0, (1 + ?1 ? ?2 )(1 ? ?1 ? ?2 ) > 0.
или
437
14.3. Процессы авторегрессии

? ?
a) б)
2 2

1 1


–1 –1
1 1
? ?
1 1


–1 –1


Рис. 14.2



Таким образом, случай вещественных корней описывается системой:
?2
? ?1 + 4?2 0,
?
?
|?2 | < 1,
?
?
?
(1 + ?1 ? ?2 )(1 ? ?1 ? ?2 ) > 0.

Если связать ?1 и ?2 с координатными осями, то область, соответствующую данной
системе, можно изобразить на рисунке (см. рис. 14.2а).
2) Если корни комплексные, то они имеют одинаковую абсолютную величину:

1
|?1 | = |?2 | = ? .
?2

И тогда вместе с отрицательностью дискриминанта достаточно условия:

|?2 | < 1 (область решений см. на рис. 14.2б).

Если объединить случаи 1) и 2), то общее решение как раз описывается системой
неравенств (14.15) и соответствующая область на координатной плоскости пред-
ставляет собой треугольник, ограниченный прямыми:

?2 = ??1 + 1, ?2 = ?1.
?2 = ?1 + 1,


Автокорреляционная и автоковариационная функция AR(p)

Для стационарного процесса авторегрессии:

xt = ?1 xt?1 + ?2 xt?2 + · · · + ?p xt?p + ?t (14.16)
Глава 14. Линейные стохастические модели ARIMA
438

можно вывести формулу автокорреляционной функции. Умножив обе части урав-
нения на xt?k :
xt?k xt = ?1 xt?k xt?1 + ?2 xt?k xt?2 + . . . + ?p xt?k xt?p + xt?k ?t ,
и перейдя к математическим ожиданиям, получим уравнение, связывающее коэф-
фициенты автоковариации различного порядка:
(14.17)
?k = ?1 ?k?1 + ?2 ?k?2 + . . . + ?p ?k?p , k > 0.

Это выражение является следствием того, что соответствующие кросс-
ковариации между процессом и ошибкой равны нулю: E(xt?k ?t ) = 0 при k > 0,
т.к. xt?k может включать лишь ошибки ?j для j t ? k.
Делением уравнения (14.17) на ?0 получаем важное рекуррентное соотноше-
ние для автокорреляционной функции:
(14.18)
?k = ?1 ?k?1 + ?2 ?k?2 + . . . + ?p ?k?p , k > 0.

Подставляя в выражение (14.18) k = 1, . . . , p, получаем, с учетом симметрич-
ности автокорреляционной функции, так называемые уравнения Юла—Уокера
(Yule—Walker) для AR(p):
?
? ?1 = ?1 + ?2 ?1 + . . . + ?p ?p?1 ,
?
?
?
?? = ? ? + ? + ... + ? ?
p p?2 ,
2 11 2
(14.19)
? ···
?
?
?
?
?p = ?1 ?p?1 + ?2 ?p?2 + . . . + ?p .

Мы имеем здесь p линейных уравнений, связывающих p автокорреляций,
?1 , . . . , ?p . Из этой системы при данных параметрах можно найти автокорреляции.
С другой стороны, при данных автокорреляциях из уравнений Юла—Уокера можно
найти параметры ?1 , . . . , ?p . Замена теоретических автокорреляций выборочны-
ми дает метод оценивания параметров процесса AR(p).
В частности, для процесса Юла получим из (14.19)
?2
?1 1
?1 = , ?2 = + ?2 .
1 ? ?2 1 ? ?2
Зная ?1 , . . . , ?p , все последующие автокорреляции ?k ( k > p) можем найти
по рекуррентной формуле (14.18).
Для нахождения автоковариационной функции требуется знать ?0 , дисперсию
процесса xt . Если умножить обе части (14.16) на ?t и взять математические ожи-
дания, получим, что E(?t xt ) = E(?2 ) = ?? . Далее, умножая обе части (14.16)
2
t
на xt и беря математические ожидания, получим
2
?0 = ?1 ?1 + ?2 ?2 + . . . + ?p ?p + ?? .
439
14.3. Процессы авторегрессии

Значит, если известны автокорреляции, то дисперсию xt можно вычислять по
формуле:
2
??
2
(14.20)
?0 = ?x = .
1 ? ?1 ?1 ? ?2 ?2 ? . . . ? ?p ?p
2
Автоковариации затем можно вычислить как ?j = ?j ?x .
С учетом полученного дополнительного уравнения можно записать вариант
уравнений Юла—Уокера для автоковариаций:
? 2
? ?0 = ?1 ?1 + ?2 ?2 + . . . + ?p ?p + ?? ,
?
?
?
?? = ? ? + ? ? + ... + ? ?
?1
? p p?1 ,
10 21
?
(14.21)
? = ?1 ?1 + ?2 ?0 + . . . + ?p ?p?2 ,
?2
?
?
? ···
?
?
?
?
?p = ?1 ?p?1 + ?2 ?p?2 + . . . + ?p ?0 .
В этой системе имеется p + 1 уравнений, связывающих p + 1 автоковариацию, что
позволяет непосредственно вычислять автоковариации при данных параметрах.
Заметим, что 14.17 и 14.18 имеют вид линейных однородных конечно-
разностных уравнений, а для подобных уравнений существует общий метод на-
хождения решения. Решив уравнение 14.18, можно получить общий вид автокор-
реляционной функции процесса авторегрессии. Проведем это рассуждение более
подробно для процесса Юла, а затем рассмотрим общий случай AR(p).


Вывод формулы автокорреляционной функции
процесса Юла

Из соотношения (14.18) для p = 2 получаем:

(14.22)
?k = ?1 ?k?1 + ?2 ?k?2 , k > 0.

или, используя лаговый оператор, который в данном случае действует на k,
?(L)?k = 0, где ?(z) = 1 ? ?1 z ? ?2 z 2 — характеристический полином про-
цесса Юла. Как мы видели, этот характеристический полином можно представить
в виде:

?(z) = (1 ? G1 z)(1 ? G2 z),

где G1 = 1 ? и G2 = 1 ? , а ?1 , ?2 — корни характеристического уравнения.
1 2
Таким образом, ?k удовлетворяет уравнению:

(1 ? G1 L)(1 ? G2 L)?k = 0. (14.23)
Глава 14. Линейные стохастические модели ARIMA
440

Найдем общее решение этого уравнения. Введем обозначение:

?k = (1 ? G2 L)?k . (14.24)

Для ?k имеем (1 ? G1 L)?k = 0 или ?k = G1 ?k?1 . Поэтому

?k = G1 ?k?1 = · · · = Gk?1 ?1 .
1

В свою очередь, из (14.24), с учетом того, что ?0 = 1 и ?1 = ?1 (1 ? ?2 ), следует,
что
?1
?1 = ?1 ? G2 ?0 = ? G2 .
1 ? ?2

Поскольку, по теореме Виета, G1 + G2 = ?1 , G1 G2 = ??2 , получаем выра-
жение для ?1 через корни характеристического уравнения:

G1 (1 ? G2 )
G1 + G2 2
? G2 = (14.25)
?1 = .
1 + G1 G2 1 + G1 G2

Возвращаясь к формуле (14.24), имеем, исходя из рекуррентности соотноше-
ния:

?k = G2 ?k?1 + ?k = G2 (G2 ?k?2 + ?k?1 ) + ?k = . . . =
k?1
Gk Gk?1 ?1 Gk?2 ?2 Gk Gk?1?s ?s+1 .
= + + + . . . + G2 ?k?1 + ?k = +
2 2
2 2 2
s=0


Подставляя сюда ?k = Gk?1 ?1 , получим
1

k?1
(G1 /G2 )k ? 1
s
G1
?1 Gk?1 = Gk + ?1 Gk?1
Gk
?k = + =
2 2
2 2
(G1 /G2 ) ? 1
G2
s=0
? Gk
Gk ?1 ?1
1 2
Gk + 1 ?
= Gk + ?1 Gk .
=
2 1 2
G1 ? G2 G1 ? G2 G1 ? G2

Таким образом, общее решение уравнения (14.22) имеет вид:

?k = A1 Gk + A2 Gk , (14.26)
1 2

где коэффициенты A1 и A2 вычисляются по формулам:

G1 (1 ? G2 ) G2 (1 ? G2 )
2 1
A2 = ? (14.27)
A1 = , ,
(G1 ? G2 )(1 + G1 G2 ) (G1 ? G2 )(1 + G1 G2 )
причем A1 + A2 = 1.
441
14.3. Процессы авторегрессии

?
2



1

2 1
?
k
1
?
k
1



1
k k


?
3 4 1
?
k
1


k




Рис. 14.3



В стационарных процессах корни характеристического уравнения лежат вне
единичного круга. Следовательно, |G1 | < 1 и |G2 | < 1, и автокорреляцион-
ная функция состоит из совокупности затухающих экспонент, что на рисунке 14.3
соответствует областям 1, 2, 3 и 4, лежащим выше параболической границы
?2 + 4?2 0.
1
При этом, если оба корня положительны или доминирует по модулю от-
рицательный корень (соответственно, положительное G), автокорреляционная
функция затухает, асимптотически приближаясь к экспоненте (области 1 и 4 на
рис. 14.3). Когда же оба корня отрицательны или доминирует по модулю поло-
жительный корень (или отрицательное G), автокорреляционная функция затухает
по экспоненте знакопеременно (области 2 и 3 на рис. 14.3).
Если корни разного знака и совпадают по модулю, то затухание ?k происходит
в области положительных значений, но имеет колебательный характер:
G1 = ?G2 , следовательно A1 = A2 = 0.5 и
?
?
? 0, если k — нечетное,
?k =
?
? k если k — четное.
G1 ,

Рассмотрим случай, когда корни ?1 = G?1 и ?2 = G?1 — комплексные.
1 2
Тогда автокорреляционная функция процесса авторегрессии второго порядка будет
представлять собой затухающую синусоиду:

dk · sin(k? + ?)
?k = ,
sin ?
Глава 14. Линейные стохастические модели ARIMA
442

1 + d2
v ?1
? = arccos v
где d = ??2 , , ? = arctg tg ? .
1 ? d2
2 ??2

Подтвердим справедливость формулы. Поскольку коэффициенты характеристи-
ческого многочлена — действительные числа, то ?1 и ?2 — комплексно-
сопряженные, поэтому G1 и G2 тоже являются комплексно-сопряженными. Далее,
G1 , как и любое комплексное число, можно представить в виде:

G1 = dei? = d cos ? + i d sin ?,

где d = |G1 | ( = |G2 |) — модуль, а ? — аргумент комплексного числа G1 . Соот-
ветственно, для G2 как для сопряженного числа верно представление:

G2 = de?i? = d cos ? ? i d sin ?.

Для нахождения d воспользуемся тем, что

??2 = G1 · G2 = dei? · de?i? = d2 .

ei? + e?i?
v G1 + G2
Значит, d = ??2 . Кроме того, cos ? = , поэтому, учиты-
=
2 2d
вая, что G1 + G2 = ?1 , получаем:
?1
cos ? = v .
2 ??2

Подставим теперь G1 = dei? и G2 = de?i? в выражения (14.27) для A1 и A2 :

dei? (1 ? d2 e?2i? ) ei? ? d2 e?i?
A1 = = i? =
(dei? ? de?i? )(1 + d2 ei? e?i? ) (e ? e?i? )(1 + d2 )
1 + d2
1+i tg ?
(1 ? d2 ) cos ? + i(1 + d2 ) sin ? 1 ? d2
= = .
2i(1 + d2 ) sin ? 2i

Пусть ? — такой угол, что

1 + d2
tg ? = tg ?.
1 ? d2

Тогда

ei?
1 + i tg ? cos ? + i sin ?
A1 = = = i? .
e ? e?i?
2i 2i sin ?

Отсюда найдем A2 :

e?i?
A2 = 1 ? A1 = ? i? .
e ? e?i?
443
14.3. Процессы авторегрессии

Несложно увидеть, что A1 и A2 являются комплексно-сопряженными.
Подставим найденные A1 и A2 в (14.26):

e?i?
ei?
· dk e?ik? =
·d e ? i?
A1 Gk A2 Gk k ik?
?k = + =
1 2
? e?i? e ? e?i?
ei?
ei(k?+?) ? e?i(k?+?)
= dk .
ei? ? e?i?

Таким образом, подтверждается, что автокорреляционную функцию можно записать
в форме

dk sin(k? + ?)
?k = .
sin ?


Нахождение автокорреляционной функции AR(p)
с помощью решения конечно-разностного уравнения

Аналогичным образом можно изучать автокорреляционную функцию процес-
са AR(p) при произвольном p. Запишем уравнение (14.18) с помощью лагового
оператора, действующего на k:

?(L)?k = 0, (14.28)
k > 0,

где ?(L) = 1 ? ?1 L ? ?2 L2 ? . . . ? ?p Lp .
Рассмотрим характеристическое уравнение:

?(z) = 1 ? ?1 z ? ?2 z 2 ? . . . ? ?p z p = 0.

Пусть ?i (i = 1, . . . , p) — корни этого уравнения. Мы будем предполагать, что все
они различны. Характеристический многочлен ?(z) можно разложить следующим
образом:
p
?(z) = ??p (?i ? z).
i=1

Обозначим через Gi значения, обратные корням характеристического урав-
нения: Gi = 1 ? . Тогда, учитывая, что ?1 · ?2 · . . . · ?p = ?1 ?p и соответственно
i
G1 · G2 · . . . · Gp = ??p , имеем:
p
(1 ? Gi z)
p p
1 i=1
?(z) = ??p ? z = ??p (1 ? Gi z).
=
p
Gi
Gi
i=1 i=1
i=1
Глава 14. Линейные стохастические модели ARIMA
444

Исходя из этого, перепишем уравнение (14.28) в виде:

(1 ? G1 L)(1 ? G2 L)· . . . · (1 ? Gp L)?k = 0. (14.29)

Из теории конечно-разностных уравнений известно, что если все корни ?i
различны, то общее решение уравнения (14.18) имеет вид:

k > ?p,
?k = A1 Gk + A2 Gk + . . . + Ap Gk , (14.30)
1 2 p

где Ai — некоторые константы, в общем случае комплексные. (Обсуждение ре-
шений линейных конечно-разностных уравнений см. в Приложении A.4.)
Проверим, что это действительно решение. Подставим ?k в (14.29):
p p
(1 ? Gi L)?k = (1 ? Gi L)(A1 Gk + A2 Gk + . . . + Ap Gk ) =
1 2 p
i=1 i=1

p p p
(1 ? Gi L)A1 Gk + (1 ? Gi L)A2 Gk + . . . + (1 ? Gi L)Ap Gk = 0.
= 1 2 p
i=1 i=1 i=1

Для доказательства использовался тот факт, что LGk = Gk?1 и поэтому
j j

p
(1 ? Gi L)Gk = (1 ? Gi L)(1 ? Gj L)Gk = 0.
j j
i=1 i=j


Формулы для коэффициентов A1 , . . . , Ap можно получить из условий:

?0 = 1, ?k = ??k , откуда
p p p
Ai
k = 1, . . . , p ? 1.
Ai Gk
и
Ai = 1 = ,
i
Gk
i
i=1 i=1 i=1

Другой способ состоит в том, чтобы вычислить ?1 , . . . , ?p?1 из уравнений Юла—
Уокера (14.19), а затем составить на основе (14.30) при k = 0, . . . , p ? 1 систему
линейных уравнений, откуда и найти A1 , . . . , Ap .
Если все корни характеристического уравнения удовлетворяют условию
|?i | > 1, то |Gi | < 1 ?i и все слагаемые в (14.30) затухают с ростом k. Если
же для какого-то корня выполнено |?i | < 1, то (при условии, что Ai = 0) соответ-
ствующее слагаемое «уходит на бесконечность». Если |?i | = 1, то соответствую-
щее слагаемое не затухает. Из этих рассуждений следует условие стационарности
AR(p) — все корни соответствующего характеристического уравнения по модулю
должны быть больше единицы.
445
14.3. Процессы авторегрессии

Если корень ?i = G?1 действителен, элемент Ai Gk в (14.30) убывает с ро-
i
i
стом k экспоненциально, коль скоро |?i | > 1. Если же есть пара комплексно-
сопряженных корней ?i = G?1 , ?j = G?1 , то соответствующие коэффициен-
i j
ты Ai , Aj также будут сопряженными и в составе автокорреляционной функции
появится экспоненциально затухающая синусоида (см. вывод автокорреляционной
функции процесса Юла).
Таким образом, из соотношения (14.30) следует, что в общем случае автокорре-
ляционная функция стационарного процесса авторегрессии является комбинацией
затухающих экспонент и затухающих синусоид.
Итак, мы вывели общий вид автокорреляционной функции стационарного
процесса авторегрессии. Теоретически выборочная автокорреляционная функция
может служить инструментом для распознавания авторегрессионого процесса.
На практике же для коротких рядов различительная сила автокорреляционной
функции не очень высока. Однако часто изучение автокорреляционной функции
является хорошим заделом исследования системы.
Кроме автокорреляционной функции важным инструментом для распознавания
типа процесса является его спектр.


Спектр стационарного процесса авторегрессии

В главе 13 мы определили спектральную плотность стационарного процесса
как косинус-преобразование Фурье автоковариационной функции (13.29):
?
(14.31)
p(f ) = 2 ?0 + 2 ?k cos 2?f k .
k=1


Из этой общей формулы найдем спектральную плотность для стационарного
процесса Маркова ( |?1 | < 1). Автоковариационная функция этого процесса имеет
вид:
2
?? ?k
1
?k = .
1 ? ?21

Подставляя эти автоковариации в формулу (14.31), получим
?
2
2??
?k cos 2?f k .
p(f ) = 1+2 1
1 ? ?21 k=1


Воспользовавшись представлением косинуса через комплексную экспоненту
(формулами Эйлера) — 2 cos 2?f k = ei2?f k + e?i2?f k , после несложных преобра-
Глава 14. Линейные стохастические модели ARIMA
446

зований получим:
? ?
2
2?? k k
?1 e?i2?f ?1 ,
i2?f
p(f ) = ?1 e +
1 ? ?21 k=0 k=0

т.е.
? ?
2
2??
(?1 z ?1 )k ? 1 ,
k
p(f ) = (?1 z) +
1 ? ?21 k=0 k=0

где мы ввели обозначение z = ei2?f .
По формуле бесконечной геометрической прогрессии
2
2?? 1 1
?1 .
p(f ) = +
1 ? ?2 1 ? ?1 z 1 ? ?1 z ?1
1

Произведение знаменателей двух дробей можно записать в разных формах:

(1 ? ?1 z)(1 ? ?1 z ?1 ) = 1 ? ?1 (z + z ?1 ) + ?2 =
1
2
= 1 ? 2?1 cos 2?f + ?2 = 1 ? ?1 e?i2?f .
1

Приведя к общему знаменателю, получим

2?? 1 ? ?1 z ?1 + 1 ? ?1 z ? 1 + ?1 (z + z ?1 ) ? ?2
2
1
p(f ) = =
2 ?1 )
(1 ? ?1 z)(1 ? ?1 z
1 ? ?1
2 1 ? ?2
2?? 1
= 2 (1 ? ? z)(1 ? ? z ?1 ) .
1 ? ?1 1 1

Таким образом, спектральная плотность марковского процесса равна
2
2??
p(f ) = ,
1 ? 2?1 cos 2?f + ?2
1

или, в другой форме,
2
2??
p(f ) = 2.
1 ? ?1 e?i2?f

Ошибку ?t авторегрессии произвольного порядка AR(p) можно выразить в виде
линейного фильтра от yt :
p
?t = xt ? ?j xt?j ,
j=1
447
14.3. Процессы авторегрессии

поэтому для вычисления спектра авторегрессионного процесса можно воспользо-
ваться общей формулой (14.4), характеризующей изменение спектра при приме-
нении линейного фильтра.
2
Спектральная плотность белого шума ?t равна 2?? . Применение формулы
(14.4) дает

p
2
2
?j e?i2?f j ,
= p(f ) 1 ?
2??
j=1


откуда

2
2??
p(f ) = .
?i2p?f 2
e?i2?f e?i4?f
1 ? ?1 ? ?2 ? · · · ? ?p e

В частном случае процесса Юла формула спектральной плотности имеет вид:

2
2??
p(f ) = =
2
1 ? ?1 e?i2?f ? ?2 e?i4?f
2
2??
= .
1 + ?2 + ?2 ? 2?1 (1 ? ?2 ) cos 2?f ? 2?2 cos 4?f
1 2



Разложение Вольда и условия стационарности
процессов авторегрессии

Как уже говорилось, модель AR(p) можно записать в виде модели линейного
фильтра:

?
?i ?t?i = ?(L)?t ,
xt =
i=0


где ?(L) = ??1 (L). Если процесс авторегрессии стационарен, то это разложение
Вольда такого процесса.
Найдем коэффициенты модели линейного фильтра ?i процесса авторегрессии.
Для этого в уравнении

? p
?(L)?(L) = 1?
i
?j Lj = 1
?i L
i=0 j=1
Глава 14. Линейные стохастические модели ARIMA
448

приравняем коэффициенты при одинаковых степенях L. Получим следующие урав-
нения:
?0 = 1,
?1 ? ?0 ?1 = 0,
?2 ? ?1 ?1 ? ?0 ?2 = 0,
...
?p ? ?p?1 ?1 ? . . . ? ?1 ?p?1 ? ?0 ?p = 0,
?p+1 ? ?p ?1 ? . . . ? ?2 ?p?1 ? ?1 ?p = 0,
...

Общая рекуррентная формула имеет следующий вид:
p
(14.32)
?i = ?j ?i?j , i > 0,
j=1

где ?0 = 1 и ?i = 0 при i < 0.
Это разностное уравнение, которое фактически совпадает с уравнением для
автокорреляций (14.18). Соответственно, если все корни характеристического
уравнения различны, то общее решение такого уравнения такое же, как указа-
но в (14.30), т.е.
i > ?p,
?i = B1 Gi + B2 Gi + . . . + Bp Gi ,
1 2 p

где Bi — некоторые константы. Коэффициенты Bi можно вычислить, исходя
из известных значений ?i при i 0.
Очевидно, что если |Gj | < 1 ?j, то все слагаемые здесь экспоненциально
затухают, и поэтому ряд, составленный из коэффициентов ?i сходится абсолютно:
?
|?i | < ?.
i=0
Таким образом, указанное условие гарантирует, что процесс авторегрессии явля-
ется стационарным. Это дополняет вывод, полученный при анализе автокорреля-
ционной функции.
Итак, условием стационарности процесса AR(p) является то, что корни ?i
характеристического уравнения лежат вне единичного круга на комплексной плос-
кости.
Для процесса AR(2) имеем два уравнения для коэффициентов B1 , B2 :
B1 B2
+ = ??1 = 0,
G1 G2
B1 + B2 = ?0 = 1,
449
14.3. Процессы авторегрессии

и B2 = ? G1G2 2 . Таким образом, в случае процесса Юла
G1
откуда B1 = G1 ?G2 ?G
имеем

Gi+1 ? Gi+1
?i = 1 2
i > ?1,
,
G1 ? G2
и
?
1
(Gi+1 ? Gi+1 )?t?i .
xt = 1 2
G1 ? G2 i=0



Оценивание авторегрессий

Термин авторегрессия для обозначения модели (14.7) используется потому,
что она фактически представляет собой модель регрессии, в которой регрессорами
служат лаги изучаемого ряда xt . По определению авторегрессии ошибки ?t явля-
ются белым шумом и некоррелированы с лагами xt . Таким образом, выполнены
все основные предположения регрессионного анализа: ошибки имеют нулевое ма-
тематическое ожидание, некоррелированы с регрессорами, не автокоррелированы
и гомоскедастичны. Следовательно, модель (14.7) можно оценивать с помощью
обычного метода наименьших квадратов.
Отметим, что при таком оценивании p начальных наблюдений теряются. Пусть
имеется ряд x1 , . . . , xT . Тогда регрессия в матричной записи будет иметь следую-
щий вид:
? ? ? ? ? ?
? ?
···
? xp+1 ? ? xp ? ? ?p+1 ?
x1
? ?? ? ? ?
? ?? ?? ?? ?
?1
?x ? ?x ?? ? ?? ?
··· x2
? p+2 ? ? p+1 ?? ? ? p+2 ?
.
? ?=? ?? ?+? ?.
.
.
?. ?? ?? ??. ?
. .
?. ?? ?? ??. ?
. .
?. . . ?.
?? ? ?
? ?? ? ? ?
?p
xT ?1 · · · xT ?p
xT ?T

Как видим, здесь используется T ? p наблюдений.
Оценки МНК параметров авторегрессии равны ? = M ?1 m, где ? =
= (?1 , ?2 , . . . , ?p ) , а матрицы M и m, как нетрудно увидеть, фактически состоят
из выборочных автоковариаций ряда xt . Отличие от стандартных выборочных ав-
токовариаций состоит в том, что используются не все наблюдения.
Можно рассматривать данную регрессию как решение уравнений Юла—
Уокера для автоковариаций (14.21) (или, что эквивалентно, уравнений для автокор-
реляций (14.19)), где теоретические автоковариации заменяются выборочными.
Глава 14. Линейные стохастические модели ARIMA
450

Действительно, уравнения Юла—Уокера (14.21) без первой строки записываются
в виде

? = ??,

где
? ? ? ?
· · · ?p?1 ?
? ?1 ? ? 1 ?1 ?2
? ? ? ?
? ? ? ?
? ? ? ?p?2 ?
···
?2 ?1 1 ?1
? ? ? ?
?=? ?, ? = ? ?,
? ? ? .?
. . . . ..
? ? ? .?
. . . . .
. . . . .?
? ? ?
? ? ? ?
?p?1 ?p?2 ?p?3 · · ·
?p 1

откуда

? = ??1 ?.

Замена теоретических значений автоковариаций ?k выборочными автоковари-
ациями ck позволяет найти параметры процесса авторегрессии. Ясно, что при этом
можно использовать и стандартные формулы выборочных автоковариаций. Тем са-
мым, мы получаем еще один из возможных методов оценивания авторегрессий —
метод моментов.


Частная автокорреляционная функция

Как мы видели, автокорреляционная функция процесса авторегрессии состоит
из экспоненциально затухающих компонент. Такая характеристика не очень на-
глядна, поскольку соседние автокорреляции сильно связаны друг с другом, и, кроме
того, для полного описания свойств ряда используется бесконечная последователь-
ность автокорреляций.
Более наглядными характеристиками авторегрессии являются частные ав-
токорреляции. Частная автокорреляция измеряет «чистую» корреляцию между
уровнями временного ряда xt и xt?k при исключении опосредованного влияния
промежуточных уровней ряда. Такой показатель корреляции между элементами
ряда более информативен.
Пусть {xt } — произвольный стационарный ряд (не обязательно авторегрес-
сия) и ?j — его автокорреляции. Применим к нему уравнения Юла—Уокера
(14.19), как если бы процесс представлял собой авторегрессию k-го порядка,
и найдем по автокорреляциям коэффициенты. Если обозначить j-й коэффици-
ент уравнения авторегрессии порядка k через ?kj , то уравнения Юла—Уокера
451
14.3. Процессы авторегрессии

принимают вид:

? ?? ? ? ?
? . . . ?k?1 ? ? ?k1 ? ? ?1 ?
1 ?1 ?2
? ?? ? ? ?
? ?? ? ? ?
? ?k?2 ? ? ?k2 ? ? ?
? ?? ? ? ?
?1 1 ?1 ... ?2
? ?? ? ? ?
? ?? ? ? ?
? ?k?3 ? ? ?k3 ?= ? ?.
?2 ?1 1 ... ?3
? ?? ? ? ?
? ?? ? ? ?
? . ?? . ? ? ?
. . . .
..
. . . . ?? . .
? ? ? ?
.
. . . . ?? . .
? ? ? ?
? ?? ? ? ?
?k?1 ?k?2 ?k?3 . . . 1 ?kk ?k


Частная автокорреляция k-го порядка определяется как величина ?kk , полученная
из этих уравнений.
Решение этих уравнений соответственно для k = 1, 2, 3 дает следующие
результаты (здесь используется правило Крамера):


1 ?1 ?1

1 ?1 ?1 1 ?2

?2 ? ?2
?1 ?2 ?2 ?1 ?3
1
?11 = ?1 , ?22 = = 2, ?33 = .
1 ? ?1
1 ?1 ?2
1 ?1

?1 1 ?1
?1 1

?2 ?1 1


Частная автокорреляционная функция рассматривается как функция частной
автокорреляции от задержки k, где k = 1, 2, . . ..
Для процесса авторегрессии порядка p частная автокорреляционная функция
{?kk } будет ненулевой для k p и равна нулю для k > p, то есть обрывается на
задержке p.
Значение выборочного частного коэффициента автокорреляции ?kk вычисля-
ется как МНК-оценка последнего коэффициента в уравнении авторегрессии AR(k).
Частная автокорреляционная функция может оказаться полезной в решении
задачи идентификации модели временного ряда: если она быстро затухает, то это
авторегрессия, причем ее порядок следует выбрать по последнему большому зна-
чению частной автокорреляционной функции.
Глава 14. Линейные стохастические модели ARIMA
452

14.4. Процессы скользящего среднего
Другой частный случай модели линейного фильтра, широко распространенный
в анализе временных рядов, — модель скользящего среднего, когда xt линейно
зависит от конечного числа q предыдущих значений ?:
xt = ?t ? ?1 ?t?1 ? ?2 ?t?2 ? . . . ? ?q ?t?q . (14.33)
Модель скользящего среднего q-го порядка обозначают MA(q) (от английского
moving average).
Данную модель можно записать и более сжато:
xt = ?(L)?t ,
через оператор скользящего среднего:
?(L) = 1 ? ?1 L ? ?2 L2 ? . . . ? ?q Lq . (14.34)

Легко видеть, что процесс MA(q) является стационарным без каких-либо огра-
ничений на параметры ?j .
Действительно, математическое ожидание процесса
E(xt ) = 0,
а дисперсия
2 2 22
?0 = (1 + ?1 + ?2 + . . . + ?q )?? ,
2
т.е. равна дисперсии белого шума, умноженной на конечную величину (1 + ?1 +
2 2
+ ?2 + . . . + ?q ).
Остальные моменты второго порядка (?k , ?k ) также от времени не зависят.

Автоковариационная функция и спектр процесса MA(q)

Автоковариационная функция MA(q)
?
?
? (?? + ? ? 2
1 k+1 + . . . + ?q?k ?q )?? , k = 1, 2, . . . , q,
k
(14.35)
?k =
?
?
0, k > q.

В частном случае для MA(1) имеем:
22
?0 = (1 + ?1 )?? ,
2
?1 = ??1 ?? ,
?k = 0, k > 1,
453
14.4. Процессы скользящего среднего

и автоковариационная матрица, соответствующая последовательности x1 ,
x2 , . . . , xT , будет иметь следующий трехдиагональный вид:
? ?
2 ??1 ···
? 1 + ?1 ?
0 0
? ?
? ?
? ?? ?
2 ??1 ···
? ?
1 + ?1 0
1
? ?
2? ?
? = ?? ? 0 ?.
2
??1 1 + ?1 · · · 0
? ?
? ?
?. ?
. . .
..
?. . . . ?
.
?. . . . ?
? ?
2
· · · 1 + ?1
0 0 0

В общем случае автоковариационная матрица процесса скользящего среднего
порядка q имеет q ненулевых поддиагоналей и q ненулевых наддиагоналей, все
же остальные элементы матрицы равны нулю.
Автокорреляционная функция имеет вид:
?
? ??k + ?1 ?k+1 + . . . + ?q?k ?q
?
? , k = 1, 2, . . . , q,
2 2
1 + ?1 + . . . + ?q (14.36)
?k =
?
?
?
0, k > q.

Таким образом, автокорреляционная функция процесса MA(q) обрывается на
задержке q, и в этом отличительная особенность процессов скользящего среднего.
С другой стороны, частная автокорреляционная функция, в отличие от авторе-
грессий, не обрывается и затухает экспоненциально. Например, для MA(1) частная
автокорреляционная функция имеет вид
2
1 ? ?1
p
??1 .
2p+2
1 ? ?1

Ясно, что модель скользящего среднего является частным случаем модели ли-
нейного фильтра (14.1), где ?j = ??j при j = 1, . . . , q и ?j = 0 при j > q.
Фактически модель линейного фильтра является моделью MA(?).
Формула спектра для процесса скользящего среднего следует из общей форму-
лы для модели линейного фильтра (14.6):
2
2 ?i2?f ?i4?f ?i2q?f
1 ? ?1 e ? ?2 e ? . . . ? ?q e
p(f ) = 2?? .
Глава 14. Линейные стохастические модели ARIMA
454

Соответственно, для MA(1):
2
p(f ) = 2?? 1 ? ?1 e?i2?f
2 2 2
= 2?? (1 + ?1 ? 2?1 cos 2?f );

для MA(2):
2
p(f ) = 2?? 1 ? ?1 e?i2?f ? ?2 e?i4?f
2
=
2 2 2
= 2?? 1 + ?1 + ?2 ? 2?1 (1 ? ?2 ) cos 2?f ? 2?2 cos 4?f .


Обратимость процесса MA(q)

Авторегрессию, как мы видели выше, можно представить как MA(?). С другой
стороны, процесс скользящего среднего можно представить в виде AR(?).
Рассмотрим, например, MA(1) (будем для упрощения писать ? вместо ?1 ):

xt = ?t ? ??t?1 , (14.37)

Сдвигом на один период назад получим ?t?1 = xt?1 + ??t?2 и подставим в (14.37):

xt = ?t ? ?xt?1 ? ? 2 ?t?2 .

Далее, ?t?2 = xt?2 + ??t?3 , поэтому

xt = ?t ? ?xt?1 ? ? 2 xt?2 ? ? 3 ?t?3 .

Продолжая, получим на k-м шаге

xt = ?t ? ?xt?1 ? ? 2 xt?2 ? · · · ? ? k xt?k ? ? k+1 ?t?k?1 .

Если |?| < 1, то последнее слагаемое стремится к нулю при k > ?. Переходя
к пределу, получаем представление AR(?) для MA(1):
?
xt = ? ? j xt?j + ?t . (14.38)
j=1

С помощью лагового оператора можем записать это как

?(L)xt = ?t ,

где
?
?1
?(L) = (1 ? ?L) ? j Lj .
=
j=0
455
14.4. Процессы скользящего среднего

В то время как процесс (14.37) стационарен при любом ?, процесс (14.38)
стационарен только при |?| < 1. При |?| 1 веса ?? j в разложении (14.38)
растут (при |?| = 1 не меняются) по абсолютной величине по мере увеличения j.
Тем самым, нарушается разумная связь текущих событий с событиями в прошлом.
Говорят, что при |?| < 1 процесс MA(1) является обратимым, а при |?| 1—
необратимым.
В общем случае уравнение процесса MA(q) в обращенной форме можно запи-
сать как
?
?1
?t = ? (L)xt = ?(L)xt = ?j xt?j .
j=0


Процесс MA(q) называется обратимым, если абсолютные значения весов ?j в об-
ращенном разложении образуют сходящийся ряд. Стационарным процесс MA(q)
является всегда, но для того, чтобы он обладал свойством обратимости, параметры
процесса должны удовлетворять определенным ограничениям.
Выведем условия, которым должны удовлетворять параметры ?1 , ?2 , . . . , ?q
процесса MA(q), чтобы этот процесс был обратимым.
Пусть Hi?1 , i = 1, . . . , q — корни характеристического уравнения ?(L) = 0
(будем предполагать, что они различны). Оператор скользящего среднего ?(L)
через обратные корни характеристического уравнения можно разложить на мно-
жители:
q
?(L) = (1 ? Hi L).
i=1


Тогда обратный к ?(L) оператор ?(L) можно представить в следующем виде:

q
1 Mi
?1
?(L) = ? (14.39)
(L) = = .
1 ? Hi L
q
(1 ? Hi L) i=1
i=1


Каждое слагаемое (14.39) можно, по аналогии с MA(1), представить в виде беско-
нечного ряда:

?
Mi
Hij Lj , i = 1, . . . , q,
= Mi
1 ? Hi L j=0


который сходится, если |Hi | < 1.
Глава 14. Линейные стохастические модели ARIMA
456

Тогда процесс MA(q) в обращенном представлении выглядит как

?
q
Hij Lj xt ,
?t = Mi
i=1 j=0


и он стационарен, если корни характеристического уравнения ?(L) = 0 лежат вне
единичного круга. Иными словами, MA(q) обладает свойством обратимости, если
для всех корней выполнено |Hi?1 | > 1, т.е. |Hi | < 1 ?i. Если же для одного из
корней |Hi | 1, то ряд не будет сходиться, и процесс MA(q) будет необратимым.
Для каждого необратимого процесса MA(q), у которого корни характеристи-
ческого уравнения не равны по модулю единице, существует неотличимый от него
обратимый процесс того же порядка. Например, процесс MA(1) (14.37) с |?| >1
можно записать в виде

1
xt = ?t ? ?t?1 ,
?

1 ? ?L
где ?t = ?t является белым шумом. Мы не будем доказывать, что ?t
1 ? 1/? · L
является белым шумом, поскольку это технически сложно. Вместо этого мы укажем
на простой факт: пусть ?t — некоторый белый шум. Тогда процесс ?t ? 1 ?t?1 имеет
?
такую же автоковариационную функцию, как и процесс xt , заданный уравнением
(14.37), если дисперсии связаны соотношением ?? = ? 2 ?? . Для того чтобы в этом
2 2

убедиться, достаточно проверить совпадение дисперсий и автоковариаций первого
порядка (остальные автоковариации равны нулю).
В общем случае процесса MA(q), чтобы сделать его обратимым, требуется
обратить все корни характеристического уравнения, которые по модулю меньше
q
единицы. А именно, пусть ?(L) = (1 ? Hi L), — характеристический многочлен
i=1
где |Hi | < 1 при i = 1, . . . , m и |Hi | > 1 при i = m + 1, . . . , q. Тогда

q
m
(1 ? Hi?1 L)
?
?(L) = (1 ? Hi L) (14.40)
i=1 i=m+1


— характеристический многочлен эквивалентного обратимого процесса.
Заметим, что хотя уравнение (14.33) по форме напоминает разложение Вольда
процесса xt , оно будет таким, только если все корни характеристического урав-
нения по модулю будут не меньше единицы. Для получения разложения Вольда
произвольного процесса MA(q) требуется проделать описанную операцию обра-
щения корней, которые по модулю меньше единицы.
457
14.5. Смешанные процессы авторегрессии — скользящего среднего

14.5. Смешанные процессы авторегрессии —
скользящего среднего ARMA
(модель Бокса—Дженкинса)
На практике иногда бывает целесообразно ввести в модель как элементы ав-
торегрессии, так и элементы скользящего среднего. Это делается для того, чтобы
с использованием как можно меньшего числа параметров уловить характеристики
исследуемого эмпирического ряда. Такой процесс называется смешанным процес-
сом авторегрессии — скользящего среднего и обозначается ARMA(p, q):

xt = ?1 xt?1 + . . . + ?p xt?p + ?t ? ?1 ?t?1 ? . . . ? ?q ?t?q , (14.41)

или, с использованием оператора лага,

(1 ? ?1 L ? ?2 L2 ? . . . ? ?p Lp )xt = (1 ? ?1 L ? ?2 L2 ? . . . ? ?q Lq )?t .

В операторной форме смешанная модель выглядит так:

?(L)xt = ?(L)?t ,

где ?(L) — оператор авторегрессии, ?(L) — оператор скользящего среднего.
Модель (14.41) получила название модели Бокса—Дженкинса, поскольку бы-
ла популяризирована Дж. Боксом и Г. Дженкинсом в их известной книге «Анализ
временных рядов» [3]. Методология моделирования с помощью (14.41) получила
название методологии Бокса—Дженкинса.


Автокорреляционная функция и спектр процесса ARMA(p, q)

Рассмотрим, как можно получить автоковариационную и автокорреляционную
функции стационарного процесса ARMA(p, q), зная параметры этого процесса.
Для этого умножим обе части уравнения (14.41) на xt?k , где k 0, и перейдем
к математическим ожиданиям:

E(xt?k xt ) = ?1 E(xt?k xt?1 ) + ?2 E(xt?k xt?2 ) + . . . + ?p E(xt?k xt?p ) +
+ E(xt?k ?t ) ? ?1 E(xt?k ?t?1 ) ? ?2 E(xt?k ?t?2 ) ? . . . ? ?q E(xt?k ?t?q ).

Обозначим через ?s кросс-ковариацию изучаемого ряда xt и ошибки ?t с за-
держкой s, т.е.

?s = E(xt ?t?s ).
Глава 14. Линейные стохастические модели ARIMA
458

Поскольку процесс стационарен, то эта кросс-ковариационная функция не зависит
от момента времени t. В этих обозначениях

E(xt?k ?t?j ) = ?j?k .

Получаем выражение для автоковариационной функции:

?k = ?1 ?k?1 + . . . + ?p ?k?p + ??k ? ?1 ?1?k ? . . . ? ?q ?q?k . (14.42)

Так как xt?k зависит только от импульсов, которые произошли до момента
t ? k, то

при j < k.
?j?k = E(xt?k ?t?j ) = 0

Для того чтобы найти остальные нужные нам кросс-ковариации, ?0 , . . . , ?q ,
необходимо поочередно умножить все члены выражения (14.41) на ?t , ?t?1 , . . . ,
?t?q и перейти к математическим ожиданиям. В итоге получится следующая систе-
ма уравнений:
2
?0 = ?? ,
2
?1 = ?1 ?0 ? ?1 ?? ,
2
?2 = ?1 ?1 + ?2 ?0 ? ?2 ?? ,
...

Общая формула для всех 1 p имеет вид:
s
2
?s = ?1 ?s?1 + · · · + ?s ?0 ? ?s ?? .

При s > p (такой случай может встретиться, если p < q)
2
?s = ?1 ?s?1 + · · · + ?p ?s?p ? ?s ?? .
2
Отсюда рекуррентно, предполагая ?? и параметры ? и ? известными, найдем ?s .
Далее, зная ?s , по аналогии с уравнениями Юла—Уокера (14.21) по формуле
(14.42) при k = 0, . . . , p с учетом того, что ??k = ?k найдем автоковариа-
ции ?0 , . . . , ?p . Остальные автоковариации вычисляются рекуррентно по формуле
(14.42).
Автокорреляции рассчитываются как ?k = ?k /?0 . Заметим, что если требуется
найти только автокорреляции, то без потери общности можно взять ошибку ?t

<<

стр. 17
(всего 28)

СОДЕРЖАНИЕ

>>