<<

стр. 24
(всего 28)

СОДЕРЖАНИЕ

>>

N — общее количество наблюдений, N0 — количество наблюдений, для которых
xi = 0, N1 — количество наблюдений, для которых xi = 1. Тогда предсказанная
вероятность появления xi = 1 в модели с одной константой будет равна для всех
наблюдений N1 /N . Отсюда

ln L0 = N0 ln N0 + N1 ln N1 ? N ln N.
630 Глава 21. Модели с качественными зависимыми переменными

21.2.1. Регрессия с упорядоченной зависимой переменной

Регрессия с упорядоченной зависимой переменной имеет дело с альтернати-
вами, которые можно расположить в определенном порядке. Например, это могут
быть оценки, полученные на экзамене, или качество товара, которое может ха-
рактеризоваться сортом от «высшего» до «третьего». Будем предполагать, что
альтернативы пронумерованы от 0 до S. Переменная x принимает значение s,
если выбрана альтернатива s. Предполагается, что в основе выбора лежит нена-
блюдаемая величина x = z? + ?. При этом x = 0 выбирается, если x меньше
? ?
нижнего (нулевого) порогового значения, x = 1, если x попадает в промежуток
?
от нулевого до первого порогового значения и т. д.; x = S выбирается, если x
?
превышает верхнее пороговое значение:
?
?
? 0,
?
? x < ?0 ,
?
?
?
?
?
?
? 1, ?0 < x < ?1 ,
?
x=
?
?
? ···
?
?
?
?
?
?
? S, x > ?
? S?1 .


Если среди регрессоров z есть константа, то невозможно однозначно иден-
тифицировать ?. В связи с этим следует использовать какую-либо нормировку.
Можно, например, положить ?0 = 0. Это оставляет S ? 1 неизвестных пороговых
параметров.
Пусть F? (·) — функция распределения ошибки ?. Тогда вероятность того, что
x = s, где s = 1, . . . , S ? 1, равна

Pr(x = s) = Pr(?s?1 < z? + ? < ?s ) =
= Pr(?s?1 ? z? < ? < ?s ? z?) = F? (?s ? z?) ? F? (?s?1 ? z?).

Аналогично для s = 0 и s = S получаем

Pr(x = 0) = Pr(? < ?0 ? z?) = F? (?0 ? z?),
Pr(x = S) = Pr(?S?1 ? z? < ?) = 1 ? F? (?S?1 ? z?).

Пусть (xi , zi ), i = 1, . . . , N — имеющиеся наблюдения. По этим наблюдени-
ям можно получить оценки максимального правдоподобия. Обозначим

pis (?, ?) = Pr(xi = s).
631
21.2 Оценивание модели с биномиальной зависимой переменной

Соответствующая логарифмическая функция правдоподобия равна

S
ln pis (?, ?), где Is = {i| xi = s}.
ln L(?, ?) =
s=0 i?Is

Максимизируя эту функцию по ? и ?, получим требуемые оценки.
На практике обычно используют одну из двух моделей: упорядоченный пробит,
то есть модель с нормально распределенным отклонением ?, или упорядоченный
логит, то есть модель, основанную на логистическом распределении.


21.2.2. Мультиномиальный логит

Предположим, что принимающий решение индивидуум стоит перед выбором из
S альтернатив, s = 0, . . . , S ? 1. Предполагается, что выбор делается на основе
функции полезности u(s). В линейной модели u(s) = zs ?s , где zs — матрица
факторов, ?s — неизвестные параметры. Обычно есть также факторы, не отра-
женные в zs из-за их ненаблюдаемости, которые тоже влияют на полезность. Такие
характеристики представлены случайной ошибкой u(s) = zs ?s + ?s . При этом x
выбирается равным s, если u(s) > u(t), ?s = t.
В самой простой модели принимается, что ошибки ?s подчинены распре-
делению экстремального значения и независимы между собой. Распределение
экстремального значения1 в стандартной форме имеет функцию распределе-
?y
ния F (y) = e?e . Распределение экстремального значения обладает следующи-
ми важными для рассматриваемой модели свойствами: максимум нескольких ве-
личин, имеющих распределение экстремального значения, также имеет распреде-
ление экстремального значения, а разность двух величин, имеющих распределе-
ние экстремального значения, имеет логистическое распределение. Используя эти
свойства, можно вывести, что в данной модели

ezs ?s
Pr(x = s) = .
S?1 zt ?t
e
t=0

Эта модель называется мультиномиальным логитом.
Относительно функций zs ?s обычно делаются какие-либо упрощающие до-
пущения, например, что факторы для всех альтернатив одни и те же, то есть
1
Это «распределение экстремального значения первого рода» (согласно теореме Гнеденко есть
еще два распределения экстремального значения) или, как его еще называют, распределение Гумбе-
ля. Данное распределение также изредка называют распределением Вейбулла. Кроме того, именем
Вейбулла называют и другие распределения (в частности, «распределение экстремального значения
третьего рода»), поэтому может возникнуть путаница.
632 Глава 21. Модели с качественными зависимыми переменными

u(s) = z?s + ?s , или что функция имеет один и тот же вид, коэффициенты в за-
висимости от s не меняются, а меняются только факторы, определяющие выбор,
то есть u(s) = zs ? + ?s . В первом случае z можно интерпретировать как харак-
теристики индивидуума, принимающего решение. Это собственно мультиномиаль-
ный логит. Во втором случае zs можно интерпретировать как характеристики s-й
альтернативы. Этот второй вариант называют условным логитом.
Можно предложить модель, которая включает оба указанных варианта. Обо-
значим через w характеристики индивидуума, а через zs характеристики s-ой аль-
тернативы (в том числе те, которые специфичны для конкретных индивидуумов).
Например, при изучении выбора покупателями супермаркета альтернативами яв-
ляются имеющиеся супермаркеты, w мог бы включать информацию о доходах
и т.п., а в zs следует включить информацию о супермаркетах (уровень цен, широта
ассортимента и т.п.) и характеристики пары покупатель—супермаркет, такие как
расстояние до супермаркета от места жительства потребителя.
В такой модели u(s) = zs ? + w?s + ?s и вероятности вычисляются по формуле

ezs ?+w?s
Pr(x = s) = .
S?1 zt ?+w?t
e
t=0

Заметим, что в этой модели есть неоднозначность. В частности, если прибавить
к коэффициентам ?s один и тот же вектор ? — это все равно, что умножить числи-
тель и знаменатель на ew ?. Таким образом, для идентификации модели требуется
какая-либо нормировка векторов ?s . Можно, например, положить ?0 = 0.
Для оценивания модели используется метод максимального правдоподобия.
Пусть (xi , zi0 , . . . , zi,S?1 , wi ), i = 1, . . . , N — имеющиеся наблюдения. Обозна-
чим

ezis ?+wi ?s
pis (?, ?) = Pr(xi = s) = .
S?1 zit ?+wi ?t
e
t=0


Тогда логарифмическая функция правдоподобия имеет вид

S?1
ln pis (?, ?), где Is = {i| xi = s}.
ln L(?, ?) =
s=0 i?Is


На основе xi можно ввести набор фиктивных переменных dis , таких что
?
?
? 1, xi = s,
dis =
?
?
0, xi = s.
633
21.2 Оценивание модели с биномиальной зависимой переменной

В этих обозначениях функция правдоподобия приобретет вид
N S?1
ln L(?, ?) = dis ln pis (?, ?).
i=1 s=0


21.2.3. Моделирование зависимости от посторонних
альтернатив в мультиномиальных моделях

Для мультиномиального логита отношение вероятностей двух альтернатив («со-
отношение шансов») равно
e(zs ?+w?s )
Pr(x = s)
= (z ?+w? ) = e((zs ?zt )?+w(?s ??t )) .
Pr(x = t) et t


Оно зависит только от характеристик этих двух альтернатив, но не от характери-
стик остальных альтернатив. Это свойство называется независимостью от посто-
ронних альтернатив. Оно позволяет оценивать мультиномиальные модели на под-
множестве полного множества альтернатив и получать корректные (состоятель-
ные) оценки. Однако это свойство мультиномиального логита во многих ситуациях
выбора не очень реалистично.
Рассмотрим, например, выбор между передвижением на поезде, на самолете
авиакомпании A и на самолете авиакомпании B. Известно, что 50% пассажиров
выбирает поезд, 25% — авиакомпанию A и 25% — авиакомпанию B. Допустим,
авиакомпании предоставляют примерно одинаковые услуги по схожей цене, и пас-
сажиры предпочитают одну из двух авиакомпаний по каким-то чисто субъективным
причинам. Если авиакомпании объединятся, то естественно ожидать, что соотно-
шение шансов для поезда и самолета будет равно один к одному. Однако с точки
зрения мультиномиального логита соотношение шансов должно остаться два к од-
ному, поскольку характеристики передвижения поездом и передвижения самолетом
остались теми же.
Предложено несколько модификаций этой модели, которые уже не демонстри-
руют независимость от посторонних альтернатив, и, следовательно, более реали-
стичны.
В модели вложенного логита используется иерархическая структура альтерна-
тив. В двухуровневой модели сначала делается выбор между группами альтернатив,
а затем делается выбор внутри выбранной группы. В приведенном примере есть
две группы альтернатив: «самолет» и «поезд». Внутри группы «самолет» дела-
ется выбор между авиакомпаниями A и B. Группа «поезд» содержит только одну
альтернативу, поэтому выбор внутри нее тривиален.
Пусть имеется l групп альтернатив. Обозначим через Sk множество альтерна-
тив, принадлежащих k-й группе. Безусловная вероятность того, что будет выбрана
634 Глава 21. Модели с качественными зависимыми переменными

альтернатива s из группы k в модели вложенного логита, определяется формулой
(запишем ее только для условного логита, т.е. модели, где от альтернативы зависят
факторы, но не коэффициенты)

e(zk ?+zs ?)
?? ??
ezk ? ezs ?
Pr(x = s) = = .
e(zm ?+zt ?)
?? ??
l l
ezm ? t?Sm ezt ?
m=1 t?Sm m=1


Если альтернативы s и t принадлежат одной и той же группе k, то отношение
вероятностей равно

??
ezk ? ezs ? ezs ?
Pr(x = s)
= z ? zt ? = zt ? .
e ?k ? e
Pr(x = t) e

Это отношение, как и в обычном мультиномиальном логите, зависит только
от характеристик этих альтернатив. В то же время, если альтернативы s и t при-
надлежат разным группам, k и m соответственно, то отношение вероятностей
равно

?? ??
ezk ? ezs ? ezk ?+zs ?
Pr(x = s)
= zm ? zt ? = zm ?+zt ? .
e? ? e e? ?
Pr(x = t)

Это отношение зависит, кроме характеристик самих альтернатив, также от ха-
рактеристик групп, к которым они принадлежат.
Другое направление модификации модели мультиномиального логита исходит
из того, что независимость от посторонних альтернатив является следствием двух
предположений, лежащих в основе модели: то, что ошибки ?s одинаково распре-
делены и, следовательно, имеют одинаковую дисперсию, и то, что они независимы.
Во-первых, можно предположить, что имеет место гетероскедастичность.
(Имеется в виду не гетероскедастичность по наблюдениям, а гетероскедастичность
по альтернативам.) Для того чтобы ввести гетероскедастичность в модель, доста-
точно дополнить распределения ошибок масштабирующими коэффициентами. При
этом ошибка ?s имеет функцию распределения
?y/?s
Fs (y) = e?e .

Поскольку одновременно все ?s идентифицировать нельзя, то требуется норми-
ровка. Например, можно принять, что ?0 = 1. С помощью такой модификации мы
получим гетероскедастичную модель с распределением экстремального значения.
Во-вторых, можно предположить, что ошибки ?s могут быть коррелирован-
ными друг с другом. Обычно в таком случае используют многомерное нормальное
635
21.3. Упражнения и задачи

распределение ошибок:
? ?
? ?
?0
? ?
? ?
. ? ? N (0, ?? ).
?=? .
.
? ?
? ?
?S?1
Здесь ?? — ковариационная матрица ошибок, которая обычно предполагается
неизвестной. С помощью такой модификации мы получим модель мультиномиаль-
ного пробита.
Ковариационная матрица ?? не полностью идентифицирована. Дело в том,
что, во-первых, важны разности между ошибками, а не сами ошибки, а во-вторых,
ковариационная матрица разностей между ошибками идентифицируется только
с точностью до множителя. Можно предложить различные варианты нормиров-
ки. Как следствие нормировки, количество неизвестных параметров в матрице ??
существенно уменьшается. Если в исходной матрице их S(S + 1)/2, то после нор-
мировки остается S(S ? 1)/2 ? 1 неизвестных параметров.
К сожалению, не существует аналитических формул для расчета вероятностей
альтернатив в мультиномиальном пробите. Вероятности имеют вид многомерных
интегралов. Обозначим через Bs множество таких ошибок ?, которые приводят
к выбору s-й альтернативы, т.е.
Bs = {?|u(s) > u(t), ?s = t} = {?|zs ?s + ?s > zt ?t + ?t , ?s = t},
а через ?(?) — многомерную плотность распределения ?. Тогда вероятность того,
что будет выбрана альтернатива s, равна2

Pr(x = s) = ?(?)d?.
??Bs

Для вычисления таких интегралов, как правило, используется метод Монте-
Карло.


21.3. Упражнения и задачи
Упражнение 1

В Таблице 9.3 на стр. 306 приведены данные о голосовании по поводу увеличе-
ния налогов на содержание школ в городе Троя штата Мичиган в 1973 г. Наблю-
дения относятся к 95-ти индивидуумам. Приводятся различные их характеристики:
Реально требуется вычислить не S -мерный интеграл, а (S ? 1)-мерный, поскольку важны
2

не сами ошибки, а разности между ними.
636 Глава 21. Модели с качественными зависимыми переменными

Pub = 1, если хотя бы один ребенок посещает государственную школу, иначе 0;
Priv = 1, если хотя бы один ребенок посещает частную школу, иначе 0; Years —
срок проживания в данном районе; Teach = 1, если человек работает учителем,
иначе 0; LnInc — логарифм годового дохода семьи в долл.; PropTax — логарифм
налогов на имущество в долл. за год (заменяет плату за обучение — плата зависит
от имущественного положения); Yes = 1, если человек проголосовал на референ-
думе «за», 0, если «против». Зависимая переменная — Yes. В модель включаются
все перечисленные факторы, а также квадрат Years.

1.1. Получите приближенные оценки для логита и пробита с помощью линейной
регрессии.

1.2. Оцените логит и пробит с помощью ММП и сравните с предыдущим пунктом.

1.3. Вычислите коэффициенты логита через коэффициенты пробита и сравните
с предыдущими результатами.

1.4. На основе оценок МП для логита найдите маргинальные значения для Teach,
LnInc и PropTax при среднем уровне факторов.

1.5. Постройте график вероятности голосования «за» в зависимости от Years при
среднем уровне остальных факторов.

1.6. Постройте аналогичный график маргинального значения Years.


Упражнение 2

Рассматривается модель мультиномиального логита. В модели имеется три аль-
тернативы: 0, 1 и 2. Для каждой из альтернатив s = 0, 1, 2 полезность рассчиты-
вается по формуле us = zs ? + ?s + ?s , где ? = 2, ?s = s/5, а ошибки ?s имеют
распределение экстремального значения. Поскольку функция распределения для
??
распределения экстремального значения имеет вид F (?) = e?e , то ошибки мож-
но генерировать по формуле ? = ? ln (? ln (?)), ? имеет равномерное распределе-
ние на отрезке [0; 1]. Зависимая переменная x принимает одно из трех возможных
значений (0, 1 или 2) в зависимости от того, какая полезность выше.

2.1. Пусть z1 = 0.4, z2 = 0.3, z3 = 0.2. Проверить методом Монте-Карло
формулу для вероятностей:

ezs ?+?s
Pr(x = s) = ,
2
ezt ?+?t
t=0
637
21.3. Упражнения и задачи

сгенерировав выборку из 1000 наблюдений для x и рассчитав эмпирические
частоты.

2.2. Сгенерировать данные по модели, взяв zs ? N (0, 2) для всех s. Сгенери-
ровав набор из 1000 наблюдений (xi , z0i , z1i , z2i ), где i = 1, . . . , 1000, по-
лучить оценки параметров модели мультиномиального логита, предполагая,
что ?0 = 0. Сравнить с истинными значениями параметров.


Задачи

1. Чему равны оценки максимального правдоподобия по модели логит с одной
константой?

2. Запишите 7 терминов, которые имеют отношение к моделям с качественной
зависимой переменной.

3. Рассмотрите модель с биномиальной зависимой переменной x, принимаю-
щей значения 0 или 1 и зависящей от фиктивной переменной z, принимающей
значения 0 или 1. Модель включает также константу. Данные резюмируются
следующей таблицей (в клетках стоят количества соответствующих наблю-
дений):

x=0 x=1

z=0 N00 N01

z=1 N10 N11

а) Пусть в основе модели лежит некоторая дифференцируемая функция
распределения F (·), заданная на всей действительной прямой. Найдите
Pr (x = 1) при z = 0 и при z = 1.
б) Запишите в компактном виде логарифмическую функцию правдоподо-
бия.
в) Запишите условия первого порядка для оценок максимального правдо-
подобия, обозначая F (y) = f (y).
г) Для N00 = 15, N01 = 5, N10 = 5, N11 = 15 получите оценки логита
методом максимального правдоподобия.
д) Для тех же данных получите оценки пробита методом максимального
правдоподобия, используя таблицы стандартного нормального распре-
деления.
е) Как можно определить, значима ли фиктивная переменная z? Запишите
формулу соответствующей статистики и укажите, как она распределена.
638 Глава 21. Модели с качественными зависимыми переменными

ж) Получите формулу для приближенных оценок логита методом усредне-
ния (используя линейность отношения шансов для логита). Сравните
с формулой для оценок максимального правдоподобия.

4. Изучается зависимость курения среди студентов от пола. В следующей таб-
лице приведены данные по 40 студентам:

Пол Количество наблюдений Доля курящих

Муж. 20 0.3

Жен. 20 0.4

Оцените по этим данным модель логит методом максимального правдоподо-
бия. Используйте при этом то, что ln 2 = 0.693, ln 3 = 1.099 и ln 11 = 2.398.

5. Пусть переменная x, принимающая значения 0 или 1, зависит от одного
фактора z. Модель включает также константу. Данные приведены в таблице:

x001101010 1

1 2 3 4 5 6 7 8 9 10
z

Запишите для этих данных логарифмическую функцию правдоподобия моде-
ли с биномиальной зависимой переменной.

6. Оцените упорядоченный пробит методом максимального правдоподобия
по следующим данным:

0 1 2 3 4
x

количество на- 50 40 45 80 35
блюдений


7. Модель с биномиальной зависимой переменной имеет вид:


x = ?z + ? + ?,
?
?
?
? 1, x > 0,
?
x=
?
?
0, x < 0,
?

где z — фиктивная переменная. Связь между x и z задана таблицей (в клет-
ках указано количество наблюданий):
639
21.3. Упражнения и задачи

x
0 1
0 24 28
z
1 32 16


а) Найдите оценки коэффициентов логита и пробита по методу усреднения
сгруппированных наблюдений.
б) Найдите оценки максимального правдоподобия.
в) Проверьте значимость модели в целом по статистике отношения прав-
доподобия.

8. По некоторым данным был оценен ряд моделей с биномиальной зависимой
переменной и факторами z1 и z2 . В таблице приведены результаты оцени-
вания этих моделей методом максимального правдоподобия. В скобках за-
писаны стандартные ошибки коэффициентов. Прочерк означает, что данный
фактор не был включен в модель. В последней строке приведено значение
логарифмической функции правдоподобия в максимуме.

Логит Пробит
I II III IV V IV VII VIII

Кон 1.87 0.28 1.88 0.28 1.14 0.17 1.16 0.18
станта (0.38) (0.20) (0.38) (0.20) (0.21) (0.12) (0.21) (0.12)
–0.08 0.0012 –0.06 0.0011
Z1 — — — —
(0.33) (0.19) (0.19) (0.12)
–2.00 –1.99 –1.21 –1.20
Z2 — — — —
(0.44) (0.44) (0.24) (0.25)
ln L –44.4 –68.2 –44.5 –68.3 –44.2 –68.3 –44.4 –68.5



Какую из моделей следует выбрать? Обоснуйте свой ответ.

9. Рассмотрите модель дискретного выбора из двух альтернатив с линейной
случайной функцией полезности вида:

u(s) = ?z s + ? + ?s , s = 0.1,

где все ошибки ?s имеют равномерное распределение U [??, ?] и независи-
мы по уравнениям и по наблюдениям.

а) Найдите вероятности выбора s = 0 и s = 1 для такой модели.
640 Глава 21. Модели с качественными зависимыми переменными

б) Объясните, идентифицируемы ли одновременно параметры ?, ? и ?.
Если нет, то предложите идентифицирующую нормировку.
в) Запишите функцию правдоподобия для этой модели.

10. Покажите, что логарифмическая функция правдоподобия для биномиального
логита является всюду вогнутой по параметрам. Какие преимущества дает это
свойство?

11. Рассмотрите модель дискретного выбора из двух альтернатив: s = 1 и s = 2,
в основе которого лежит случайная полезность ui (s) = zis ? + ?is , предпола-
гая, что ошибки двух альтернатив коррелированы и распределены нормально:
? ? ?? ?? ??
2
? ?1i ? ?? 0 ? ? ?1 ?12 ??
? ? N ??
? ?,? ?? .
2
?2i 0 ?12 ?2

Какие параметры идентифицируемы? Аргументируйте свой ответ. Предло-
жите нормировки, которые позволят оценить такую модель биномиального
пробита. Каким методом можно оценить такой «коррелированный» пробит?

12. Пусть ? (·), ? (·) — функции распределения логистического и стандартного
нормального распределения соответственно.

а) Покажите, что выпуклая комбинация F (y) = (1 ? ?)?(y) + ??(y),
? ? [0; 1], также задает функцию распределения (удовлетворяющую
всем должным требованиям).
б) Постройте на основе F (y) модель, которая охватывает как логит, так
и пробит.
в) Запишите логарифмическую функцию правдоподобия для такой модели.
г) Запишите условия первого порядка для оценок максимального правдо-
подобия.
д) Является ли параметр ? идентифицируемым? (Аргументируйте свой
ответ формально.)

13. Рассмотрите модель дискретного выбора из двух альтернатив с линейной
случайной функцией полезности вида:

u(s) = z s ? + ?s , s = 0.1,

где все ошибки ?0 и ?1 независимы и их функция распределения имеет вид
?y
F (y) = e?e .
641
21.3. Упражнения и задачи

а) Покажите, что

ey
1 0
Pr ? ? ? < y = .
1 + ey

б) Найдите вероятности выбора s = 0 и s = 1 для такой модели. Пока-
жите, что данная модель совпадает с логитом.

14. Пусть в упорядоченном логите зависимая переменная x принимает три зна-
чения (0, 1, 2). Найдите, как вероятность того, что x = 2, зависит от пара-
метра ?1 (границы между 1 и 2), т.е. найдите соответствующее маргинальное
значение.

15. Выведите формулу оценок максимального правдоподобия для регрессии
с упорядоченной зависимой переменной с одной константой. Для количества
наблюдений, соответствующих выбору альтернативы s, используйте обозна-
чение Ns . (Подсказка: удобно перейти от исходных параметров к вероятно-
стям ps = Pr (x = s).)

16. Рассмотрите использование упорядоченной регрессии для моделирования ре-
шения индивидуума о получении образования. Пусть в основе принимаемого
решения имеется некоторый индекс, выражающий полезность от образо-
вания:

Ui = Zi ? + ?i , ?i ? N (0; ? 2 ).

Чем выше индекс, тем более вероятен выбор более высокого уровня об-
разования. Более конкретно, пусть имеются некоторые известные заранее
пороговые значения для индекса, ?1 и ?2 , такие что:

– при Ui > ?2 индивидуум i заканчивает вуз;
– при ?1 < Ui ?2 индивидуум i заканчивает среднюю школу, но не
получает высшего образования;
– при Ui ?1 индивидуум i получает только неполное среднее образо-
вание.

а) Какой вид может иметь зависимая переменная в такой модели?
б) Покажите, что в данной модели нельзя однозначно идентифицировать
как ?, так и ?.
в) Можно ли однозначно идентифицировать ?/??
г) Можно ли однозначно идентифицировать ?, если положить ? = 1?
642 Глава 21. Модели с качественными зависимыми переменными

д) Возможно было бы идентифицировать ?1 и ?2 , если бы они были неиз-
вестны?
е) Запишите функцию правдоподобия для данной модели.

17. В модели регрессии с упорядоченной зависимой переменной альтернативами
были числа s = 0, . . . , S. Как поменяются оценки максимального правдо-
подобия, если альтернативами будут числа 1, 2, 22 , . . . , 2S ? Аргументируйте
свой ответ.

18. В выборах участвуют три кандидата: Иванов (s = 1), Петров (s = 2) и «про-
тив всех» (s = 0). Перед выборами был проведен опрос населения. Для
каждого из опрошенных собраны данные о том, какого он пола (F или M )
и за кого собирается голосовать. В результате получено 6 чисел: NsF , NsM
(s = 0, 1, 2) — количество женщин и мужчин, собирающихся голосовать
за каждого из трех кандидатов. Выведите функцию правдоподобия для соот-
ветствующей модели мультиномиального логита.

19. С помощью мультиномиального логита изучается выбор индивидуумами спо-
соба передвижения между домом и работой: пешком, на автобусе или на лич-
ном автомобиле. Имеются следующие данные: среднее время передвижения
от дома до работы для каждого индивидуума каждым из способов и сред-
ний доход каждого индивидуума. Введите требуемые обозначения и запишите
формулы вероятностей выбора каждого из способов передвижения. Предло-
жите нормировку, которая позволяет идентифицировать модель.

20. Работники кафе быстрого обслуживания «Томато-пицца» могут выбрать
один из видов фирменной униформы: брюки или юбку, — причем одного из
двух цветов: красного и темно-красного. Какой из моделей вы бы описали
такую ситуацию? Объясните.

21. Рассмотрите модель дискретного выбора из трех альтернатив с линейной
функцией полезности, соответствующую модели мультиномиального проби-
та. Предложите нормировки, которые позволят оценить такую модель.

22. В чем состоят преимущества и недостатки мультиномиального пробита по
сравнению с мультиномиальным логитом?


Рекомендуемая литература

1. Cramer J.S. The Logit Model for Economists. — Adward Arnold, 1991.
643
21.3. Упражнения и задачи

2. Davidson R., MacKinnon J.G. Estimation and Inference in Econometrics. —
Oxford University Press, 1993. (Ch. 15).

3. Greene W.H. Econometric Analysis. — Prentice-Hall, 2000. (Ch. 8, 19).

4. Maddala G.S. Limited-Dependent and Qualitative Variables in Econometrics,
Cambridge University Press, 1983. (Ch. 2, 3, 5).

5. Wooldridge Jeffrey M. Introductory Econometrics: A Modern Approach,
2nd ed. — Thomson, 2003. (Ch. 17).

6. Baltagi, Badi H. Econometrics, 2nd edition, Springer, 1999 (Ch. 13).

7. Ruud Paul A. An Introduction to Classical Econometric Theory, Oxford University
Press, 2000 (Ch. 27).
Глава 22

Эффективные оценки
параметров модели ARMA


В главе 14 «Линейные стохастические модели ARIMA» были рассмотрены два
метода оценки параметров моделей ARMA: линейная регрессия для оценивания
авторегрессий и метод моментов для общей модели ARMA. Эти методы не обес-
печивают эффективность оценок параметров модели. Можно предложить способы
оценивания, которые дают более точные оценки. Для этого можно использовать
метод максимального правдоподобия. Рассмотрению этого метода и посвящена
данная глава.



22.1. Оценки параметров модели AR(1)

Рассмотрим только случай модели AR(1): xt = ?t + ?xt?1 , t = 1, . . . , T,
на примере которого хорошо видна и общая ситуация.
Чтобы воспользоваться методом максимума правдоподобия, вычислим плотно-
сти распределения вероятности наблюдений x1 , x2 , . . . , xT :

f (x1 , . . . , xT ) = f (x1 ) · f (x2 |x1 ) · f (x3 |x2 ) · . . . · f (xT |xT ?1 ).

Предположим, что условное распределения xt при известном xt?1 нормально.
В соответствии с моделью AR(1) это распределение имеет среднее ?xt?1 и дис-
22.1. Оценки параметров модели AR(1) 645

2
персию ?? . Значит,

T 1 2
? 2 (xt ??xt?1 )
1
(2??? )? 2
2
·e 2??
f (x1 , . . . , xT ) = f (x1 ) =
t=2
T
1
(xt ??xt?1 )2
? 2
? T ?1 2??
2
= f (x1 )(2??? ) e .
2 t=2



Плотность как функция параметров ? и ?? является функцией правдоподобия.
Вместо полной плотности f (x1 , . . . , xT ) в качестве приближения рассмотрим
плотность условного распределения x2 , . . . , xT , считая x1 заданным, т.е. будем
оперировать с f (x2 , . . . , xT |x1 ).
Тем самым мы потеряем одну степень свободы. Приближенная функция прав-
доподобия равна
T
(xt ??xt?1 )2
1
?
? T ?1 T ?1 1
2?2 ?
2
2 s(?)
2??
2 2 2 2??
L? (?, ?? ) = 2??? e = 2??? e ,
t=2



T
(xt ? ?xt?1 )2 .
где s(?) =
t=2
2 2
Максимизируя ее по ?? , выразим ?? через ? :
s(?)
2
?? = .
T ?1
2
Подставляя это выражение в L? (?, ?? ), получим концентрированную функцию
правдоподобия:
? T ?1
2
s(?) T ?1
e?
Lc (?) = 2? .
2
?
T ?1

Максимизация Lc (?) по ? эквивалентна минимизации суммы квадратов
?
T T
(xt ? ?xt?1 )2 = ?t2 . Таким образом, задача сводится к обычному
s(?) =
t=2 t=2
МНК. Минимум этого выражения по ? равен просто
T
xt xt?1
?? = t=2
.
T ?1
x2
t
t=1

Получили условную МНК-оценку. Несложно обобщить этот метод на случай
AR(p) при p > 1.
Глава 22. Эффективные оценки параметров модели ARMA
646

Мы знаем, что в качестве оценки ? можно использовать выборочную автокор-
реляцию r1 . Но так как условная МНК-оценка несколько иная, в вырожденных
случаях можно получить значения |?| > 1. Это можно обойти, учитывая информа-
цию о x1 . Для этого воспользуемся тем, что частное распределение x1 является
2
??
2=
нормальным со средним 0 и дисперсией ?x1 .
1 ? ?2
Можно воспользоваться здесь взвешенным МНК. Сумма квадратов остатков
после преобразования в пространстве наблюдений равна
T
(xt ? ?xt?1 )2 .
2
x2
h(?) = 1 ? ? +
1
t=2

Получим точную МНК-оценку

?? = argmin h(?).
?
?

(1??2 )x2
1
?2 1
?
2 2
?? 2??
Плотность частного распределения x1 равна f (x1 ) = .
2? 1??2 e
?1
1
2?
T
2 h(?)
?2
Отсюда f (x1 , . . . , xT ) = 1 ? 2??
2 2??? 2 . Будем рассматривать
e
2
эту плотность как функцию правдоподобия, обозначая через L(?, ?? ).
2
Точную ММП-оценку находим из условия L(?, ?? ) > max.
2
?? ,?
2 2
Оценкой ?? будет h(?) T . Концентрируя функцию правдоподобия по ?? ,
получим:
?T
1 2
h (?)
Lc (?) = 1 ? ?2 e? 2 > max!
T
2
2?
T ?

Это эквивалентно решению задачи
1
2 ?T
1?? h (?) > min!
?

h(?? )
?
?
Отсюда найдем ММП-оценку ?? и ?? =
?2 .
?
T
?1
Множитель 1 ? ?2 T обеспечивает существование минимума в допустимом
интервале ?1 < ? < 1, хотя теперь для нахождения минимума требуются ите-
рационные процедуры. Для таких процедур оценка r1 может послужить хорошим
начальным приближением.
1
Величина 1 ? ?2 не зависит от T , и с ростом T множитель (1 ? ?2 )? T стре-
мится к единице. Поэтому этот множитель существенен при малых объемах выбо-
рок и |?| близких к 1. При больших T и |?| не очень близких к 1 без него можно
22.2. Оценка параметров модели MA(1) 647

обойтись, соглашаясь с незначительными потерями точности оценки, но сильно
сокращая объем вычислений. Этим обстоятельством объясняется использование
МНК-оценок.


22.2. Оценка параметров модели MA(1)
Продемонстрировать общий метод оценивания модели MA(p) можно, рассмат-
ривая простейший случай модели MA(1): xt = ?t ? ??t?1 .
Отталкиваясь от наблюдений x1 , x2 , . . . , xT , воспользуемся методом макси-
мального правдоподобия (ММП). Для этого необходимо вычислить для модели
функцию плотности распределения вероятности. Это легче всего сделать, перейдя
от последовательности xt к последовательности ?t .
x1 = ?1 ? ??0 ? ?1 = x1 + ??0 ,
x2 = ?2 ? ??1 ? x2 = ?2 ? ?x1 ? ? 2 ?0 ? ?2 = x2 + ?x1 + ? 2 ?0
и так далее.
Получаем систему:
? ? ? ? ? ?? ?
· · · 0? ? x1 ?
? ?1 ? ? ? ? ?1 0 0
???? ? ?? ?
???? ? ?? ?
? ? ? ? ?2 ? ?? 0? ? x2 ?
···
? 2? ? ? ? ?? ?
1 0
???? ? ?? ?
???? ? ?? ?
? ?3 ? = ? ? 3 ? ?0 + ? ? 2 0? ? x3 ? .
···
? 1
???? ? ?? ?
???? ? ?? ?
?.? ?.? ?. .? ? . ?
. . ..
.? ?.? ?. . . .? ? . ?
?. .
.? ?. . . .? ? . ?
???
???? ? ?? ?
? T ?1 ? T ?2 ? T ?3 · · · 1
?T
?T xT
Это система уравнений относительно ?. В векторной форме
? (22.1)
? = ??0 + Qx,
где мы обозначили
? ? ? ?
· · · 0?
??? ? 1 0 0
?? ? ?
?? ? ?
? ?2 ? ? 0?
···
?? ? ?
? 1 0
?? ? ?
? = ? 3? ? ?
? ?? ? Q=? 0? .
?2
и ···
? 1
?? ? ?
?? ? ?
?.? ? .?
. . . ..
?.? . . . .?
? .
?.? . . . .?
?
?? ? ?
? T ?1 ? T ?2 ? T ?3 · · · 1
?T
Глава 22. Эффективные оценки параметров модели ARMA
648

Будем полагать, что ?t — последовательность независимых случайных величин,
2
имеющих одинаковое нормальное распределение со средним 0 и дисперсией ?? .
Плотность распределения вероятности записывается в виде
T
1
?2
? 2
T +1 t
2??
(2??? )? 2 e
2
(22.2)
f (?0 , . . . , ?T ) = f (?0 , x1 , . . . , xT ) = .
t=0



Метод максимального правдоподобия заключается в нахождении такого значе-
ния ?, при котором достигается максимум (22.2), или, что эквивалентно, достигает
минимума сумма квадратов
T
?2 = ?2 + ? ? = 1 + ? ? ?2 + 2x Q ??0 + x Q Qx.
?? ? (22.3)
S (?|?0 ) = 0 0
t
t=0

Необходимо рассмотреть теперь проблему определения величины ?0 . Первый
подход — положить ?0 = 0. Тогда требуется минимизировать x Q QX > min!
?
Эта нелинейная задача решается разными вычислительными методами. Полу-
ченные таким путем решения называется условным МНК-решением, а ? ? =
= arg min x Q QX — условной МНК-оценкой.
?
При втором подходе величина ?0 вместе с ? входит в число подлежащих мини-
мизации свободных параметров. Так как величина ?0 входит в выражение для ?t
линейно, то можно частично облегчить оптимизационную процедуру, поставив вме-
сто ?0 значение ?0 , минимизирующее функцию s при данном ?.
?
То есть на первом шаге решаем задачу S(?|?0 ) > min!
?0

?
?S(?|?0 ) xQ?
?? ? ? ?0 = ?
= 2(1 + ? ?)?0 + 2x Q ? = 0 ? .
??
??0 1+? ?
Далее, подставим ?0 = ?0 (?) в S(?|?0 ) (22.3) и решим задачу:
? ?

S (?|?0 (?)) > min!
?
?
2
2(x Q ?)2
? ?
xQ?
?? + x Q Qx ?
S (?|?0 (?)) = 1 + ? ?
? =
?? ??
1+? ? 1+??
(x Q ?)2
?
= x Q Qx ? > min!
??
1+?? ?0 , ?


Полученное при таком подходе значение ? ? , минимизирующее функцию S(?),
x Q? ? ?
?
называют точной МНК-оценкой для ? и ?0 = ? .
?
1 + ?? ??
??
22.2. Оценка параметров модели MA(1) 649

Небольшой дополнительный анализ приводит к точным ММП-оценкам.
??
Обозначим 1 + ? ? = K. Функцию правдоподобия можно представить в виде

f (?0 , . . . , ?T ) = f (?0 , x1 , . . . , xT ) =
?1
2 2
?2 1
?T
? 2 (?0 ??0 ) ?
K
2??? 1 2 S(?)
?2 2 2
?K
2?? 2??
e e
= 2??? ,
K

(x Q ?)2
?
где S (?) = x Q Qx ? .
??
1+? ?
Видим, что первая часть этой записи — это функция плотности распределе-
2
ния ?0 ? N (?0 , ?? ), т.е первая часть представляет собой условное распреде-
?K
ление f (?0 |x1 , . . . , xT ) неизвестного значения ?0 при известных наблюдениях
x1 , x2 , . . . , xT .
Вторая часть записи — это частная функция плотности распределения
вероятности наблюдений x1 , x2 , . . . , xT , т.е. f (x1 , . . . , xT ). Действительно,
x = ?0 c + D?, где
? ? ? ?
???? · · · 0?
?1 0
?? ? ?
?? ? .?
..
?0? ??? . .?
.?
1
?? ?
c = ? ?, D=? ?.
?.? ?. ?
.. ..
?.? ?. . 0?
.
?.? ?. ?
?? ? ?
· · · ?? 1
0 0

Ковариационная матрица ряда x равна

? = E(xx ) = E (?0 c + D?) (?0 c + D?) =

= E ?2 cc 2
+ E D?? D = ?? (cc + DD ).
0

Обратная к ней:

1
??1 = (cc + DD )?1 =
2
??
?1
1 ?1 ?1 ?1 ?1
? DD
= 2 DD c 1 + c DD c c DD .
??

Заметим, что D ?1 = Q, (D D)?1 = Q Q и ?D?1 c = ?Qc = ?. Тогда
?

1 Q ?? Q
??1 = QQ? .
2
?? 1+??
Глава 22. Эффективные оценки параметров модели ARMA
650

Определитель ковариационной матрицы ?:
?1
2T 2T
|?| = ?? cc + DD = ?? 1 + c DD c DD =
?1
2T 2T ??
= ?? 1 + c DD c = ?? 1 + ? ? ,
где мы воспользовались тем, что |D| = 1 и |DD | = |D||D | = 1.
По формуле плотности многомерного нормального распределения
1 1 ?1 x
f (x1 , . . . , xT ) = (2?)? 2 |?|? 2 e? 2 x ?
T
=
?1 1
2 ?2
T
Q Q? Q ?? Q
? 2x x
2
?? 1+?
2?? ?
= 2??? 1+? ? e .
1
?T ?
1 2 S(?)
?2 2 2 2??
e
Поэтому f (x1 , . . . , xT ) = K 2??? .
Итак, необходимо решить задачу:
f (?0 , . . . , ?T ) = f (?0 , x1 , . . . , xT ) =
= f (?0 |x1 , . . . , xT ) · f (x1 , . . . , xT ) > max!
?0 , ?

От ?0 зависит только первая часть ? ?? = ?0 , а задача приобретает вид
?
0
1
2 ?2
T
?
1 2 S(?)
?2
f (x1 , . . . , xT ) > max! ? K > max!
2??
e
2???
2
? ?? ,

2 ?2
Нетрудно получить оценку по ?? : ?? = S(?) T . Концентрируем функцию прав-
доподобия:
?T
2
S (?)
1
?2
e? 2 > max!
T
fc (x1 , . . . , xT ) = K 2?
T ?

Собираем в данной функции вместе все, что зависит от ?, и получаем
T T
2
1 T 2 1
> max! ? K T S (?) > min!
.
1
2?e ? ?
K T S (?)

Значение ? ? , минимизирующее функцию K 1/T S(?), называют точной ММП-
?
оценкой.
Заметим, что функция K зависит лишь от ? , не зависит от наблюдений, и с ро-
стом T величина K 1/T стремится к единице. Поэтому этот множитель существе-
нен лишь при малых объемах выборок и в этом случае не представляет труда для
вычислений, а при умеренно больших T без него можно обойтись, соглашаясь с
незначительным смещением оценки, но сильно сокращая объем вычислений, осо-
бенно в случае MA(q). Этим обстоятельством объясняется использование точных
МНК-оценок.
22.3. Оценки параметров модели ARMA(P, Q) 651

22.3. Оценки параметров модели ARMA(p, q)
Рассмотрим модели ARMA(p, q) ряда {xt }:
xt ? ?1 xt?1 ? · · · ? ?p xt?p = ?t ? ?1 ?t?1 ? · · · ? ?q ?t?q .

Будем полагать, что ?t — последовательность независимых случайных вели-
чин, имеющих одинаковое нормальное распределение со средним 0 и дисперси-
2
ей ?? .
Через автоковариационную функцию стационарного ARMA-процесса
?i = E[xt xt?i ] можно выразить ковариационную матрицу x = (x1 , . . . , xT )
? ?
· · · ?T ?1 ?
? ?0 ?1
? ?
? ?
?? ?T ?2 ?
···
?0
?1 ?
? ? = ?.
?. .?
. ..
?. .?
. .
?. . .?
? ?
?T ?1 ?T ?2 · · · ?0

Она является симметричной тёплицевой матрицей и обозначается как
? [?0 , . . . , ?T ?1 ].
Так как x ? NT (0, ?), то логарифмическая функция правдоподобия процесса
равна
T 1 1
2
ln(2??? ) ? ln |?| ? x ??1 x.
2
ln L(?, ?, ?? ) = ? (22.4)
2 2 2
Через ri обозначаем автоковариацию, нормированную на дисперсию ошибок,
?T ? 1
?i ?0
т.е. ri = 2 , а через R обозначаем матрицу ? 2 , . . . , . В терминах
2
?? ?? ??
нормированной R логарифмическая функция правдоподобия (22.4) записывается
следующим образом:
T 1 1
2
ln(2??? ) ? ln |R| ? 2 x R?1 x > max!
2
ln L(?, ?, ?? ) = ?
2 2 2??

Воспользовавшись условиями первого порядка
2
? ln L(?, ?, ?? )
= 0,
2
???
2
получим оценку ?? как функцию от ? и ? :
x R?1 x
2 2
?? = ?? (?, ?) = .
T
Глава 22. Эффективные оценки параметров модели ARMA
652

2
Поставив оценку ?? в логарифмическую функцию правдоподобия, получим
концентрированную функцию правдоподобия

x R?1 x
T T 1 T
ln L (?, ?) = ? ln(2?) ? ? ln |R| ? ln > max!
c
2 2 2 2 T

Точные оценки параметров ARMA для процесса xt можно найти, максимизируя
функцию ln Lc (?, ?), что делается с помощью численных методов.


22.4. Упражнения и задачи
Упражнение 1
Сгенерируйте ряд длиной 200 наблюдений по модели MA(1) с параметром
?1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с единич-
ной дисперсией. По этому ряду оцените модель MA(1) методом моментов (прирав-
нивая теоретические и выборочные автокорреляции), условным методом наимень-
ших квадратов и точным методом максимального правдоподобия. Сравните все эти
оценки с истинным значением.

Упражнение 2
Сгенерируйте ряд длиной 200 наблюдений по модели AR(1) с параметром
?1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с еди-
ничной дисперсией. По этому ряду оцените модель AR(1) методом моментов (при-
равнивая теоретические и выборочные автокорреляции), условным методом наи-
меньших квадратов и точным методом максимального правдоподобия. Сравните
все эти оценки с истинным значением.

Упражнение 3
Сгенерируйте ряд длиной 200 наблюдений по модели ARMA(1, 1) с парамет-
рами ?1 = 0.5 и ?1 = 0.5 и нормально распределенной неавтокоррелирован-
ной ошибкой с единичной дисперсией. По этому ряду оцените модель ARMA(1, 1)
методом моментов (приравнивая теоретические и выборочные автокорреляции),
условным методом наименьших квадратов и точным методом максимального прав-
доподобия. Сравните все эти оценки с истинными значениями.

Задачи
1. Какие предположения должны выполняться, чтобы можно было оценить мо-
дель MA(1) с помощью метода максимального правдоподобия?
653
22.4. Упражнения и задачи

2. Сформулируйте кратко отличие между условной и точной оценкой МНК для
модели MA(1) и связь между ними (с пояснением обозначений).

3. Как можно найти оценку параметра для модели AR(1), исходя из предпо-
ложения, что первое наблюдение не является случайной величиной? Как
называется такая оценка?

4. Запишите функцию правдоподобия для модели авторегрессии первого поряд-
ка, выделив множитель, который является причиной отличия точной ММП-
оценки от условной оценки. Плотности распределения какой величины соот-
ветствует этот множитель?

5. Запишите функцию правдоподобия для модели скользящего среднего первого
порядка.


Рекомендуемая литература
1. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление.
(Вып. 1, 2). — М.: «Мир», 1972.

2. Песаран М., Слейтер Л. Динамическая регрессия: теория и алгоритмы. —
М: «Финансы и статистика», 1984. (Гл. 2–4).

3. Engle Robert F. Autoregressive Conditional Heteroskedasticity with Estimates
of the Variance of U.K. Inflation // Econometrica, 50, 1982, 987–1008.

4. Hamilton James D. Time Series Analysis. — Princeton University Press, 1994.
(Ch. 5).

5. Judge G.G., Griffiths W.E., Hill R.C., Luthepohl H., Lee T. Theory and Practice
of Econometrics. — New York: John Wiley & Sons, 1985. (Ch. 8).

6. (*) Справочник по прикладной статистике: В 2-х т. Т. 2. / Под ред.
Э. Ллойда, У. Ледермана. — М.: «Финансы и статистика», 1990. (Гл. 18).
Глава 23

Векторные авторегрессии


23.1. Векторная авторегрессия:
формулировка и идентификация

Модели векторной авторегрессии (VAR) представляют собой удобный инстру-
мент для одновременного моделирования нескольких рядов. Векторная авторегрес-
сия — это такая модель, в которой несколько зависимых переменных, и зависят они
от собственных лагов и от лагов других переменных. Если в обычной авторегрессии
коэффициенты являются скалярами, то здесь следует рассматривать уже матрицы
коэффициентов.
В отличие от модели регрессии, в VAR-модели нет нужды делить переменные
на изучаемые переменные и независимые факторы. Любая экономическая пере-
менная модели VAR по умолчанию включается в состав изучаемых величин (хотя
есть возможность часть переменных рассматривать как внешние к модели, экзо-
генные).
Отметим, что естественным расширением модели VAR является модель
VARMA, включающая ошибку в виде скользящего среднего. Однако модель VARMA
не получила очень широкого распространения из-за сложности оценивания. Ав-
торегрессию легче оценивать, так как выполнено предположение об отсутствии
автокорреляции ошибок. В то же время, члены скользящего среднего приходит-
ся оценивать методом максимального правдоподобия. Так как каждый обратимый
процесс скользящего среднего может быть представлен в виде AR(?), чистые ав-
торегрессии могут приближать векторные процессы скользящего среднего, если
655
23.1. Векторная авторегрессия: формулировка и идентификация

добавить достаточное число лагов. Предполагается, что при этом ошибка не бу-
дет автокоррелированной, что позволяет с приемлемой точностью моделировать
временные ряды, описываемые моделью VARMA, при помощи авторегрессии до-
статочно высокого порядка.
Пусть xt — вектор-строка k изучаемых переменных, zt — вектор-строка
независимых факторов (в него может входить константа, тренд, сезонные пере-
менные и т.п.).
Как и традиционные системы одновременных уравнений, модели векторной
авторегрессии имеют две формы записи: структурную и приведенную. Структурная
векторная авторегрессия (SVAR) p-го порядка — это модель следующего вида:

p
xt?j ?j + zt A + ?t , где (?0 )ll = 0.
xt =
j=0


Здесь ?j — матрица k ? k коэффициентов авторегрессии для j-го лага xt , A —
матрица коэффициентов при независимых факторах. Коэффициенты, относящие-

<<

стр. 24
(всего 28)

СОДЕРЖАНИЕ

>>