<<

стр. 9
(всего 28)

СОДЕРЖАНИЕ

>>

?? ?? ? ? = 0,
?a12
m12 m22 00

эквивалентно решению задачи прямой регрессии x1 = a12 x2 + 1N b1 + e1 .

20. Пусть x1 и x2 — центрированные переменные. Уравнение ортогональной
регрессии, поcтроенные по множеству наблюдений над величинами x1 и x2 ,
есть x1 ? x2 = 0. Запишите вектор первой главной компоненты.

21. Оценка парной регрессии ведется в стандартизированной шкале. Как связан
коэффициент детерминации и коэффициент регрессии (угловой)?

22. Была оценена регрессия x1 = ?12 x2 + ?1 + ?1 , где x1 измеряется в рублях,
а x2 — в килограммах. Затем ту же регрессию оценили, изменив единицы
измерения на тысячи рублей и тонны. Как при этом поменялись следующие
величины: а) оценка коэффициента ?12 ; б) коэффициент детерминации? Как
в этом случае должна выглядеть матрица преобразования D?

23. Пусть в ортогональной регрессии, построенной для переменных x1 и x2 ,
из-за деноминации рубля единица измерения x2 изменилась в 1000 раз. Как
в этом случае должна выглядеть матрица преобразования D? Изменятся ли
оценки? Ответ обосновать.

24. Пусть в наблюдениях задачи 2 единица измерения x1 увеличилась в 10 раз.
Как в этом случае должна выглядеть матрица преобразования D? Как изме-
нятся оценки уравнения прямой и обратной регрессии?
? ?
?9 0?
25. В регрессии в метрике ?1 матрица ? равна ? ?. Как преобразовать
04
исходные переменные, чтобы свести эту регрессию к ортогональной?


Рекомендуемая литература
1. Айвазян С.А. Основы эконометрики. Т.2. — М.: «Юнити», 2001. (Гл. 2).
221
6.5. Упражнения и задачи

2. Болч Б., Хуань К.Дж. Многомерные статистические методы для экономи-
ки. — М.: «Статистика», 1979. (Гл. 7).

3. Джонстон Дж. Эконометрические методы. — М.: «Статистика», 1980.
(Гл. 2, 11).

4. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн.1. —
М.: «Финансы и статистика», 1986. (Гл. 1, 2).

5. Езекиэл М., Фокс К. Методы анализа корреляций и регрессий. — М.: «Ста-
тистика», 1966. (Гл. 5, 7).

6. Кейн Э. Экономическая статистика и эконометрия. Вып. 2. — М.: «Стати-
стика», 1977. (Гл. 10, 11).

7. Лизер С. Эконометрические методы и задачи. — М.: «Статистика», 1971.
(Гл. 2).

8. (*) Маленво Э. Статистические методы эконометрии. Вып. 1. — М.: «Ста-
тистика», 1975. (Гл. 1).

9. Judge G.G., Hill R.C., Griffiths W.E., Luthepohl H., Lee T. Introduction to the
Theory and Practice of Econometric. John Wiley & Sons, Inc., 1993. (Ch. 5).

10. William E., Griffiths R., Carter H., George G. Judge Learning and Practicing
econometrics, N 9 John Wiley & Sons, Inc., 1993. (Ch. 3).
Глава 7

Основная модель линейной
регрессии


7.1. Различные формы уравнения регрессии

Основная модель линейной регрессии относится к классу простых регрессий,
в левой части уравнения которых находится одна переменная: объясняемая, моде-
лируемая, эндогенная, а в правой — несколько переменных: объясняющих, фак-
торных, независимых, экзогенных. Объясняющие переменные называют также
факторами, регрессорами.
Для объясняемой переменной сохраняется прежнее обозначение — x. А век-
тор-строка размерности n объясняющих переменных будет теперь обозначаться
через z, поскольку свойства этих переменных в основной модели регрессии суще-
ственно отличаются от свойств объясняемой переменной. Через X и Z обозна-
чаются, соответственно, вектор-столбец размерности N наблюдений за объясня-
емой переменной и матрица размерности N ? n наблюдений за объясняющими
переменными. Обозначения параметров регрессии и остатков по наблюдениям со-
храняются прежними (отличие в том, что теперь вектор-столбцы ? и a имеют
размерность n).
Уравнения регрессии в исходной форме имеют следующий вид:


(7.1)
X = Z? + 1N ? + ?,
223
7.1. Различные формы уравнения регрессии

или в оценках

(7.2)
X = Za + 1N b + e.

В сокращенной форме:

? ? (7.3)
X = Z? + ?,

или

? ? (7.4)
X = Za + e.

Оператор МНК-оценивания ((6.11, 6.13) в п. 6.2) принимает теперь вид:

a = M ?1 m, b = x ? z a, (7.5)
??

??
где M = 1 N Z Z — ковариационная матрица переменных z между собой,
??
m = 1 N Z X — вектор ковариаций переменных z с переменной x. Первую часть
оператора (7.5) часто записывают в форме:
?1
?? ?? (7.6)
a= ZZ Z X.

МНК-оценки e обладают следующими свойствами ((6.6, 6.12) в предыдущей
главе):
1 1?
(7.7)
e=
? 1 e = 0, cov (Z, e) = Z e = 0.
NN N

Коэффициент детерминации рассчитывается следующим образом (см. (6.20)):

s2 s2
2 q
R = 2 = 1? 2,
e
(7.8)
sx sx

где s2 — дисперсия объясняемой переменной, s2 — остаточная дисперсия,
x e

(6.2.6)
s2 = a M a = a m = m a = m M ?1 m (7.9)
q

— объясненная дисперсия.
Уравнение регрессии часто записывают в форме со скрытым свободным членом:

(7.10)
X = Z ? + ?,
(7.11)
X = Za + e,
224 Глава 7. Основная модель линейной регрессии
? ? ? ?
??? ?a?
где Z = [Z 1N ], ? = ? ?, a = ? ?.
? b
При таком представлении уравнения регрессии оператор МНК-оценивания
записывается следующим, более компактным, чем (7.5), образом:

a = M ?1 m, (7.12)

1 1
где M = X, или
NZ Z, m = NZ

?1
(7.13)
a= ZZ Z X.


M и m также, как M и m, являются матрицей и вектором вторых моментов,
но не центральных, а начальных. Кроме того, их размерность на единицу больше.
Оператор (7.12) дает, естественно, такой же результат, что и оператор (7.5).
Этот факт доказывался в п. 4.2 для случая одной переменной в правой части урав-
нения.

В общем случае этот факт доказывается следующим образом.
Учитывая, что

? (7.14)
X = X + 1N x,
?

(7.15)
Z= ,
?
Z + 1N z 1N
?

можно установить, что
? ?
? M +z z z ?
?? ?
M =? ?, (7.16)
z
? 1
? ?
? m+z x ?
??
m=? ?,
x
?

и записать систему нормальных уравнений, решением которой является (7.12) в сле-
дующей форме:
? ?? ? ? ?
? M + z z z ?? a ? ? m + z x ?
?? ? ??
? ?? ?=? ?.
z
? 1 b x?
225
7.1. Различные формы уравнения регрессии

Вторая (нижняя) часть этой матричной системы уравнений эквивалентна второй
части оператора (7.5). После подстановки b, выраженного через a, в первую (верх-
нюю) часть данной матричной системы уравнений она приобретает следующий вид:

M a + z z a + z x ? z z a = m + z x,
?? ?? ?? ??

и после приведения подобных становится очевидной ее эквивалентность первой ча-
сти оператора (7.5).
Что и требовалось доказать.

Кроме того, можно доказать, что
? ?
M ?1 ?M ?1 z
?
? ?
?1
=? ?. (7.17)
M
??M ?1 1 + z M ?1 z
z ? ?

Этот факт потребуется ниже. (Правило обращения блочных матриц см. в Прило-
жении A.1.2.)

Справедливость этого утверждения проверяется умножением M ?1 из (7.17) на M
из (7.16). В результате получается единичная матрица.

МНК-оценки вектора e ортогональны столбцам матрицы Z:

(7.18)
Z e = 0.

Доказательство наличия этого свойства получается как побочный результат при вы-
воде оператора оценивания (7.12) путем приравнивания нулю производных оста-
точной дисперсии по параметрам регрессии, как это делалось в п. 6.2.
Поскольку последним столбцом матрицы Z является 1N , из (7.18) следует,
что

(7.19)
1N e = 0,

т.е. e = 0. Из остальной части (7.18):
?

(7.20)
Z e = 0,

что в данном случае означает, что cov(Z, e) = 0.

Действительно, раскрывая (7.20):
(7.15)
? ?
Z e = Z e + z 1N e = Z e = 0.
?
<??>
=0
226 Глава 7. Основная модель линейной регрессии

Таким образом, (7.18) эквивалентно (7.7).
Однако уравнения (7.10) допускают и иную интерпретацию. Если последним
в Z является не 1N , а столбец «обычной» переменной, то это — регрессия без
свободного члена. В таком случае из (7.18) не следует (7.19), и свойства (7.7) не вы-
полняются. Кроме того, для такой регрессии, очевидно, не возможна сокращенная
запись уравнения. Этот случай в дальнейшем не рассматривается.
В дальнейшем будет применяться в основном форма записи уравнения со скры-
тым свободным членом, но чтобы не загромождать изложение материала, символ
«?» будет опускаться, т.е. соотношения (7.10, 7.11, 7.12, 7.13, 7.18) будут исполь-
зоваться в форме

(7.21)
X = Z? + ?,
(7.22)
X = Za + e,
a = M ?1 m, (7.23)
?1
(7.24)
a= ZZ Z X,
(7.25)
Z e = 0.


Случаи, когда a, Z, m, M означают не a, Z, m, M , а собственно a, Z, m,
M , будут оговариваться специально.



7.2. Основные гипотезы, свойства оценок

Применение основной модели линейной регрессии корректно, если выполня-
ются следующие гипотезы:
g1. Между переменными x и z существует линейная зависимость, и (7.10)
является истинной моделью, т.е., в частности, правильно определен набор факторов
z — модель верно специфицирована.
g2. Переменные z детерминированы, наблюдаются без ошибок и линейно
независимы.
g3. E(?) = 0.
g4. E (?? ) = ? 2 IN .
Гипотеза g2 является слишком жесткой и в экономике чаще всего нарушается.
Возможности ослабления этого требования рассматриваются в следующей главе.
Здесь можно заметить следующее: в тех разделах математической статистики, в ко-
торых рассматривается более общий случай, и z также случайны, предполагается,
что ? не зависит от этих переменных-регрессоров.
227
7.2. Основные гипотезы, свойства оценок

В этих предположениях a относится к классу линейных оценок, поскольку

(7.26)
a = LX,
(7.13)
где L = (Z Z)?1 Z — детерминированная матрица размерности (n + 1) ? N ,
и доказывается ряд утверждений о свойствах этих МНК-оценок.
1) a — несмещенная оценка ?.

Действительно:
(7.26), g1 LZ=In+1
(7.27)
a = L (Z? + ?) = LZ? + L? = ? + L?
и
g3
E (a) = ?.

2) Ее матрица ковариации Ma удовлетворяет следующему соотношению:
1 2 ?1
(7.28)
Ma = ?M ,
N
в частности,
? 2 ?1
2 2 2
j = 1, . . . , n + 1 (?an+1 ? ?b ),
?aj = m,
N jj
где m?1 — j-й диагональный элемент матрицы M ?1 .
jj

Действительно:
1 2 ?1
(7.27) g4 ?1
Ma = E ((a ? ?)(a ? ?) ) = E (L?? L ) = ? 2 LL = ? 2 (Z Z) = ?M .
N

?2 1 2
Этот результат при n = 1 означает, что , и его можно получить, исполь-
?a
=
N s2z
зуя формулу (5.17) распространения ошибок первичных измерений.
zi ? z?
Действительно, a = di (xi ? x), где di = 2 . Тогда
?
(zi ? z )
?
N
?a 1
=? dl +di = di
?xi N
< ? l=1 >
??? ?
=0

и в соответствии с указанной формулой:
2
?2 ?2 1
(zi ? z )
?
2 2
d2 2
?a =? =? = = .
2 2 N s2
i
(zi ? z )
(zi ? z )2 ? z
?
228 Глава 7. Основная модель линейной регрессии

Здесь важно отметить следующее.
Данная формула верна и в случае использования исходной или сокращенной за-
писи уравнения регрессии, когда M — матрица ковариации регрессоров. Это сле-
дует из (7.17). Но в такой ситуации она (эта формула) определяет матрицу ковариа-
ции только оценок коэффициентов регрессии при объясняющих переменных, а дис-
2
персию оценки свободного члена можно определить по формуле ? 1 + z M ?1 z ,
? ?
N
как это следует также из (7.17).
Следует также обратить внимание на то, что несмещенность оценок при учете
только что полученной зависимости их дисперсий от N свидетельствует о состоя-
тельности этих оценок.
Иногда формулу (7.28) используют в другой форме:
?1
Ma = ? 2 Z Z (7.29)
.

3) Несмещенной оценкой остаточной дисперсии ? 2 является
N 1
s2 = s2 = (7.30)
?e e e.
N ?n?1 e N ?n?1

Для доказательства этого факта сначала устанавливается зависимость МНК-оценок
ошибок от их истинных значений, аналогично (5.10):
g1, (7.27)
e = X ? Za Z? + ? ? Z (? + L?) = (IN ? ZL) ? = B?, (7.31)
=
и устанавливаются свойства матрицы B (аналогично тому, как это делалось в п. 5.1)
1
?1
ZM ?1 Z .
B = IN ? ZL = IN ? Z (Z Z) Z = IN ? (7.32)
N
Эта матрица:
а) вещественна и симметрична: B = B,
б) вырождена и имеет ранг N ? n ? 1, т.к. при любом ? = 0 выполняется BZ? = 0
(7.32)
(поскольку BZ = 0), а в множестве Z? в соответствии с g2 имеется точно n + 1
линейно независимых векторов,
в) идемпотентна: B 2 = B,
г) положительно полуопределена в силу симметричности и идемпотентности:
? B? = ? B 2 ? = ? B B? 0.
Теперь исследуется зависимость остаточной дисперсии от ? 2 :
1 (7.31) 1 1
s2 = ee = ? B B? = ? B?,
e
N N N
2
1 g4 ?
E s2 = E (? B?) = (7.33)
tr (B),
e
N <? ?>
N
bii
229
7.2. Основные гипотезы, свойства оценок

где tr(·)— операция следа матрицы, результатом которой является сумма ее диаго-
нальных элементов.
Далее, в силу коммутативности операции следа матрицы

tr (B) = tr (IN ) ? tr (ZL) = N ? tr (LZ) = N ? n ? 1.
<?>
In+1

(См. Приложение A.1.2.)
N ?n?1 2 1
Таким образом, E s2 = = ?2 .
? ,и E ee
N ?n?1
e
N
Что и требовалось доказать.

Тогда оценкой матрицы ковариации Ma является (в разных вариантах расчета)

s2 ?1
?e ee ee ?1
M ?1 = (7.34)
M= ZZ ,
N (N ? n ? 1) N ?n?1
N

и, соответственно, несмещенными оценками дисперсий (квадратов ошибок) оценок
параметров регрессии:

ee
s2 j = m?1 , j = 1, . . . , n + 1 (s2n+1 ? s2 ). (7.35)
?a
N (N ? n ? 1) jj a b


4) Дисперсии a являются наименьшими в классе линейных несмещенных оце-
нок, т.е. оценки a относятся к классу BLUE (см. п. 5.1). Это утверждение называ-
ется теоремой Гаусса—Маркова.

Доказательство этого факта будет проведено для оценки величины c ?, где c —
любой детерминированный вектор-столбец размерности n + 1. Если в качестве c
выбирать орты, данный факт будет относиться к отдельным параметрам регрессии.
(7.26)
МНК-оценка этой величины есть c a = c LX , она линейна, не смещена,
т.к. E (c a) = c ?, и ее дисперсия определяется следующим образом:

?2
(7.28)
c M ?1 c. (7.36)
var (c a) =
N

Пусть d X — любая линейная оценка c ?, где d — некоторый детерминированный
вектор-столбец размерности N .
g1 g3
(7.37)
E (d X) = E (d Z? + d ?) = d Z?,

и для того, чтобы эта оценка была несмещенной, т.е. чтобы d Z? = c ?, необходимо

(7.38)
dZ=c.
230 Глава 7. Основная модель линейной регрессии

Из (7.37) следует, что d X = E (d X) + d ?, и тогда
g4
var (d X) = E((d X ? E(d X))2 ) = E (d ?? d) = ? 2 d d. (7.39)
<????
????>
d?


И, наконец, в силу положительной полуопределенности матрицы B (из (7.32)):
?2
(7.36,7.40) (7.38)
2
c M ?1 c
var (d X) ? var (c a) ? d d?
= =
N
1 (7.32)
= ?2 d ZM ?1 Z ? 2 d Bd
IN ? d = 0,
N
т.е. дисперсия МНК-оценки меньше либо равна дисперсии любой другой оценки
в классе линейных несмещенных.
Что и требовалось доказать.

Теперь вводится еще одна гипотеза:
g5. Ошибки ? имеют многомерное нормальное распределение:

? ? N 0, ? 2 IN .

(Поскольку по предположению g4 они некоррелированы, то по свойству мно-
гомерного нормального распределения они независимы).
Тогда оценки a будут также иметь нормальное распределение:

a ? N (?, Ma ) , (7.40)

в частности,
2
aj ? N ?j , ?aj , j = 1, . . . , n + 1 (an+1 ? b, ?n+1 ? ?),

они совпадут с оценками максимального правдоподобия, что гарантирует их со-
стоятельность и эффективность (а не только эффективность в классе линейных
несмещенных оценок).
Применение метода максимального правдоподобия в линейной регрессии рас-
сматривается в IV-й части книги. Здесь внимание сосредоточивается на других
важных следствиях нормальности ошибок.
Поскольку
aj ? ?j
(7.41)
N (0, 1),
?aj
для ?j можно построить (1 ? ?)100-процентный доверительный интервал:

?j ? aj ± ?aj ?1?? . (7.42)
?
231
7.2. Основные гипотезы, свойства оценок

Чтобы воспользоваться этой формулой, необходимо знать истинное значение
остаточной дисперсии ? 2 , но известна только ее оценка. Для получения соответ-
ствующей формулы в операциональной форме, как и в п. 5.1, проводятся следую-
щие действия.
Сначала доказывается, что

ee
? ?2 ?n?1 . (7.43)
2 N
?

Это доказательство проводится так же, как и в пункте 5.1 для (5.9). Только теперь
матрица B, связывающая в (7.31) оценки ошибок с их истинными значениями,
имеет ранг N ? n ? 1 (см. свойства матрицы B, следующие из (7.32)), а не N ? 1,
как аналогичная матрица в (5.10).

Затем обращается внимание на то, что e и a не коррелированы, а значит,
не коррелированы случайные величины в (7.41, 7.43).

Действительно (как и в 5.1):
(7.27)
a ? ? = L?

и
(7.31) g4 ?1
cov (a, e) = E ((a ? ?)e ) = E (L?? B) = ? 2 (Z Z) Z B = 0.
<?>
=0

Что и требовалось доказать.

Поэтому по определению случайной величины, имеющей t-распределение:
v
(aj ? ?j ) aj ? ?j
N ee (7.35)
/ (N ? n ? 1) ? tN ?n?1 . (7.44)
=
?2
m?1 saj
?
? jj


Таким образом, для получения операциональной формы доверительного интер-
?
вала в (7.42) необходимо заменить ?aj на saj и ?1?? на tN ?n?1,1?? :
? ?

?j ? aj ± saj tN ?n?1,1?? .
?? (7.45)

Полезно заметить, что данный в этом пункте материал обобщает результаты,
полученные в п. 5.1. Так, многие приведенные здесь формулы при n = 0 пре-
образуются в соответствующие формулы п. 5.1. Полученные результаты можно
использовать также и для проверки гипотезы о том, что ?j = 0 (нулевая гипотеза).
232 Глава 7. Основная модель линейной регрессии

Рассчитывается t-статистика
aj
tc = (7.46)
,
j
saj
?

которая в рамках нулевой гипотезы, как это следует из (7.44), имеет t-распреде-
ление.
Проверка нулевой гипотезы осуществляется по схеме, неоднократно применя-
емой в I части книги. В частности, если уровень значимости t-статистики sl (напо-
минание: sl таково, что tc = tN ?n?1,sl ) не превышает ? (обычно 0.05), то нулевая
j
гипотеза отвергается с ошибкой (1-го рода) ? и принимается, что ?j = 0. В про-
тивном случае, если нулевую гипотезу не удалось отвергнуть, считается, что j-й
фактор не значим, и его не следует вводить в модель.
Операции построения доверительного интервала и проверки нулевой гипоте-
зы в данном случае в определенном смысле эквивалентны. Так, если построенный
доверительный интервал содержит нуль, то нулевая гипотеза не отвергается, и на-
оборот.
Гипотеза о нормальности ошибок позволяет проверить еще один тип нулевой
гипотезы: ?j = 0, j = 1, . . . , n, т.е. гипотезы о том, что модель некорректна и все
факторы введены в нее ошибочно.
При построении критерия проверки данной гипотезы уравнение регрессии ис-
пользуется в сокращенной форме, и условие (7.40) записывается в следующей
форме:

? 2 ?1
a?N (7.47)
?, M ,
N

где a и ? — вектора коэффициентов при факторных переменных размерности n,
M — матрица ковариации факторных переменных. Тогда

N
a ? ? M (a ? ?) ? ?2 . (7.48)
2 n
?

Действительно:
Матрица M ?1 вслед за M является вещественной, симметричной и положительно
полуопределенной, поэтому ее всегда можно представить в виде:

M ?1 = CC , (7.49)

где C — квадратная неособенная матрица.
Чтобы убедиться в этом, достаточно вспомнить (6.29) и записать аналогичные со-
отношения: M ?1 Y = Y ?, Y Y = Y Y = In , ? 0, где Y — матрица, столбцы
233
7.2. Основные гипотезы, свойства оценок

которой есть собственные вектора M ?1 , ? — диагональная матрица соответству-
ющих собственных чисел. Тогда

M ?1 = Y ?Y = Y ?0.5 ?0.5 Y
<?>< ? >
?? ??
C C

(см. Приложение A.1.2).
v
N ?1
C (a ? ?) обладает следующими свойствами:
Вектор случайных величин u =
?
по построению E(u) = 0, и в силу того, что

? 2 ?1
(7.47)
E ((a ? ?)(a ? ?) ) = M,
N

N ?1 (7.49)
?1
= C ?1 M ?1 C ?1 = In .
C E ((a ? ?)(a ? ?) ) C
cov(u) = E (uu ) =
?2
Следовательно, по определению ?2 случайная величина
N ?1
(a ? ? ) C C ?1 (a ? ?)
uu= 2 <??>
???
?
M

имеет указанное распределение (см. Приложение A.3.2).

Как было показано выше, e и a не коррелированы, поэтому не коррелированы
случайные величины, определенные в (7.43, 7.48), и в соответствии с определением
случайной величины, имеющей F -распределение:

N ee
a ? ? M (a ? ?) (N ? n ? 1) n ? Fn, N ?n?1 .
?2 ?2
Отсюда следует, что при нулевой гипотезе ? = 0

a M a (N ? n ? 1) (7.9) s2 (N ? n ? 1)
q
? Fn, N ?n?1 ,
=
s2 n
(e e) n e
N
или
R2 (N ? n ? 1)
= F c ? Fn, N ?n?1 . (7.50)
2) n
(1 ? R

Сама проверка нулевой гипотезы проводится по обычной схеме. Так, если зна-
чение вероятности pv статистики F c (величина, аналогичная sl для t-статистики)
не превышает ? (например, 0.05), нулевая гипотеза отвергается с вероятностью
ошибки ?, и модель считается корректной. В противном случае нулевая гипотеза
не отвергается, и модель следует пересмотреть.
234 Глава 7. Основная модель линейной регрессии

7.3. Независимые факторы: спецификация
модели
В этом пункте используется модель линейной регрессии в сокращенной фор-
ме, поэтому переменные берутся в центрированной форме, а m и M — вектор
и матрица соответствующих коэффициентов ковариации переменных.
Под спецификацией модели в данном случае понимается процесс и результат
определения набора независимых факторов. При построении эконометрической
модели этот набор должен обосновываться экономической теорией. Но это удается
не во всех случаях. Во-первых, не все факторы, важные с теоретической точки
зрения, удается количественно выразить. Во-вторых, эмпирический анализ часто
предшествует попыткам построения теоретической модели, и этот набор просто
неизвестен. Потому важную роль играют и методы формального отбора факторов,
также рассматриваемые в этом пункте.
В соответствии с гипотезой g2 факторные переменные не должны быть ли-
нейно зависимыми. Иначе матрица M в операторе МНК-оценивания будет необ-
ратима. Тогда оценки МНК по формуле a = M ?1 m невозможно будет рассчитать,
но их можно найти, решая систему нормальных уравнений (6.14):
M a = m.
Решений такой системы нормальных уравнений (в случае необратимости матри-
цы M ) будет бесконечно много. Следовательно, оценки нельзя найти однозначно,
т.е. уравнение регрессии невозможно идентифицировать. Действительно, пусть
оценено уравнение
(7.51)
x = z1 a1 + e,
??
где z1 — вектор-строка факторных переменных размерности n1 , a1 — вектор-
?
столбец соответствующих коэффициентов регрессии, и пусть в это уравнение вво-
дится дополнительный фактор z2 , линейно зависимый от z1 , т.е. z2 = z1 c21 .
? ? ? ?
Тогда оценка нового уравнения
x = z1 a? + z2 a2 + e? (7.52)
? ?1 ?
(«звездочкой» помечены новые оценки «старых» величин) эквивалентна оценке
уравнения x = z1 (a? + a2 c21 ) + e? . Очевидно, что a1 = a? + a2 c21 , e = e? , и, про-
??1 1
извольно задавая a2 , можно получать множество новых оценок a? = a1 ? a2 c21 .
1
Логичнее всего положить a2 = 0, т.е. не вводить фактор z2 . Хотя, если из со-
?
держательных соображений этот фактор следует все-таки ввести, то тогда надо
исключить из уравнения какой-либо ранее введенный фактор, входящий в z1 . Та- ?
ким образом, вводить в модель факторы, линейно зависимые от уже введенных,
бессмысленно.
235
7.3. Независимые факторы: спецификация модели

Случаи, когда на факторных переменных су- A
ществуют точные линейные зависимости, встре-
чаются редко. Гораздо более распространена си-
туация, в которой зависимости между фактор-
ными переменными приближаются к линейным.
O
Такая ситуация называется мультиколлинеарно-
стью. Она чревата высокими ошибками получа-
емых оценок и высокой чувствительностью ре-
зультатов оценивания к ошибкам в факторных C
переменных, которые, несмотря на гипотезу g2,
B
обычно присутствуют в эмпирическом анализе.
Действительно, в такой ситуации матрица M Рис. 7.1
плохо обусловлена и диагональные элементы
M ?1 , определяющие дисперсии оценок, могут принимать очень большие значения.
Кроме того, даже небольшие изменения в M , связанные с ошибками в факторных
переменных, могут повлечь существенные изменения в M ?1 и, как следствие, —
в оценках a.
Последнее наглядно иллюстрируется рисунком (рис. 7.1) в пространстве наблюдений
при n = 2.
На этом рисунке: OA — x , OB — z1 , OC — z2 .
? ? ?
Видно, что факторные переменные сильно коррелированы (угол между соответству-
ющими векторами мал).
Поэтому даже небольшие колебания этих векторов, связанные с ошибками, зна-
чительно меняют положение плоскости, которую они определяют, и, соответствен-
но, — нормали на эту плоскость.
Из рисунка видно, что оценки параметров регрессии «с легкостью» меняют не только
свою величину, но и знак.

По этим причинам стараются избегать ситуации мультиколлинеарности.
Для этого в уравнение регрессии не включают факторы, сильно коррелирован-
ные с другими.
Можно попытаться определить такие факторы, анализируя матрицу коэффи-
циентов корреляции факторных переменных S ?1 M S ?1 , где S — диагональная
матрица среднеквадратических отклонений. Если коэффициент sjj этой матри-
цы достаточно большой, например, выше 0.75, то один из пары факторов j и j
не следует вводить в уравнение. Однако такого элементарного «парного» анализа
может оказаться не достаточно. Надежнее построить все регрессии на множестве
факторных переменных, последовательно оставляя в левой части уравнения эти
переменные по отдельности. И не вводить в уравнение специфицируемой моде-
ли (с x в левой части) те факторы, уравнения регрессии для которых достаточно
значимы по F -критерию (например, значение pv не превышает 0.05).
236 Глава 7. Основная модель линейной регрессии

Однако в эмпирических исследованиях могут
A
возникать ситуации, когда только введение сильно
коррелированных факторов может привести к по-
D
строению значимой модели.
O
Это утверждение можно проиллюстрировать ри-
сунком (рис. 7.2) в пространстве наблюдений при
n = 2.
На этом рисунке: OA — x , OB — z1 , OC —
? ?
z2 , AD — нормаль на плоскость, определяе-
?
C
мую векторами OB и OC , OD — проекция
B OA на эту плоскость.
Из рисунка видно, что z1 и z2 по отдельности
? ?
Рис. 7.2
не объясняют x (углы между соответствующими
?
?
векторами близки к 90 ), но вместе они определяют плоскость, угол между которой
и вектором OA очень мал, т.е. коэффициент детерминации в регрессии x на z1 , z2
? ??
близок к единице.
Рисунок также показывает, что такая ситуация возможна только если факторы силь-
но коррелированы.

В таких случаях особое внимание должно уделяться точности измерения фак-
торов.
Далее определяются последствия введения в уравнение дополнительного фак-
тора. Для этого сравниваются оценки уравнений (7.51, 7.52) в предположении,
что z2 линейно независим от z1 .
? ?
В этом анализе доказываются два утверждения.
1) Введение дополнительного фактора не может привести к сокращению ко-
эффициента детерминации, в большинстве случаев он растет (растет объясненная
дисперсия). Коэффициент детерминации остается неизменным тогда и только то-
гда, когда вводимый фактор ортогонален остаткам в исходной регрессии (линейно
независим от остатков), т.е. когда
1?
(7.53)
m2e = Z e=0
N2
(понятно, что коэффициент детерминации не меняется и в случае линейной зависи-
мости z2 от z1 , но такой случай исключен сделанным предположением о линейной
? ?
независимости этих факторов; в дальнейшем это напоминание не делается).

Для доказательства этого факта проводятся следующие действия.
Записываются системы нормальных уравнений для оценки регрессий (7.51, 7.52):
(7.54)
m1 = M11 a1 ,
237
7.3. Независимые факторы: спецификация модели
? ? ? ?? ?
m12 ? ?a? ?
?m1 ? ?M11 1
? ?=? ?? ?, (7.55)
m2 m21 m22 a2

1? ? 1? ? 1?? 1??
где m1 = Z1 X , m2 = Z2 X , M11 = Z1 Z1 , m12 = m21 = Z1 Z2 ,
N N N N
1??
m22 = Z2 Z2 .
N
Далее, с помощью умножения обеих частей уравнения (7.51), расписанного по на-
1?
блюдениям, слева на Z , устанавливается, что
N2
(7.53)
m2 ? m21 a1 = m2e , (7.56)

? ?
а из регрессии Z2 = Z1 a21 + e21 , в которой по предположению e21 = 0, находится
остаточная дисперсия:
1 (7.9) ?1
s2 = e21 e21 = m22 ? m21 M11 m12 > 0. (7.57)
e21
N

Из первой (верхней) части системы уравнений (7.55) определяется:
(7.54)
M11 a? + m12 a2 = m1 = M11 a1 ,
1

и далее
?1
a? = a1 ? M11 m12 a2 . (7.58)
1


Из второй (нижней) части системы уравнений (7.55) определяется:
(7.58) ?1
m22 a2 = m2 ? m21 a? = m2 ? m21 a1 ? M11 m12 a2 .
1

Откуда
?1
m22 ? m21 M11 m12 a2 = m2 ? m21 a1

и, учитывая (7.56, 7.57),

s2 a2 = m2e . (7.59)
e21


Наконец, определяется объясненная дисперсия после введения дополнительного
фактора:
? ?
? ? (7.56)
(7.9) (7.58) ?1
s2? = m1 a? + m2 a2 = m1 a1 + ?m2 ? m1 M11 m12 ? a2 = s2 + m2e a2 ,
1
q q
<?
?2 > < ? ?>
??
sq a1
(7.60)
238 Глава 7. Основная модель линейной регрессии

т.е.
m2
(7.59) 2e
s2? = s2 + 2.
q q
se21

Что и требовалось доказать.
Это утверждение легко проиллюстрировать рисунком 7.3 в пространстве наблюде-
ний при n1 = 1.
На этом рисунке: OA — x , OB — z1 , OC — z2 , AD — нормаль x на z1
? ? ? ? ?
( DA — вектор e).
Рисунок показывает, что если z2 ортогонален e, то нормаль x на плоскость, опре-
? ?
деляемую z1 и z2 , совпадает с AD, т.е. угол между этой плоскостью и x совпадает
? ? ?
с углом между x и z1 , введение в уравнение нового фактора z2 не меняет коэффи-
?? ?
циент детерминации. Понятно также и то, что во всех остальных случаях (когда z2
?
не ортогонален e) этот угол уменьшается и коэффициент детерминации растет.

После введения дополнительного фактора z2
?
в уравнение максимально коэффициент детерми- A
нации может увеличиться до единицы. Это про-
изойдет, если z2 является линейной комбинацией
?
x и z1 .
??
O
Рост коэффициента детерминации с увеличе-
C
нием количества факторов — свойство коэффи-
циента детерминации, существенно снижающее DB
его содержательное (статистическое) значение.
Введение дополнительных факторов, даже если Рис. 7.3
они по существу не влияют на моделируемую пе-
ременную, приводит к росту этого коэффициента. И, если таких факторов введено
достаточно много, то он начнет приближаться к единице. Он обязательно достигнет
единицы при n = N ? 1. Более приемлем в роли критерия качества коэффициент
детерминации, скорректированный на число степеней свободы:
N ?1
R2 = 1 ? 1 ? R2
?
N ?n?1
( 1 ? R2 — отношение остаточной дисперсии к объясненной, которые имеют, со-
ответственно, N ? n ? 1 и N ? 1 степеней свободы), этот коэффициент может
снизиться после введения дополнительного фактора. Однако наиболее правильно
при оценке качества уравнения ориентироваться на показатель pv статистики F c .

Скорректированный коэффициент детерминации построен так, что он, так сказать,
штрафует за то, что в модели используется слишком большой набор факторов.
На этом же принципе построено и большинство других критериев, используемых
239
7.3. Независимые факторы: спецификация модели

для выбора модели: на них положительно отражается уменьшение остаточной дис-
персии s2 (z1 ) (здесь имеется в виду смещенная оценка дисперсии из регрессии
e
по z1 ) и отрицательно — количество включенных факторов n1 (без константы).
Укажем только три наиболее известных критерия (из огромного числа предложенных
в литературе):
Критерий Маллоуза:
2(n1 + 1) 2
Cp = s2 (z1 ) + se (z),
?
e
N
где s2 (z) — несмещенная оценка дисперсии в регрессии с полным набором факто-
?e
ров.
Информационный критерий Акаике:
2(n1 + 1)
AIC = ln 2?s2 (z1 ) + .
e
N

Байесовский информационный критерий (критерий Шварца):
ln(N )(n1 + 1)
BIC = ln 2?s2 (z1 ) + .
e
N

В тех же обозначениях скорректированный коэффициент детерминации имеет вид
2
? 2 = 1 ? se (z1 ) N ? 1 ,
R
s2 (?) N ? n1 ? 1
e

где s2 (?) — остаточная дисперсия из регрессии с одной константой.
e
Регрессия тем лучше, чем ниже показатель Cp ( AIC , BIC ). Для R2 используется
?
противоположное правило — его следует максимизировать. Вместо R2 при неиз-
?
менном количестве наблюдений N можно использовать несмещенную остаточную
дисперсию s2 = s2 (z1 ), которую уже следует минимизировать.
?e ?e
В идеале выбор модели должен происходить при помощи полного перебора воз-
можных регрессий. А именно, берутся все возможные подмножества факторов z1 ,
для каждого из них оценивается регрессия и вычисляется критерий, а затем выби-
рается набор z1 , дающий наилучшее значение используемого критерия.
Чем отличается поведение критериев R2 ( s2 ), Cp , AIC , BIC при выборе моде-
? ?e
ли? Прежде всего, они отличаются по степени жесткости, то есть по тому, насколько
велик штраф за большое количество факторов и насколько более «экономную» мо-
дель они имеют тенденцию предлагать. R2 является наиболее мягким критерием.
?
Критерии Cp и AIC занимают промежуточное положение; при больших N они ве-
дут себя очень похоже, но Cp несколько жестче AIC , особенно при малых N . BIC
является наиболее жестким критерием, причем, как можно увидеть из приведенной
формулы, в отличие от остальных критериев его жесткость возрастает с ростом N .
Различие в жесткости проистекает из различия в целях. Критерии Cp и AIC на-
правлены на достижение высокой точности прогноза: Cp направлен на миними-
зацию дисперсии ошибки прогноза (о ней речь пойдет в следующем параграфе),
240 Глава 7. Основная модель линейной регрессии

а AIC — на минимизацию расхождения между плотностью распределения по ис-
тинной модели и по выбранной модели. В основе BIC лежит цель максимизации
вероятности выбора истинной модели.

2) Оценки коэффициентов регрессии при факторах, ранее введенных в уравне-
ние, как правило, меняются после введения дополнительного фактора. Они оста-
ются прежними в двух и только двух случаях: а) если неизменным остается ко-
эффициент детерминации и выполняется условие (7.53) (в этом случае уравнение
в целом остается прежним, т.к. a2 = 0); б) если новый фактор ортогонален старым
( z1 и z2 линейно не зависят друг от друга), т.е.
? ?
A
1??
(7.61)
m12 = Z1 Z2 = 0
N
(в этом случае объясненная дисперсия равна сумме C
F
дисперсий, объясненных факторами z1 и z2 по от-
? ? O
дельности).
D
?1
Действительно, в соотношении (7.58) M11 m12 E
не может равняться нулю при m12 = 0, т.к. M11
невырожденная матрица. Поэтому из данного со- B
отношения следует, что оценки a1 не меняются,
если a2 = 0 (случай «а») или/и m12 = 0 (случай Рис. 7.4
«б»).
Случай «а», как это следует из (7.59), возникает, когда выполняется (7.53).
В случае «б» соотношение (7.60) переписывается следующим образом:
a? =a1
(7.9)
s2? = m1 a? + m2 a2 1= m1 a1 + m2 a2 ,
1
q

т.к. вторая (нижняя) часть системы (7.55) означает в этом случае, что m22 a2 = m2 ,
т.е. a2 — оценка параметра в регрессии x по z2 :
? ?

x = z 2 a 2 + e 2 = s2 + s2 , (7.62)
?? q q2

где s2 — дисперсия x , объясненная только z2 .
? ?
q2
Что и требовалось доказать.
Иллюстрация случая «а» при n1 = 1 достаточно очевидна и дана выше. Рисунок 7.4
иллюстрирует случай «б». На этом рисунке: OA — x , OB — z1 , OC — z2 ,
? ? ?
?
EA — e, нормаль x на z1 , F A — e2 , нормаль x на z2 , DA — e , нормаль
? ? ? ?
x на плоскость, определенную z1 и z2 , ED — нормаль к z1 , F D — нормаль
? ? ? ?
к z2 .
?
Понятно (геометрически), что такая ситуация, когда точка E является одновре-
менно началом нормалей EA и ED, а точка F — началом нормалей F A и F D,
возможна только в случае, если угол COB равен 90? .
241
7.3. Независимые факторы: спецификация модели

Но именно этот случай означает (как это следует из рисунка) одновременное вы-
полнение соотношений регрессий (7.51) ( OE + EA = OA), (7.52) (при a? = a1 )
1
( OE +OF +DA = OA) и (7.62) ( OF +F A = OA), т.е. что введение нового фактора
не меняет оценку при «старом» факторе, а «новая» объясненная дисперсия равна
сумме дисперсий, объясненных «старым» и «новым» факторами по отдельности
(сумма квадратов длин векторов OE и OF равна квадрату длины вектора OD).

На основании сделанных утверждений можно
сформулировать такое правило введения новых A
факторов в уравнение регрессии: вводить в ре-
грессию следует такие факторы, которые имеют
высокую корреляцию с остатками по уже введен-
ным факторам и низкую корреляцию с этими уже O
введенными факторами. В этом процессе следует D C
пользоваться F -критерием: вводить новые фак-
торы до тех пор, пока уменьшается показатель pv
B
F -статистики.
В таком процессе добавления новых факторов Рис. 7.5
в регрессионную модель некоторые из ранее вве-
денных факторов могут перестать быть значимыми, и их следует выводить из урав-
нения.

Эту возможность иллюстрирует рисунок 7.5 в пространстве наблюдений при n1 = 1.
На этом рисунке: OA — x , OB— z1 , OC — z2 , AD — нормаль x на плос-
? ? ? ?
кость, определенную z1 и z2 .
? ?
Рисунок показывает, что нормаль AD «легла» на вектор вновь введенного фактора.
Следовательно, «старый» фактор входит в «новую» регрессию с нулевым коэффи-
циентом.
Это — крайний случай, когда «старый» фактор автоматически выводится из уравне-
ния. Чаще встречается ситуация, в которой коэффициенты при некоторых «старых»
факторах оказываются слишком низкими и статистически незначимыми.

Процесс, в котором оценивается целесообразность введения новых факторов
и выведения ранее введенных факторов, называется шаговой регрессией. В раз-
витой форме этот процесс можно организовать следующим образом.
Пусть z — полный набор факторов, потенциально влияющих на x. Рассмат-
ривается процесс обращения матрицы ковариации переменных x, z, в начале ко-
торого рядом с этой матрицей записывается единичная матрица. С этой парой мат-
риц производятся одновременные линейные преобразования. Известно, что если
первую матрицу привести таким образом к единичной, то на месте второй будет по-
лучена матрица, обратная к матрице ковариации. Пусть этот процесс не завершен,
242 Глава 7. Основная модель линейной регрессии

и только n1 строк первой матрицы, начиная с ее второй строки (т.е. со стро-
ки первого фактора), преобразованы в орты; z1 — множество факторов, строки
которых преобразованы в орты, z2 — остальные факторы. Это — ситуация на те-
кущем шаге процесса.
В начале процесса пара преобразуемых матриц имеет вид (над матрицами по-
казаны переменные, которые соответствуют их столбцам):


x z1 z2 x z1 z2
? ? ? ?
?mxx m2 ? ?1 0?
m1 0
? ? ? ?
? ? ? ?
? m1 M12 ? ?0 0 ?,
и
M11 I1
? ? ? ?
? ? ? ?
m2 M12 M22 0 0 I2

где
1??
N X X — дисперсия x ,
mxx =
1? ?
N Z1 X — вектор-столбец коэффициентов ковариации z1 и x ,
m1 =
1? ?
N Z2 X — вектор-столбец коэффициентов ковариации z2 и x ,
m2 =
1? ?
M11 = N Z1 Z1 — матрица коэффициентов ковариации z1 между собой,
1? ?
M12 = N Z1 Z2 — матрица коэффициентов ковариации z1 и z2 ,
1? ?
M22 = N Z2 Z2 — матрица коэффициентов ковариации z2 между собой.
На текущем шаге эти матрицы преобразуются к виду:


x z1 z2
? ?
?1 ?1 ?1
?mxx ? m1 M1 m1 m2 ? m1 M1 M12 ?
m1 M1
? ??> <?????? ?
<?? ? ? ? ? ? ? >?
? a1 ce2
? ?
? ?
? ?
0 I1 0
? ?
? ?
?1 ?1 ?1
m2 ? M12 M1 m1 M12 M1 M2 ? M12 M1 M12

x z1 z2
? ?
? ?
1 0 0
? ?
? ?
??M ?1 m1 ?M1 M12 ?.
?1 ?1
и M1
? ?
1
? ?
0 0 I2
243
7.3. Независимые факторы: спецификация модели

Информация, используемая в шаговой регрессии, расположена в 1-й строке
первой матрицы: остаточная дисперсия в текущей регрессии (в столбце x), коэф-
фициенты a1 текущей регрессии при переменных z1 (в столбцах z1 ), коэффи-
циенты ce2 ковариации текущих остатков e с переменными z2 , не включенными
в текущую регрессию (в столбцах z2 ).
Для введения очередного фактора в регрессию (шаг вперед) следует его строку
в первой матрице преобразовать в орт, для исключения фактора из регрессии
(шаг назад) следует преобразовать в орт его строку во второй матрице. Шаг вперед
увеличивает количество элементов в векторе z1 на единицу и сокращает на единицу
количество элементов в векторе z2 . Шаг назад приводит к обратным изменениям.
Последствия любого из этих шагов можно оценить по F -критерию, рассчитав
показатель pv F c -статистики (информацию для такого расчета дает остаточная
дисперсия — первый элемент первой строки первой матрицы).
На текущем шаге процесса проверяются последствия введения всех ранее
не введенных факторов z2 и исключения всех введенных факторов z1 . Выби-
рается тот вариант, который дает минимальное значение показателя pv. Процесс
заканчивается, как только этот показатель перестает падать. В результате опреде-
ляется наилучшая регрессия. Такой процесс не приводит, как правило, к включению
в регрессию сильно коррелированных факторов, т.е. позволяет решить проблему
мультиколлинеарности.
Если бы расчеты проводились в стандартизированной шкале (по коэффици-
ентам корреляции, а не ковариации), «кандидатом» на введение был бы фактор
с максимальным значением показателя в множестве ce2 (как было показано вы-
ше), а на исключение — фактор с минимальным значением показателя в множе-
стве a1 . Но даже в этом случае для окончательного выбора (вводить-исключать)
и решения вопроса о завершении процесса требуется использование F -критерия.
При «работе» с коэффициентами ковариации использование F -критерия необ-
ходимо.
На последних шагах процесса, при приближении к минимуму критериального
показателя pv, его величина меняется, как правило, весьма незначительно. Поэто-
му один из возможных подходов к использованию шаговой регрессии заключается
в определении некоторого множества регрессий, получаемых на последних шагах
процесса, которые практически одинаковы по своему качеству. И на этом мно-
жестве следует делать окончательный выбор, пользуясь содержательными крите-
риями.
Иногда процесс шаговой регрессии предлагают строить на основе t-критерия:
фактор вводится в уравнение, если его t-статистика больше некоторой заданной
величины t1 , выводится из уравнения, если эта статистика меньше заданной вели-
чины t2 ; как правило, t1 > t2 . Такой процесс не гарантирует получение наилучшей
244 Глава 7. Основная модель линейной регрессии

регрессии, его использовали в то время, когда вычислительные возможности были
еще слабо развиты, и, в частности, точные значения показателя pv было трудно
определить.



7.4. Прогнозирование

Пусть получены оценки параметров уравнения (7.11). Задача прогнозирования
заключается в определении возможного значения (прогноза) переменной x, объ-
ясняемой этой моделью, при некоторых заданных значениях факторов z, которые
не совпадают ни с одним из наблюдений в матрице Z. Более того, как прави-
ло, z лежит вне области, представляемой матрицей Z. При этом предполагается,
что гипотезы g1?g3 по-прежнему выполняются.
Обычно термин «прогнозирование» используется в случае, когда наблюдения
i = 1, . . . , N в матрице Z даны по последовательным моментам (периодам) вре-
мени, и заданные значения факторов z, для которых требуется определить прогноз
x, относятся к какому-то будущему моменту времени, большему N (т.е. z лежит
вне области, представляемой матрицей Z).
Методы прогнозирования могут быть различными. Если применяются отно-
сительно простые статистические методы, как в данном случае, то часто исполь-
зуют термин «экстраполирование». Если аналогичная задача решается для z,
лежащих внутри области, представляемой наблюдениями в матрице Z (например,
для «пропущенных» по каким-то причинам наблюдений), то используют термин
«интерполирование». Процедуры экстраполирования и интерполирования с ис-
пользованием модели (7.11) с формальной точки зрения одинаковы.
Итак, задан некоторый zr = [zr1 · · · zrn 1], который отличается от всех zi ,
i = 1, . . . , N (если i — обозначает момент времени, то r > N ).
xr = zr ? + ?r — истинное значение искомой величины,
x0 = zr ? — ожидаемое значение,
r
xp = zr a — искомый (точечный) прогноз.
r
Предполагаем, что гипотезы g1?g4 выполнены как для i = 1, . . . , N ,
так и для r > N .
(7.26)
Это линейный (относительно случайных величин X) прогноз: xp = zr LX,
r
он не смещен относительно ожидаемого значения вслед за несмещенностью a:
E (xp ) = x0 . Его ошибка ?p = xr ? xp имеет нулевое математическое ожидание
r r r r
и дисперсию

?1
?p = ? 2 1 + zr Z Z
2
(7.63)
zr ,
245
7.4. Прогнозирование

которая минимальна на множестве всех возможных линейных несмещенных про-
гнозов.

Действительно:
?p = zr (? ? a) + ?r .
r

Поскольку случайные величины a и ?r не зависят друг от друга,

?p = E (?p )2 = E (zr (? ? a)(? ? a) zr ) + E ?2 =
2
r r
(7.29) ?1
= zr Ma zr + ? 2 = ? 2 1 + zr (Z Z) zr .

Эта дисперсия минимальна среди всех возможных дисперсий линейных несмещен-
ных прогнозов вслед за аналогичным свойством оценок a. Это является прямым
следствием того, что оценки МНК относятся к классу BLUE. Для того чтобы в этом
убедиться, достаточно в доказательстве данного свойства оценок a, которое приве-
дено в п. 7.2, заменить c на zr .

Следует иметь в виду, что ошибка любого расчетного по модели значения xc ,
i
c = x ? xc , имеет также нулевое математическое
являясь формально такой же: ?i i i
ожидание, но принципиально другую, существенно меньшую, дисперсию:
?1
?i = ? 2 1 ? zi Z Z
2
zi .

Видно, что эта дисперсия даже меньше остаточной.

Действительно, как и прежде: ?c = zi (? ? a) + ?i . Но теперь случайные величины

<<

стр. 9
(всего 28)

СОДЕРЖАНИЕ

>>