стр. 1
(всего 3)

СОДЕРЖАНИЕ

>>

А.В.Блохин




ТЕОРИЯ
ЭКСПЕРИМЕНТА

Курс лекций в двух частях


Часть 2




Блохин А.В. Теория эксперимента [Электронный ресур]: Курс лекций в двух
частях: Часть 2. — Электрон. текст. дан. (1,0 Мб). — Мн.: Научно-методический
центр “Электронная книга БГУ”, 2003. — Режим доступа:
http://anubis.bsu.by/publications/elresources/Chemistry/blohin2.pdf . — Электрон.
версия печ. публикации, 2002. — PDF формат, версия 1.4 . — Систем.
требования: Adobe Acrobat 5.0 и выше.




МИНСК

«Электронная книга БГУ»

2003



© Блохин А.В.
© Научно-методический центр
«Электронная книга БГУ»
www.elbook.bsu.by
elbook@bsu.by
БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
ХИМИЧЕСКИЙ ФАКУЛЬТЕТ
Кафедра физической химии



А. В. Блохин


ТЕОРИЯ
ЭКСПЕРИМЕНТА
Курс лекций
В двух частях
Часть 2




МИНСК
2002
УДК 542(042)
ББК 24.в.я73
Б70



Рецензенты:



кандидат химических наук, доцент Н. И. Горошко;
старший преподаватель
кафедры физической химии БГУ Л. М. Володкович




Печатается по решению
Редакционно-издателъского совета
Белорусского государственного университета




Блохин А. В.
Б70 Теория эксперимента: Курс лекций. В 2 ч. Ч. 2 / А, В. Бло-
хин. - Мн.: БГУ, 2002. - 67 с.
ISBN 985-445-815-6
Вторая часть курса лекций посвящена статистическим методам опти-
мизации экспериментальных исследований в физической химии и содержиг
основы методов регрессионного, корреляционного и дисперсионною анали-
зов и планирования экстремальною эксперимента.
Предназначено для студентов IV курса химического факультета.

УДК 542(042)
ББК 24.в.я73


@Блохин А. В., 2002
ISBN 985-445-815-6(ч. 2)
@БГУ, 2002
ISBN 985-445-792-3
СОДЕРЖАНИЕ
ЛЕКЦИЯ 7 __________________________________________________________ 4
7.1. Системы случайных величин. Функция и плотность распределения системы
двух случайных величин. Условные законы распределения ___________________ 4
7.2. Стохастическая связь. Ковариация. Коэффициент корреляции. Регрессия ___ 6
7.3. Выборочный коэффициент корреляции. Проверка гипотезы об отсутствии
корреляции ______________________________________________________________ 9
7.4. Приближенная регрессия. Метод наименьших квадратов _________________ 13
ЛЕКЦИЯ 8 _________________________________________________________ 16
8.1. Линейная регрессия от одного параметра _______________________________ 16
8.2. Регрессионный анализ ________________________________________________ 17
8.2.1. Проверка адекватности приближенного уравнения регрессии эксперименту______18
8.2.2. Оценка значимости коэффициентов уравнения регрессии _____________________19
8.2.3. Оценка доверительного интервала для искомой функции _____________________21
8.3. Оценка тесноты нелинейной связи _____________________________________ 22
8.4. Аппроксимация. Параболическая регрессия_____________________________ 23
8.5. Приведение некоторых функциональных зависимостей к линейному виду__ 24
8.6. Метод множественной корреляции _____________________________________ 26
ЛЕКЦИЯ 9 _________________________________________________________ 28
9.1. Задачи дисперсионного анализа. Однофакторный дисперсионный анализ __ 28
9.2. Двухфакторный дисперсионный анализ ________________________________ 32
ЛЕКЦИЯ 10 ________________________________________________________ 37
10.1. Планирование эксперимента при дисперсионном анализе________________ 37
10.2. Постановка задачи при планировании экстремальных экспериментов ____ 40
10.3. Полный факторный эксперимент типа 22: матрица планирования,
вычисление коэффициентов уравнения регрессии ___________________________ 42
ЛЕКЦИЯ 11 ________________________________________________________ 45
11.1. Матрица планирования полного факторного эксперимента типа 23_______ 45
11.2. Проверка значимости коэффициентов и адекватности уравнения регрессии,
полученных при обработке результатов ПФЭ 22 и 23 _________________________ 47
11.3. Дробный факторный эксперимент. Планы типа 2k-1 _____________________ 50
ЛЕКЦИЯ 12 ________________________________________________________ 54
12.1. Оптимизация методом крутого восхождения по поверхности отклика _____ 54
12.2. Описание функции отклика в области, близкой к экстремуму.
Композиционные планы Бокса-Уилсона____________________________________ 56
12.3. Ортогональные планы второго порядка, расчет коэффицентов уравнения
регрессии _______________________________________________________________ 59
12.4. Метод последовательного симплекс-планирования______________________ 62



3
ЛЕКЦИЯ 7
Системы случайных величин. Функция и плотность распределения сис-
темы двух случайных величин. Условные законы распределения. Сто-
хастическая связь. Ковариация. Коэффициент корреляции, его свойства.
Линии регрессии. Выборочный коэффициент корреляции; проверка ги-
потезы об отсутствии корреляции. Приближенная регрессия; метод наи-
меньших квадратов.

7.1. Системы случайных величин. Функция и плотность рас-
пределения системы двух случайных величин. Условные законы
распределения
На практике чаще всего приходится иметь дело с экспериментами,
результатом которых является не одна случайная величина, а две и
более, образующие систему. Свойства системы случайных величин не
ограничиваются свойствами величин, в нее входящих; они определя-
ются также взаимосвязью (зависимостями) этих случайных величин.
Информация о каждой случайной величине, входящей в систему, со-
держится в ее законе распределения.
Рассмотрим систему из двух случайных величин Х и Y. Функцией
распределения такой системы называется вероятность совместного
выполнения двух неравенств
F ( x, y ) = P ( X < x , Y < y ) . (7.1)
Плотность распределения системы f (x, y) определяется как вторая
смешанная производная F(x, y)
? 2 F ( x, y )
f ( x, y ) = . (7.2)
? x ?y
Вероятность попадания точки (Х, Y) в произвольную область D равна

??) f (x, y ) d x d y .
P[( X , Y ) ? D ] = (7.3)
(D

Свойства плотности распределения:
1) она является неубывающей функцией:
f ( x, y ) ? 0 ; (7.4)
2) вероятность попадания случайной точки на всю координатную
плоскость равна вероятности достоверного события:




4
+? +?

?? f ( x, y ) d x d y = 1 ; (7.5)
?? ??
3) функция распределения выражается через плотность распреде-
ления как
y
x

??
F ( x, y ) = f ( x, y ) d x d y ; (7.6)
?? ??
4) плотность распределения каждой из случайных величин можно
получить следующим образом:
x +?

? ? f ( x, y ) d x d y ,
F1 ( x ) = F ( x, ? ) = (7.7)
?? ??
+?
dF1 ( x )
? f ( x, y ) d y ,
f1 ( x ) = = (7.8)
dx
??
+?
dF2 ( y )
? f ( x, y ) d x .
f2 (y) = = (7.9)
dy
??
Чтобы полностью охарактеризовать систему (т. е. получить ее за-
кон распределения), кроме распределения каждой величины, входя-
щей в систему, необходимо знать и связь между этими величинами.
Эта зависимость характеризуется с помощью условных законов рас-
пределения.
Условным законом распределения величины Y, входящей в систе-
му (X, Y), называется ее закон распределения при условии, что другая
случайная величина Х приняла определенное значение х. Условная
функция распределения обозначается F(y/x), плотность распределе-
ния — f (y/x). Для условных плотностей распределений справедлива
теорема умножения законов распределения:
f ( x, y ) = f1 ( x ) f ( y / x ) , (7.10)
f ( x, y ) = f 2 ( y ) f ( x / y ) . (7.11)
Тогда




5
f ( x, y ) f ( x, y )
f (y / x) = = , (7.12)
f1 ( x ) ?

? f ( x, y ) d y
??

f ( x, y ) f ( x, y )
f (x / y ) = = . (7.13)
f2 (y) ?

? f ( x, y ) d x
??



7.2. Стохастическая связь. Ковариация. Коэффициент корре-
ляции. Регрессия
Стохастической связью между случайными величинами называ-
ется такая связь, при которой с изменением одной величины меняется
распределение другой. Функциональной зависимостью называется та-
кая связь между случайными величинами, при которой при известном
значении одной из величин можно точно указать значение другой.
В отличие от функциональной связи при стохастической связи с
изменением величины Х величина Y имеет лишь тенденцию изменять-
ся. По мере увеличения тесноты стохастической зависимости она все
более приближается к функциональной, а в пределе ей соответствует.
Крайняя противоположность функциональной связи — полная неза-
висимость случайных величин.
Если случайные величины независимы, то согласно теореме умно-
жения (7.10–7.11) получаем
f ( y / x ) = f 2 ( y ) и f ( x / y ) = f1 ( x ) , (7.14)
f ( x, y ) = f1 ( x ) f 2 ( y ) . (7.15)
Условие (7.15) можно использовать в качестве необходимого и доста-
точного критерия независимости двух случайных величин, если из-
вестны плотности распределения системы и случайных величин, в нее
входящих.
При неизвестном законе распределения системы для оценки тес-
ноты стохастической связи чаще всего используется коэффициент
корреляции. Дисперсия суммы двух случайных величин X и Y равна
{[X + Y ? M ( X + Y )] }= M {[X ? M ( X ) + Y ? M (Y )] }=
D {X + Y } = M 2 2


= M [ X ? M ( X )] 2 + 2 M { [ X ? M ( X )][Y ? M (Y )] } + M [Y ? M (Y )] 2 =


6
= D( X ) + 2M { [ X ? M ( X )][Y ? M (Y )] } + D(Y ) . (7.16)
Если X и Y независимы, то
D( X + Y ) = D( X ) + D(Y ).
Тогда зависимость между X и Y существует, если
( [X ? mx ][Y ? m y ] ) ? 0 .
M (7.17)
Величина (7.17) называется корреляционным моментом, или ковариа-
цией cov{XY}, (covxy) случайных величин. Она характеризует не толь-
ко зависимость величин, но и их рассеяние.
Из (7.17) следует, что если одна из величин мало отклоняется от
своего математического ожидания, то ковариация будет мала даже
при тесной стохастической связи. Чтобы избежать этого, для характе-
ристики связи используют безразмерную величину, называемую ко-
эффициентом корреляции:
]) ,
(
M [ X ? mx ][Y ? m y
cov xy
rxy = = (7.18)
? x? y ? x? y

где ?x и ?y — стандартные отклонения X и Y.
Случайные величины, для которых ковариация (значит, и коэффи-
циент корреляции) равна нулю, называются некоррелированными. Ра-
венство нулю коэффициента корреляции не всегда означает, что слу-
чайные величины X и Y независимы: связь может проявляться в мо-
ментах более высокого порядка (по сравнению с математическим
ожиданием). Только в случае нормального распределения при rxy = 0
связь между случайными величинами однозначно отсутствует.
Плотность нормального распределения системы двух случайных
величин выражается следующей формулой:
1
f ( x, y ) = ?,
2
2? ? x ? y 1 ? r

)( )
? ( x ? m ) 2 2r ( x ? m x )( y ? m y
? y ? my 2 ? ?
? ?
1 x
? ? ? , (7.19)
? exp?? ? +
? x? y
2
?2 ?2
? 2(1 ? r ) ? ??
? ??
? x y

где r — коэффициент корреляции. Если X и Y некоррелированы (т. е.
r = 0), то из (7.19) следует, что
( )2 ? ? =
? 1 ? ( x ? m )2 y ? my
? ?
1
f ( x, y ) = x
exp?? ? + ?
?
2? ? x ? y 2 ? ?2 ?2 ??
? ? ??
? x y




7
( )2 ? =
? y ? my
? ( x ? mx )2 ?
1 1
= exp ?? exp ?? ?
?
2? ? x 2? ? y
2
2? 2
2? x ? ? ?
?
? ? ? ?
y

= f1 ( x ) f 2 ( y ), (7.20)
т. е. нормально распределенные случайные величины X и Y не только
некоррелированы, но и независимы.
Отметим следующие свойства коэффициента корреляции:
1) величина rxy не меняется от прибавления к X и Y неслучайных
слагаемых;
2) величина rxy не меняется от умножения X и Y на положитель-
ные числа;
3) если одну из величин, не меняя другой, умножить на –1, то на
–1 умножится и коэффициент корреляции.
Тогда, если от исходных величин перейти к нормированным
Y ? my
X ? mx
X0 = , Y0 = ,
?x ?y
величина rxy не изменится: rx o y o = rxy . Из (7.16) и (7.18) следует, что

? 2 ( X + Y ) = ? 2 ( X ) + ? 2 (Y ) + 2r xy ? 2 ( X ) ? 2 (Y ) . (7.21)
Для нормированных величин ?2(X0) = ?2(Y0) = 1, тогда
? 2 ( X 0 + Y0 ) = 2 + 2rxy . (7.22)
Аналогично в случае разности (X – Y) можно получить, что
? 2 ( X 0 ? Y0 ) = 2 ? 2rxy . (7.23)
По определению дисперсии
?2(X0 + Y0) ? 0 и ?2(X0 - Y0) ? 0,
следовательно
2 + 2rxy ? 0 , 2 ? 2rxy ? 0 ,
rxy ? ?1 , rxy ? 1 ,
? 1 ? rxy ? 1 . (7.24)
При rxy = ±1 имеем линейные функциональные зависимости вида
y = b0 + b1 x ,
при этом если rxy = 1, то b1 > 0; если rxy = –1, то b1 < 0.
Если мeжду величинами X и Y имеется произвольная стохастиче-
ская связь, то –1 < rxy < 1. При rxy > 0 говорят о положительной корре-

8
ляционной связи между X и Y, при rxy < 0 — об отрицательной. Следу-
ет учитывать, что коэффициент корреляции характеризует не любую
зависимость, а только линейную.
Для нормально распределенной системы двух случайных величин
можно доказать, что
f ( x, y )
f (y / x) = =
f1 ( x )
? ??
2
? y ? my x ? mx ? ?
1 1
exp ?? ?
= ?r =
2? ??
? 2(1 ? r ) ? ? y ?x ?
?y 1? r2 2?
? ?
? ??
2
?y
?
1 1
(x ? mx )? ? . (7.25)
exp ?? ? y ? my ? r
= 2? ?
?x
2
? 2(1 ? r ) ? y ? ??
2
? y 1 ? r 2? ? ?
Условная плотность распределения величины Y соответствует плотно-
сти нормального распределения с математическим ожиданием
?y
(x ? mx )
m y/x = m y + r (7.26)
?x
и среднеквадратичным отклонением
? y/x = ? y 1 ? r 2 . (7.27)
Величина my/x называется условным математическим ожиданием ве-
личины Y при данном Х. Линейная зависимость (7.26) — регрессией Y
на X. По аналогии прямая
?
( )
mx/y = mx + r x y ? m y (7.28)
?y
есть регрессия X на Y.
Линии регрессии совпадают только при наличии линейной функ-
циональной зависимости. Из (7.26) и (7.28) видно, что для независи-
мых X и Y линии регрессии параллельны координатным осям.

7.3. Выборочный коэффициент корреляции. Проверка гипоте-
зы об отсутствии корреляции
При обработке результатов большинства физико-химических из-
мерений возникает задача описания зависимости между исследуемы-
ми случайными величинами. Для экспериментального изучения зави-
симости между двумя случайными величинами Х и Y проводят n неза-
висимых опытов, при этом в каждом из них получают пару значений

9
(xi, yi), i = 1, 2, …, n. О наличии или отсутствии корреляции между Х и
Y можно качественно судить по виду поля корреляции, нанеся точки
(xi, yi) на координатную плоскость.
Для количественной оценки тесноты связи служит выборочный ко-
эффициент корреляции. Как было установлено ранее, состоятельными
и несмещенными оценками для математических ожиданий mx и my
служат выборочные средние x и y , а генеральных дисперсий ? 2 и x
? 2 — выборочные дисперсии s x и s 2 . Можно доказать, что состоя-
2
y y
тельной и несмещенной оценкой генеральной ковариации covxy слу-
жит выборочная ковариация
n

? (x ? x)(y ? y ).
1
cov* = (7.29)
xy i i
n ?1
i =1

Пользуясь этой оценкой, рассчитывают выборочный коэффициент
корреляции
n

? (x ? x)(y ? y )
i i
i =1
*
rxy = , (7.30)
(n ? 1) s x s y
который является состоятельной оценкой коэффициента корреляции
генеральной совокупности со смещением, равным r (1 ? r 2 ) / 2n . Вели-
чина смещения убывает с увеличением числа опытов и при n > 50 со-
ставляет менее 1 %. Выборочный коэффициент корреляции обладает
теми же свойствами, что и rxy, и по абсолютной величине также не
больше единицы:
*
? 1 ? rxy ? 1 . (7.31)
Величина выборочного коэффициента корреляции определяет ме-
ру криволинейности связи между X и Y. Поэтому возможны случаи,
когда при коэффициенте корреляции, значительно меньшем единицы,
связь между X и Y оказывается близкой к функциональной, хотя и су-
щественно нелинейной.
В случае, если полученное значение r* близко к нулю, необходимо
провести проверку гипотезы об отсутствии корреляции между слу-
чайными величинами. Требуется определить, значимо ли отличается
r* от нуля. Если число опытов n достаточно велико (более 20), то в ус-
ловиях нулевой гипотезы (Н0: r = 0) можно использовать нормальное
распределение со стандартом


10
? r * ? (1 ? r *2 ) / n . (7.32)
Тогда при ? = 0,95 генеральный коэффициент корреляции находится в
следующих доверительных границах:
1.96 ? (1 ? r *2 ) 1.96 ? (1 ? r *2 )
r *? ? r ? r *+ . (7.33)
n n
С вероятностью 0,95 можно ожидать, что существует корреляция ме-
жду случайными величинами, если 0 не содержится внутри довери-
тельного интервала.
На практике, особенно при числе опытов n < 20, часто приходится
решать вопрос о том, насколько хорошо полученные эксперименталь-
ные точки подтверждают линейную связь между величинами X и Y.
Ответить на этот вопрос можно следующим образом. Предположим,
что две переменные X и Y действительно некоррелированы, т. е. при
проведении бесконечно большого числа измерений выборочный ко-
эффициент корреляции для них был бы равен нулю. При конечном
числе измерений, однако, маловероятно, чтобы величина r* была точ-
но равна нулю из-за воздействия случайных факторов.
Обозначим через
Pn ( r * ? r1 * )
вероятность того, что n измерений двух некоррелированных перемен-
ных X и Y приведут к значению r* (по модулю), не меньшему некото-
рого частного значения r1*. Результаты расчетов вероятностей Pn для
выборок различного объема n и чисел r1* представлены в табл. 1. Для
ответа на вопрос о том, насколько хорошо n пар полученных значений
(xi, yi) подтверждают линейную связь между исследуемыми величина-
ми, вначале по измеренным точкам вычисляют выборочный коэффи-
циент корреляции r1*. Далее по табл. 1 находят вероятность Pn того,
что n некоррелированных точек приведут к значению коэффициента




11
Таблица 1

Вероятность Pn того, что n измерений двух некоррелированных
переменных дадут коэффициент корреляции |r*| ? r1*
(прочерками отмечены значения, меньшие 0,01)
r1 *
n
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
3 0.94 0.87 0.81 0.74 0.67 0.59 0.51 0.41 0.29
4 0.90 0.80 0.70 0.60 0.50 0.40 0.30 0.20 0.10
5 0.87 0.75 0.62 0.50 0.39 0.28 0.19 0.10 0.04
6 0.85 0.70 0.56 0.43 0.31 0.21 0.12 0.06 0.01
7 0.83 0.67 0.51 0.37 0.25 0.15 0.08 0.03 —
8 0.81 0.63 0.47 0.33 0.21 0.12 0.05 0.02 —
9 0.80 0.61 0.43 0.29 0.17 0.09 0.04 0.01 —
10 0.78 0.58 0.40 0.25 0.14 0.07 0.02 0.01 —
11 0.77 0.56 0.37 0.22 0.12 0.05 0.02 — —
12 0.76 0.53 0.34 0.20 0.10 0.04 0.01 — —
13 0.75 0.51 0.32 0.18 0.08 0.03 0.01 — —
14 0.73 0.49 0.30 0.16 0.07 0.02 0.01 — —
15 0.72 0.47 0.28 0.14 0.06 0.02 — — —
16 0.71 0.46 0.26 0.12 0.05 0.01 — — —
17 0.70 0.44 0.21 0.11 0.04 0.01 — — —
18 0.69 0.43 0.23 0.10 0.04 0.01 — — —
19 0.68 0.41 0.21 0.09 0.03 0.01 — — —
20 0.67 0.40 0.20 0.08 0.03 0.01 — — —
25 0.63 0.34 0.15 0.05 0.01 — — — —
30 0.60 0.29 0.11 0.03 0.01 — — — —
35 0.57 0.25 0.08 0.02 — — — — —
40 0.54 0.22 0.06 0.01 — — — — —
50 0.49 0.16 0.03 — — — — — —
60 0.45 0.13 0.02 — — — — — —
80 0.38 0.08 0.01 — — — — — —
100 0.32 0.05 — — — — — — —

корреляции, не меньшего r1*. Если Pn ? 0,05 (для «высокозначимых»
корреляций Pn ? 0,01), то гипотеза о линейной зависимости между ве-
личинами X и Y принимается (при выбранном уровне значимости 0,05
или 0,01 соответственно).
Например, по выборке из 5 пар значений (xi, yi) получено r1* = 0,9.
Вероятность получения коэффициента r* такого, что |r*| ? 0,9, для 5
некоррелированных точек равна Pn = 0,04 (табл. 1). Следовательно,
гипотеза о линейной связи двух исследуемых величин может быть
принята с уровнем значимости 0,05.



12
7.4. Приближенная регрессия. Метод наименьших квадратов
При исследовании корреляционной зависимости между двумя
случайными величинами необходимо по данной выборке объемом n
найти уравнение приближенной регрессии, чаще всего в виде следую-
щего полинома:
k

?
?
y ( x) = b0 + b1 x + b2 x 2 + b3 x 3 + ... = b0 + bj x j , (7.34)
j =1

где коэффициенты b0 и bj являются оценками соответствующих теоре-
тических коэффициентов истинного уравнения регрессии
k

?
m y/x = ? ( x) = ?0 + ?1 x + ? 2 x 2 + ?3 x 3 + ... = ?0 + ? jx j , (7.35)
j =1

и оценить допускаемую при этом ошибку. Для этого обычно исполь-
зуют метод наименьших квадратов.
Рассмотрим некоторый класс функций, аналитическое выражение
которых содержит некоторое число неопределенных коэффициентов,
равное k. Наилучшее уравнение приближенной регрессии дает та
функция из рассматриваемого класса, для которой сумма квадратов S
имеет наименьшее значение:
2
n ?
? ?
?
S= yi ? y ( xi )? = min . (7.36)
?
i =1 ? ?
Предположим, что экспериментальные точки отклоняются от
уравнения истинной регрессии ? (x) только в результате воздействия
случайных факторов, а ошибки измерения нормально распределены.
Полученные в опытах значения yi будут распределены по нормально-
му закону с математическим ожиданием m ( yi ) = ? (xi) и дисперсией
?i2 . При равноточных экспериментах ?1 = ? 2 = … = ? 2 = ? 2 . Тогда
2
2 n
плотность распределения величины Yi принимает вид
?1 ?
1
exp?? 2 [ yi ? ? ( xi )]2 ? .
f i ( yi ) = (7.37)
2? ? ? 2? ?
В результате опытов случайные величины Yi приняли совокуп-
ность значений yi. Используем принцип максимального правдоподо-
бия: определим так математические ожидания ? (xi), чтобы вероят-
ность этого события была максимальной. Обозначим через рi = fi (yi) ?
вероятность того, что случайная величина Yi примет значение из ин-


13
тервала yi – ?/2, yi + ?/2. Вероятность совместного осуществления по-
добных событий для i = 1, 2, …, n равна
?1 ?
n n
? 2?
?
? [ yi ? ? ( xi )] ? =
n ?n ? n/2
n
P=? f i ( y i ) = ? ? ( 2 ?) exp?? 2
? 2? ?
? ?
i =1
i =1

?1 ?
n
? 2?
? [ yi ? ? ( xi )] ? ,
= K exp?? 2 (7.38)
?? ?
? ?
i =1

где К — коэффициент, не зависящий от ? (xi).
Очевидно, что при заданном ?2 вероятность Р максимальна при
условии, что
n

? [ yi ? ? ( xi )]2 = min .
i =1

Таким образом, при нормальном распределении случайных величин
оптимальность метода наименьших квадратов легко обосновывается.
Нахождение коэффициентов уравнения приближенной регрессии
по этому методу связано с задачей определения минимума функции
многих переменных. Пусть
?
y ( x) = f ( x, b0 , b1 , b2 , ..., bk ) . (7.40)
Требуется найти значения коэффициентов b0, b1, b2, …, bk так, чтобы
2
n ?
? ?
?
S= yi ? y ( xi )? = min .
?
i =1 ? ?
Если S принимает минимальное значение, то
?S ?S ?S ?S
= 0, = 0, = 0, ... , = 0, (7.41)
? b0 ? b1 ? b2 ? bk
что соответствует следующей системе уравнений:
?
n ? ? ? y ( xi )
?
? 2 ? yi ? y ( xi )? = 0,
? ? b0
i =1 ?
?
n ? ? ? y ( xi )
?
? 2 ? yi ? y ( xi )? = 0, (7.42)
? ? b1
i =1 ?
……………………………,


14
?
n ? ? ? y ( xi )
?
? 2 ? yi ? y ( xi )? = 0.
? ? bk
i =1 ?

Преобразуем (7.42)
? ?
n n ?
? y ( xi ) ? y ( xi )
? ?
? = 0,
yi y ( xi )
? b0 ? b0
i =1 i =1
? ?
n n ?
? y ( xi ) ? y ( xi )
? ?
? = 0,
y ( xi ) (7.43)
yi
? b1 ? b1
i =1 i =1
……………………………………,
? ?
n n ?
? y ( xi ) ? y ( xi )
? ?
? = 0.
yi y ( xi )
? bk ? bk
i =1 i =1

В последней системе содержится столько же (k + 1) уравнений,
сколько и неизвестных коэффициентов в уравнении (7.40), т. е. она
является системой нормальных уравнений. Поскольку S ? 0 при лю-
бых значениях коэффициентов, то у нее должен существовать по
меньшей мере один минимум. Поэтому если система (7.43) имеет
единственное решение, то оно и является минимумом для S.




15
ЛЕКЦИЯ 8
Линейная регрессия от одного параметра. Регрессионный анализ. Аппрок-
симация, параболическая регрессия. Оценка тесноты нелинейной связи,
корреляционный анализ. Метод множественной корреляции.

8.1. Линейная регрессия от одного параметра
Пусть из опытов получена выборка точек (xi, yi) объемом n. Най-
дем методом наименьших квадратов коэффициенты линейного урав-
нения регрессии
?
y = b0 + b1 x . (8.1)
Система нормальных уравнений уравнений (7.43) с учетом того, что
?
y ( xi ) = b0 + b1 xi ,
принимает вид
n n

? yi ? ? (b0 + b1xi ) = 0,
i =1 i =1
n n

? yi xi ? ? (b0 + b1xi ) xi = 0, (8.2)
i =1 i =1

или после преобразования
n n

? xi = ? yi
nb0 + b1 ,
i =1 i =1

n n n

? xi ? ? yi xi
xi2
+ b1 =
b0 . (8.3)
i =1 i =1 i =1

Решив систему уравнений, получим
n n n n

? yi ? ? xi ? xi yi
xi2 ?
i =1 i =1 i =1 i =1
b0 = , (8.4)
2
?n ?
n

? ?
? xi ?
xi2 ?
n
? ?
? ?
i =1 i =1




16
n n n n

? xi yi ? ? xi ? yi ? ( xi ? x) ( yi ? y)
n
i =1 i =1 i =1 i =1
b1 = = =
2 n
?n ?
? ( xi ? x) 2
n

? ?
? xi ?
xi2 ?
n
? ? i =1
? ?
i =1 i =1

n

? ( xi ? x) ( yi ? y)
i =1
= . (8.5)
2
(n ? 1) s x
Из системы уравнений (8.3) видно, что между коэффициентами b0
и b1 существует корреляционная зависимость, выражение для которой
можно получить, например, из первого уравнения системы:
b0 = y ? b1 x . (8.6)
Выборочный коэффициент корреляции с учетом (8.5) равен
n

? (xi ? x )( yi ? y ) 2
b1 (n ? 1) s x b1s х
i =1
*
= = =
rxy (8.7)
(n ? 1) s x s y (n ? 1) s x s y sy
и оценивает силу линейной связи между Y и Х.

8.2. Регрессионный анализ
Итак, уравнение линейной регрессии определено. Проведем стати-
стический анализ полученных результатов, заключающийся в оценке
значимости коэффициентов регрессии и проверки адекватности полу-
ченного уравнения экспериментальным данным. Подобный анализ и
называется регрессионным.
Примем, что
1) входной параметр х измеряется с гораздо большей точностью
по сравнению с выходной величиной y;
2) значения yi получены независимым образом и нормально рас-
пределены;
3) если при каждом заданном значении хi проводится серия па-
раллельных опытов, то выборочные дисперсии si2 однородны.




17
8.2.1. Проверка адекватности приближенного уравнения регрес-
сии эксперименту

Рассмотрим три наиболее часто встречающихся варианта проверки
адекватности полученного уравнения регрессии.
1. Пусть при каждом значении хi проведена серия из m параллель-
ных опытов. Тогда дисперсия воспроизводимости с числом степеней
свободы fвоспр. = n (m – 1) равна
n

? si2
i =1
2
sвоспр. =
. (8.8)
n
Дисперсия адекватности определяется формулой
n 2

?
?
? ?
? y i ? y ( xi ) ?
m ? ?
? ?
i =1
2
sад. = , (8.9)
n?l
где l — число коэффициентов в уравнении регрессии (при линейной
регреcсии l = 2),
m

?y
1
yi = . (8.10)
iu
m
u =1

Число степеней свободы дисперсии адекватности равно fад. = n – l.
Адекватность уравнения проверяется по критерию Фишера
2 2
F = sад. / sвоспр. . (8.11)
Если вычисленное значение F окажется меньше табличной величины
F1-p(f1, f2) для уровня значимости р и числа степеней свободы f1 = fад. и
f2 = fвоспр., то уравнение адекватно эксперименту.

2. Основная серия опытов проведена без параллельных, а диспер-
сия воспроизводимости определена в отдельной серии из m опытов,
тогда
n 2

?
?
? ?
? yi ? y ( xi ) ?
? ?
? ?
i =1
2
sад. = , (8.12)
n?l




18
m

?( )
02
0
?y
yu
m

?
1
u =1
2
, где y 0 = yi0 .
sвоспр. = (8.13)
m ?1 m
u =1

Адекватность уравнения проверяется по критерию Фишера (8.11), при
этом f2 = fвоспр. = m – 1.

3. Основная серия опытов выполнена без параллельных, и нет дан-
ных для расчета дисперсии воспроизводимости. Тогда по критерию
Фишера сравнивается дисперсия адекватности и дисперсия относи-
тельно среднего
s 2 ( f1 )
y
F= , (8.14)
2
sад. ( f 2 )
где
n

? ( yi ? y )2
i =1
s2 = . (8.15)
y
n ?1
Чем больше полученное F превышает табличное F1-p(f1, f2) для уровня
значимости р и чисел степеней свободы f1 = n – 1 и f2 = n – l, тем
эффективнее уравнение регрессии.

8.2.2. Оценка значимости коэффициентов уравнения регрессии

Значимость коэффициентов уравнения регрессии оценивается по
критерию Стъюдента
bj
tj = , (8.16)
s (b j )
где bj — j-й коэффициент уравнения регрессии; s(bj) — среднее квад-
ратичное отклонение j-го коэффициента. Если tj больше табличной
величины t1-p/2 для выбранного уровня значимости р и числа степеней
свободы f дисперсии j-го коэффициента, то коэффициент bj значимо
отличается от нуля.
В случае линейной регрессии средние квадратичные отклонения
коэффициентов рассчитываются следующим образом:




19
?n ?n ??
2
? ?
n
? ?
? ? ?
? s2 2?
xi2 ? ? xi ? ? ,
s (b0 ) = xi n (8.17)
?
? ? ? ??
? i =1
? ? ? ??
i =1 i =1
?

?n ?n ??
2

( s n) ? ?
? ?
n xi2 ? ? xi ? ? ,
2
s (b1 ) = (8.18)
? ? ?
? i =1 i =1 ? ?
?
? ?
где дисперсия s2 в общем случае определяется как
2 2 2 2
f воспр. sвоспр. + f ад. sад. n(m ? 1) sвоспр. + (n ? l ) sад.
s2 = = . (8.19)
f воспр. + f ад. n(m ? 1) + (n ? l )
Число степеней свободы средневзвешенной дисперсии s2 равно
f = n(m ? 1) + (n ? l ) = nm ? n + n ? l = nm ? l .
Дисперсии воспроизводимости и адекватности рассчитываются по
формулам (8.8) и (8.9) или (8.12) и (8.13). Если у экспериментатора
нет оснований сомневаться в линейном характере изучаемой зависи-
мости и опыты проведены без параллельных (т. е. m = 1), то s 2 = sад. и
2

f = fад. = n – l. Дисперсия адекватности в этом случае определяется по
формуле (8.12).
Для оценки случайных ошибок в определении коэффициентов
приближенного уравнения регрессии можно также воспользоваться
критерием Стъюдента. Рассмотрим величину
b ? ?0
t= 0 , (8.20)
s (b0 )
где ?0 — истинное значение коэффициента b0. Произведя выкладки,
аналогичные представленным в лекции 4, получим
b0 ? s (b0 ) t1? p/2 ? ?0 ? b0 + s (b0 ) t1? p/2 , (8.21)
или
?0 = b0 ± s (b0 ) t1? p/2 , (8.22)
где t1-p/2 — квантиль t-распределения для числа степеней свободы f и
выбранного уровня значимости р.
Аналогично можно построить доверительный интервал для коэф-
фициента b1:
b1 ? s (b1 ) t1? p/2 ? ?1 ? b1 + s (b1 ) t1? p/2 , (8.23)



20
?1 = b1 ± s (b1 ) t1? p/2 . (8.24)
С учетом (8.22) и (8.24), уравнение регрессии принимает следую-
щий вид:
y = ?0 + ?1 x = (b0 ± s (b0 ) t1? p/2 ) + (b1 ± s (b1 ) t1? p/2 ) x .

8.2.3. Оценка доверительного интервала для искомой функции

На практике нередко возникает необходимость в оценке точек,
резко выделяющихся из общей линейной закономерности. Подобную
оценку легко произвести, построив доверительный интервал («кори-
дор ошибок») искомой функции. Под «коридором ошибок» понимают
границы, отсчитываемые по обе стороны от полученной прямой и по-
казывающие пределы, в которых должны лежать экспериментальные
точки. Точки, лежащие за пределами этого коридора, следует при-
знать ошибочными и исключить из общей выборки.
Воспользуемся критерием Стъюдента и рассмотрим величину
?
y ? m y/x
t= , (8.25)
?
s ( y)
где my/x — условное математическое ожидание Y при заданном Х;
?
s ( y ) — выборочное среднеквадратичное отклонение, соответствую-
щее выборочной дисперсии

( )
?
s ( y ) = s 2 (b0 ) + x 2 ? 2 x x s 2 (b1 )
2
(8.26)
с числом степеней свободы f = nm – 2, если среднеквадратичные от-
клонения коэффициентов рассчитываются на основе средневзвешен-
ной дисперсии s2, определяемой по формуле (8.19), и f = n – 2, если
s 2 = sад. . Тогда границы коридора ошибок для произвольного значе-
2

ния аргумента x определяются следующим выражением:
? ?
m y/x = y ( x) ± t1? p / 2 ? s ( y ) , (8.27)
где t1-p/2 — квантиль t-распределения для числа степеней свободы f и
выбранного уровня значимости р (обычно 0,05).
Процедура выделения из общей совокупности точек, содержащих
грубые ошибки, заключается в следующем. Вначале методом наи-
меньших квадратов обрабатываются все полученные эксперименталь-
ные данные, не выбрасывая ни одной точки. Далее по формуле (8.27)
для каждой ординаты (для каждого заданного значения х) определяет-

21
ся доверительный интервал при выбранной доверительной вероятно-
сти. Если оказывается, что одна или несколько точек при этом выпа-
дают из рассчитанных для них интервалов и величина отклонения
превышает систематическую погрешность измерения, то их следует
признать ошибочными и исключить из рассмотрения. Затем весь рас-
чет коэффициентов, их случайных ошибок и коридора ошибок повто-
ряется заново.

8.3. Оценка тесноты нелинейной связи
Если уравнение регрессии получено с достаточной точностью, то
силу стохастической связи между величинами Y и Х можно охаракте-
ризовать величиной
2
(n ? l ) sад.
?= . (8.28)
(n ? 1) s 2
y

Дисперсия адекватности (остаточная дисперсия) и дисперсия относи-
тельно среднего рассчитываются по формулам (8.12) и (8.15) соответ-
ственно. Связь тем сильнее, чем меньше ?. Величина
? = 1? ? (8.29)
называется корреляционным отношением, для которого справедливо
0 ? ? ? 1. (8.30)
Чем больше ?, тем сильнее связь.
В общем случае анализ силы связи по корреляционному отноше-
нию называют корреляционным анализом. Функциональная зависи-
мость между случайными величинами существует, если ? = 1. Однако
при ? = 0 однозначно говорить об отсутствии связи можно только в
случае нормального распределения случайных величин.
При линейной регрессии корреляционное отношение равно коэф-
фициенту корреляции:
2
(n ? 2) sад.
? = 1? = r* . (8.31)
(n ? 1) s 2
y




22
8.4. Аппроксимация. Параболическая регрессия
В общем случае при описании функциональной зависимости меж-
ду двумя случайными величинами используют полиномы некоторой
степени, коэффициенты которых могут и не иметь определенного фи-
зического смысла. Такая операция называется аппроксимацией экспе-
риментальных данных. Полученная эмпирическая формула обычно
справедлива только для сравнительно узкого интервала измерений и
неприменима вне этого интервала. При использовании метода наи-
меньших квадратов коэффициенты приближенного уравнения регрес-
сии определяются решением системы линейных уравнений.
Допустим, что зависимость между величинами Х и Y описывается
параболой второго порядка
?
y ( x) = b0 + b1 x + b2 x 2 . (8.32)
Тогда
? ? ?
? y ( x) ? y ( x) ? y ( x)
= x2 ,
= 1, = x, (8.33)
? b0 ? b1 ? b2
и система нормальных уравнений (7.43) принимает вид
n n n

? xi + b2 ? xi2 = ? yi ,
b0 n + b1
i =1 i =1 i =1

n n n n

? xi + b1 ? ? ? xi yi ,
xi2 xi3
+ b2 =
b0 (8.34)
i =1 i =1 i =1 i =1

n n n n

? ? ? ?
xi2 xi3 xi4 xi2 yi .
+ b1 + b2 =
b0
i =1 i =1 i =1 i =1

Решая систему (8.34), находят коэффициенты искомой квадратичной
функции. При описании функциональных зависимостей полиномами
большей степени коэффициенты определяются из аналогичных по
структуре систем уравнений.
На практике адекватности уравнения регрессии эксперименту до-
биваются повышением степени аппроксимирующего полинома. При
использовании полинома k-степени требуется определять k + 1 коэф-
фициент. Увеличение степени полинома прекращают, если дисперсия
адекватности (остаточная дисперсия) уравнения регрессии k + 1 сте-
2
пени ( sk +1 ) перестает быть значимо меньше дисперсии адекватности,


23
2
вычисленной для полинома k-степени ( sk ). Значимость различия ис-
следуется по критерию Фишера
2 2
F = s k / s k +1 ,
где
n n

? ?
? ?
2
( yi ? y ( xi )) 2
( yi ? y ( xi ))
i =1 i =1
2 2
sk = , s k +1 = . (8.35)
n ? (k + 1) n ? ( k + 2)
Если полученное F меньше табличного F1-p(f1, f2) для уровня значимо-
сти р и чисел степеней свободы f1 = f k = n – k – 1 и f2 = f k+1 = n – k – 2,
то увеличение степени полинома нужно прекратить и в качестве при-
ближенного уравнения регрессии использовать полином k-степени.

8.5. Приведение некоторых функциональных зависимостей к
линейному виду
При малых объемах выборки увеличение порядка полинома может
иногда приводить к росту остаточной дисперсии. Чтобы избежать это-
го, при решении многих задач производят замену переменных. На-
пример, зависимости типа
? ?
или z = a0 t a1
a0 a1x
z= (8.36)
?
сводятся к линейным y = b0 + b1 x следующим образом:
? ? ?
ln z = ln a0 + x ln a1 , y = ln z , b0 = ln a0 , b1 = ln a1 , (8.37)
? ? ?
ln z = ln a0 + a1 ln t , y = ln z , b0 = ln a0 , b1 = a1 , x = ln t . (8.38)
Коэффициенты уравнений (8.37) и (8.38) находятся методом наи-
меньших квадратов.
Рассмотрим некоторые наиболее часто встречающиеся случаи ли-
неаризации зависимостей при обработке результатов физико-химичес-
ких экспериментов.
1. Температурная зависимость контанты равновесия реакции для
небольшого интервала температур имеет вид
?S ?H 1
ln K = ? ?, (8.39)
R RT



24
где ?S и ?Н — энтропия и энтальпия реакции. Непосредственно
измеряемыми величинами являются константа равновесия K и темпе-
ратура T. Произведем замену переменных:
? ? ?S ?H 1
y = b0 + b1 x , где y = ln K , b0 = , b1 = ? ,x= .
R R T
Коэффициенты b0 и b1 определяются методом наименьших квадратов.
Энтальпия и энтропия реакции с учетом случайных ошибок равны
?S = R ? (b0 ± s (b0 ) t1? p/2 ) = R b0 ± R s (b0 ) t1? p/2 ,

?H = ? R ? (b1 ± s (b1 ) t1? p/2 ) = ?( R b1 ± R s (b1 ) t1? p/2 ) .

2. Температурная зависимость давления насыщенного пара веще-
ства в узком интервале температур имеет вид
?H 1
ln P = a ? ?, (8.40)
RT
где а — константа, ?Н —энтальпия парообразования (испарения или
сублимации). Непосредственно определяемыми величинами являются
давление насыщенного пара Р и температура T. Произведем замену
переменных:
? ? ?H 1
y = b0 + b1 x , где y = ln P, a = b0 , b1 = ? , x= .
R T
Энтальпия парообразования с учетом случайной ошибки равна
?H = ? R ? (b1 ± s (b1 ) t1? p/2 ) = ?( R b1 ± R s (b1 ) t1? p/2 ) .

3. Константа скорости реакции первого порядка описывается сле-
дующим уравнением:
1C
k = ln 0 , (8.41)
tC
или
ln C = ln C0 ? k t ,
где k — константа скорости реакции, С0 и С — исходная и текущая
концентрация реагирующего вещества к моменту времени t соответ-
ственно. Произведем замену переменных:
? ?
y = b0 + b1 x , где y = ln C , b0 = ln C0 , b1 = k , x = t .
Определив коэффициент b1 методом наименьших квадратов, получим
значение константы скорости реакции с учетом случайной ошибки:


25
k = ?(b1 ± s (b1 ) t1? p/2 ) .

8.6. Метод множественной корреляции
На практике часто бывает необходимым исследовать корреляци-
онную связь между многими (а не только двумя) величинами. В слу-
чае, когда необходимо установить зависимость величины Y от более
чем одного параметра, обычно используют уравнения множественной
регрессии следующего вида
?
y = b0 + b1 x1 + b2 x2 + ... + bk xk . (8.42)
Коэффициенты уравнения находят методом наименьших квадра-
тов, т. е. определяют из условия
n 2

?
??
?
S= ? yi ? yi ? = min , (8.43)
? ?
? ?
i =1
? ?
где y i = y ( x1i , x2i , ..., xki ) . Условия минимума функции S следующие:
?S ?S ?S
= 0, = 0, ... , = 0. (8.44)
?b0 ?b1 ?bk
Коэффициенты уравнения приближенной регрессии находят из реше-
ния системы (k + 1) нормальных уравнений, полученных из условий
(8.44).
Рассмотрим случай, когда величина Y линейно зависит от двух пе-
ременных X1 и X2. Пусть из опытов получена выборка точек (x1i, x2i, yi)
объемом n. Найдем методом наименьших квадратов коэффициенты
линейного уравнения регрессии
?
y = b0 + b1 x1 + b2 x2 . (8.45)
Тогда
? ? ?
?y ?y ?y
= 1, = x1 , = x2 . (8.46)
?b0 ?b1 ?b2
Система нормальных уравнений, соответствующих условиям (8.44),
принимает следующий вид:
?
n

?
?
? ? ?y
2 ? yi ? y i ? = 0,
? b0
? ?
i =1




26
?
n

?
?
? ??y
2 ? yi ? y i ? = 0, (8.47)
? ? b1
?
i =1
?
n

?
?
? ? ?y
2 ? yi ? y i ? = 0.
? b2

стр. 1
(всего 3)

СОДЕРЖАНИЕ

>>