Уравнение множественной регрессии.
Уравнение множественной регрессии может быть представлено в виде:
Y = f(β , X) + ε
где X = X(X1, X2, ..., Xm) - вектор независимых (объясняющих) переменных; β - вектор параметров (подлежащих определению); ε - случайная ошибка (отклонение); Y - зависимая (объясняемая) переменная.
теоретическое линейное уравнение множественной регрессии имеет вид:
Y = β0 + β1X1 + β2X2 + ... + βmXm + ε
β0 - свободный член, определяющий значение Y, в случае, когда все объясняющие переменные Xj равны 0.

Прежде чем перейти к определению нахождения оценок коэффициентов регрессии, необходимо проверить ряд предпосылок МНК.
Предпосылки МНК.
1. Математическое ожидание случайного отклонения εi равно 0 для всех наблюдений (M(εi) = 0).
2. Гомоскедастичность (постоянство дисперсий отклонений). Дисперсия случайных отклонений εi постоянна: D(εi) = D(εj) = S2 для любых i и j.
3. отсутствие автокорреляции.
4. Случайное отклонение должно быть независимо от объясняющих переменных: Yeixi = 0.
5. Модель является линейное относительно параметров.
6. отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует строгая (сильная) линейная зависимость.
7. Ошибки εi имеют нормальное распределение. Выполнимость данной предпосылки важна для проверки статистических гипотез и построения доверительных интервалов.

Эмпирическое уравнение множественной регрессии представим в виде:
Y = b0 + b1X1 + b1X1 + ... + bmXm + e
Здесь b0, b1, ..., bm - оценки теоретических значений β0, β1, β2, ..., βm коэффициентов регрессии (эмпирические коэффициенты регрессии); e - оценка отклонения ε.
При выполнении предпосылок МНК относительно ошибок εi, оценки b0, b1, ..., bm параметров β0, β1, β2, ..., βm множественной линейной регрессии по МНК являются несмещенными, эффективными и состоятельными (т.е. BLUE-оценками).

Для оценки параметров уравнения множественной регрессии применяют МНК.
1. Оценка уравнения регрессии.
Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения:
s = (XTX)-1XTY
Матрица X

1	92	90	85	
1	82	85	60	
1	86	84	88	
1	79	69	76	
1	96.7	90.9	89.9	
1	95.5	95.4	81.9	
1	102	103.6	95	
1	94.8	91.4	88	
1	111	117.4	105.3	
1	111.9	119.9	117.4	
1	104.9	107.1	110	
1	103.7	101.9	102.8	
1	107	109.2	112.5	
1	106.1	110.2	110.9	

Матрица Y

1991	
1992	
1993	
1994	
1995	
1996	
1997	
1998	
1999	
2000	
2001	
2002	
2003	
2004	

Матрица XT

1	1	1	1	1	1	1	1	1	1	1	1	1	1	
92	82	86	79	96.7	95.5	102	94.8	111	111.9	104.9	103.7	107	106.1	
90	85	84	69	90.9	95.4	103.6	91.4	117.4	119.9	107.1	101.9	109.2	110.2	
85	60	88	76	89.9	81.9	95	88	105.3	117.4	110	102.8	112.5	110.9	

Умножаем матрицы, (XTX)

14	1372.6	1375	1322.7	
1372.6	135993.7	136684.3	131687.89	
1375	136684.3	137674.36	132457.35	
1322.7	131687.89	132457.35	128397.37	

В матрице,  (XTX) число 14, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы XT и 1-го столбца матрицы X
Умножаем матрицы,  (XTY)

27965	
2742225.6	
2747140.2	
2642836.3	

Находим обратную матрицу (XTX)-1

21.12	-0.62	0.28	0.12	
-0.62	0.0219	-0.0115	-0.0043	
0.28	-0.0115	0.0073	0.0012	
0.12	-0.0043	0.0012	0.0019	

Вектор оценок коэффициентов регрессии равен
s = (XTX)-1XTY = 

1970.42	
0.2	
-0.07	
0.15	

Уравнение регрессии (оценка уравнения регрессии)
 Y = 1970.4232 + 0.2004X1-0.07X2 + 0.1514X3
2. Матрица парных коэффициентов корреляции.
Число наблюдений n = 14. Число независимых переменных в модели равно 3, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 5. Матрица, независимых переменных Х имеет размерность (14 х 5). Матрица ХT Х определяется непосредственным умножением или по следующим предварительно вычисленным суммам.
Матрица составленная из Y и X

1	1991	92	90	85	
1	1992	82	85	60	
1	1993	86	84	88	
1	1994	79	69	76	
1	1995	96.7	90.9	89.9	
1	1996	95.5	95.4	81.9	
1	1997	102	103.6	95	
1	1998	94.8	91.4	88	
1	1999	111	117.4	105.3	
1	2000	111.9	119.9	117.4	
1	2001	104.9	107.1	110	
1	2002	103.7	101.9	102.8	
1	2003	107	109.2	112.5	
1	2004	106.1	110.2	110.9	

Транспонированная матрица.

1	1	1	1	1	1	1	1	1	1	1	1	1	1	
1991	1992	1993	1994	1995	1996	1997	1998	1999	2000	2001	2002	2003	2004	
92	82	86	79	96.7	95.5	102	94.8	111	111.9	104.9	103.7	107	106.1	
90	85	84	69	90.9	95.4	103.6	91.4	117.4	119.9	107.1	101.9	109.2	110.2	
85	60	88	76	89.9	81.9	95	88	105.3	117.4	110	102.8	112.5	110.9	

Матрица ATA.

14	27965	1372.6	1375	1322.7	
27965	55860315	2742225.6	2747140.2	2642836.3	
1372.6	2742225.6	135993.7	136684.3	131687.89	
1375	2747140.2	136684.3	137674.36	132457.35	
1322.7	2642836.3	131687.89	132457.35	128397.37	

Полученная матрица имеет следующее соответствие:
∑n	∑y	∑x1 	∑x2 	∑x3 	
∑y	∑y2 	∑x1 y	∑x2 y	∑x3 y	
∑x1 	∑yx1 	∑x1 2 	∑x2 x1 	∑x3 x1 	
∑x2 	∑yx2 	∑x1 x2 	∑x2 2 	∑x3 x2 	
∑x3 	∑yx3 	∑x1 x3 	∑x2 x3 	∑x3 2 	

Найдем парные коэффициенты корреляции.
Для y и x1 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для y и x2 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для y и x3 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для x1  и x2 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для x1  и x3 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для x2  и x3 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Матрица парных коэффициентов корреляции.
-	y	x1 	x2 	x3 	
y	1	0.8	0.75	0.84	
x1 	0.8	1	0.97	0.91	
x2 	0.75	0.97	1	0.85	
x3 	0.84	0.91	0.85	1	

Анализ первой строки этой матрицы позволяет произвести отбор факторных признаков, которые могут быть включены в модель множественной корреляционной зависимости. Факторные признаки, у которых ryxi < 0.5 исключают из модели.
Коллинеарность – зависимость между факторами. В качестве критерия мультиколлинеарности может быть принято соблюдение следующих неравенств:
r(xjy) > r(xkxj) ; r(xky) > r(xkxj).
Если одно из неравенств не соблюдается, то исключается тот параметр xk или xj, связь которого с результативным показателем Y оказывается наименее тесной.
При оценке мультиколлинеарности факторов следует учитывать, что чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии.
Для отбора наиболее значимых факторов xi учитываются следующие условия:
- связь между результативным признаком и факторным должна быть выше межфакторной связи;
- связь между факторами должна быть не более 0.7;
- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними.
Более объективную характеристику тесноты связи дают частные коэффициенты корреляции, измеряющие влияние на результат фактора xi при неизменном уровне других факторов.
Частные коэффициенты корреляции.
Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и xi) при условии, что влияние на них остальных факторов (xj) устранено.

Теснота связи не сильная

Теснота связи низкая.

Теснота связи низкая.

Теснота связи низкая.

Теснота связи не сильная

Теснота связи умеренная

Теснота связи не сильная

Теснота связи низкая.

Теснота связи сильная

Теснота связи сильная

Теснота связи сильная

Теснота связи умеренная

Теснота связи низкая.

Теснота связи низкая.

Теснота связи сильная

Теснота связи сильная

Теснота связи умеренная

Теснота связи не сильная

Теснота связи не сильная

Теснота связи умеренная

Теснота связи сильная

Теснота связи умеренная

Теснота связи умеренная

Теснота связи не сильная
3. Анализ параметров уравнения регрессии.
Перейдем к статистическому анализу полученного уравнения регрессии: проверке значимости уравнения и его коэффициентов, исследованию абсолютных и относительных ошибок аппроксимации
Для несмещенной оценки дисперсии проделаем следующие вычисления:
Несмещенная ошибка ε = Y - Y(x) = Y - X*s (абсолютная ошибка аппроксимации)

Y	Y(x)	ε	(Y-Yср)2	
1991	1995.43	-4.43	42.25	
1992	1989.99	2.01	30.25	
1993	1995.1	-2.1	20.25	
1994	1992.93	1.07	12.25	
1995	1997.05	-2.05	6.25	
1996	1995.28	0.72	2.25	
1997	1997.99	-0.99	0.25	
1998	1996.35	1.65	0.25	
1999	2000.39	-1.39	2.25	
2000	2002.23	-2.23	6.25	
2001	2000.6	0.4	12.25	
2002	1999.64	2.36	20.25	
2003	2001.25	1.75	30.25	
2004	2000.76	3.24	42.25	
 	 	 	227.5	

se2 = (Y - X*s)T(Y - X*s) = 63.84
Несмещенная оценка дисперсии равна:

Оценка среднеквадратичного отклонения равна (стандартная ошибка для оценки Y):

Найдем оценку ковариационной матрицы вектора k = S • (XTX)-1

53.34	-1.56	0.72	0.31	
-1.56	0.0554	-0.029	-0.0109	
0.72	-0.029	0.0186	0.0031	
0.31	-0.0109	0.0031	0.0048	

Дисперсии параметров модели определяются соотношением S 2i = Kii, т.е. это элементы, лежащие на главной диагонали
Частные коэффициенты эластичности.
С целью расширения возможностей содержательного анализа модели регрессии используются частные коэффициенты эластичности, которые определяются по формуле

Частный коэффициент эластичности |E1| < 1. Следовательно, его влияние на результативный признак Y незначительно.

Частный коэффициент эластичности |E2| < 1. Следовательно, его влияние на результативный признак Y незначительно.

Частный коэффициент эластичности |E3| < 1. Следовательно, его влияние на результативный признак Y незначительно.
Индекс множественной корреляции (множественный коэффициент корреляции).
Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции (от 0 до 1)

Связь между признаком Y факторами X  сильная
Значимость коэффициента корреляции.

По таблице Стьюдента находим Tтабл
Tкрит(n-m-1;α/2) = (10;0.025) = 1.812
Поскольку Tнабл > Tкрит , то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициента корреляции статистически - значим
Интервальная оценка для коэффициента корреляции (доверительный интервал).

Доверительный интервал для коэффициента корреляции
r(0.7123;0.9841)
Коэффициент детерминации.
R2= 0.852 = 0.7194
т.е. в 71.94 % случаев изменения х приводят к изменению y. Другими словами - точность подбора уравнения регрессии - высокая
4. Оценка значения результативного признака при заданных значениях факторов.
Y(0.0,0.0,0.0,) = 1970.42 + 0.2004 * 0.0-0.07 * 0.0 + 0.1514 * 0.0 = 1970.42
Доверительные интервалы с вероятностью 0.95 для среднего значения результативного признака M(Y).
S2 = X0T(XTX)-1X0
где
X0T = [ 1  ; 0.0 ; 0.0 ; 0.0]
(XTX)-1

21.12	-0.62	0.28	0.12	
-0.62	0.0219	-0.0115	-0.0043	
0.28	-0.0115	0.0073	0.0012	
0.12	-0.0043	0.0012	0.0019	

X0 

1	
0	
0	
0	

Умножаем матрицы, находим S2 = 21.12

(Y – t*SY ; Y + t*SY )
(1970.42 – 1.812*11.61 ; 1970.42 + 1.812*11.61)
(1949.38;1991.46)
C вероятностью 0.95 среднее значение Y при X0i находится в указанных пределах.
Доверительные интервалы с вероятностью 0.95 для индивидуального значения результативного признака.

(1970.42 – 1.812*11.88 ; 1970.42 + 1.812*11.88)
(1948.89;1991.95)
C вероятностью 0.95 индивидуальное значение Y при X0i находится в указанных пределах.
5. Проверка гипотез относительно коэффициентов уравнения регрессии (проверка значимости параметров множественного уравнения регрессии).
v = n - m - 1 называется числом степеней свободы. Считается, что при оценивании множественной линейной регрессии для обеспечения статистической надежности требуется, чтобы число наблюдений, по крайней мере, в 3 раза превосходило число оцениваемых параметров.
1) t-статистика
Tтабл (n-m-1;α) = (10;0.025) = 1.812

Находим стандартную ошибку коэффициента регрессии b0:

Статистическая значимость коэффициента регрессии b0 подтверждается.
Находим стандартную ошибку коэффициента регрессии b1:

Статистическая значимость коэффициента регрессии b1 не подтверждается.
Находим стандартную ошибку коэффициента регрессии b2:

Статистическая значимость коэффициента регрессии b2 не подтверждается.
Находим стандартную ошибку коэффициента регрессии b3:

Статистическая значимость коэффициента регрессии b3 подтверждается.
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95%  будут следующими:
(bi - ti Sbi; bi + ti Sbi)
b0: (1970.4232 - 1.812 • 7.3033 ; 1970.4232 + 1.812 • 7.3033) = (1957.1897;1983.6567)
b1: (0.2004 - 1.812 • 0.2354 ; 0.2004 + 1.812 • 0.2354) = (-0.2261;0.6269)
b2: (-0.07 - 1.812 • 0.1363 ; -0.07 + 1.812 • 0.1363) = (-0.3169;0.1769)
b3: (0.1514 - 1.812 • 0.0691 ; 0.1514 + 1.812 • 0.0691) = (0.0262;0.2766)
Проверка общего качества уравнения множественной регрессии.
2) F-статистика. Критерий Фишера

Чем ближе этот коэффициент к единице, тем больше уравнение регрессии объясняет поведение Y.
Более объективной оценкой является скорректированный коэффициент детерминации:

Добавление в модель новых объясняющих переменных осуществляется до тех пор, пока растет скорректированный коэффициент детерминации.
Проверим гипотезу об общей значимости - гипотезу об одновременном равенстве нулю всех коэффициентов регрессии при объясняющих переменных:
H0: β1 = β2 = ... = βm = 0.
Проверка этой гипотезы осуществляется с помощью F-статистики распределения Фишера.
Если F < Fkp  = Fα ; n-m-1, то нет оснований для отклонения гипотезы H0.

Табличное значение при степенях свободы k1 = 3 и k2 = n-m-1 = 14 - 4 -1 = 10, Fkp(3;10) = 3.71
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим и уравнение регрессии статистически надежно
6. Проверка на наличие гетероскедастичности.
1) Методом графического анализа остатков.
В этом случае по оси абсцисс откладываются значения объясняющей переменной Xi, а по оси ординат квадраты отклонения εi2.
Если имеется определенная связь между отклонениями, то гетероскедастичность имеет место. Отсутствие зависимости скоре всего будет свидетельствовать об отсутствии гетероскедастичности.
2) При помощи теста ранговой корреляции Спирмена.
Тест ранговой корреляции Спирмена
Задаются два параметра: xi, ε.

y	y(x)	ε = y-y(x)	ε2	
1991	1995.43	-4.43	19.62	
1992	1989.99	2.01	4.04	
1993	1995.1	-2.1	4.41	
1994	1992.93	1.07	1.14	
1995	1997.05	-2.05	4.2	
1996	1995.28	0.72	0.51	
1997	1997.99	-0.99	0.99	
1998	1996.35	1.65	2.73	
1999	2000.39	-1.39	1.94	
2000	2002.23	-2.23	4.97	
2001	2000.6	0.4	0.16	
2002	1999.64	2.36	5.59	
2003	2001.25	1.75	3.05	
2004	2000.76	3.24	10.49	

Решение было получено и оформлено с помощью сервиса:
Уравнение множественной регрессии
Вместе с этой задачей решают также:
Уравнение парной линейной регрессии
Выявление тренда методом аналитического выравнивания
Показатели вариации
Показатели динамики