Уравнение множественной регрессии методом определителей.
1. Расчет коэффициентов множественной линейной регрессии.
Система трех линейных уравнений с тремя неизвестными b0, b1, b2:
∑yi = nb0 + b1∑x1i + b2∑x2i
∑x1iyi = b0∑x1i + b1∑x1i2 + b2∑x1ix2i
∑x2iyi = b0∑x2i + b1∑x1ix2i + b2∑x2i2

Y	X1	X2	X12	X22	X1Y	X2Y	X1X2	Y2	
10.3	15.8	0	249.64	0	162.74	0	0	106.09	
11.2	16.4	25	268.96	625	183.68	280	410	125.44	
11.42	16.83	45	283.25	2025	192.2	513.9	757.35	130.42	
11.37	16.35	52	267.32	2704	185.9	591.24	850.2	129.28	
11.87	17.94	65	321.84	4225	212.95	771.55	1166.1	140.9	
12.5	22.78	100	518.93	10000	284.75	1250	2278	156.25	
11.58	17.76	85	315.42	7225	205.66	984.3	1509.6	134.1	
11.56	17.41	30	303.11	900	201.26	346.8	522.3	133.63	
11.92	18.1	60	327.61	3600	215.75	715.2	1086	142.09	
13.25	30	100	900	10000	397.5	1325	3000	175.56	
116.97	189.37	562	3756.08	41304	2242.39	6777.99	11579.55	1373.75	
11.7	18.94	56.2	375.61	4130.4	224.24	677.8	1157.96	137.37	

Для наших данных система уравнений имеет вид:
116.97 = 10 b0 + 189.37b1 + 562b2
2242.3883 = 189.37b0 + 3756.0791b1 + 11579.55b2
6777.99 = 562b0 + 11579.55b1 + 41304b2
Решая систему методом Крамера, находим:
b0 = 9.22
b1 = 0.0959
b2 = 0.0118
Уравнение регрессии:
Y = 9.22 + 0.0959 X1 + 0.0118 X2

Y	X1	X2	(Yi-Yср)2	(X1i-X1ср)2	(X2i-X2ср)2	(Yi-Yср)(X1i-X1ср)	(Yi-Yср)(X2i-X2ср)	(X1i-X1ср)(X2i-X2ср)	
10.3	15.8	0	1.95	9.84	3158.44	4.38	78.51	176.3	
11.2	16.4	25	0.25	6.44	973.44	1.26	15.51	79.15	
11.42	16.83	45	0.0767	4.44	125.44	0.58	3.1	23.6	
11.37	16.35	52	0.11	6.69	17.64	0.85	1.37	10.87	
11.87	17.94	65	0.0299	0.99	77.44	-0.17	1.52	-8.77	
12.5	22.78	100	0.64	14.77	1918.44	3.09	35.17	168.32	
11.58	17.76	85	0.0137	1.39	829.44	0.14	-3.37	-33.9	
11.56	17.41	30	0.0188	2.33	686.44	0.21	3.59	40.01	
11.92	18.1	60	0.0497	0.7	14.44	-0.19	0.85	-3.18	
13.25	30	100	2.41	122.39	1918.44	17.18	68.02	484.56	
116.97	189.37	562	5.55	169.98	9719.6	27.33	204.28	936.96	
11.7	18.94	56.2	0.56	17	971.96	2.73	20.43	93.7	

2. Анализ качества эмпирического уравнения множественной линейной регрессии.
Построение эмпирического уравнения регрессии является начальным этапом эконометрического анализа. Первое же построенное по выборке уравнение регрессии очень редко является удовлетворительным по тем или иным характеристикам. Поэтому следующей важнейшей оценкой является проверка качества уравнения регрессии. В эконометрике принята устоявшаяся схема такой проверки, которая проводится по следующим направлениям:
• проверка статистической значимости коэффициентов уравнения регрессии;
• проверка общего качества уравнения регрессии;
• проверка свойств данных, выполнимость которых предполагалась при оценивании уравнения (проверка выполнимости предпосылок МНК).
Прежде чем проводить анализ качества уравнения регрессии, необходимо определить дисперсии и стандартные ошибки коэффициентов, а также интервальные оценки коэффициентов.
При этом:

где m=2 – количество объясняющих переменных модели.

Стандартные ошибки коэффициентов:

Y(X1,X2)	ei = (Yi-Y(X1,X2))	ei2	ei - ei-1	(ei - ei-1)2	
10.73	-0.43	0.19	0	0	
11.09	0.11	0.0129	-0.55	0.3	
11.36	0.0569	0.0032	0.0568	0.0032	
11.4	-0.0296	0.0009	0.0864	0.0075	
11.71	0.16	0.0272	-0.19	0.0378	
12.58	-0.0812	0.0066	0.25	0.0606	
11.92	-0.34	0.12	0.26	0.0687	
11.24	0.32	0.1	-0.66	0.44	
11.66	0.26	0.0668	0.0594	0.0035	
13.27	-0.0232	0.0005	0.28	0.0794	
116.97	0	0.53	-0.41	1	
11.7	0	0.0526	-0.0411	0.0998	

3. Оценка мультиколлинеарности факторов.
Парные коэффициенты корреляции.
Для y и x1 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для y и x2 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для x1  и x2 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Матрица парных коэффициентов корреляции.
-	y	x1 	x2 	
y	1	0.89	0.88	
x1 	0.89	1	0.73	
x2 	0.88	0.73	1	

3. Оценка мультиколлинеарности факторов.
При оценке мультиколлинеарности факторов следует учитывать, что чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии.
Для отбора наиболее значимых факторов xi учитываются следующие условия:
- связь между результативным признаком и факторным должна быть выше межфакторной связи;
- связь между факторами должна быть не более 0.7;
- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними;
Более объективную характеристику тесноты связи дают частные коэффициенты корреляции, измеряющие влияние на результат фактора xi при неизменном уровне других факторов.
Частные коэффициенты корреляции.
Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и xi) при условии, что влияние на них остальных факторов (xj) устранено.

Теснота связи сильная

Теснота связи сильная

Теснота связи сильная

Теснота связи низкая.

Теснота связи сильная

Теснота связи низкая.
Уравнение регрессии в стандартизированном масштабе.
Другим видом уравнения множественной регрессии может быть уравнение регрессии в стандартизированном масштабе: ty = β1tx1 + β2tx2.
где

βi – стандартные коэффициенты регрессии.
К уравнению множественной регрессии в стандартизированном масштабе применим МНК. Стандартизированные коэффициенты регрессии (β-коэффициенты) определяются из следующей системы уравнений:
ryx1 = β1 + β2rx2x1
ryx2 = β1rx2x1 + β2
Связь коэффициентов множественной регрессии bi со стандартизированными коэффициентами βi описывается соотношением:

Параметр α определяется как:

α = 11.7 - 0.1 • 18.94 - 0.01 • 56.2 = 9.22
4. Оценка тесноты связи.
4. Теснота связи результативного признака с факторными определятся величиной коэффициента линейной множественной корреляции и детерминации, который могут быть исчислены на основе матрицы парных коэффициентов корреляции:

Более объективную оценку качества построенной модели дает скорректированный индекс множественной детерминации, учитывающий поправку на число степеней свободы:

где n- число наблюдений, m – число факторов.

Сравнительная оценка влияния анализируемых факторов на результативный признак.
5. Сравнительная оценка влияния анализируемых факторов на результативный признак производится:
- средним коэффициентом эластичности, показывающим на сколько процентов среднем по совокупности изменится результат y от своей средней величины при измени фактора xi на 1% от своего среднего значения;

Частный коэффициент эластичности E1 < 1. Следовательно, его влияние на результативный признак Y незначительно.

Частный коэффициент эластичности E2 < 1. Следовательно, его влияние на результативный признак Y незначительно.
- β–коэффициенты, показывающие, что, если величина фактора изменится на одно среднеквадратическое отклонение Sxi, то значение результативного признака изменится в среднем на β своего среднеквадратического отклонения;
- долю каждого фактора в общей вариации результативного признака определяют коэффициенты раздельной детерминации (отдельного определения): d2i = ryxiβi.
d21 = 0.89 • 0.0107 = 0.0096.
d22 = 0.88 • 0.0002 = 0.0002.
При этом должно выполняться равенство:
d21 + d22 = R2yx1x2.
Результаты сравнительного анализа факторов оформляются в таблице:
6. Оценка значимости коэффициентов регрессии с помощью t-критерия Стьюдента.
Оценка значимости коэффициентов регрессии b1 и b2 производится с помощью t-критерия Стьюдента и связана с сопоставлением их значений с величиной случайных ошибок mb1 и mb2. Более простым способом расчета фактических значений tb1 и tb2 является их определение через критерии F:
Проверим гипотезу H0 о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H1 не равно) на уровне значимости α=0.05.
tкрит (n-m-1;α/2) = (7;0.025) = 2.365

Поскольку 20.3985  >  2.365, то статистическая значимость коэффициента регрессии b0 подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 3.1213  >  2.365, то статистическая значимость коэффициента регрессии b1 подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 2.9001  >  2.365, то статистическая значимость коэффициента регрессии b2 подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95%  будут следующими:
(bj - tкрит Sbj; bj + tкрит Sbj)
(9.22 - 2.365 • 0.452; 9.22 + 2.365 • 0.452)
(8.151;10.2889)
С вероятностью 95% можно утверждать, что значение данного параметра b0 будут лежать в найденном интервале.
(0.0959 - 2.365 • 0.0307; 0.0959 + 2.365 • 0.0307)
(0.0232;0.1685)
С вероятностью 95% можно утверждать, что значение данного параметра b1 будут лежать в найденном интервале.
(0.0118 - 2.365 • 0.0041; 0.0118 + 2.365 • 0.0041)
(0.0022;0.0214)
С вероятностью 95% можно утверждать, что значение данного параметра b2 будут лежать в найденном интервале.
7. Проверка гипотезы о статистической значимости уравнения регрессии.
Проверка гипотезы H0 о статистической значимости уравнения регрессии и показателя тесноты связи (R2 = 0) производится по F-критерию Фишера сравнением Fфакт с Fтабл.
Проверка значимости модели регрессии проводится с использованием F-критерия Фишера, расчетное значение которого находится как отношение дисперсии исходного ряда наблюдений изучаемого показателя и несмещенной оценки дисперсии остаточной последовательности для данной модели.
Если расчетное значение с k1=(m) и k2=(n-m-1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

где m – число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H0: R2=0 на уровне значимости α.
2. Далее определяют фактическое значение F-критерия:

где m=2 для множественной регрессии с двумя факторами.
3.	Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 2 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2-1.
4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
Табличное значение критерия со степенями свободы k1=2 и k2=7, Fkp = 4.74
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим (найденная оценка уравнения регрессии статистически надежна).
Частные критерии.
Частные критерии Fx1 и Fx2 оценивают статистическую значимость включения факторов x1 и x2 в уравнение множественной регрессии и целесообразность включения в уравнение одного фактора после другого, т.е. Fx1 оценивает целесообразность включения в уравнение x1 после включения в него фактора x2.
Соответственно Fx2 указывает на целесообразность включения в модель фактора x2 после включения фактора x1.

Поскольку фактическое значение F > Fkp, то коэффициент Fx1 статистически значим, т.е. целесообразно включать в уравнение x1 после включения в него фактора x2.

Поскольку фактическое значение F > Fkp, то коэффициент Fx2 статистически значим, т.е. целесообразно включать в уравнение x2 после включения в него фактора x1.
Проверка наличия предпосылок МНК.
1. первая предпосылка МНК – случайный характер остатков εi. Для проверки этого свойства определяют значения εi и строится график зависимости εi от теоретических значений результативного признака.
Если на графике получена горизонтальная полоса остатков εi то они представляют собой случайные величины и МНК оправдан, теоретические значения yx независимы от εi.
При этом возможны следующие случаи, если εi зависит от yx:
- остатки εi не случайны;
- остатки εi не имеют постоянной дисперсии;
- остатки εi носят систематический характер.
2. Вторая предпосылка МНК – нулевая средняя величина остатков, не зависящая от εi. Для проверки этой предпосылки строится график зависимости случайных остатков εi от факторов, включенных в регрессию xi.
Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xi. Если же график показывает зависимости εi от xi, то это свидетельствует о наличии систематической погрешности модели, причины которой могут быть разные.
Возможно, нарушена третья предпосылка МНК и дисперсия остатков не постоянна для каждого значения фактора xi. Может быть, неправильно подобрана модель.
Корреляция случайны остатков с факторными признаками, позволяет проводить корректировку модели, например, использовать кусочно-линейные модели.
3. В соответствии с третей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора xi остатки εi имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность.
Проверка на наличие гетероскедастичности.
a) Методом графического анализа остатков.
В этом случае по оси абсцисс откладываются значения объясняющей переменной Xi, а по оси ординат квадраты отклонения εi2.
Если имеется определенная связь между отклонениями, то гетероскедастичность имеет место. Отсутствие зависимости скоре всего будет свидетельствовать об отсутствии гетероскедастичности.
b) При помощи теста ранговой корреляции Спирмена.
4. При построение регрессионных моделей важно соблюдение четвертой предпосылки МНК – отсутствие автокорреляции остатков, т.е. значения остатков εi распределены независимо друг от друга.
Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент автокорреляции определяется по формуле линейного коэффициента корреляции:

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии.
Пятая предпосылка МНК о нормальном распределении остатков может быть визуально проверена путем графического изображения ряда распределения остаточных величин и сравнения с кривой нормального распределения.
О соответствии эмпирического распределения теоретическому можно судить по величине эксцесса (Е≈0).

где М4 – центральный момент четвертого порядка, который определяется по формуле :

Теста ранговой корреляции Спирмена
Задаются два параметра: xi, ε.

Решение было получено и оформлено с помощью сервиса:
Уравнение множественной регрессии
Вместе с этой задачей решают также:
Уравнение множественной регрессии
Уравнение парной линейной регрессии
Выявление тренда методом аналитического выравнивания
Показатели вариации
Показатели динамики