Уравнение множественной регрессии методом определителей.
1. Расчет коэффициентов множественной линейной регрессии.
Система трех линейных уравнений с тремя неизвестными b0, b1, b2:
∑yi = nb0 + b1∑x1i + b2∑x2i
∑x1iyi = b0∑x1i + b1∑x1i2 + b2∑x1ix2i
∑x2iyi = b0∑x2i + b1∑x1ix2i + b2∑x2i2

Y	X1	X2	X12	X22	X1Y	X2Y	X1X2	Y2	
15413	128499	622.8	16511993001	387879.84	1980555087	9599216.4	80029177.2	237560569	
12764	105261	704.6	11079878121	496461.16	1343551404	8993514.4	74166900.6	162919696	
15385	196114	1020.6	38460700996	1041624.36	3017213890	15701931	200153948.4	236698225	
6438	89816	488.7	8066913856	238827.69	578235408	3146250.6	43893079.2	41447844	
5430	67264	336.9	4524445696	113501.61	365243520	1829367	22661241.6	29484900	
11483	119220	574.7	14213408400	330280.09	1369003260	6599280.1	68515734	131859289	
19635	125414	523	15728671396	273529	2462503890	10269105	65591522	385533225	
10628	104335	528.2	10885792225	278995.24	1108872380	5613709.6	55109747	112954384	
8784	93314	467.6	8707502596	218649.76	819670176	4107398.4	43633626.4	77158656	
11409	131405	670.8	17267274025	449972.64	1499199645	7653157.2	88146474	130165281	
15255	148259	790.7	21980731081	625206.49	2261691045	12062128.5	117228391.3	232715025	
17399	146280	642.9	21397838400	413320.41	2545125720	11185817.1	94043412	302725201	
7140	78166	335	6109923556	112225	558105240	2391900	26185610	50979600	
12657	147171	573	21659303241	328329	1862743347	7252461	84328983	160199649	
4832	61193	410.7	3744583249	168674.49	295684576	1984502.4	25131965.1	23348224	
14870	173425	674	30076230625	454276	2578829750	10022380	116888450	221116900	
11453	204407	1014.2	41782221649	1028601.64	2341073371	11615632.6	207309579.4	131171209	
21790	210026	1148.8	44110920676	1319741.44	4576466540	25032352	241277868.8	474804100	
23007	276614	1855.8	76515304996	3443993.64	6364058298	42696390.6	513340261.2	529322049	
15719	130539	720.2	17040430521	518688.04	2051942541	11320823.8	94014187.8	247086961	
11863	138563	692.9	19199704969	480110.41	1643772869	8219872.7	96010302.7	140730769	
23206	204565	947.7	41846839225	898135.29	4747135390	21992326.2	193866250.5	538518436	
16792	207212	1174.1	42936812944	1378510.81	3479503904	19715487.2	243287609.2	281971264	
13802	124140	624.9	15410739600	390500.01	1713380280	8624869.8	77575086	190495204	
5976	81364	400.5	6620100496	160400.25	486231264	2393388	32586282	35712576	
16042	265202	1083.2	70332100804	1173322.24	4254370484	17376694.4	287266806.4	257345764	
22458	183712	947.3	33750098944	897377.29	4125804096	21274463.4	174030377.6	504361764	
5118	93694	468.2	8778565636	219211.24	479525892	2396247.6	43867530.8	26193924	
18847	209479	942.1	43881451441	887552.41	3948050713	17755758.7	197350165.9	355209409	
5496	141776	434.1	20100434176	188442.81	779200896	2385813.6	61544961.6	30206016	
401091	4386429	21818.2	732720916541	18916340.3	65636744876	331212239.3	3669035531.7	6279996113	
13369.7	146214.3	727.27	24424030551.37	630544.68	2187891495.87	11040407.98	122301184.39	209333203.77	

Для наших данных система уравнений имеет вид:
401091 = 30 b0 + 4386429b1 + 21818.2b2
65636744876 = 4386429b0 + 732720916541b1 + 3669035531.7b2
331212239.3 = 21818.2b0 + 3669035531.7b1 + 18916340.3b2
Решая систему методом Крамера, находим:
b0 = 2388.79
b1 = 0.0487
b2 = 5.32
Уравнение регрессии:
Y = 2388.79 + 0.0487 X1 + 5.32 X2

Y	X1	X2	(Yi-Yср)2	(X1i-X1ср)2	(X2i-X2ср)2	(Yi-Yср)(X1i-X1ср)	(Yi-Yср)(X2i-X2ср)	(X1i-X1ср)(X2i-X2ср)	
15413	128499	622.8	4175074.89	313831854.09	10914.68	-36197672.49	-213470.36	1850776.44	
12764	105261	704.6	366872.49	1677172780.89	514.08	24805413.81	13733.24	928547.82	
15385	196114	1020.6	4061434.09	2489980060.09	86040.53	100562865.41	591141.23	14636912.67	
6438	89816	488.7	48048464.89	3180768242.89	56917.24	390936096.11	1653718.77	13455130.43	
5430	67264	336.9	63038836.09	6233149870.09	152391.34	626841696.91	3099447.15	30820091.78	
11483	119220	574.7	3559636.89	728692232.49	23278.62	50930145.81	287860.11	4118610.33	
19635	125414	523	39253984.09	432652480.09	41727.59	-130320119.59	-1279833.72	4248946.62	
10628	104335	528.2	7516918.89	1753875768.49	39630.19	114820476.81	545799.36	8337051.85	
8784	93314	467.6	21028644.49	2798441740.09	67430.24	242584905.71	1190784	13736797.24	
11409	131405	670.8	3844344.49	219315366.49	3189.24	29036594.51	110727.26	836330.54	
15255	148259	790.7	3554356.09	4180798.09	4022.94	3854872.91	119578.29	129688.51	
17399	146280	642.9	16235258.49	4316.49	7118.86	264725.01	-339965.47	-5543.33	
7140	78166	335	38809162.09	4630571132.89	153878.37	423920494.51	2443745.18	26693533.47	
12657	147171	573	507941.29	915274.89	23800.26	-681840.09	109950.6	-147593.3	
4832	61193	410.7	72892321.29	7228621453.69	100218.68	725886353.01	2702808.15	26915476.35	
14870	173425	674	2250900.09	740422194.49	2838.05	40824213.21	-79925.98	-1449604.69	
11453	204407	1014.2	3673738.89	3386390333.29	82326.91	-111537948.09	-549952.34	16697037.44	
21790	210026	1148.8	70901452.09	4071933056.89	177684.73	537313657.51	3549380.99	26898333.2	
23007	276614	1855.8	92877551.29	17004081760.09	1273572.44	1256701028.81	10875950.04	147159538.78	
15719	130539	720.2	5519210.49	245715030.09	50.03	-36825982.29	-16617.38	110876.62	
11863	138563	692.9	2270144.89	58542391.69	1181.53	11528213.71	51790.3	263000.69	
23206	204565	947.7	96752797.69	3404804190.49	48587.92	573954990.41	2168182.82	12862050.3	
16792	207212	1174.1	11712137.29	3720719405.29	199654.07	208752428.71	1529174.9	27255398.97	
13802	124140	624.9	186883.29	487274720.49	10480.3	-9542719.89	-44255.99	2259819.67	
5976	81364	400.5	54666799.69	4205561410.09	106780.81	479483663.11	2416063.99	21191348.7	
16042	265202	1083.2	7141187.29	14158072751.29	126683.79	317970830.71	951142.83	42350895.44	
22458	183712	947.3	82597196.89	1406077505.29	48411.73	340790346.91	1999668.35	8250493.94	
5118	93694	468.2	68090552.89	2758381912.09	67118.99	433381759.51	2137795.42	13606609.19	
18847	209479	942.1	30000815.29	4002422266.09	46150.5	346519741.31	1176670.1	13590944.62	
5496	141776	434.1	61995151.69	19698506.89	85950.6	34945842.71	2308358.87	1301191.21	
401091	4386429	21818.2	917529770.3	91362270806.3	3048545.26	6991505074.7	39509450.76	478902691.44	
13369.7	146214.3	727.27	30584325.68	3045409026.88	101618.18	233050169.16	1316981.69	15963423.05	

2. Анализ качества эмпирического уравнения множественной линейной регрессии.
Построение эмпирического уравнения регрессии является начальным этапом эконометрического анализа. Первое же построенное по выборке уравнение регрессии очень редко является удовлетворительным по тем или иным характеристикам. Поэтому следующей важнейшей оценкой является проверка качества уравнения регрессии. В эконометрике принята устоявшаяся схема такой проверки, которая проводится по следующим направлениям:
• проверка статистической значимости коэффициентов уравнения регрессии;
• проверка общего качества уравнения регрессии;
• проверка свойств данных, выполнимость которых предполагалась при оценивании уравнения (проверка выполнимости предпосылок МНК).
Прежде чем проводить анализ качества уравнения регрессии, необходимо определить дисперсии и стандартные ошибки коэффициентов, а также интервальные оценки коэффициентов.
При этом:

где m=2 – количество объясняющих переменных модели.

Стандартные ошибки коэффициентов:

Y(X1,X2)	ei = (Yi-Y(X1,X2))	ei2	ei - ei-1	(ei - ei-1)2	
11952.3	3460.7	11976470.23	0	0	
11256.44	1507.56	2272728.51	1953.15	3814781.58	
17357.14	-1972.14	3889317.33	3479.69	12108258.88	
9357.14	-2919.14	8521355.47	947	896810.64	
7452.79	-2022.79	4091663.56	-896.35	803443.31	
11245.08	237.92	56604.13	-2260.7	5110774.92	
11271.62	8363.38	69946067.61	-8125.46	66023105.92	
10273.6	354.4	125600.37	8008.98	64143682.87	
9415.17	-631.17	398375.69	985.57	971351.22	
12348.88	-939.88	883369.69	308.71	95300.25	
13806.38	1448.62	2098488.89	-2388.49	5704902.09	
12924.35	4474.65	20022519.07	-3026.04	9156898.45	
7973.16	-833.16	694153.16	5307.81	28172862.91	
12596.1	60.9	3709.33	-894.06	799348.37	
7549.72	-2717.72	7386005.05	2778.62	7720756.14	
14410.51	459.49	211127.97	-3177.21	10094645.61	
17726.63	-6273.63	39358495	6733.12	45334925.84	
18715.61	3074.39	9451852.05	-9348.02	87385503.38	
25714.27	-2707.27	7329284.53	5781.65	33427495.1	
12569.36	3149.64	9920218.58	-5856.9	34303312.6	
12814.66	-951.66	905662.66	4101.3	16820669.49	
17380.79	5825.21	33933045.37	-6776.87	45925978.61	
18713.19	-1921.19	3690971.4	7746.4	60006679.71	
11751.36	2050.64	4205129.9	-3971.83	15775444.99	
8476.98	-2500.98	6254912.87	4551.62	20717278.49	
21051.64	-5009.64	25096499.05	2508.66	6293366.11	
16363.99	6094.01	37136919.2	-11103.65	123290986.42	
9436.85	-4318.85	18652465.51	10412.86	108427587.74	
17590.13	1256.87	1579726.29	-5575.72	31088671.9	
11595.16	-6099.16	37199711.85	7356.03	54111152.02	
401091	-0	367292450.34	9559.86	898525975.57	
13369.7	0	12243081.68	318.66	29950865.85	

3. Оценка мультиколлинеарности факторов.
Парные коэффициенты корреляции.
Для y и x1 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для y и x2 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Для x1  и x2 
Средние значения

Дисперсия

Среднеквадратическое отклонение

Коэффициент корреляции

Матрица парных коэффициентов корреляции.
-	y	x1 	x2 	
y	1	0.76	0.75	
x1 	0.76	1	0.91	
x2 	0.75	0.91	1	

3. Оценка мультиколлинеарности факторов.
При оценке мультиколлинеарности факторов следует учитывать, что чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии.
Для отбора наиболее значимых факторов xi учитываются следующие условия:
- связь между результативным признаком и факторным должна быть выше межфакторной связи;
- связь между факторами должна быть не более 0.7;
- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними;
Более объективную характеристику тесноты связи дают частные коэффициенты корреляции, измеряющие влияние на результат фактора xi при неизменном уровне других факторов.
Частные коэффициенты корреляции.
Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и xi) при условии, что влияние на них остальных факторов (xj) устранено.

Теснота связи не сильная

Теснота связи низкая.

Теснота связи не сильная

Теснота связи сильная

Теснота связи низкая.

Теснота связи сильная
Уравнение регрессии в стандартизированном масштабе.
Другим видом уравнения множественной регрессии может быть уравнение регрессии в стандартизированном масштабе: ty = β1tx1 + β2tx2.
где

βi – стандартные коэффициенты регрессии.
К уравнению множественной регрессии в стандартизированном масштабе применим МНК. Стандартизированные коэффициенты регрессии (β-коэффициенты) определяются из следующей системы уравнений:
ryx1 = β1 + β2rx2x1
ryx2 = β1rx2x1 + β2
Связь коэффициентов множественной регрессии bi со стандартизированными коэффициентами βi описывается соотношением:

Параметр α определяется как:

α = 13369.7 - 0.05 • 146214.3 - 5.32 • 727.27 = 2388.79
4. Оценка тесноты связи.
4. Теснота связи результативного признака с факторными определятся величиной коэффициента линейной множественной корреляции и детерминации, который могут быть исчислены на основе матрицы парных коэффициентов корреляции:

Более объективную оценку качества построенной модели дает скорректированный индекс множественной детерминации, учитывающий поправку на число степеней свободы:

где n- число наблюдений, m – число факторов.

Сравнительная оценка влияния анализируемых факторов на результативный признак.
5. Сравнительная оценка влияния анализируемых факторов на результативный признак производится:
- средним коэффициентом эластичности, показывающим на сколько процентов среднем по совокупности изменится результат y от своей средней величины при измени фактора xi на 1% от своего среднего значения;

Частный коэффициент эластичности E1 < 1. Следовательно, его влияние на результативный признак Y незначительно.

Частный коэффициент эластичности E2 < 1. Следовательно, его влияние на результативный признак Y незначительно.
- β–коэффициенты, показывающие, что, если величина фактора изменится на одно среднеквадратическое отклонение Sxi, то значение результативного признака изменится в среднем на β своего среднеквадратического отклонения;
- долю каждого фактора в общей вариации результативного признака определяют коэффициенты раздельной детерминации (отдельного определения): d2i = ryxiβi.
d21 = 0.76 • 0 = 0.
d22 = 0.75 • 0.0072 = 0.0054.
При этом должно выполняться равенство:
d21 + d22 = R2yx1x2.
Результаты сравнительного анализа факторов оформляются в таблице:
6. Оценка значимости коэффициентов регрессии с помощью t-критерия Стьюдента.
Оценка значимости коэффициентов регрессии b1 и b2 производится с помощью t-критерия Стьюдента и связана с сопоставлением их значений с величиной случайных ошибок mb1 и mb2. Более простым способом расчета фактических значений tb1 и tb2 является их определение через критерии F:
Проверим гипотезу H0 о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H1 не равно) на уровне значимости α=0.05.
tкрит (n-m-1;α/2) = (27;0.025) = 2.052

Поскольку NAN  <  2.052, то статистическая значимость коэффициента регрессии b0 не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 1.68  <  2.052, то статистическая значимость коэффициента регрессии b1 не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 1.06  <  2.052, то статистическая значимость коэффициента регрессии b2 не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента).
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95%  будут следующими:
(bj - tкрит Sbj; bj + tкрит Sbj)
(2388.79 - 2.052 • NAN; 2388.79 + 2.052 • NAN)
(2388.79;2388.79)
С вероятностью 95% можно утверждать, что значение данного параметра b0 будут лежать в найденном интервале.
(0.0487 - 2.052 • 0.029; 0.0487 + 2.052 • 0.029)
(-0.0109;0.11)
С вероятностью 95% можно утверждать, что значение данного параметра b1 будут лежать в найденном интервале.
(5.32 - 2.052 • 5.03; 5.32 + 2.052 • 5.03)
(-4.9999;15.63)
С вероятностью 95% можно утверждать, что значение данного параметра b2 будут лежать в найденном интервале.
7. Проверка гипотезы о статистической значимости уравнения регрессии.
Проверка гипотезы H0 о статистической значимости уравнения регрессии и показателя тесноты связи (R2 = 0) производится по F-критерию Фишера сравнением Fфакт с Fтабл.
Проверка значимости модели регрессии проводится с использованием F-критерия Фишера, расчетное значение которого находится как отношение дисперсии исходного ряда наблюдений изучаемого показателя и несмещенной оценки дисперсии остаточной последовательности для данной модели.
Если расчетное значение с k1=(m) и k2=(n-m-1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

где m – число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H0: R2=0 на уровне значимости α.
2. Далее определяют фактическое значение F-критерия:

где m=2 для множественной регрессии с двумя факторами.
3.	Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 2 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2-1.
4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
Табличное значение критерия со степенями свободы k1=2 и k2=27, Fkp = 3.37
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим (найденная оценка уравнения регрессии статистически надежна).
Частные критерии.
Частные критерии Fx1 и Fx2 оценивают статистическую значимость включения факторов x1 и x2 в уравнение множественной регрессии и целесообразность включения в уравнение одного фактора после другого, т.е. Fx1 оценивает целесообразность включения в уравнение x1 после включения в него фактора x2.
Соответственно Fx2 указывает на целесообразность включения в модель фактора x2 после включения фактора x1.

Поскольку фактическое значение F < Fkp, то коэффициент Fx1 статистически не значим, т.е. не целесообразно включать в уравнение x1 после включения в него фактора x2.

Поскольку фактическое значение F < Fkp, то коэффициент Fx2 статистически не значим, т.е. не целесообразно включать в уравнение x2 после включения в него фактора x1.
Проверка наличия предпосылок МНК.
1. первая предпосылка МНК – случайный характер остатков εi. Для проверки этого свойства определяют значения εi и строится график зависимости εi от теоретических значений результативного признака.
Если на графике получена горизонтальная полоса остатков εi то они представляют собой случайные величины и МНК оправдан, теоретические значения yx независимы от εi.
При этом возможны следующие случаи, если εi зависит от yx:
- остатки εi не случайны;
- остатки εi не имеют постоянной дисперсии;
- остатки εi носят систематический характер.
2. Вторая предпосылка МНК – нулевая средняя величина остатков, не зависящая от εi. Для проверки этой предпосылки строится график зависимости случайных остатков εi от факторов, включенных в регрессию xi.
Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xi. Если же график показывает зависимости εi от xi, то это свидетельствует о наличии систематической погрешности модели, причины которой могут быть разные.
Возможно, нарушена третья предпосылка МНК и дисперсия остатков не постоянна для каждого значения фактора xi. Может быть, неправильно подобрана модель.
Корреляция случайны остатков с факторными признаками, позволяет проводить корректировку модели, например, использовать кусочно-линейные модели.
3. В соответствии с третей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора xi остатки εi имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность.
Проверка на наличие гетероскедастичности.
a) Методом графического анализа остатков.
В этом случае по оси абсцисс откладываются значения объясняющей переменной Xi, а по оси ординат квадраты отклонения εi2.
Если имеется определенная связь между отклонениями, то гетероскедастичность имеет место. Отсутствие зависимости скоре всего будет свидетельствовать об отсутствии гетероскедастичности.
b) При помощи теста ранговой корреляции Спирмена.
4. При построение регрессионных моделей важно соблюдение четвертой предпосылки МНК – отсутствие автокорреляции остатков, т.е. значения остатков εi распределены независимо друг от друга.
Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент автокорреляции определяется по формуле линейного коэффициента корреляции:

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии.
Пятая предпосылка МНК о нормальном распределении остатков может быть визуально проверена путем графического изображения ряда распределения остаточных величин и сравнения с кривой нормального распределения.
О соответствии эмпирического распределения теоретическому можно судить по величине эксцесса (Е≈0).

где М4 – центральный момент четвертого порядка, который определяется по формуле :

Теста ранговой корреляции Спирмена
Задаются два параметра: xi, ε.

Решение было получено и оформлено с помощью сервиса:
Уравнение множественной регрессии
Вместе с этой задачей решают также:
Уравнение множественной регрессии
Уравнение парной линейной регрессии
Выявление тренда методом аналитического выравнивания
Показатели вариации
Показатели динамики