Уравнение множественной регрессии методом определителей

Задание
1. Построить уравнение множественной регрессии в стандартизованной и естественной форме; рассчитать частные коэффициенты эла­стичности, сравнить их с β1 и β2, пояснить различия между ними.
2. Рассчитать линейные коэффициенты частной корреляции и коэффициент множественной корреляции, сравнить их с линейными ко­эффициентами парной корреляции, пояснить различия между ними.
3. Рассчитать общий и частные F-критерии Фишера.

Решение. Пояснения: задачу решаем с помощью сервиса Уравнение множественной регрессии для двух переменных

1. Расчет коэффициентов множественной линейной регрессии.
Система трех линейных уравнений с тремя неизвестными b0, b1, b2:
∑yi = nb0 + b1∑x1i + b2∑x2i
∑x1iyi = b0∑x1i + b1∑x1i2 + b2∑x1ix2i
∑x2iyi = b0∑x2i + b1∑x1ix2i + b2∑x2i2

Y X1 X2 X12 X22 X1Y X2Y X1X2 Y2
4.07 182.94 1018 33467.04 1036324 744.57 4143.26 186232.92 16.56
4 193.45 920 37422.9 846400 773.8 3680 177974 16
2.98 160.09 686 25628.81 470596 477.07 2044.28 109821.74 8.88
2.2 157.99 405 24960.84 164025 347.58 891 63985.95 4.84
2.83 123.83 683 15333.87 466489 350.44 1932.89 84575.89 8.01
3 152.02 530 23110.08 280900 456.06 1590 80570.6 9
2.35 130.53 525 17038.08 275625 306.75 1233.75 68528.25 5.52
2.04 137.38 418 18873.26 174724 280.26 852.72 57424.84 4.16
1.97 137.58 425 18928.26 180625 271.03 837.25 58471.5 3.88
1.02 118.78 161 14108.69 25921 121.16 164.22 19123.58 1.04
1.44 142.9 242 20420.41 58564 205.78 348.48 34581.8 2.07
1.22 99.49 226 9898.26 51076 121.38 275.72 22484.74 1.49
1.11 116.17 162 13495.47 26244 128.95 179.82 18819.54 1.23
0.82 185.66 70 34469.64 4900 152.24 57.4 12996.2 0.67
31.05 2038.81 6471 307155.61 4062413 4737.04 18230.79 995591.55 83.37
2.22 145.63 462.21 21939.69 290172.36 338.36 1302.2 71113.68 5.95

Для наших данных система уравнений имеет вид:
31.05 = 14 b0 + 2038.81b1 + 6471b2
4737.0435 = 2038.81b0 + 307155.6083b1 + 995591.55b2
18230.79 = 6471b0 + 995591.55b1 + 4062413b2
Решая систему методом Крамера, находим:
b0 = 0.1804
b1 = 0.003
b2 = 0.0035
Уравнение регрессии:
Y = 0.1804 + 0.003 X1 + 0.0035 X2
Y X1 X2 (Yi-Yср)2 (X1i-X1ср)2 (X2i-X2ср)2 (Yi-Yср)(X1i-X1ср) (Yi-Yср)(X2i-X2ср) (X1i-X1ср)(X2i-X2ср)
4.07 182.94 1018 3.43 1392.09 308897.76 69.1 1029.39 20736.76
4 193.45 920 3.18 2286.82 209567.76 85.22 815.84 21891.64
2.98 160.09 686 0.58 209.11 50080.05 11.02 170.56 3236.1
2.2 157.99 405 0.0003 152.79 3273.47 -0.22 1.02 -707.21
2.83 123.83 683 0.37 475.21 48746.33 -13.34 135.15 -4812.97
3 152.02 530 0.61 40.84 4594.9 5 53.02 433.2
2.35 130.53 525 0.0175 227.99 3942.05 -2 8.3 -948.02
2.04 137.38 418 0.0316 68.05 1954.9 1.47 7.86 364.74
1.97 137.58 425 0.0614 64.79 1384.9 2 9.22 299.55
1.02 118.78 161 1.43 720.88 90730.05 32.16 360.81 8087.39
1.44 142.9 242 0.61 7.45 48494.33 2.12 171.3 601.03
1.22 99.49 226 1 2128.83 55797.19 46.04 235.71 10898.76
1.11 116.17 162 1.23 867.85 90128.62 32.64 332.59 8844.1
0.82 185.66 70 1.95 1602.46 153832.05 -55.96 548.26 -15700.62
31.05 2038.81 6471 14.5 10245.16 1071424.36 215.25 3879.04 53224.44
2.22 145.63 462.21 1.04 731.8 76530.31 15.38 277.07 3801.75

2. Анализ качества эмпирического уравнения множественной линейной регрессии.
Построение эмпирического уравнения регрессии является начальным этапом эконометрического анализа. Первое же построенное по выборке уравнение регрессии очень редко является удовлетворительным по тем или иным характеристикам. Поэтому следующей важнейшей оценкой является проверка качества уравнения регрессии. В эконометрике принята устоявшаяся схема такой проверки, которая проводится по следующим направлениям:
• проверка статистической значимости коэффициентов уравнения регрессии;
• проверка общего качества уравнения регрессии;
• проверка свойств данных, выполнимость которых предполагалась при оценивании уравнения (проверка выполнимости предпосылок МНК).
Прежде чем проводить анализ качества уравнения регрессии, необходимо определить дисперсии и стандартные ошибки коэффициентов, а также интервальные оценки коэффициентов.
При этом:


где m=2 – количество объясняющих переменных модели.




Стандартные ошибки коэффициентов:


Y(X1,X2) ei = (Yi-Y(X1,X2)) ei2
4.26 -0.19 0.0357
3.95 0.0503 0.0025
3.04 -0.058 0.0034
2.06 0.14 0.0208
2.92 -0.09 0.0081
2.47 0.53 0.28
2.39 -0.0411 0.0017
2.04 0.0002 0
2.06 -0.0947 0.009
1.09 -0.0721 0.0052
1.44 -0.0049 0
1.26 -0.0406 0.0016
1.09 0.0222 0.0005
0.97 -0.15 0.0239
31.05 -0 0.39
2.22 0 0.0279

3. Оценка мультиколлинеарности факторов.
Парные коэффициенты корреляции.
Для y и x1
Средние значения



Дисперсия


Среднеквадратическое отклонение


Коэффициент корреляции

Для y и x2
Средние значения



Дисперсия


Среднеквадратическое отклонение


Коэффициент корреляции

Для x1 и x2
Средние значения



Дисперсия


Среднеквадратическое отклонение


Коэффициент корреляции

Матрица парных коэффициентов корреляции.

- y x1 x2
y 1 0.56 0.98
x1 0.56 1 0.51
x2 0.98 0.51 1

3. Оценка мультиколлинеарности факторов.
При оценке мультиколлинеарности факторов следует учитывать, что чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии.
Для отбора наиболее значимых факторов xi учитываются следующие условия:
- связь между результативным признаком и факторным должна быть выше межфакторной связи;
- связь между факторами должна быть не более 0.7;
- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними;
Более объективную характеристику тесноты связи дают частные коэффициенты корреляции, измеряющие влияние на результат фактора xi при неизменном уровне других факторов.
Частные коэффициенты корреляции.
Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и xi) при условии, что влияние на них остальных факторов (xj) устранено.


Теснота связи не сильная


Теснота связи сильная


Теснота связи не сильная


Теснота связи низкая.


Теснота связи сильная


Теснота связи низкая.
Уравнение регрессии в стандартизированном масштабе.
Другим видом уравнения множественной регрессии может быть уравнение регрессии в стандартизированном масштабе: ty = β1tx1 + β2tx2.
где


βi – стандартные коэффициенты регрессии.
К уравнению множественной регрессии в стандартизированном масштабе применим МНК. Стандартизированные коэффициенты регрессии (β-коэффициенты) определяются из следующей системы уравнений:
ryx1 = β1 + β2rx2x1
ryx2 = β1rx2x1 + β2
Связь коэффициентов множественной регрессии bi со стандартизированными коэффициентами βi описывается соотношением:




Параметр α определяется как:



α = 14.5 - 0 • 145.63 - 0 • 462.21 = 12.46
4. Оценка тесноты связи.
4. Теснота связи результативного признака с факторными определятся величиной коэффициента линейной множественной корреляции и детерминации, который могут быть исчислены на основе матрицы парных коэффициентов корреляции:


Более объективную оценку качества построенной модели дает скорректированный индекс множественной детерминации, учитывающий поправку на число степеней свободы:

где n- число наблюдений, m – число факторов.


Сравнительная оценка влияния анализируемых факторов на результативный признак.
5. Сравнительная оценка влияния анализируемых факторов на результативный признак производится:
- средним коэффициентом эластичности, показывающим на сколько процентов среднем по совокупности изменится результат y от своей средней величины при измени фактора xi на 1% от своего среднего значения;
- β–коэффициенты, показывающие, что, если величина фактора изменится на одно среднеквадратическое отклонение Sxi, то значение результативного признака изменится в среднем на β своего среднеквадратического отклонения;
- долю каждого фактора в общей вариации результативного признака определяют коэффициенты раздельной детерминации (отдельного определения): d2i = ryxiβi.
При этом должно выполняться равенство:
d21 + d22 = R2yx1x2.
Результаты сравнительного анализа факторов оформляются в таблице:
6. Оценка значимости коэффициентов регрессии с помощью t-критерия Стьюдента.
Оценка значимости коэффициентов регрессии b1 и b2 производится с помощью t-критерия Стьюдента и связана с сопоставлением их значений с величиной случайных ошибок mb1 и mb2. Более простым способом расчета фактических значений tb1 и tb2 является их определение через критерии F:
Проверим гипотезу H0 о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H1 не равно) на уровне значимости α=0.05.
tкрит (n-m-1;α/2) = (11;0.025) = 2.201


Поскольку 0.638 < 2.201, то статистическая значимость коэффициента регрессии b0 не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 1.3733 < 2.201, то статистическая значимость коэффициента регрессии b1 не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента).

Поскольку 17.3651 > 2.201, то статистическая значимость коэффициента регрессии b2 подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:
(bj - tкрит Sbj; bj + tкрит Sbj)
(0.1804 - 2.201 • 0.2828; 0.1804 + 2.201 • 0.2828)
(-0.442;0.8028)
С вероятностью 95% можно утверждать, что значение данного параметра b0 будут лежать в найденном интервале.
(0.003 - 2.201 • 0.0022; 0.003 + 2.201 • 0.0022)
(-0.0018;0.0077)
С вероятностью 95% можно утверждать, что значение данного параметра b1 будут лежать в найденном интервале.
(0.0035 - 2.201 • 0.0002; 0.0035 + 2.201 • 0.0002)
(0.003;0.0039)
С вероятностью 95% можно утверждать, что значение данного параметра b2 будут лежать в найденном интервале.
7. Проверка гипотезы о статистической значимости уравнения регрессии.
Проверка гипотезы H0 о статистической значимости уравнения регрессии и показателя тесноты связи (R2 = 0) производится по F-критерию Фишера сравнением Fфакт с Fтабл.
Проверка значимости модели регрессии проводится с использованием F-критерия Фишера, расчетное значение которого находится как отношение дисперсии исходного ряда наблюдений изучаемого показателя и несмещенной оценки дисперсии остаточной последовательности для данной модели.
Если расчетное значение с k1=(m) и k2=(n-m-1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

где m – число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H0: R2=0 на уровне значимости α.
2. Далее определяют фактическое значение F-критерия:


где m=2 для множественной регрессии с двумя факторами.
3. Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 2 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2-1.
4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
Табличное значение критерия со степенями свободы k1=2 и k2=11, Fkp = 3.98
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим (найденная оценка уравнения регрессии статистически надежна).
Частные критерии.
Частные критерии Fx1 и Fx2 оценивают статистическую значимость включения факторов x1 и x2 в уравнение множественной регрессии и целесообразность включения в уравнение одного фактора после другого, т.е. Fx1 оценивает целесообразность включения в уравнение x1 после включения в него фактора x2.
Соответственно Fx2 указывает на целесообразность включения в модель фактора x2 после включения фактора x1.



Поскольку фактическое значение F < Fkp, то коэффициент Fx1 статистически не значим, т.е. не целесообразно включать в уравнение x1 после включения в него фактора x2.

Поскольку фактическое значение F < Fkp, то коэффициент Fx2 статистически не значим, т.е. не целесообразно включать в уравнение x2 после включения в него фактора x1.
Проверка наличия предпосылок МНК.
1. первая предпосылка МНК – случайный характер остатков εi. Для проверки этого свойства определяют значения εi и строится график зависимости εi от теоретических значений результативного признака.
Если на графике получена горизонтальная полоса остатков εi то они представляют собой случайные величины и МНК оправдан, теоретические значения yx независимы от εi.
При этом возможны следующие случаи, если εi зависит от yx:
- остатки εi не случайны;
- остатки εi не имеют постоянной дисперсии;
- остатки εi носят систематический характер.
2. Вторая предпосылка МНК – нулевая средняя величина остатков, не зависящая от εi. Для проверки этой предпосылки строится график зависимости случайных остатков εi от факторов, включенных в регрессию xi.
Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xi. Если же график показывает зависимости εi от xi, то это свидетельствует о наличии систематической погрешности модели, причины которой могут быть разные.
Возможно, нарушена третья предпосылка МНК и дисперсия остатков не постоянна для каждого значения фактора xi. Может быть, неправильно подобрана модель.
Корреляция случайны остатков с факторными признаками, позволяет проводить корректировку модели, например, использовать кусочно-линейные модели.
3. В соответствии с третей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора xi остатки εi имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность.
Проверка на наличие гетероскедастичности.
a) Методом графического анализа остатков.
В этом случае по оси абсцисс откладываются значения объясняющей переменной Xi, а по оси ординат квадраты отклонения εi2.
Если имеется определенная связь между отклонениями, то гетероскедастичность имеет место. Отсутствие зависимости скоре всего будет свидетельствовать об отсутствии гетероскедастичности.
b) При помощи теста ранговой корреляции Спирмена.
4. При построение регрессионных моделей важно соблюдение четвертой предпосылки МНК – отсутствие автокорреляции остатков, т.е. значения остатков εi распределены независимо друг от друга.
Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент автокорреляции определяется по формуле линейного коэффициента корреляции:

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии.
Пятая предпосылка МНК о нормальном распределении остатков может быть визуально проверена путем графического изображения ряда распределения остаточных величин и сравнения с кривой нормального распределения.
О соответствии эмпирического распределения теоретическому можно судить по величине эксцесса (Е≈0).

где М4 – центральный момент четвертого порядка, который определяется по формуле :
загрузка...