Множественный регрессионый анализ

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели, который в свою очередь включает 2 круга вопросов: отбор факторов и выбор уравнения регрессии.
Отбор факторов обычно осуществляется в два этапа:
1) теоретический анализ взаимосвязи результата и круга факторов, которые оказывают на него существенное влияние;
2) количественная оценка взаимосвязи факторов с результатом. При линейной форме связи между признаками данный этап сводится к анализу корреляционной матрицы (матрицы парных линейных коэффициентов корреляции):
r_y,yr_y,x1    r_yx2     ....   r_y,xm
r_x1,y r_x1,x2r_x2x2 ....   r_x2,xm
......
r_xm,y r_xm,x1r_xm,x2   .... r_xm,xm
где r_y,xj– линейный парный коэффициент корреляции, измеряющий тесноту связи между признаками yихjj=1;m, m -число факторов.
r_xj,xk– линейный парный коэффициент корреляции, измеряющий тесноту связи между признаками хjихkj,k =1;m.
Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:
1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели урожайности качество почвы задается в виде баллов).
2. Каждый фактор должен быть достаточно тесно связан с результатом (т.е. коэффициент парной линейной корреляции между фактором и результатом должен быть существенным).
3. Факторы не должны быть сильно коррелированы друг с другом, тем более находиться в строгой функциональной связи (т.е. они не должны быть интеркоррелированы). Разновидностью интеркоррелированности факторов является мультиколлинеарность - тесная линейная связь между факторами.
Мультиколлинеарность может привести к нежелательным последствиям:
1) оценки параметров становятся ненадежными. Они обнаруживают большие стандартные ошибки. С изменением объема наблюдений оценки меняются (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.
2) затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированны; параметры линейной регрессии теряют экономический смысл;
3) становится невозможным определить изолированное влияние факторов на результативный показатель.

Мультиколлинеарность имеет место, если определитель матрицы межфакторной корреляции близок к нулю:

.
Если же определитель матрицы межфакторной корреляции близок к единице, то мультиколлинеарности нет.Существуют различные подходы преодоления сильной межфакторной корреляции. Простейший из них – исключение из модели фактора (или факторов), в наибольшей степени ответственных за мультиколлинеарность при условии, что качество модели при этом пострадает несущественно (а именно, теоретический коэффициент детерминации -R²_y(x1...xm₎ снизится несущественно).

Определение факторов, ответственных за мультиколлинеарность, может быть основано на анализе матрицы межфакторной корреляции. При этом определяют пару признаков-факторов, которые сильнее всего связаны между собой (коэффициент линейной парной корреляции максимален по модулю). Из этой пары в наибольшей степени ответственным за мультиколлинеарность будет тот признак, который теснее связан с другими факторами модели (имеет более высокие по модулю значения коэффициентов парной линейной корреляции).

Еще один способ определения факторов, ответственных за мультиколлинеарность основан на вычислении коэффициентов множественной детерминации (R²_{xj(x1,...,xj-1,xj+1,...,xm}₎), показывающего зависимость фактора xj от других факторов модели x1,...,xj-1, xj+1,...,xm. Чем ближе значение коэффициента множественной детерминации к единице, тем больше ответственность за мультиколлинеарность фактора, выступающего в роли зависимой переменной. Сравнивая между собой коэффициенты множественной детерминации для различных факторов можно проранжировать переменные по степени ответственности за мультиколлинеарность.
При выборе формы уравнения множественной регрессии предпочтение отдается линейной функции:
y_i =a+b₁·x1_i+ b₂·x2_i+...+ b_m·xm_i+u_i
в виду четкой интерпретации параметров.
Данное уравнение регрессии называют уравнением регрессии в естественном (натуральном) масштабе. Коэффициент регрессии b_jпри факторе хjназывают условно-чистым коэффициентом регрессии. Он измеряет среднее по совокупности отклонение признака-результата от его средней величины при отклонении признака-фактора хj на единицу, при условии, что все прочие факторы модели не изменяются (зафиксированы на своих среднихуровнях).
Если не делать предположения о значениях прочих факторов, входящих в модель, то это означало бы, что каждый из них при изменении хj также изменялся бы (так как факторы связаны между собой), и своими изменениями оказывали бы влияние на признак-результат.

Расчет параметров уравнения линейной множественной регрессии

Параметры уравнения множественной регрессии можно оценить методом наименьших квадратов, составив и решив систему нормальных линейных уравнений.
Кроме того, для линейной множественной регрессии существует другой способ реализации МНК при оценке параметров - через b-коэффициенты (через параметры уравнения регрессии в стандартных масштабах).
Модель регрессии в стандартном масштабе предполагает, что все значения исследуемых признаков переводятся в стандарты (стандартизованные значения) по формулам:

, j=1;m,
где хj_i- значение переменной хj_i в i-ом наблюдении.

_.
Таким образом, начало отсчета каждой стандартизованной переменной совмещается с ее средним значением, а в качестве единицы изменения принимается ее среднее квадратическое отклонение s. Если связь между переменными в естественном масштабе линейная, то изменение начала отсчета и единицы измерения этого свойства не нарушат, так что и стандартизованные переменные будут связаны линейным соотношением:

.
Для оценки β-коэффициентов применим МНК. При этом система нормальных уравнений будет иметь вид:
r_x1y₌b 1+r_x1x2∙b2+…+ r_x1xm∙bm
r_x2y= r_x2x1∙b1+b2+…+ r_x2xm∙bm
…
r_xmy=r_xmx1∙b1+r_xmx2∙b2+…+bm
Найденные из данной системы b–коэффициенты позволяют определить значения коэффициентов в регрессии в естественном масштабе по формулам:

, j=1;m;

.
Показатели тесноты связи факторов с результатом.
Если факторные признаки различны по своей сущности и (или) имеют различные единицы измерения, то коэффициенты регрессии b_jпри разных факторах являются несопоставимыми. Поэтому уравнение регрессии дополняют соизмеримыми показателями тесноты связи фактора с результатом, позволяющими ранжировать факторы по силе влияния на результат. К таким показателям тесноты связи относят: частные коэффициенты эластичности, b–коэффициенты, частные коэффициенты корреляции.
Частные коэффициенты эластичности Э_j рассчитываются по формуле:

. Частный коэффициент эластичности показывают, на сколько процентов в среднем изменяется признак-результат y с изменением признака-фактора хj на один процент от своего среднего уровня при фиксированном положении других факторов модели. В случае линейной зависимости Э_j рассчитываются по формуле:

, где

–оценка коэффициента регрессии при j–ом факторе.
Стандартизированные частные коэффициенты регрессии - b-коэффициенты (b_j) показывают, на какую часть своего среднего квадратического отклонения s_у изменится признак-результат y с изменением соответствующего фактора хj на величину своего среднего квадратического отклонения (s_хj) при неизменном влиянии прочих факторов (входящих в уравнение).
По коэффициентам эластичности и b -коэффициентам могут быть сделаны противоположные выводы. Причины этого: а) вариация одного фактора очень велика; б) разнонаправленное воздействие факторов на результат.
Коэффициент b_j может также интерпретироваться как показатель прямого (непосредственного) влияния j-ого фактора (x_j) на результат (y). Во множественной регрессии j-ый фактор оказывает не только прямое, но и косвенное (опосредованное) влияние на результат (т.е. влияние через другие факторы модели). Косвенное влияние измеряется величиной:

, где m-число факторов в модели. Полное влияние j-ого фактора на результат равное сумме прямого и косвенного влияний измеряет коэффициент линейной парной корреляции данного фактора и результата – r_xj,y.
Коэффициент частной корреляции измеряет «чистое» влияние фактора на результат при устранении воздействия прочих факторов модели.
Для расчета частных коэффициентов корреляции могут быть использованы парные коэффициенты корреляции.
Для случая зависимости y от двух факторов можно вычислить 2 коэффициента частной корреляции:

,
(фактор х2 фиксирован).

(фактор х1 фиксирован).
Это коэффициенты частной корреляции 1-ого порядка (порядок определяется числом факторов, влияние которых устраняется).
Частные коэффициенты корреляции, рассчитанные по таким формулам изменяются от –1 до +1. Они используются не только для ранжирования факторов модели по степени влияния на результат, но и также для отсева факторов. При малых значениях r_{yxm/x1,x2…xm-}₁нет смысла вводить в уравнение m-ый фактор, т.к. его чистое влияние на результат несущественно.
Коэффициенты множественной детерминации и корреляции характеризуют совместное влияние всех факторов на результат.
По аналогии с парной регрессией можно определить долю вариации результата, объясненной вариацией включенных в модель факторов (d²), в его общей вариации (s²_y). Ее количественная характеристика – теоретический множественный коэффициент детерминации (R²_y(x1,...,xm₎). Для линейного уравнения регрессии данный показатель может быть рассчитан через b-коэффициенты, как:

- коэффициент множественной корреляции. Он принимает значения от 0 до 1 (в отличии от парного коэффициента корреляции, который может принимать отрицательные значения). Поэтому R не может быть использован для интерпретации направления связи. Чем плотнее фактические значения y_iрасполагаются относительно линии регрессии, тем меньше остаточная дисперсия и, следовательно, больше величина R_y(x1,...,xm₎. Таким образом, при значении Rблизкомк 1, уравнение регрессии лучше описывает фактические данные и факторы сильнее влияют на результат. При значении Rблизком к 0 уравнение регрессии плохо описывает фактические данные и факторы оказывают слабое воздействие на результат.
Оценка значимости полученного уравнения множественной регрессии .
Оценка значимости уравнения множественной регрессии осуществляется путем проверки гипотезы о равенстве нулю коэффициент детерминации рассчитанного по данным генеральной совокупности:

или b₁=b₂=…=b_m=0 (гипотеза о незначимости уравнения регрессии, рассчитанного по данным генеральной совокупности).
Для ее проверки используют F-критерий Фишера.
При этом вычисляют фактическое (наблюдаемое) значение F-критерия, через коэффициент детерминации R²_y(x1,...,xm), рассчитанный по данным конкретного наблюдения:

, где n-число наблюдений; h – число оцениваемых параметров (в случае двухфакторной линейной регрессии h=3).
По таблицам распределения Фишера-Снедоккора находят критическое значение F-критерия (F_кр). Для этого задаются уровнем значимости a (обычно его берут равным 0,05) и двумя числами степеней свободы k1=h-1 и k2=n-h.
Сравнивают фактическое значение F-критерия (F_набл) с табличным F_кр(a;k1;k2). Если F_набл<F_кр(a;k1;k2), то гипотезу о незначимости уравнения регрессии не отвергают. Если F_набл>F_кр(a;k1;k2), то выдвинутую гипотезу отвергают и принимают альтернативную гипотезу о статистической значимости уравнения регрессии.

Частные коэффициенты эластичности

Частные коэффициенты эластичности определяются по формуле:

где b_i - коэффициент регрессии перед x_i; x_i - среднее значение фактора x_i; y - среднее значение признака y.

Пример. 1. Оценка уравнения регрессии. Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор получается из выражения:
s = (X^TX)^-1X^TY
Матрица X

Можно также посмотреть, как было найдено решение аналогичного примера.

Матрица Y

Матрица X^T

Умножаем матрицы, (X^TX)

24	4459.4	1907.7	214.2	417.47
4459.4	907391.96	353017.36	40134.04	87383.93
1907.7	353017.36	152366.77	17041.58	33412.82
214.2	40134.04	17041.58	1921.32	3807
417.47	87383.93	33412.82	3807	8907.78

В матрице, (X^TX) число 24, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X^T и 1-го столбца матрицы X
Умножаем матрицы, (X^TY)

2743.3

557558.59

218286.47

24740.08

54488.32

Находим определитель det(X^TX)^T = 871494173124.25
Находим обратную матрицу (X^TX)^-1

67.5762	-0.0883	-0.4341	-3.3069	0.7404
-0.0883	0.0002	0.0006	0.0037	-0.0012
-0.4341	0.0006	0.0036	0.0134	-0.0047
-3.3069	0.0037	0.0134	0.2444	-0.0358
0.7404	-0.0012	-0.0047	-0.0358	0.01

Вектор оценок коэффициентов регрессии равен
s = (X^TX)^-1X^TY =

-55.01

0.43

0.86

-1.14

0.95

Уравнение регрессии (оценка уравнения регрессии)
Y = -55.0117 + 0.4315X ₁ + 0.8571X ₂-1.1392X ₃ + 0.9481X ₄
2. Матрица парных коэффициентов корреляции.
Число наблюдений n = 24. Число независимых переменных в модели ровно 4, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 6. Матрица, независимых переменных Х имеет размерность (24 х 6). Матрица Х^T Х определяется непосредственным умножением или по следующим предварительно вычисленным суммам.
Матрица составленная из Y и X
Транспонированная матрица.

Матрица A^TA.

24	2743.3	4459.4	1907.7	214.2	417.47
2743.3	344649.05	557558.59	218286.47	24740.08	54488.32
4459.4	557558.59	907391.96	353017.36	40134.04	87383.93
1907.7	218286.47	353017.36	152366.77	17041.58	33412.82
214.2	24740.08	40134.04	17041.58	1921.32	3807
417.47	54488.32	87383.93	33412.82	3807	8907.78

Полученная матрица имеет следующее соответствие:

∑n	∑y	∑x₁	∑x₂	∑x₃	∑x₄
∑y	∑y²	∑x₁·y	∑x₂·y	∑x₃·y	∑x₄·y
∑x₁	∑x₁·y	∑x₁²	∑x₂·x₁	∑x₃·x₁	∑x₄·x₁
∑x₂	∑x₂·y	∑x₂·x₁	∑x₂²	∑x₃·x₂	∑x₄·x₂
∑x₃	∑x₃·y	∑x₃·x₁	∑x₃·x₂	∑x₃²	∑x₃·x₄
∑x₄	∑x₄·y	∑x₄·x₁	∑x₄·x₂	∑x₄·x₃	∑x₄²

Найдем парные коэффициенты корреляции.
Для y и x₁
Уравнение имеет вид y = ax + b
Средние значения

Дисперсия