Классический метод наименьших квадратов

Наряду с отмеченными  трудностями “вычислительного характера” проблема получения “хороших” оценок параметров эконометрических моделей усложняется еще из-за ряда обстоятельств. Дело в том, что найденные с помощью выражения (2.8) оценки a_i, i=0,1,..., n являются случайными величинами. Их можно представить как сумму истинного значения a_i  и некоторой случайной ошибки Da_i .

Для доказательства справедливости этого утверждения подставим   в   выражение  (2.8)   вместо  вектора  у   его выражение Х×a+e,  где   a  – вектор истинных значений параметров a_i,  i=0,1,..., n. После подстановки получим:

a=(Х¢Х)^–1×Х¢(Х×a+e)=(Х¢Х)^–1Х¢Х×a+(Х¢Х)^–1Х¢×e=

=a+(Х¢Х)^–1Х¢×e,                                        (2.9)

где (Х¢Х)^–1Х¢×e=Da – вектор ошибки оценок параметров a_i .

При случайном характере оценок коэффициентов модели a_i,  i=0,1,..., n; их “высокое качество” подтверждается наличием у них свойств несмещенности и эффективности.

Рассмотрим сначала  условие несмещенности этих оценок. Оно означает, что математическое ожидание оценки a_i, i=0,1,..., n; равно истинному значению параметра a_i, т. е. M[a_i]=a_i.

При условии, что матрица (Х¢Х) обратима, возьмем математическое ожидание от правой и левой частей выражения (2.9). Получим

                                      М[a]=a+М[(Х¢Х)^–1Х¢×e].               (2.10)

Из выражения (2.10) непосредственно  вытекает, что для того, чтобы  значения a_i,  i=0,1,..., n; полученные из выражения (2.8), были несмещенными оценками параметров эконометрической модели a_i необходимо выполнение следующего условия:

              М[(Х¢Х)^–1Х¢×e] = 0.                             (2.11)

Поскольку матрица Х является ненулевой, то  для выполнения условия (2.11) необходимо, чтобы

а) М[e]=0;                                                                                                (2.12)

б) факторы х_it и ошибка e_t были независимыми между собой, i=0,1,..., n.

В этом случае математическое ожидание произведения    (Х¢Х)^–1Х¢×e  можно представить как произведение математических ожиданий двух величин (постоянной матрицы (Х¢Х)^–1Х¢ на случайный вектор ошибки e, т. е. М[(Х¢Х)^–1Х¢×e]=М[(Х¢Х)^–1Х¢]×М[e], откуда следует, что при справедливости (2.12) условие (2.11) выполняется.

Оценка a_i  параметра модели a_i  считается эффективной, если ее дисперсия является минимальной среди дисперсий всех  других возможных оценок данного параметра.

Дисперсии оценок a_i,  i=0,1,..., n;  можно найти как диагональные элементы их ковариационной матрицы. Напомним, что ковариационная матрица вектора оценок a (в общем случае) определяется следующим выражением:

 Сov(a)=   ,    (2.13)

где s_i²=D(a_i) – дисперсия i-ой оценки; cov(a_i, a_j)  – ковариация оценок i-го и j-го параметров.

Ковариационная матрица  вектора оценок а может быть представлена как математическое ожидание произведения вектора-столбца ошибки на ее вектор-строку, т. е. Сov(a)=М[Da×Da¢]. С учетом (2.9) получим:

Сov(a)=М[(Х¢Х)^–1Х¢×e×e¢×Х(Х¢Х )^–1].            (2.14)

Поскольку матрица Х образована постоянными величинами, то выражение (2.14) можно переписать в следующем виде:

Сov(a)=(Х¢Х)^–1Х¢×М[e×e¢]×Х(Х¢Х)^–1=

                  =(Х¢Х)^–1Х¢×Сov(e)×Х(Х¢Х)^–1,                  (2.15)

 

где Сov(e) является ковариационной матрицей вектора “идеальной” ошибки модели, определяемой следующим выражением:

Сov(e)=      ,      (2.16)

где, напомним, cov(e_i, e_j) определяются как ковариация рядов ошибки e_t  и e_t–(i–j).

C учетом выражения  (2.15) несложно увидеть, что s₀², s₁²,...,  s_n²  – дисперсии оценок   a_i,  i=0,1,..., n будут минимальными в том случае, если ковариационная матрица вектора ошибки e Сov(e) имеет следующий вид:

М[e×e¢]=s_e²×Е,                                    (2.17)

где s_e² – дисперсия истинной ошибки модели, Е – единичная матрица.

В этом случае выражение  ковариационной матрицы оценок a значительно упрощается:

Сov(a)=(Х¢Х)^–1Х¢×Сov(e)×Х(Х¢Х )^–1=

=(Х¢Х)^–1Х¢×s_e²×Е×Х(Х¢Х)^–1=s_e²×(Х¢Х)^–1.                      (2.18)

Таким образом, если М[e×e¢]=s_e²×Е, то оценки коэффициентов линейного эконометрического уравнения являются эффективными. На практике дисперсии и ковариации оценок a_i, i=0, 1,..., n; могут быть оценены как элементы матрицы  s_е²×(Х¢Х)^–1, в которой значение дисперсии ошибки может быть оценено на основе фактических (“выборочных”) значений ошибки e_t, согласно следующей формулы (см. выражение (1.32)):

Таким образом, из полученных результатов вытекает, что использование метода наименьших квадратов позволяет получить несмещенные и эффективные оценки параметров линейной эконометрической модели при детерминированных значениях независимых переменных в случае конечной выборки, если выполняются следующие положения:

1. Математическое ожидание  значений ошибки модели для  всех моментов времени t равно нулю, т. е. для t=1,2,...,Т

М[e_t]=0, М[e]=0.                               (2.20)

2. Значение дисперсии  ошибки является постоянной величиной для всех моментов t=1,2,...,Т

s_e² =const.                                      (2.21)

3. Значения ошибки, взятые  в различные моменты времени,  независимы между собой, т. е. ковариация ошибок e_t, e_t+s,  где     s=1,2,... равна 0.

                           cov (e_t , e_t+s) = 0.                                  (2.22)

4. Значения независимых  факторов модели и ошибки, рассматриваемые  в одни и те же моменты  времени, являются независимыми, т. е.  их ковариации равны нулю.

                          cov (х_it , e_t+s) = 0,                                  (2.23)

для i=1, 2, ... , n.

5. Матрица (Х¢Х) является невырожденной. На практике   это означает, что факторы х_it, i=1, 2, ... , n независимы между собой, в том смысле, что их выборочные парные коэффициенты корреляции не превосходят некоторого порога  r

½r_ij½£r,                                            (2.24)

где r_ij – выборочный коэффициент корреляции между факторами х_i   и х_j,  i¹ j

[1, с.267].

При выполнении условий (2.20)–(2.23) оценки МНК можно считать  несмещенными и эффективными.

При вырожденной матрице (Х¢Х) формально МНК вообще не  позволяет определить значения этих оценок, поскольку определитель этой матрицы становится равным нулю и сформировать обратную матрицу (Х¢Х)^–1 без каких-либо дополнительных “ухищрений” не представляется возможным.

Покажем также, что оценки параметров эконометрической модели, полученные с использованием МНК при детерминированных независимых переменных и справедливости условий (2.12) и (2.17), являются асимптотически несмещенными и состоятельными.

Напомним, что эти свойства в эконометрике рассматриваются  как “желательные”, в том смысле, что при прочих равных условиях оценки параметров эконометрической модели, полученные при большем объеме выборки исходных данных из однородной их совокупности, характеризуются меньшим смещением по сравнению с оценками, полученными на основе выборок меньшего объема.

Предположим, что при Т®¥ соблюдается условие однородности исходных данных и для матрицы (Х¢Х) существует следующий предел:

где Q – положительно определенная матрица.

Заметим также, что с  учетом (2.25) выражение (2.9) можно представить  в следующем виде:

a=a+

e).                   (2.26)

“Предел по вероятности” вектора оценок а с учетом (2.25) может быть записан следующим образом:

plima=a+Q^–1×plim e).                   (2.27)

Поскольку Х¢ – матрица с детерминированными компонентами, то при выполнении условий (2.12) и (2.17) получим следующие выражения, определяющие математическое ожидание и дисперсию вектора w= e соответственно:

M[w]=M[ e]= M[e]=0,                    (2.28)

Cov(w)= M[w, w¢]= M[e,e¢] =     (2.29)

Из выражения (2.29) непосредственно  следует, что при Т®¥ дисперсии оценок параметров стремятся к нулю, поскольку

0.                      (2.30)

Иными словами, оценки параметров эконометрической модели оказались асимптотически несмещенными, а, следовательно, и состоятельными*, т. е.

plim

e)=0

и с учетом (2.22) имеем:

plima=a+Q^-1×0=a.                          (2.31)

Можно также показать, что при Т®¥ и конечных по абсолютной величине элементах матрицы Х закон распределения вектора e является асимптотически нормальным с нулевым математическим ожиданием и ковариационной матрицей s²Q. Это свойство записывается следующим образом:

e N(0, s_e²Q).                           (2.32)

С учетом выражения (2.32) закон  распределения вектора  (a–a)= e=Q^-1× e, также является асимптотически нормальным (см. выражение (1.56)):

Q^-1× e N(Q^-1×0, Q^-1×(s_e²Q)× Q^-1] N(0, s_e²×Q^-1],    (2.33)

где Q^–1×(s_e²Q)×Q^–1 – ковариационная матрица вектора   Q^-1× e.

Из выражения (2.33) следует, что вектор оценок параметров а имеет асимптотически нормальное распределение с математическим ожиданием a и ковариационной матрицей т. е.

a® N[a, ].                           (2.34)

Напомним, что на практике при конечных значениях Т ковариационная матрица этого вектора формируется с использованием следующих замен: .

Заметим также, что выражение (2.34) является теоретическим обоснованием возможности использования критерия Стьюдента при определении значимости влияния независимых факторов на зависимую переменную модели у.

В эконометрических исследованиях  в качестве значений независимых переменных часто приходится использовать исходные данные, которые нельзя интерпретировать как детерминированные величины, поскольку сами они являются результатами, например, выборочных обследований. Примерами таких переменных являются среднедушевой доход, среднедушевое потребление и т. п. Их значения определяются по некоторой выборке индивидуумов из генеральной совокупности  жителей.

Аналогично, такая ситуация может иметь место, когда в  качестве исходных данных модели используется информация, характеризующая случайно выбранные элементы генеральной совокупности. Например, из совокупности мелких предприятий розничной торговли формируется выборка и характеристики отобранных предприятий (доход, заработная плата, объем реализации и т. п.) рассматриваются как значения независимых переменных модели.

В этих случаях значения независимых переменных можно интерпретировать как случайные величины, подчиняющиеся определенному закону распределения (имеется в виду многомерное распределение совокупности  этих величин).

Тогда вектор оценок параметров эконометрической модели, определенный на основе МНК (см. выражение (2.9)), можно интерпретировать как условную оценку, полученную при стохастической матрице наблюдаемых значений независимых факторов Х. С учетом такой трактовки выражение (2.9) может быть представлено в следующем виде [6,с.241]:

M[а|Х]=a+(Х¢Х)^–1Х¢×M[e|Х].                      (2.35)

Безусловная оценка вектора  параметров модели может быть определена как математическое ожидание условных оценок по всем возможным вариантам матрицы Х. Этот результат обычно записывается следующим образом:

M[а]=M_Х[а|Х]=a+M_Х[(Х¢Х)^–1Х¢×M(e|Х)],            (2.36)

где M_Х – математическое ожидание по всем наборам переменных х_it.

Из выражения (2.36) вытекает, что при “стохастических” независимых переменных оценки параметров эконометрической модели, полученные на основе МНК, могут обладать только свойствами асимптотической несмещенности и эффективности. Иначе говоря, при конечных объемах выборки свойства несмещенности и эффективности для этих оценок не гарантированы.

Существование асимптотических свойств определяется тем обстоятельством, что при увеличении числа исходных данных, выбираемых из однородной совокупности, выборочное среднее должно стремиться к средней по генеральной совокупности, а дисперсия выборочного среднего – к нулю.

С учетом вида выражения (2.36) асимптотическая несмещенность оценок МНК означает, что

 

(a–a)=M_Х[(Х¢Х)^–1Х¢×M(e|Х)]®0.           (2.37)

Для выполнения условия (2.37) необходимо, чтобы ошибка модели e_t и значения элементов х_it матрицы Х, i=0, 1,..., п; t=1, 2,..., Т  обладали при Т®¥ определенными свойствами, аналогичными (2.12) и (2.17). Из (2.36) непосредственно следует, что выражение (2.37) будет иметь место, если

M[e|Х]=M[e]=0, M_Х[Х¢×M(e|Х)]=0,             (2.38)