Классический метод наименьших квадратов

Автор работы: Пользователь скрыл имя, 21 Декабря 2012 в 12:20, реферат

Краткое описание

Целью работы является рассмотрение методики классического метода наименьших квадратов.

Содержание работы

Введение…………………………………………………………………….3
1. Процедура оценки параметров по методу наименьших квадратов…..5
2. Свойства оценок МНК…………………………………………………..9
Заключение………………………………………………………………..21
Список использованной литературы…………………………………….22

Содержимое работы - 1 файл

эконометрика.doc

— 312.50 Кб (Скачать файл)


 

 

 

 

 

 

 

 

Классический  метод наименьших квадратов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Содержание.

Введение…………………………………………………………………….3

1. Процедура оценки параметров  по методу наименьших квадратов…..5

2. Свойства оценок МНК…………………………………………………..9

Заключение………………………………………………………………..21

Список использованной литературы…………………………………….22

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение.

Эконометрика (econometrics) —  наука о применении статистических и математических методов в экономическом  анализе для проверки правильности экономических теоретических моделей и способов решения экономических проблем. Эконометрика позволяет расширить инструментарий построения статистических моделей экономических показателей.

В этой связи можно  сказать, что основная задача эконометрики состоит в построении моделей специфического типа (эконометрических моделей), описывающих взаимообусловленное развитие социально-экономических процессов, на основе информации, отражающей распределение их уровней во времени или (и) в пространстве однородных объектов. Эти модели используются в анализе и прогнозировании общих закономерностей и конкретных количественных характеристик рассматриваемых процессов, определении управляющих воздействий.

Наш мир не идеален, ни в чем нельзя быть уверенным с  абсолютной точностью. Кто помнит лабораторные работы по физике, тот должен знать, что измерение какой-либо физической величины обычно проводят несколько раз при различных условиях, а найденный результат записывают в виде 20,3±2,3. Это необходимо для того, чтобы нейтрализовать погрешности приборов, трясущиеся руки экспериментатора, вспышки на солнце и так далее.

Метод наименьших квадратов (далее МНК), о котором пойдет речь в работе, является одним из способов противостоять ошибкам измерений.

Метод наименьших квадратов (МНК) является одним из наиболее разработанных и распространенных вследствие своей относительной простоты и эффективности методов оценки параметров линейных эконометрических моделей. Он не предъявляет жестких требований к закону распределения ошибок моделей. Вследствие этого оценки коэффициентов моделей, полученные на основе МНК, не зависят от фактического (или предполагаемого) закона распределения.

Актуальность данной темы и определила тему работы.

Целью работы является рассмотрение методики классического метода наименьших квадратов.

Для достижения поставленной цели необходимо решить следующие задачи:

    • рассмотреть применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии;
    • изучить свойства оценок МНК;
    • рассмотреть применение МНК на конкретном примере.

Объектом исследования является метод наименьших квадратов. Предметом изучения является процедура  оценки параметров по методу наименьших квадратов, а также свойства оценок МНК.

Работа состоит из введения, основной части, которая включает в себя рассмотрение теоретических вопросов, заключения.

При анализе различных  источников информации  предпочтение отдано работам, описывающим не просто математический и статистический базисы исследуемых методов, но и их практическое применение.

 

 

 

 

 

 

 

 

1. Процедура оценки параметров по методу наименьших квадратов.

В “классическом” варианте МНК в отношении свойств ошибки модели et  выдвигаются следующие предположения:

– ошибка имеет нулевое математическое ожидание, M[et]=0;

– ее дисперсия конечна и постоянна, se2=const;

– автокорреляционные связи в ряду ошибки отсутствуют, т. е. r1=r2=...=0, где ri – коэффициент автокорреляции рядов et и et–i, i=1,2,... ;

– ряд значений ошибки статистически  не связан с рядами значений независимых переменных модели [5, с.358].

Рассмотренные предположения определяют ошибку модели как процесс белого шума с ковариационной матрицей ее вектора ошибки, имеющей следующий вид: Cov(e)=se2×Е.

Рассмотрим общую схему  процедуру оценки параметров линейной эконометрической модели на основе МНК более подробно. Такая модель в общем виде представлена уравнением (1):

yt=a0+a1 х1t +...+anхnt +et.          (1)

Исходными данными при  оценке параметров a0, a1,..., an являются измеренные (наблюдаемые) значения зависимой переменной, которые можно представить в виде вектора-столбца,


Наблюдаемые значения независимых  переменных объединим в матрицу следующего вида:


                                    Х =         

 

Cвое название МНК  получил, исходя из смыслового  содержания критерия, которому должны удовлетворять полученные на его основе оценки параметров эконометрической модели: сумма квадратов значений фактической ошибки модели должна быть минимальной.

Иными словами, найденные с помощью МНК оценки a0, a1,..., an,  обеспечивают минимум следующей квадратичной формы на множестве всех других комбинаций значений таких оценок:

    

где et  – значение фактической ошибки модели в момент t=1,2,..., Т,  полученное после подстановки в выражение (1) вместо неизвестных истинных значений параметров a0, a1,..., an  их оценок a0, a1,..., an.

Оптимальные по данному  критерию значения оценок в этом случае могут быть найдены путем решения следующей системы так называемых “нормальных” уравнений, вытекающей из условия равенства нулю частных производных функции s2 (a0, a1,..., an) по своим параметрам в точке минимума:


 


В системе (2.3) неизвестными являются оценки параметров a0, a1,..., an, а ее известные коэффициенты сформированы на основе исходных данных и представлены в виде следующих сумм: i,j=1,2,..., п. Решения, получаемые на основе развернутой формы системы (2.3), достаточно громоздки, и поэтому в дальнейшем в математических выкладках общего характера будем использовать векторно-матричную форму представления ее составляющих.

Векторно-матричная форма записи линейной эконометрической модели (1) имеет следующий вид:

                                     у=Х×a+e,                                     (2.4)

где у – вектор-столбец, состоящий из Т компонент; Х – матрица размера Т´(п+1) (если в модели присутствует “свободный” коэффициент a0); a=(a0, a1,..., an)¢– вектор-столбец параметров, состоящий из п+1-й компоненты; e – вектор-стобец ошибки модели, состоящий, как и вектор у, из Т компонент.

Соответственно векторно-матричный  вариант модели, в котором вместо неизвестных истинных коэффициентов a и ошибок e используются их оценки, т. е. вектора а и е, запишем в следующем виде:

                                     у=Х×а+е,                                     (2.5)

где а=(а0, а1,..., аn)¢, е=(е1, е2,..., еТ)¢– вектора значений оценок коэффициентов линейной эконометрической модели и значений ее фактической ошибки соответственно [4, с.175].

Сумму квадратов значений ошибки s2 можем представить в виде скалярного произведения вектора-строки е¢ на вектор-столбец е. Проводя несложные преобразования с учетом правил произведения векторов и матриц, получим следующий результат:

s2 =(е¢, е)=(у–Х×a)¢(у–Х×a)= у¢у–a¢Х¢у–у¢Хa+a¢Х¢Хa=у¢у–2a¢Х¢у+a¢Х¢Хa.   (2.6)

При проведении преобразований учитывалось правило транспонирования векторно-матричного произведения (z×W)¢=(W¢×z¢).

Условие (2.3) в векторной  форме записи приобретает следующий вид:

                                 ¶s2/¶a=0.                                     (2.7)

Заметим, что в выражении (2.7) операция дифференцирования осуществляется по вектору.

С учетом выражения (2.6) уравнение (2.7) приводится к следующему виду:

         ¶s2/¶a=¶(у¢у–2a¢Х¢у+a¢Х¢Хa)/¶a=–2Х¢у+2Х¢Хa=0

или                               Х¢Хa=Х¢у.

Откуда следует, что  “оптимальный” вектор оценок параметров a определяется на основе следующего векторно-матричного выражения:

                                      a=(Х¢Х)–1×Х¢у.                                             (2.8)

Все переменные в правой части выражения (2.8) являются известными – это исходные данные, сведенные  в матрицу Х  и вектор у.

Рассмотрим применение МНК на конкретном примере. Имеются  данные о цене на нефть x (долларов за баррель) и индексе акций нефтяной компании y (в процентных пунктах). Требуется  найти эмпирическую формулу, отражающую связь между ценой на нефть  и индексом акций нефтяной компании исходя из предположения, что связь между указанными переменными линейна и описывается функцией вида yi=β0+β1xi. Зависимой переменной (y) в данной регрессионной модели будет являться индекс акций нефтяной компании, а независимой (x) — цена на нефть.

Для нахождения коэффициентов  β0 и β1 построим вспомогательную  таблицу 1.

                                                                                                       Таблица 1

Таблица для нахождения коэффициентов β0 и β1

№ наблюдения

Цена на нефть – х, ден.ед.

Индекс нефтяной компании - %

xi *yi

хi2

1

17,28

537

9279,36

298,5984

2

17,05

534

9104,70

290,7025

3

18,30

550

10 065,00

334,8900

4

18,80

555

10 434,00

353,4400

5

19,20

560

10 752,00

368,6400

6

18,50

552

10 212,00

342,2500

Сумма по столбцу

110,13

3288

59 847,06

1988,52


Запишем систему нормальных уравнений исходя из данных таблицы:

1988,52β + 110,13β = 59847,06,

110,13β + 6β = 3288.

Решением данной системы  нормальных уравнений будут следующие  числа:  β1=15,317; β0=266,86. Таким образом, уравнение регрессии, описывающее зависимость между ценой на нефть и индексом акций нефтяной компании, можно записать как: y = 15,317x + 266,86.

На основании полученного  уравнения регрессии можно сделать  вывод о том, что с изменением цены на нефть на 1 денежную единицу за баррель индекс акций нефтяной компании изменяется примерно на 15,317 процентных пункта.

2. Свойства оценок МНК.

Рассмотрим основные условия, при которых оценки коэффициентов  линейной эконометрической модели, во-первых, могут быть в принципе найдены, а, во-вторых, их “качество” будет “достаточно высоким”, что является определенным свидетельством и достаточного качества построенной модели.

 “Качество” оценок, их свойства тесно связаны со “статистической” трактовкой исходных данных и,  в первую очередь, независимых переменных. Рассмотрим сначала случай, когда измеренные (наблюдаемые) значения независимых факторов трактуются как детерминированные (неслучайные) величины.

В этом случае матрица Х представляет собой матрицу, состоящую из констант, и элементы матриц (Х¢Х) и (Х¢Х)–1 также рассматриваются как константы.

Прежде всего заметим, что выражение (2.3) и аналогичное  ему выражение (2.7) представляют собой систему (n+1) уравнений с (n+1) неизвестными. Вследствие этого решение, т. е. вектор a, на основе выражения (2.8) теоретически можно получить почти всегда, кроме тех случаев, когда матрица   Х¢Х   является вырожденной и, следовательно, обратная ей матрица (Х¢Х)–1  не существует.

Вырожденная матрица Х¢Х будет иметь место в том случае, если хотя бы один из столбцов матрицы Х представим в виде линейной комбинацией нескольких других ее столбцов. От свойства вырожденности матрицы  Х¢Х следует отличать ее плохую обратимость. Это свойство может быть обусловлено существованием почти линейной зависимости между столбцами матрицы Х. В этом случае определитель матрицы Х¢Х близок к нулю и при расчете элементов обратной ей матрицы могут возникнуть проблемы вычислительного характера, когда неизбежные в расчетах на ЭВМ ошибки округления будут значительно искажать конечный результат. Это, в свою очередь, может повлечь существенные искажения оценок параметров модели, т. е. элементов вектора a.

Другое достаточно естественное ограничение для получения решения  состоит в том, что количество измерений факторов Т должно быть больше их числа n+1 (Т>n+1). В противном случае получить однозначную оценку параметров модели невозможно, так как количество неизвестных в системе (2.3) превысит число  ее уравнений [5, с.367].

Информация о работе Классический метод наименьших квадратов