Учебная работа № /8453. «Реферат Метод наименьших квадратов

Выдержка из похожей работы

Теорема Айткена, В классе линейных несмещенных оценок вектора в для обобщенной регрессионной модели оценка
b* = (X’Щ?№X)?№X’Щ?№Y
имеет наименьшую ковариационную матрицу,
Доказательство, Убедимся в том, что оценка b* является несмещенной, Учитывая обобщенную линейную модель множественной регрессии (Y = X в + е), представим ее в виде:
b* = (X’Щ?№X)?№X’Щ?№(Xв + е) = (X’Щ?№X)?№(X’Щ?№X)в + (X’Щ?№X)?№X’Щ?№е = в + (X’Щ?№X)?№X’Щ?№е,
Математическое ожидание оценки b*, т,е, М(b*) = в, ибо М(е) = 0, т,е, оценка b* есть несмещенная оценка в,
Для доказательства оптимальных свойств оценки b* преобразуем исходные данные — матрицу X, вектор Y и возмущение е к виду, при котором выполнены требования классической модели регрессии,
Из матричной алгебры известно, что всякая невырожденная симметричная (n*n) матрица А допускает представление в виде А=РР’, где Р — некоторая невырожденная (n*n) матрица,
Поэтому существует такая невырожденная (n*n) матрица Р, что
Щ = РР’

(представление матрицы Щ в виде Щ = РР’ не единственно, но для нас это не имеет значения),
Учитывая свойства обратных квадратных матриц, т, е,
(AВ) ?№= В?№А?№ и (Р’) ?№ = (P?№)’ , это означает, что
Щ?№=(P ?№)’ P ?№
Заметим, что если обе части равенства (умножить слева на матрицу PЇ№, а справа — на матрицу (Р’) Ї1=(РЇ1)’, то в произведении получим единичную матрицу,
Действительно,
РЇ1 Щ (Р’) ?№ = РЇ1 РР’)(Р’) ?№ =(Р ?№Р)Р'(Р’) ?№ =Е п,т,е,РЇ1 Щ (P ?№)’ = Еп,
Теперь, умножив обе части обобщенной регрессионной модели
Y=X в + е на матрицу РЇ1 слева, получим
Y,=Х, в + е,,
Где
У = РЇ1 Y, Х,=РЇ1 X, е,=РЇ1 е,
Убедимся в том, что модель Y=Х в + е удовлетворяет всем требованиям классической линейной модели множественной регрессии:
М(е,) =М(РЇ1 е)=РЇ1 М (е) = 0, ибо М(е) = 0;
Уе, = М(е, е ‘,) = М [(РЇ1 е )( РЇ1 е’) ‘] =М [РЇ1 е е'(РЇ1 ) ‘]=
= РЇ1 М(е е ‘)( РЇ1)’= РЇ1 Щ(РЇ1 ) ‘= Еп
r(X)=p + 1 < n (так как матрица Р - невырожденная)"