8.1 Метод наименьших квадратов

8.1.1 Некоторые понятия теории временных рядов

Рассмотрим объект, описываемый уравнением

Процедура определения правой части этого равенства по левой части называется операцией длинного деле ним.

Для асимптотически устойчивых процессов hit) —У 0 при t —У оо , поэтому можно ограничится конечным числом (q) слагаемых в (8.1.2). Тогда

Это выражение является временным рядом, позволяющим найти у в момент вре­мени к по значениям / в q моментов времени, предшествующих моменту к .

Модель (8.1.4) называется моделью со скользящим средним СС-модель). Термин "скользящее среднее" появился в связи с тем, что выражение (8.1.4) по существу явля­ется оператором усреднения (g + 1) значения / (правда, при этом не выполняется ни q

условие ^ hi = 1 , ни условие hi > 0 для всех /).

Это также временной ряд, определяющий значение у в момент времени к на основе значений у в моменты, предшествовавшие к и значению f(k) .

Выражение (8.1.5) называется авторегрессионной моделью (АР-моделъ). Этот тер­мин вызван тем, что (8.1.5) регрессирует у(к) на прошлые значения у.

И наконец, модель (8.1.1), которую можно записать как

называется авторегрессионной моделью со скользящим средним (АРСС-модель).

Пусть параметры моделей (8.1.5), (8.1.6) неизвестны, тогда используя для обозна­чения неизвестных параметров вектор с* , запишем эти модели в виде

Требуется по известным (в результате измерений) значениям у(к) (к = 0,1,2,. . .) найти вектор параметров с* .

8.1.2 Метод наименьших квадратов

Пусть в модели (8.1.7) п = 2, а у (к), f(k) (к = 0,1,2,...) точно измеряются и требуется определить параметры а2 «і уравнения (8.1.7), которое принимает вид

у(к) = а1У{к - 1) + а2у(к - 2) + f(k) (к = 0,1, 2,...). (8.1.9)

Записывая это уравнение для к = 2 и к = 3 , получим систему алгебраических уравнений

а1У(1) + а2у(0) = у(2)-/(2); 1

а1у(2) + а2у(1) = у(3)-/(3), J  1 ' ' )

решая которую найдем искомые числа а2 , «і .

Допустим теперь, что f(k) (А; = 0,1,2,...) измеряется с погрешностями. Тогда для каждой пары уравнений вида (8.1.10), записанной для различных к (следующая пара порождается к = 4, к = 5 , затем к = 6 , к = 7 и т.д.), получим различные значения искомых параметров а2 , «і . Возникает мысль определить а2 , Q\ так, чтобы разность (невязка) между правой и левой частями уравнения (8.1.9) при к = 2,. . ., N была наименьшей. Для этого сформируем сумму квадратов невязок

Необходимое и достаточное условие минимума £дг составляет систему из двух ал­гебраических уравнений

решая которую, найдем искомые числа а2 , «і .

Рассмотрим теперь определение параметров модели (8.1.7), когда ДА;) (А; = 0,1,...) - неизмеряемая неизвестная функция.

Запишем авторегрессионную модель (8.1.7) в векторной форме

В (8.1.14) в отличие от (8.1.7) принято начальное значение к = п. Это связано с тем, что при к > п вектор <5(А;) содержит только результаты измерений, тогда как

в противном случае он содержал бы неизвестные начальные условия у( —1) , у(—2) и т.д.

Поскольку функция f(k) (А; = 0,1,...) неизвестна, то будем искать такую оценку а: вектора с* , чтобы сумма квадратов "невязок"

была минимальной. Дифференцируя (8.1.16) по компонентам вектора а: и приравни­вая нулю производные, получим

найдем из (8.1.17) искомый вектор (8.1.18)

Выведем еще одну эквивалентную (8.1.19) формулу для оценки вектора с* на основе метода наименьших квадратов. В связи с этим введем в рассмотрение N — п -мерные векторы У] и v, а также матрицу U :

При этих обозначениях уравнения (8.1.14) для к = га, N — п и минимизируемая функция Ln примут вид

Пример. Пусть имеется асимптотически устойчивый объект управления, описы­ваемый уравнением

у + аоу = 0. (8.1.24)

в котором параметр а0 и воздействие fit) неизвестны. Пусть в результате измерений выхода объекта в известные моменты времени О, Г, 2Г,... (Г = 0, 08) получены

г/(0) = 1,5; у(1) = 0,6; у(2) = 0,56; у(3) = 0,236. (8.1.25)

Требуется определить параметр а0 .

Переходя к решению этой задачи, аппроксимируем (8.1.24) разностным уравнением вида

8.1.3 Рекуррентный алгоритм метода наименьших квадратов

Представим себе реальный физический процесс, описываемый авторегрессионной моделью (8.1.7) с неизвестными параметрами аг- (г = 1,га). Пусть требуется иден­тифицировать эти параметры в темпе реального процесса. Это означает, что оценка неизвестных параметров должна осуществляться сразу после очередного измерения выхода объекта. Используя метод наименьших квадратов, можно поступать так: по­сле N + 1 -го измерения вычислить в соответствии с (8.1.18)(9.2.22) значение Pjv+i и затем найти оценку a^N+1^ по формуле (8.1.19), после _Рдг_|_2 -го измерения, используя (8.1.18), (8.1.19), снова найти оценку а^-1-1) и т.д.

Таким образом, после каждого измерения необходимо заново осуществлять обра­щение матрицы по формуле (8.1.18) и вычисление оценки по (8.1.19). В связи с этим возникает вопрос: нельзя ли найти в явной форме связь между оценкой после і -го из­мерения, с одной стороны, и оценкой после і — 1 -го измерения и результатами і -го из­мерения - с другой. Такое рекуррентное соотношение существует и его использование называется оцениваванием параметров в замкнутом контуре или последовательным регрессионным методом.

Утверждение. Рекуррентный (последовательный) алгоритм метода наименьших квадратов для последовательной оценки параметров авторегрессионной модели (8.1.7) имеет вид:

где ay ' - оценка вектора параметров ex после г -го измерения выходной перемен­ной у.

В качестве начальных условий для алгоритма можно принять

с*(0) = 0; Р0 = аЕп, (8.1.35) где а - достаточно большое положительное число.

доказательство утверждения несложно. Действительно, на основе (8.1.17), (8.1.18) запишем

которое после умножения его слева на Рдг совпадает с (8.1.32).

Переходя к выводу соотношения (8.1.34), запишем (8.1.18) в виде

Умножая это выражение справа на S'(N)Pn_i и учитывая (8.1.38), получим (8.1.34), а подставляя его в первое из соотношений (8.1.33), получим второе.

Таким образом, утверждение доказано. Отметим, что одним из достоинств рекур­рентного алгоритма является то обстоятельство, что он не содержит операции обра­щения матриц, так как входящее в (8.1.34) выражение [1 + S'(i)Pi-iSy(i)] является скаляром. Рекуррентный, или последовательный, алгоритм приводит к оценкам, обла­дающими следующими свойствами.

Если f(k) (к = 0,1,...) представляет собой последовательность независимых одинаково распределенных случайных величин, то оценка а является несмещенной и состоятельной.

Если последовательность f(k) (к = 0,1,. . .) гауссовская, то оценка эффективна.

Пример 10. Применим алгоритм (8.1.32) ... (8.1.34) для оценки параметра а\ мо­дели (8.1.27) из примера 10.1.1. Итак, пусть в результате измерений получено у(0) = 1,5; у(1) = 0,6. Найдем вначале значение р\ по формуле (8.1.34). Принимая во внимание, что в рассматриваемом случае 8у{г) = у (і — 1) и р\ - скаляры, запишем (8.1.34) в виде

Теперь, если порядки q и N2 известны, то для получения несмещенных эффек­тивных оценок а можно применить рекуррентный алгоритм (8.1.32) . . . (8.1.34), затем найти, используя (8.1.54),

h0 = b0; hi = bi + «і ho,... (8.1.56) 8.1.5 Оценка параметров АРСС-модели

Переходя к оценке параметров авторегрессионной модели со скользящим средним, запишем (8.1.8) в векторной форме:

Формально уравнение (8.1.57) эквивалентно уравнению (8.1.14), поэтому для опре­деления вектора параметров а можно использовать рекуррентный алгоритм (8.1.32) ... (8.1.34). Однако вектор &^{к) содержит неизмеряемые величины j(k — 1),..., f{k — ji) . В связи с этим оценим, используя (8.1.57), переменную f(k) , полагая без потери общности an+i = 1 :

неизмеряемые компоненты вектора 8^\к) их оценками и сформи­руем 8 (к) = \\у(к -1),...,у(к- га), f(k

Таким образом, общий алгоритм последовательного оценивания принимает вид

Этот алгоритм может приводить к смещенным оценкам о;. Для получения несме­щенных оценок следует полагать в (8.1.58) вместо га число га' > га . Фиксируя некоторое га' и используя алгоритм (8.1.60) . . . (8.1.60), находим с* и определяем по формуле (8.1.59) последовательность f(k) (к = 0, 1, 2,. . .) , если она некоррелирована, то это свидетельствует о несмещенности и состоятельности оценки о;. Если же последова­тельность f(k) (к = 0, 1, 2,. . .) коррелирована, то следует увеличить число га' до тех пор, пока элементы этой последовательности окажутся независимыми.

8.1.6 Связь с алгоритмом фильтрации

Рассмотрим объект управления, описываемый авторегрессионной моделью:

Пусть параметры аг- (г = 1,га) этого уравнения неизвестны, а f(k) - последова­тельность гауссовских случайных величин с нулевым средним и известной дисперсией

r(i) 'її •

Интерпретируем задачу определения неизвестных параметров аг- (г = 1,га) как задачу фильтрации. В связи с этим введем в рассмотрение "объект", описываемый уравнениями:

а(к + 1) = а(к); а(0) = а(0); (8.1.64)

у(к) = 8'у(к)а + Х(к). (8.1.65)

Первое из них отражает факт постоянства (независимости от к ) параметров урав­нения (8.1.63), а второе - совпадает с (8.1.63), если учесть (8.1.15) и переобозначить

f(k) = x(k) ■ При этом Sy(k)- известный (получаемый в процессе работы системы) вектор.

Для "объекта" (8.1.64), (8.1.65) можно построить устройство восстановления (филь­трации) вектора а(к) по результатам измерения сигнала у (к) , который состоит из по­лезного сигнала 8'(к)а и помехи х{к) • Для построения этого фильтра воспользуемся уравнениями (??) . . . (??) оптимальной фильтрации. Очевидно, что в рассматривае­мом Ф(к) = Еп , R(k) = 0 , D{k) = 8'(к) и поэтому уравнения фильтра примут вид:

Сравнивая (8.1.66), (8.1.69) с (8.1.32) ... (8.1.34), заключаем, что соотношения (8.1.32) . . . (8.1.34) определяют алгоритм фильтрации, в котором [9.1]

Ра(к) = P.-rff.

8.1.7 Программное обеспечение и практикум

ГАММ А-директива: 211.3 (Идентификация на основе метода наименьших квадра­тов).

Исходные данные:

в)Вид внешнего возмущения.

е)Длительность процесса идентификации задается числом периодов минимальной из частот сигнала (8.1.71) Результаты:

а)Оценки коэффициентов <fi и гг- дискретной модели (8.1.70) а)Графики процесса идентификации.

Используя директиву 211.3 выполняется практикум Пр. 3.2.0 дна из его целей со­стоит в исследовании зависимости процесса идентификации от параметров внешнего возмущения и входного (испытательного) сигнала

МАТЛАБ-функции:

th = агтах(р} пп) -оценка коэффициентов дискретной модели (8.1.70)с помощью метода наименьших квадратов

Аргументы функции:

р = [у, и]-матрица экспериментальных данных;в многомерном случае и является матрицей с числом столбцов равным числу входов.

гага = [гир, пг} пс] -степени полиномов z\ дискретной модели (8.1.70) Результаты: Оценки коэффициентов дискретной модели (8.1.70)

thm = rarmax(p} пп} adm, adg) -оценка коэффициентов дискретной модели (8.1.70)с помощью рекуррентного метода наименьших квадратов.Здесь adm и adg аргуметы, задающие вид процедуры идентификации , например, значения adm = ff и adg = lam задают рекуррентный алгоритм раздела 8.1.3.

Вектор S в этих функциях содержит наряду с у{к — 1),. . . , у{к — п) измеряемые переменные и(к),. . ., и{к — га) и в этом случае выражение для у (к) имеет структуру (8.1.55)


Авторы: 239 А Б В Г Д Е З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Э Ю Я

Книги: 268 А Б В Г Д Е З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Э Ю Я