Апроксимация на експериментални данни по метода на най-малките квадрати. Апроксимация на експерименталните данни. Метод на най-малкия квадрат. Най-простите специални случаи

Апроксимацията на експерименталните данни е метод, основан на замяната на експериментално получени данни с аналитична функция, която най-точно минава или съвпада в възловите точки с първоначалните стойности (данни, получени по време на експеримента или експеримента). Понастоящем има два начина за дефиниране на аналитична функция:

Чрез конструиране на n-степенен интерполационен полином, който преминава директно през всички точкидаден масив от данни. В този случай апроксимиращата функция се представя като: интерполационен полином във формата на Лагранж или интерполационен полином във формата на Нютон.

Чрез конструиране на n-степенен апроксимиращ полином, който преминава близо до точкиот дадения масив от данни. По този начин апроксимиращата функция изглажда всички произволни шумове (или грешки), които могат да възникнат по време на експеримента: измерените стойности по време на експеримента зависят от случайни фактори, които се колебаят според собствените си произволни закони (грешки при измерване или инструмент, неточност или експериментални грешки). В този случай апроксимиращата функция се определя по метода на най-малките квадрати.

Метод на най-малкия квадрат(в английската литература Ordinary Least Squares, OLS) е математически метод, базиран на дефиницията на апроксимираща функция, която се изгражда в най-близка близост до точки от даден масив от експериментални данни. Близостта на началната и апроксимиращата функции F(x) се определя чрез числена мярка, а именно: сумата от квадратите на отклоненията на експерименталните данни от апроксимиращата крива F(x) трябва да бъде най-малката.

Крива на напасване, изградена по метода на най-малките квадрати

Използва се методът на най-малките квадрати:

За решаване на свръхопределени системи от уравнения, когато броят на уравненията надвишава броя на неизвестните;

Да се търси решение в случай на обикновени (не надопределени) нелинейни системи от уравнения;

За апроксимиране на точкови стойности чрез някаква апроксимираща функция.

Апроксимиращата функция по метода на най-малките квадрати се определя от условието за минимална сума на квадратите на отклоненията на изчислената апроксимираща функция от даден масив от експериментални данни. Този критерий на метода на най-малките квадрати се записва като следния израз:

Стойности на изчислената апроксимираща функция в възлови точки,

Посочен масив от експериментални данни в възлови точки.

Квадратният критерий има редица „добри“ свойства, като диференцируемост, предоставяйки уникално решение на проблема с апроксимацията с полиномни апроксимиращи функции.

В зависимост от условията на задачата, апроксимиращата функция е полином от степен m

Степента на апроксимиращата функция не зависи от броя на възловите точки, но нейната размерност винаги трябва да бъде по-малка от размерността (броя точки) на дадения масив от експериментални данни.

∙ Ако степента на апроксимиращата функция е m=1, тогава апроксимираме табличната функция с права линия (линейна регресия).

∙ Ако степента на апроксимиращата функция е m=2, тогава апроксимираме табличната функция с квадратна парабола (квадратична апроксимация).

∙ Ако степента на апроксимиращата функция е m=3, тогава апроксимираме табличната функция с кубична парабола (кубична апроксимация).

В общия случай, когато се изисква да се построи апроксимиращ полином от степен m за дадени таблични стойности, условието за минимална сума на квадратните отклонения върху всички възлови точки се пренаписва в следния вид:

- неизвестни коефициенти на апроксимиращия полином от степен m;

Броят на посочените стойности на таблицата.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частични производни по отношение на неизвестни променливи . В резултат на това получаваме следната система от уравнения:

Нека трансформираме получената линейна система от уравнения: отворете скобите и преместете свободните членове в дясната страна на израза. В резултат на това получената система от линейни алгебрични изрази ще бъде записана в следната форма:

Тази система от линейни алгебрични изрази може да бъде пренаписана в матрична форма:

В резултат на това се получава система от линейни уравнения с размерност m + 1, която се състои от m + 1 неизвестни. Тази система може да бъде решена с помощта на всеки метод за решаване на линейни алгебрични уравнения (например методът на Гаус). В резултат на решението ще се намерят неизвестни параметри на апроксимиращата функция, които осигуряват минималната сума на квадратите на отклоненията на апроксимиращата функция от изходните данни, т.е. възможно най-доброто квадратно приближение. Трябва да се помни, че ако дори една стойност на първоначалните данни се промени, всички коефициенти ще променят своите стойности, тъй като те са напълно определени от първоначалните данни.

Апроксимация на изходните данни чрез линейна зависимост

(линейна регресия)

Като пример разгледайте метода за определяне на апроксимиращата функция, която е дадена като линейна връзка. В съответствие с метода на най-малките квадрати, условието за минимална сума на квадратните отклонения се записва, както следва:

Координати на възлови точки на таблицата;

Неизвестни коефициенти на апроксимиращата функция, която е посочена като линейна връзка.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частни производни по отношение на неизвестни променливи. В резултат на това получаваме следната система от уравнения:

Нека трансформираме получената линейна система от уравнения.

Решаваме получената система от линейни уравнения. Коефициентите на апроксимиращата функция в аналитична форма се определят, както следва (метод на Крамер):

Тези коефициенти осигуряват изграждането на линейна апроксимираща функция в съответствие с критерия за минимизиране на сумата от квадратите на апроксимиращата функция от дадени таблични стойности (експериментални данни).

Алгоритъм за прилагане на метода на най-малките квадрати

1. Първоначални данни:

Като се има предвид масив от експериментални данни с броя на измерванията N

Дадена е степента на апроксимиращия полином (m).

2. Алгоритъм за изчисление:

2.1. Определят се коефициенти за построяване на система от уравнения с размерност

Коефициенти на системата от уравнения (лявата страна на уравнението)

- индекс на номера на колоната на квадратната матрица на системата от уравнения

Свободни членове на системата от линейни уравнения (дясната страна на уравнението)

- индекс на номера на реда от квадратната матрица на системата от уравнения

2.2. Формиране на система от линейни уравнения с размерност .

2.3. Решение на система от линейни уравнения за определяне на неизвестните коефициенти на апроксимиращия полином от степен m.

2.4 Определяне на сумата от квадратните отклонения на апроксимиращия полином от началните стойности за всички възлови точки

Намерената стойност на сумата от квадратите на отклоненията е минималната възможна.

Апроксимация с други функции

Трябва да се отбележи, че при апроксимирането на изходните данни в съответствие с метода на най-малките квадрати понякога се използват логаритмична функция, експоненциална функция и степенна функция като апроксимираща функция.

Регистрационно приближение

Помислете за случая, когато апроксимиращата функция е дадена от логаритмична функция от вида:

Находки широко приложениев иконометрията под формата на ясна икономическа интерпретация на нейните параметри.

Линейната регресия се свежда до намиране на уравнение от вида

или

Тип уравнение позволява дадени стойности на параметрите химат теоретични стойности на ефективния признак, замествайки действителните стойности на фактора в него х.

Изграждането на линейна регресия се свежда до оценка на нейните параметри − аи v.Оценките на параметрите на линейна регресия могат да бъдат намерени чрез различни методи.

Класическият подход за оценка на параметрите на линейната регресия се основава на най-малките квадрати(MNK).

LSM позволява да се получат такива оценки на параметрите аи v,при което сумата от квадратите отклонения на действителните стойности на получената черта (y)от изчислено (теоретично) минимален минимум:

За да се намери минимумът на функция, е необходимо да се изчислят частичните производни по отношение на всеки от параметрите аи би ги приравни на нула.

Означете през S, тогава:

Преобразувайки формулата, получаваме следната система от нормални уравнения за оценка на параметрите аи v:

Решавайки системата от нормални уравнения (3.5) или по метода на последователното елиминиране на променливи, или по метода на детерминантите, намираме желаните оценки на параметрите аи v.

Параметър vнаречен коефициент на регресия. Стойността му показва средната промяна в резултата с промяна на фактора с една единица.

Регресионното уравнение винаги се допълва с индикатор за плътността на връзката. Когато се използва линейна регресия, коефициентът на линейна корелация действа като такъв индикатор. Има различни модификации на формулата за линейния коефициент на корелация. Някои от тях са изброени по-долу:

Както знаете, коефициентът на линейна корелация е в границите: -1 ≤ ≤ 1.

За да се оцени качеството на избора на линейна функция, се изчислява квадратът

Линеен коефициент на корелация, наречен коефициент на детерминация.Коефициентът на детерминация характеризира съотношението на дисперсията на ефективния признак y,обяснено с регресия, в общата дисперсия на получената черта:

Съответно стойността 1 - характеризира съотношението на дисперсията y,причинено от влиянието на други фактори, които не са взети предвид в модела.

Въпроси за самоконтрол

1. Същността на метода на най-малките квадрати?

2. Колко променливи осигуряват регресия по двойки?

3. Какъв коефициент определя плътността на връзката между измененията?

4. В какви граници се определя коефициентът на детерминация?

5. Оценка на параметър b в корелационно-регресионен анализ?

1. Кристофър Дохърти. Въведение в иконометрията. - М.: ИНФРА - М, 2001 - 402 с.

2. S.A. Бородич. Иконометрия. Минск ООД "Ново знание" 2001 г.

3. R.U. Рахметов Кратък курсв иконометрията. Урок. Алмати. 2004. -78с.

4. И.И. Елисеева Иконометрия. - М.: "Финанси и статистика", 2002

5. Месечно информационно-аналитично списание.

Нелинейни икономически модели. Нелинейни регресионни модели. Преобразуване на променлива.

Нелинейни икономически модели..

Преобразуване на променлива.

коефициент на еластичност.

Ако има нелинейни връзки между икономически явления, тогава те се изразяват с помощта на съответните нелинейни функции: например, равностранна хипербола , параболи от втора степен и т.н.

Има два класа нелинейни регресии:

1. Регресии, които са нелинейни по отношение на обяснителните променливи, включени в анализа, но линейни по отношение на оценените параметри, например:

Полиноми от различни степени - , ;

Равностранна хипербола - ;

Полулогаритмична функция - .

2. Регресии, които са нелинейни в изчислените параметри, например:

Мощност - ;

Демонстративни -;

Експоненциална - .

Общата сума на квадратите отклонения на отделните стойности на получения атрибут вот средната стойност се причинява от влиянието на много фактори. Условно разделяме целия набор от причини на две групи: изследван фактор хи други фактори.

Ако факторът не влияе на резултата, тогава регресионната линия на графиката е успоредна на оста охи

Тогава цялата дисперсия на получения атрибут се дължи на влиянието на други фактори и общата сума от квадратите на отклоненията ще съвпадне с остатъка. Ако други фактори не влияят на резултата, тогава вързани стеС хфункционално, а остатъчната сума на квадратите е нула. В този случай сумата от квадратите отклонения, обяснени с регресията, е същата като общата сума на квадратите.

Тъй като не всички точки от корелационното поле лежат на линията на регресия, тяхното разсейване винаги се осъществява като поради влиянието на фактора х, тоест регресия вНа Х,и причинени от действието на други причини (необяснима вариация). Подходящостта на регресионната линия за прогнозата зависи от това каква част от общата вариация на чертата вотчита обяснената вариация

Очевидно, ако сумата на квадратните отклонения, дължащи се на регресия, е по-голяма от остатъчната сума на квадратите, тогава уравнението на регресията е статистически значимо и факторът хоказва значително влияние върху резултата. г.

, т.е. с броя на свободата на независимото изменение на признака. Броят на степените на свобода е свързан с броя на единиците от съвкупността n и броя на константите, определени от него. Във връзка с разглеждания проблем, броят на степените на свобода трябва да показва колко независими отклонения от П

Оценката за значимостта на регресионното уравнение като цяло е дадена с помощта на Ф- Критерият на Фишър. В този случай се излага нулева хипотеза, че коефициентът на регресия е равен на нула, т.е. b= 0, а оттам и факторът хне влияе на резултата г.

Директното изчисляване на F-критерия се предшества от анализ на дисперсията. Централно местоположениетой взема разширяването на общата сума от квадратите на отклоненията на променливата вот средната стойност вна две части - "обяснено" и "необяснено":

- обща сума на квадратите отклонения;

- сума на квадратите отклонения, обяснени с регресия;

е остатъчната сума от квадратите на отклонението.

Всяка сума от квадратите на отклоненията е свързана с броя на степените на свобода , т.е. с броя на свободата на независимото изменение на признака. Броят на степените на свобода е свързан с броя на единиците на населението ни с определения от него брой константи. Във връзка с разглеждания проблем, броят на степените на свобода трябва да показва колко независими отклонения от Пвъзможно е да се образува дадена сума от квадрати.

Дисперсия на степен на свободад.

F-коефициенти (F-критерий):

Ако нулевата хипотеза е вярна, то факторът и остатъчните дисперсии не се различават един от друг. За H 0 е необходимо опровержение, така че факторната дисперсия да надвишава остатъка няколко пъти. Английският статистик Снедекор разработи таблици с критични стойности Ф-отношения на различни нива на значимост на нулевата хипотеза и различен брой степени на свобода. Стойност на таблицата Ф-критерий е максималната стойност на съотношението на вариациите, които могат да възникнат, ако се разминават произволно за дадено ниво на вероятност за наличие на нулева хипотеза. Изчислена стойност Ф-връзката се признава за надеждна, ако o е по-голямо от табличното.

В този случай нулевата хипотеза за отсъствие на връзка от признаци се отхвърля и се прави извод за значимостта на тази връзка: F факт > F таблица H 0 се отхвърля.

Ако стойността е по-малка от таблицата F факт ‹, F таблица, то вероятността за нулевата хипотеза е по-висока от дадено ниво и тя не може да бъде отхвърлена без сериозен риск да се направи погрешно заключение за наличието на връзка. В този случай регресионното уравнение се счита за статистически незначимо. N o не се отклонява.

Стандартна грешка на коефициента на регресия

За да се оцени значимостта на коефициента на регресия, неговата стойност се сравнява със стандартната му грешка, т.е. се определя действителната стойност т- Критерий за ученика: която след това се сравнява с табличната стойност при определено ниво на значимост и броя на степените на свобода ( н- 2).

Стандартна грешка на параметъра а:

Значението на коефициента на линейна корелация се проверява въз основа на големината на грешката коефициент на корелация r:

Пълна дисперсия на характеристика х:

Множествена линейна регресия

Изграждане на модели

Множествена регресияе регресия на ефективна характеристика с два или повече фактора, т.е. модел на формата

Регресията може да даде добър резултат при моделирането, ако може да се пренебрегне влиянието на други фактори, влияещи върху обекта на изследване. Поведението на отделните икономически променливи не може да бъде контролирано, тоест не е възможно да се осигури равенството на всички останали условия за оценка на влиянието на един изследван фактор. В този случай трябва да се опитате да идентифицирате влиянието на други фактори, като ги въведете в модела, т.е. да изградите уравнение на множествена регресия: y = a+b 1 x 1 +b 2 +…+b p x p + .

Основната цел на множествената регресия е да се изгради модел с голям брой фактори, като същевременно се определи влиянието на всеки от тях поотделно, както и тяхното кумулативно въздействие върху моделирания индикатор. Спецификацията на модела включва две области на въпроси: избор на фактори и избор на типа на регресионно уравнение

3. Апроксимация на функциите с помощта на метода

най-малките квадрати

Методът на най-малките квадрати се използва при обработка на резултатите от експеримента за приближения (приблизителни стойности) експериментални данни аналитична формула. Конкретната форма на формулата се избира, като правило, от физически съображения. Тези формули могат да бъдат:

други.

Същността на метода на най-малките квадрати е следната. Нека резултатите от измерването са представени в таблицата:

маса 4
				x n
				y n

(3.1)

където е е известна функция, a 0 , a 1 , …, a m - неизвестни постоянни параметри, чиито стойности трябва да бъдат намерени. При метода на най-малките квадрати приближаването на функция (3.1) към експерименталната зависимост се счита за най-добро, ако условието

(3.2)

това е суми а квадратните отклонения на желаната аналитична функция от експерименталната зависимост трябва да са минимални .

Имайте предвид, че функциятаВ Наречен невиждаем.

Тъй като несъответствието

тогава има минимум. Необходимо условие за минимума на функция от няколко променливи е равенството на нула на всички частни производни на тази функция по отношение на параметрите. По този начин намирането на най-добрите стойности на параметрите на апроксимиращата функция (3.1), тоест тези стойности, за които Q = Q (a 0, a 1, …, a m ) е минимален, свежда се до решаване на системата от уравнения:

(3.3)

На метода на най-малките квадрати може да се даде следната геометрична интерпретация: сред безкрайно семейство линии от даден тип се намира една права, за която сумата от квадратите на разликите в ординатите на експерименталните точки и съответните ординати на точките намерен от уравнението на тази права ще бъде най-малкият.

Намиране на параметрите на линейна функция

Нека експерименталните данни са представени с линейна функция:

Изисква се избор на такива стойностиа и б , за което функцията

(3.4)

ще бъде минимално. Необходимите условия за минимума на функцията (3.4) се свеждат до системата от уравнения:

След трансформации получаваме система от две линейни уравнения с две неизвестни:

(3.5)

решавайки който, намираме желаните стойности на параметритеа и б .

Намиране на параметрите на квадратична функция

Ако апроксимиращата функция е квадратична зависимост

тогава неговите параметри a , b , c намерете от минималното условие на функцията:

(3.6)

Минималните условия за функцията (3.6) се свеждат до системата от уравнения:

След трансформации получаваме система от три линейни уравнения с три неизвестни:

(3.7)

в решавайки който намираме желаните стойности на параметритеа, б и в.

Пример . Нека следната таблица със стойности бъде получена в резултат на експеримента x и y :

маса 5

y i	0,705	0,495	0,426	0,357	0,368	0,406	0,549	0,768

Изисква се апроксимиране на експерименталните данни чрез линейни и квадратни функции.

Решение. Намирането на параметрите на апроксимиращите функции се свежда до решаване на системи от линейни уравнения (3.5) и (3.7). За да решим проблема, използваме процесор за електронни таблиципревъзхождам.

1. Първо свързваме листове 1 и 2. Въведете експерименталните стойности x i и y iв колони A и B, като се започне от втория ред (в първия ред поставяме заглавията на колоните). След това изчисляваме сумите за тези колони и ги поставяме в десетия ред.

В колони C–G поставете съответно изчислението и сумирането

2. Откачете листовете.По-нататъшните изчисления ще бъдат извършени по подобен начин за линейната зависимост на Лист 1 и за квадратната зависимост на Лист 2.

3. Под получената таблица формираме матрица от коефициенти и вектор колона от свободни термини. Нека решим системата от линейни уравнения по следния алгоритъм:

За да изчислим обратната матрица и матриците за умножение, използваме майстор функциии функции MOBRи МУМНОЖ.

4. В клетъчен блок H2:Х 9 на базата на получените коефициенти изчисляваме стойности на апроксимиращитеполиномy i изчислен., в блок I 2: I 9 - отклонения D y i = y i опит. - y i изчислен., в колона J - несъответствието:

Таблици, получени и изградени с помощта Магьосници за диаграмиграфиките са показани на фигури 6, 7, 8.

Ориз. 6. Таблица за изчисляване на коефициентите на линейна функция,

приблизителенекспериментални данни.

Ориз. 7. Таблица за изчисляване на коефициентите на квадратична функция,

приблизителенекспериментални данни.

Ориз. 8. Графично представяне на резултатите от апроксимацията

експериментални данни линейни и квадратни функции.

Отговор. Експерименталните данни бяха апроксимирани чрез линейната зависимост г = 0,07881 х + 0,442262 с остатъчно В = 0,165167 и квадратична зависимост г = 3,115476 х 2 – 5,2175 х + 2,529631 с остатъчно В = 0,002103 .

Задачи. Приблизете функцията, дадена от таблични, линейни и квадратни функции.

Таблица 6

№0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

3,030

3,142

3,358

3,463

3,772

3,251

3,170

3,665

№ 1

3,314

3,278

3,262

3,292

3,332

3,397

3,487

3,563

№ 2

1,045

1,162

1,264

1,172

1,070

0,898

0,656

0,344

№ 3

6,715

6,735

6,750

6,741

6,645

6,639

6,647

6,612

№ 4

2,325

2,515

2,638

2,700

2,696

2,626

2,491

2,291

№ 5

1.752

1,762

1,777

1,797

1,821

1,850

1,884

1,944

№ 6

1,924

1,710

1,525

1,370

1,264

1,190

1,148

1,127

№ 7

1,025

1,144

1,336

1,419

1,479

1,530

1,568

1,248

№ 8

5,785

5,685

5,605

5,545

5,505

5,480

5,495

5,510

№ 9

4,052

4,092

4,152

4,234

4,338

4,468

4,599

Приближаваме функцията с полином от 2-ра степен. За да направите това, изчисляваме коефициентите на нормалната система от уравнения:

, ,

Нека съставим нормална система от най-малки квадрати, която има формата:

Решението на системата е лесно да се намери:, , .

Така се намира полиномът от 2-ра степен: .

Теоретична подготовка

Обратно към страницата<Введение в вычислительную математику. Примеры>

Пример 2. Намиране на оптималната степен на полином.

Обратно към страницата<Введение в вычислительную математику. Примеры>

Пример 3. Извеждане на нормална система от уравнения за намиране на параметрите на емпирична зависимост.

Нека изведем система от уравнения за определяне на коефициентите и функциите , който извършва средноквадратната апроксимация на дадената функция по отношение на точки. Съставяне на функция и напишете необходимото екстремно условие за него:

Тогава нормалната система ще приеме формата:

Получихме линейна система от уравнения за неизвестни параметри и, която лесно се решава.

Теоретична подготовка

Обратно към страницата<Введение в вычислительную математику. Примеры>

Пример.

Експериментални данни за стойностите на променливите хи вса дадени в таблицата.

В резултат на тяхното подравняване, функцията

Използвайки метод на най-малкия квадрат, апроксимирайте тези данни с линейна зависимост y=ax+b(намерете параметри аи б). Разберете коя от двете линии е по-добра (в смисъл на метода на най-малките квадрати) подравнява експерименталните данни. Направете чертеж.

Същността на метода на най-малките квадрати (LSM).

Проблемът е да се намерят коефициентите на линейна зависимост, за които е функцията на две променливи аи бприема най-малката стойност. Тоест предвид данните аи бсумата от квадратите отклонения на експерименталните данни от намерената права линия ще бъде най-малката. Това е целият смисъл на метода на най-малките квадрати.

Така решението на примера се свежда до намиране на екстремума на функция от две променливи.

Извеждане на формули за намиране на коефициенти.

Съставя се и се решава система от две уравнения с две неизвестни. Намиране на частни производни на функции чрез променливи аи б, ние приравняваме тези производни към нула.

Решаваме получената система от уравнения по всеки метод (напр метод на заместванеили метод на Крамер) и да получите формули за намиране на коефициенти по метода на най-малките квадрати (LSM).

С данни аи бфункция приема най-малката стойност. Доказателството за този факт е дадено по-долу в текста в края на страницата.

Това е целият метод на най-малките квадрати. Формула за намиране на параметъра асъдържа сумите , , , и параметъра не количеството експериментални данни. Стойностите на тези суми се препоръчва да се изчисляват отделно.

Коефициент бнамерено след изчисление а.

Време е да си спомним оригиналния пример.

Решение.

В нашия пример n=5. Попълваме таблицата за удобство при изчисляване на сумите, които са включени във формулите на необходимите коефициенти.

Стойностите в четвъртия ред на таблицата се получават чрез умножаване на стойностите на 2-ри ред по стойностите на 3-ти ред за всяко число и.

Стойностите в петия ред на таблицата се получават чрез квадратура на стойностите на 2-ри ред за всяко число и.

Стойностите на последната колона на таблицата са сумите от стойностите в редовете.

Използваме формулите на метода на най-малките квадрати, за да намерим коефициентите аи б. Заместваме в тях съответните стойности от последната колона на таблицата:

следователно, y=0,165x+2,184е желаната приближаваща права линия.

Остава да разберем коя от линиите y=0,165x+2,184или приближава по-добре оригиналните данни, т.е. да направи оценка, използвайки метода на най-малките квадрати.

Оценка на грешката на метода на най-малките квадрати.

За да направите това, трябва да изчислите сумите на квадратните отклонения на оригиналните данни от тези редове и , по-малка стойност съответства на линия, която по-добре приближава оригиналните данни по отношение на метода на най-малките квадрати.

Тъй като , тогава линията y=0,165x+2,184приближава по-добре оригиналните данни.

Графична илюстрация на метода на най-малките квадрати (LSM).

Всичко изглежда страхотно на класациите. Червената линия е намерената линия y=0,165x+2,184, синята линия е , розовите точки са оригиналните данни.

За какво е, за какво са всички тези приближения?

Аз лично използвам за решаване на проблеми с изглаждането на данни, проблеми с интерполация и екстраполация (в оригиналния пример може да бъдете помолени да намерите стойността на наблюдаваната стойност гв х=3или кога х=6по метода на MNC). Но ще говорим повече за това по-късно в друг раздел на сайта.

Най-горе на страницата

Доказателство.

Така че когато се намери аи бфункцията приема най-малката стойност, е необходимо в този момент матрицата на квадратната форма на диференциала от втори ред за функцията беше положително определено. Нека го покажем.

Диференциалът от втори ред има формата:

Това е

Следователно, матрицата на квадратната форма има формата

и стойностите на елементите не зависят от аи б.

Нека покажем, че матрицата е положително определена. Това изисква минорите на ъгъла да са положителни.

Ъглов минор от първи ред . Неравенството е строго, тъй като точките не съвпадат. Това ще се подразбира в това, което следва.

Ъглов минор от втори ред

Нека докажем това метод на математическа индукция.

Заключение: намерени стойности аи бсъответстват на най-малката стойност на функцията следователно са желаните параметри за метода на най-малките квадрати.

Разбирате ли някога?
Поръчайте решение

Най-горе на страницата

Разработване на прогноза по метода на най-малките квадрати. Пример за решение на проблема

Екстраполация е метод научно изследване, който се основава на разпределението на минали и настоящи тенденции, закономерности, връзки с бъдещото развитие на обекта на прогнозиране. Методите за екстраполация включват метод на плъзгаща се средна, метод на експоненциално изглаждане, метод на най-малките квадрати.

Същност метод на най-малките квадрати се състои в минимизиране на сумата от квадратни отклонения между наблюдаваните и изчислените стойности. Изчислените стойности се намират според избраното уравнение - регресионното уравнение. Колкото по-малко е разстоянието между действителните стойности и изчислените, толкова по-точна е прогнозата въз основа на регресионното уравнение.

Теоретичният анализ на същността на изследваното явление, промяната в който се показва от времеви ред, служи като основа за избор на крива. Понякога се вземат предвид съображенията за естеството на растежа на нивата на серията. Следователно, ако се очаква ръст на производството в аритметична прогресия, след което изглаждането се извършва по права линия. Ако се окаже, че растежът е в геометрична прогресия, то изглаждането трябва да се извърши според експоненциалната функция.

Работната формула на метода на най-малките квадрати : Y t+1 = a*X + b, където t + 1 е прогнозният период; Уt+1 – прогнозен индикатор; a и b са коефициенти; X е символ на времето.

Коефициентите a и b се изчисляват по следните формули:

където, Uf - действителните стойности на серията от динамика; n е броят на нивата във времевия ред;

Изглаждането на времевите редове по метода на най-малките квадрати служи за отразяване на закономерностите на развитие на изследваното явление. При аналитичното изразяване на тенденция времето се разглежда като независима променлива, а нивата на поредицата действат като функция на тази независима променлива.

Развитието на едно явление не зависи от това колко години са минали от началната точка, а от това какви фактори са повлияли на неговото развитие, в каква посока и с каква интензивност. От това става ясно, че развитието на едно явление във времето се появява в резултат на действието на тези фактори.

Правилното задаване на вида на кривата, вида на аналитичната зависимост от времето е една от най-трудните задачи на предсказващия анализ. .

Изборът на типа функция, която описва тенденцията, чиито параметри се определят по метода на най-малките квадрати, в повечето случаи е емпиричен, като се конструират редица функции и се сравняват една с друга според стойността на корена. средноквадратична грешка, изчислена по формулата:

където Uf - действителните стойности на серията от динамика; Ur – изчислени (изгладени) стойности на времевия ред; n е броят на нивата във времевия ред; p е броят на параметрите, дефинирани във формулите, описващи тенденцията (тенденцията на развитие).

Недостатъци на метода на най-малките квадрати :

когато се опитваме да опишем икономическия феномен, който се изследва, с помощта на математическо уравнение, прогнозата ще бъде точна за кратък период от време и уравнението на регресия трябва да се преизчислява, когато се появи нова информация;
сложността на избора на регресионното уравнение, което е разрешимо с помощта на стандартни компютърни програми.

Пример за използване на метода на най-малките квадрати за разработване на прогноза

Задача . Има данни, характеризиращи нивото на безработица в региона, %

Изградете прогноза за нивото на безработицата в региона за месеците ноември, декември, януари, като използвате методите: пълзяща средна, експоненциално изглаждане, най-малки квадрати.
Изчислете грешките в получените прогнози, като използвате всеки метод.
Сравнете получените резултати, направете заключения.

Решение на най-малките квадрати

За решението ще направим таблица, в която ще произвеждаме необходими изчисления:

ε = 28,63/10 = 2,86% точност на прогнозатаВисоко.

Заключение : Сравняване на резултатите, получени при изчисленията метод на плъзгаща се средна , експоненциално изглаждане и метода на най-малките квадрати, можем да кажем, че средната относителна грешка при изчисленията по метода на експоненциалното изглаждане попада в рамките на 20-50%. Това означава, че точността на прогнозата в този случай е само задоволителна.

В първия и третия случай точността на прогнозата е висока, тъй като средната относителна грешка е под 10%. Но методът на подвижните средни позволи да се получи повече надеждни резултати(прогноза за ноември - 1,52%, прогноза за декември - 1,53%, прогноза за януари - 1,49%), тъй като средната относителна грешка при използване на този метод е най-малка - 1,13%.

Метод на най-малкия квадрат

Други свързани статии:

Списък на използваните източници

Научно-методически препоръки по въпросите на диагностицирането на социалните рискове и прогнозирането на предизвикателствата, заплахите и социалните последици. Руски държавен социален университет. Москва. 2010 г.;
Владимирова Л.П. Прогнозиране и планиране в пазарни условия: учеб. надбавка. М .: Издателство "Дашков и Ко", 2001;
Новикова Н.В., Поздеева О.Г. Прогнозиране на народното стопанство: Учебно-методическо ръководство. Екатеринбург: Издателство Урал. състояние икономика университет, 2007;
Слуцкин Л.Н. MBA курс по бизнес прогнозиране. Москва: Alpina Business Books, 2006.

Програма MNE

Въвеждане на данни

Данни и апроксимация y = a + b x

и- номер на опитната точка;
x i- стойността на фиксирания параметър в точката и;
y i- стойността на измервания параметър в точката и;
ω i- измерване на теглото в точка и;
y i, изч.- разликата между измерената стойност и стойността, изчислена от регресията гв точката и;
S x i (x i)- оценка на грешката x iпри измерване гв точката и.

Данни и апроксимация y = k x

и	x i	y i	ω i	y i, изч.	Δy i	S x i (x i)

Кликнете върху графиката

Ръководство за потребителя на онлайн програмата MNC.

В полето за данни въведете на всеки отделен ред стойностите на `x` и `y` в една експериментална точка. Стойностите трябва да бъдат разделени с интервал (интервал или раздел).

Третата стойност може да бъде теглото на точката на `w`. Ако теглото на точката не е посочено, то е равно на единица. В преобладаващото мнозинство от случаите теглата на експерименталните точки са неизвестни или не са изчислени; всички експериментални данни се считат за еквивалентни. Понякога теглата в изследвания диапазон от стойности определено не са еквивалентни и дори могат да бъдат изчислени теоретично. Например в спектрофотометрията теглата могат да бъдат изчислени с помощта на прости формули, въпреки че по принцип всички пренебрегват това, за да намалят разходите за труд.

Данните могат да бъдат поставени през клипборда от електронна таблица на офис пакет, като например Excel от Microsoft Office или Calc от Open Office. За да направите това, изберете диапазона от данни за копиране в електронната таблица, копирайте го в клипборда и поставете данните в полето за данни на тази страница.

За изчисляване по метода на най-малките квадрати са необходими поне две точки за определяне на два коефициента `b` - тангенса на ъгъла на наклона на правата линия и `a` - стойността, отрязана от правата линия на `y ` ос.

За да се оцени грешката на изчислените регресионни коефициенти, е необходимо да се зададе броят на експерименталните точки на повече от две.

Метод на най-малките квадрати (LSM).

Колкото по-голям е броят на експерименталните точки, толкова по-точна е статистическата оценка на коефициентите (поради намаляването на коефициента на Студент) и толкова по-близо е оценката до оценката на общата извадка.

Получаването на стойности във всяка експериментална точка често е свързано със значителни разходи за труд, следователно често се провежда компромисен брой експерименти, което дава смилаема оценка и не води до прекомерни разходи за труд. По правило броят на експерименталните точки за линейна зависимост на най-малките квадрати с два коефициента се избира в района на 5-7 точки.

Кратка теория за най-малките квадрати за линейна зависимост

Да предположим, че имаме набор от експериментални данни под формата на двойки стойности [`y_i`, `x_i`], където `i` е броят на едно експериментално измерване от 1 до `n`; `y_i` - стойността на измерената стойност в точката `i`; `x_i` - стойността на параметъра, който задаваме в точката `i`.

Пример е действието на закона на Ом. Чрез промяна на напрежението (потенциалната разлика) между секциите на електрическата верига, ние измерваме количеството ток, преминаващ през тази секция. Физиката ни дава зависимостта, открита експериментално:

`I=U/R`,
където `I` - сила на тока; `R` - съпротивление; `U` - напрежение.

В този случай „y_i“ е измерената стойност на тока, а „x_i“ е стойността на напрежението.

Като друг пример, разгледайте поглъщането на светлина от разтвор на вещество в разтвор. Химията ни дава формулата:

`A = εl C`,
където `A` - оптична плътнострешение; `ε` - пропускливост на разтвореното вещество; `l` - дължина на пътя, когато светлината преминава през кювета с разтвор; „C“ е концентрацията на разтвореното вещество.

В този случай „y_i“ е измерената оптична плътност „A“, а „x_i“ е концентрацията на веществото, което задаваме.

Ще разгледаме случая, когато относителната грешка в настройката `x_i` е много по-малка от относителната грешка при измерването на `y_i`. Ще приемем също, че всички измерени стойности на `y_i` са произволни и нормално разпределени, т.е. спазват нормалния закон за разпределение.

В случай на линейна зависимост на `y` от `x`, можем да напишем теоретичната зависимост:
`y = a + bx`.

От геометрична гледна точка, коефициентът `b` обозначава допирателната на наклона на линията към оста `x`, а коефициентът `a` - стойността на `y` в точката на пресичане на правата с ` ос y (с `x = 0`).

Намиране на параметрите на регресионната линия.

В експеримента измерените стойности на `y_i` не могат да лежат точно на теоретичната линия поради грешки в измерването, които винаги са присъщи на реален живот. Следователно, едно линейно уравнение трябва да бъде представено от система от уравнения:
`y_i = a + b x_i + ε_i` (1),
където `ε_i` е неизвестната грешка при измерване на `y` в `i`-ия експеримент.

Зависимост (1) също се нарича регресия, т.е. зависимостта на двете величини една от друга със статистическа значимост.

Задачата за възстановяване на зависимостта е да се намерят коефициентите `a` и `b` от експерименталните точки [`y_i`, `x_i`].

За намиране на коефициентите обикновено се използва `a` и `b` метод на най-малкия квадрат(MNK). Това е специален случай на принципа на максималната вероятност.

Нека пренапишем (1) като `ε_i = y_i - a - b x_i`.

Тогава сумата на квадратните грешки ще бъде
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Принципът на метода на най-малките квадрати е да се минимизира сумата (2) по отношение на параметрите `a` и `b`.

Минимумът се достига, когато частичните производни на сбора (2) по отношение на коефициентите `a` и `b` са равни на нула:
`frac(частичен Φ)(частичен a) = frac(частичен сбор_(i=1)^(n) (y_i - a - b x_i)^2)(частичен a) = 0`
`frac(частичен Φ)(частичен b) = frac(частичен сбор_(i=1)^(n) (y_i - a - b x_i)^2)(частичен b) = 0`

Разширявайки производните, получаваме система от две уравнения с две неизвестни:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Отваряме скобите и прехвърляме сумите, независими от желаните коефициенти, към другата половина, получаваме система от линейни уравнения:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

Решавайки получената система, намираме формули за коефициентите `a` и `b`:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

Тези формули имат решения, когато `n > 1` (линията може да бъде начертана с помощта на поне 2 точки) и когато детерминантата `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, т.е когато точките „x_i“ в експеримента са различни (т.е. когато линията не е вертикална).

Оценка на грешките в коефициентите на регресионната линия

За по-точна оценка на грешката при изчисляване на коефициентите `a` и `b` е желателно голям бройекспериментални точки. Когато `n = 2`, е невъзможно да се оцени грешката на коефициентите, т.к апроксимиращата права ще минава еднозначно през две точки.

Определя се грешката на произволната променлива „V“. закон за натрупване на грешки
`S_V^2 = sum_(i=1)^p (frac(частично f)(частично z_i))^2 S_(z_i)^2`,
където `p` е броят на параметрите `z_i` с грешка `S_(z_i)`, които засягат грешката `S_V`;
`f` е функция на зависимост на `V` от `z_i`.

Нека напишем закона за натрупване на грешки за грешката на коефициентите `a` и `b`
`S_a^2 = sum_(i=1)^(n)(frac(частично a)(частично y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(частично a )(частично x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(частично a)(частично y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(частично b)(частично y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(частично b )(частично x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(частично b)(частично y_i))^2 `,
защото `S_(x_i)^2 = 0` (преди това направихме резервация, че грешката на `x` е незначителна).

`S_y^2 = S_(y_i)^2` - грешката (дисперсия, квадратно стандартно отклонение) в измерението `y`, като се приеме, че грешката е еднаква за всички стойности на `y`.

Замествайки формули за изчисляване на "a" и "b" в получените изрази, получаваме

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

В повечето реални експерименти стойността на „Sy“ не се измерва. За да направите това, е необходимо да се извършат няколко паралелни измервания (експерименти) в една или няколко точки от плана, което увеличава времето (и евентуално цената) на експеримента. Следователно обикновено се приема, че отклонението на `y` от регресионната линия може да се счита за случайно. Оценката на дисперсията "y" в този случай се изчислява по формулата.

`S_y^2 = S_(y, почивка)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Делителят `n-2` се появява, защото сме намалили броя на степените на свобода поради изчисляването на два коефициента за една и съща извадка от експериментални данни.

Тази оценка се нарича още остатъчна дисперсия спрямо линията на регресия „S_(y, rest)^2“.

Оценката на значимостта на коефициентите се извършва по критерий на Студент

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Ако изчислените критерии `t_a`, `t_b` са по-малки от критериите на таблицата `t(P, n-2)`, тогава се счита, че съответният коефициент не се различава значително от нула с дадена вероятност `P`.

За да оцените качеството на описанието на линейна връзка, можете да сравните „S_(y, rest)^2“ и „S_(bar y)“ спрямо средната стойност, като използвате критерия на Фишер.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - извадкова оценка на дисперсията на „y“ спрямо средната стойност.

За да се оцени ефективността на регресионното уравнение за описание на зависимостта, се изчислява коефициентът на Фишер
`F = S_(bar y) / S_(y, почивка)^2`,
който се сравнява с табличния коефициент на Фишер `F(p, n-1, n-2)`.

Ако „F > F(P, n-1, n-2)“, разликата между описанието на зависимостта „y = f(x)“, използвайки регресионното уравнение и описанието, използващо средната стойност, се счита за статистически значима с вероятност `P`. Тези. регресията описва зависимостта по-добре от разпространението на "y" около средната стойност.

Кликнете върху графиката
за добавяне на стойности към таблицата

Метод на най-малкия квадрат. Методът на най-малките квадрати означава определяне на неизвестни параметри a, b, c, приетата функционална зависимост

Методът на най-малките квадрати означава определяне на неизвестни параметри а, б, в,…приета функционална зависимост

y = f(x,a,b,c,…),

което би осигурило минимум от средния квадрат (дисперсия) на грешката

, (24)

където x i , y i - набор от двойки числа, получени от експеримента.

Тъй като условието за екстремум на функция от няколко променливи е условието частичните й производни да са равни на нула, то параметрите а, б, в,…се определят от системата от уравнения:

; ; ; … (25)

Трябва да се помни, че методът на най-малките квадрати се използва за избор на параметри след формата на функцията y = f(x)дефиниран.

Ако от теоретични съображения е невъзможно да се направят изводи за това каква трябва да бъде емпиричната формула, тогава човек трябва да се ръководи от визуални представяния, преди всичко графично представяне на наблюдаваните данни.

На практика най-често се ограничава до следните видове функции:

1) линейни ;

2) квадратно a .

Метод на най-малкия квадрат

В последния урок по темата ще се запознаем с най-известното приложение FNP, който намира най-широко приложение в различни области на науката и практиката. Това може да бъде физика, химия, биология, икономика, социология, психология и така нататък и така нататък. По волята на съдбата често ми се налага да се занимавам с икономиката и затова днес ще ви уредя билет за невероятна странаозаглавен Иконометрия=) … Как не искаш?! Там е много добре - просто трябва да решите! ...Но това, което вероятно определено искате, е да се научите как да решавате проблеми най-малките квадрати. И особено усърдните читатели ще се научат да ги решават не само точно, но и МНОГО БЪРЗО ;-) Но първо обща постановка на проблема+ свързан пример:

Нека се изучават показатели в някаква предметна област, които имат количествен израз. В същото време има всички основания да се смята, че индикаторът зависи от индикатора. Това предположение може да бъде както научна хипотеза, така и основана на елементарен здрав разум. Да оставим науката настрана обаче и да проучим по-апетитни области – а именно хранителните магазини. Означете с:

– търговска площ на магазин за хранителни стоки, кв.м.,
- годишен оборот на магазин за хранителни стоки, милиони рубли.

Съвсем ясно е, че колкото по-голяма е площта на магазина, толкова по-голям е неговият оборот в повечето случаи.

Да предположим, че след провеждане на наблюдения / експерименти / изчисления / танци с тамбура, имаме на разположение цифрови данни:

С хранителните магазини мисля, че всичко е ясно: - това е площта на 1-ви магазин, - неговият годишен оборот, - площта на 2-ри магазин, - неговият годишен оборот и т.н. Между другото, изобщо не е необходимо да имате достъп до класифицирани материали - доста точна оценка на оборота може да се получи с помощта на математическа статистика. Въпреки това, не се разсейвайте, курсът на търговския шпионаж вече е платен =)

Табличните данни също могат да бъдат записани под формата на точки и изобразени по обичайния за нас начин. Декартова система .

ние ще отговорим важен въпрос: колко точки са необходими за качествено изследване?

Колкото по-голям, толкова по-добре. Минимално допустимият набор се състои от 5-6 точки. Освен това, с малко количество данни, „ненормални“ резултати не трябва да се включват в извадката. Така, например, малък елитен магазин може да помогне с порядък повече от „техните колеги“, като по този начин изкриви общия модел, който трябва да се намери!

Ако е съвсем просто, трябва да изберем функция, графиккойто минава възможно най-близо до точките . Такава функция се нарича приблизителен (приближение - приближение)или теоретична функция . Най-общо казано, тук веднага се появява очевиден „претендент“ - полином от висока степен, графиката на който минава през ВСИЧКИ точки. Но тази опция е сложна и често просто неправилна. (защото графиката ще се „вие“ през цялото време и ще отразява лошо основната тенденция).

Следователно желаната функция трябва да бъде достатъчно проста и в същото време да отразява адекватно зависимостта. Както може би се досещате, един от методите за намиране на такива функции се нарича най-малките квадрати. Първо, нека анализираме същността му в общ изглед. Нека някаква функция апроксимира експерименталните данни:

Как да оценим точността на това приближение? Нека изчислим и разликите (отклоненията) между експерименталните и функционални стойности (изучаваме рисунката). Първата мисъл, която идва на ум, е да преценим колко голяма е сумата, но проблемът е, че разликите могат да бъдат отрицателни. (Например, ) и отклоненията в резултат на такова сумиране ще се компенсират взаимно. Следователно, като оценка на точността на приближението, той се предлага да вземе сумата модулиотклонения:

или в сгънат вид: (за тези, които не знаят: е иконата на сумата и - спомагателна променлива - "брояч", който приема стойности от 1 до ) .

Приближавайки експерименталните точки с различни функции, ще получим различни стойности и е очевидно къде тази сума е по-малка - тази функция е по-точна.

Такъв метод съществува и се нарича метод на най-малкия модул. На практика обаче е станало много по-разпространено. метод на най-малкия квадрат, при което възможните отрицателни стойности се елиминират не чрез модула, а чрез квадратура на отклоненията:

, след което усилията се насочват към избора на такава функция, че сумата от квадратите на отклоненията беше възможно най-малък. Всъщност оттук идва и името на метода.

И сега се връщаме към друг важен момент: както беше отбелязано по-горе, избраната функция трябва да е доста проста - но има и много такива функции: линеен , хиперболичен , експоненциален , логаритмичен , квадратична и т.н. И, разбира се, тук веднага бих искал да „намаля полето на дейност“. Какъв клас функции да изберете за изследване? Примитивно но ефективен прием:

- Най-лесният начин за рисуване на точки върху чертежа и анализирайте тяхното местоположение. Ако са склонни да са в права линия, тогава трябва да потърсите уравнение на права линия с оптимални стойности и . С други думи, задачата е да се намерят ТАКИВА коефициенти - така че сборът от квадратите отклонения да е най-малък.

Ако точките са разположени, например, по протежение на хипербола, тогава е ясно, че линейната функция ще даде лошо приближение. В този случай търсим най-„благоприятните“ коефициенти за уравнението на хиперболата - тези, които дават минималната сума от квадрати .

Сега забележете, че и в двата случая говорим за функции на две променливи, чиито аргументи са търсени опции за зависимост:

И по същество трябва да решим стандартен проблем - да намерим минимум функция от две променливи.

Спомнете си нашия пример: да предположим, че точките "магазин" са склонни да бъдат разположени в права линия и има всички основания да вярваме в присъствието линейна зависимостоборот от търговската зона. Нека намерим ТАКИВА коефициенти "a" и "be", така че сумата от квадратните отклонения беше най-малката. Всичко както обикновено - първо частични производни от 1-ви ред. Според правило за линейностможете да разграничите точно под иконата на сумата:

Ако искате да използвате тази информация за есе или курсова работа, ще съм много благодарен за връзката в списъка с източници, няма да намерите толкова подробни изчисления никъде:

Нека направим стандартна система:

Ние намаляваме всяко уравнение с „две“ и в допълнение „разбиваме“ сумите:

Забележка : независимо анализирайте защо "a" и "be" могат да бъдат извадени от иконата за сума. Между другото, формално това може да стане със сумата

Нека пренапишем системата в "приложен" вид:

след което започва да се чертае алгоритъмът за решаване на нашия проблем:

Знаем ли координатите на точките? Ние знаем. суми можем ли да намерим? Лесно. Ние съставяме най-простите система от две линейни уравнения с две неизвестни(„a“ и „beh“). Ние решаваме системата, напр. Методът на Крамер, което води до неподвижна точка. Проверка достатъчно условие за екстремум, можем да проверим, че в този момент функцията достига точно минимум. Проверката е свързана с допълнителни изчисления и затова ще я оставим зад кулисите. (ако е необходимо, липсващата рамка може да се видитук ) . Правим окончателното заключение:

Функция по най-добрия начин (поне в сравнение с всяка друга линейна функция)сближава експерименталните точки . Грубо казано, неговата графика минава възможно най-близо до тези точки. В традицията иконометрияполучената апроксимираща функция също се извиква уравнение на сдвоена линейна регресия .

Разглежданият проблем е голям практическа стойност. В ситуацията с нашия пример, уравнението ви позволява да предвидите какъв вид оборот ("yig")ще бъде в магазина с една или друга стойност на площта за продажба (едно или друго значение на "x"). Да, получената прогноза ще бъде само прогноза, но в много случаи ще се окаже доста точна.

Ще анализирам само един проблем с "реалните" числа, тъй като в него няма трудности - всички изчисления са на нивото на училищната програма в 7-8 клас. В 95 процента от случаите ще бъдете помолени да намерите само линейна функция, но в самия край на статията ще покажа, че не е по-трудно да намерите уравненията за оптималната хипербола, степен на степен и някои други функции.

Всъщност остава да раздадете обещаните екстри - така че да се научите как да решавате такива примери не само точно, но и бързо. Ние внимателно изучаваме стандарта:

Задача

В резултат на изследване на връзката между два индикатора бяха получени следните двойки числа:

Използвайки метода на най-малките квадрати, намерете линейната функция, която най-добре приближава емпиричната (опитен)данни. Направете чертеж, върху който в декартова правоъгълна координатна система начертайте експериментални точки и графика на апроксимиращата функция . Намерете сумата от квадратите на отклоненията между емпиричните и теоретичните стойности. Разберете дали функцията е по-добра (по отношение на метода на най-малките квадрати)приблизителни експериментални точки.

Обърнете внимание, че стойностите на "x" са естествени стойности и това има характерно смислено значение, за което ще говоря малко по-късно; но те, разбира се, могат да бъдат дробни. Освен това, в зависимост от съдържанието на конкретна задача, стойностите на "X" и "G" могат да бъдат напълно или частично отрицателни. Е, получихме „безлика“ задача и ние я започваме решение:

Намираме коефициентите на оптималната функция като решение на системата:

За целите на по-компактна нотация променливата „counter“ може да бъде пропусната, тъй като вече е ясно, че сумирането се извършва от 1 до .

По-удобно е да изчислите необходимите количества в табличен вид:

Изчисленията могат да се извършват на микрокалкулатор, но е много по-добре да използвате Excel - както по-бързо, така и без грешки; гледайте кратко видео:

Така получаваме следното система:

Тук можете да умножите второто уравнение по 3 и извадете 2-то от 1-вото уравнение, член по член. Но това е късмет - на практика системите често не са надарени и в такива случаи се спестява Методът на Крамер:
, така че системата има уникално решение.

Да направим проверка. Разбирам, че не искам, но защо да пропускам грешки, където абсолютно не можеш да ги пропуснеш? Заместете намереното решение в лявата страна на всяко уравнение на системата:

Получават се правилните части от съответните уравнения, което означава, че системата е решена правилно.

Така желаната апроксимираща функция: – от всички линейни функцииексперименталните данни са най-добре приближени от него.

За разлика от прав зависимост на оборота на магазина от неговата площ, установената зависимост е обратен (принцип "колкото повече - толкова по-малко"), и този факт веднага се разкрива от негатива ъглов коефициент. Функция ни информира, че с увеличаване на определен показател с 1 единица, стойността на зависимия индикатор намалява средно аритметичнос 0,65 единици. Както се казва, колкото по-висока е цената на елдата, толкова по-малко се продава.

За да начертаем апроксимиращата функция, намираме две от нейните стойности:

и изпълнете чертежа:

Построената линия се нарича тренд линия (а именно, линейна тренд линия, т.е. в общия случай тенденцията не е непременно права линия). Всеки е запознат с израза „да си в тенденция“ и смятам, че този термин не се нуждае от допълнителни коментари.

Изчислете сумата от квадратите на отклоненията между емпирични и теоретични стойности. Геометрично, това е сумата от квадратите на дължините на "пурпурните" сегменти (два от които са толкова малки, че дори не можете да ги видите).

Нека обобщим изчисленията в таблица:

Те отново могат да се извършват ръчно, за всеки случай ще дам пример за 1-ва точка:

но е много по-ефективно да се направи по вече познатия начин:

Нека повторим: какъв е смисълът на резултата?От всички линейни функциифункция степента е най-малката, тоест е най-доброто приближение в семейството си. И тук, между другото, последният въпрос на проблема не е случаен: какво ще стане, ако предложената експоненциална функция ще бъде ли по-добре да приближим експерименталните точки?

Нека намерим съответния сбор от квадрати отклонения - за да ги разгранича, ще ги обознача с буквата "епсилон". Техниката е абсолютно същата:

И отново за всяко изчисление на пожар за 1-ва точка:

В Excel използваме стандартната функция EXP (Синтаксисът може да бъде намерен в помощта на Excel).

Заключение: , така че експоненциалната функция приближава експерименталните точки по-лошо от правата линия .

Но тук трябва да се отбележи, че е "по-лошо". не означава още, Какво не е наред. Сега построих графика на тази експоненциална функция - и тя също минава близо до точките - дотолкова, че без аналитично изследване е трудно да се каже коя функция е по-точна.

Това завършва решението и се връщам към въпроса за естествените стойности на аргумента. В различни изследвания, като правило, икономически или социологически, месеците, годините или други равни интервали от време се номерират с естествено "X". Помислете например за следния проблем:

Имаме следните данни за оборота на дребно на магазина за първата половина на годината:

Използвайки аналитично подравняване по права линия, намерете обема на продажбите за юли.

Да, няма проблем: номерираме месеците 1, 2, 3, 4, 5, 6 и използваме обичайния алгоритъм, в резултат на което получаваме уравнение - единственото нещо, когато става въпрос за време, обикновено е буквата "te " (въпреки че не е критично). Полученото уравнение показва, че през първата половина на годината оборотът се е увеличил средно с 27,74 CU. на месец. Вземете прогноза за юли (месец №7): ЕС.

И подобни задачи - тъмнината е тъмна. Желаещите могат да ползват допълнителна услуга, а именно моята Excel калкулатор (демо версия), което на решава проблема почти мигновено!Работната версия на програмата е налична в замянаили за символично плащане.

В края на урока, кратка информация за намиране на зависимости от някои други видове. Всъщност няма какво особено да се каже, тъй като основният подход и алгоритъмът за решение остават същите.

Да приемем, че местоположението на експерименталните точки наподобява хипербола. След това, за да намерите коефициентите на най-добрата хипербола, трябва да намерите минимума на функцията - тези, които желаят, могат да извършат подробни изчисления и да стигнат до подобна система:

От формална техническа гледна точка се получава от "линейната" система (нека го отбележим със звездичка)замествайки "x" с . Ами сумите изчисляване, след което към оптималните коефициенти "a" и "be" под ръка.

Ако има всички основания да вярваме, че точките са подредени по логаритмична крива, след което за търсене на оптималните стойности и намиране на минимума на функцията . Формално в системата (*) трябва да бъде заменен с:

Когато изчислявате в Excel, използвайте функцията LN. Признавам, че няма да ми е трудно да създам калкулатори за всеки един от разглежданите случаи, но все пак ще е по-добре, ако сами "програмирате" изчисленията. Видео уроци в помощ.

При експоненциална зависимост ситуацията е малко по-сложна. За да сведем въпроса до линеен случай, вземаме логаритъма на функцията и използваме свойства на логаритъма:

Сега, сравнявайки получената функция с линейната функция, стигаме до заключението, че в системата (*) трябва да бъде заменен с , и - с . За удобство обозначаваме:

Моля, имайте предвид, че системата е разрешена по отношение на и , и следователно, след като намерите корените, не трябва да забравяте да намерите самия коефициент.

За приблизителни експериментални точки оптимална парабола , трябва да се намери минимум функция от три променливи . След извършване на стандартни действия получаваме следното "работещо" система:

Да, разбира се, тук има повече суми, но няма никакви трудности при използване на любимото ви приложение. И накрая, ще ви кажа как бързо да проверите с помощта на Excel и да изградите желаната тренд линия: създайте диаграма на разсейване, изберете някоя от точките с мишката и щракнете с десния бутон на мишката изберете опция „Добавяне на тренд линия“. След това изберете типа диаграма и в раздела "Параметри"активирайте опцията „Покажи уравнението на диаграмата“. Добре

Както винаги, искам да завърша статията с красива фраза и почти написах „Бъди в тенденция!“. Но с времето той промени решението си. И не защото е шаблонно. Не знам как някой, но изобщо не искам да следвам популяризираната американска и особено европейска тенденция =) Затова пожелавам на всеки от вас да се придържа към собствената си линия!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Методът на най-малките квадрати е един от най-разпространените и най-разработени поради своята простота и ефективност на методите за оценка на параметрите на линейните иконометрични модели. В същото време трябва да се спазва известна предпазливост при използването му, тъй като моделите, изградени с него, може да не отговарят на редица изисквания за качеството на техните параметри и в резултат на това да не отразяват „добре“ моделите на развитие на процеса.

Нека разгледаме по-подробно процедурата за оценка на параметрите на линеен иконометричен модел по метода на най-малките квадрати. Такъв модел в общ вид може да бъде представен с уравнение (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .

Първоначалните данни при оценка на параметрите a 0 , a 1 ,..., a n са векторът на стойностите на зависимата променлива г= (y 1 , y 2 , ... , y T)" и матрицата на стойностите на независимите променливи

в която първата колона, състояща се от единици, съответства на коефициента на модела .

Методът на най-малките квадрати получи името си въз основа на основния принцип, че получените въз основа на него оценки на параметрите трябва да отговарят на: сумата от квадратите на грешката на модела трябва да бъде минимална.

Примери за решаване на задачи по метода на най-малките квадрати

Пример 2.1.Търговското предприятие разполага с мрежа от 12 магазина, информация за дейността на които е представена в табл. 2.1.

Ръководството на компанията би искало да знае как размерът на годишния оборот зависи от търговската площ на магазина.

Таблица 2.1

Номер на магазина	Годишен оборот, милиони рубли	Търговска площ, хиляди m 2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Решение на най-малките квадрати.Нека посочим - годишния оборот на -ти магазин, милиони рубли; - продажна площ на ти магазин, хил. м 2.

Фиг.2.1. Диаграма на разсейване за пример 2.1

Да се определи формата на функционалната връзка между променливите и да се построи диаграма на разсейване (фиг. 2.1).

Въз основа на диаграмата на разсейване можем да заключим, че годишният оборот зависи положително от района на продажба (т.е. y ще се увеличава с нарастването на ). Най-подходящата форма на функционална връзка е линеен.

Информацията за по-нататъшни изчисления е представена в табл. 2.2. Използвайки метода на най-малките квадрати, ние оценяваме параметрите на линейния еднофакторен иконометричен модел

Таблица 2.2

т	y t	х 1т	y t 2	x1t2	x 1t y t

	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
С	819,52	10,68	65008,554	11,4058	858,3991
Средното	68,29	0,89

По този начин,

Следователно, с увеличаване на търговската площ с 1 хил. m 2, при равни други условия, средният годишен оборот се увеличава с 67,8871 милиона рубли.

Пример 2.2.Ръководството на предприятието забеляза, че годишният оборот зависи не само от търговската площ на магазина (виж пример 2.1), но и от средния брой посетители. Съответната информация е представена в табл. 2.3.

Таблица 2.3

Решение.Означете - средният брой посетители на -ти магазин на ден, хиляди души.

Да се определи формата на функционалната връзка между променливите и да се построи диаграма на разсейване (фиг. 2.2).

Въз основа на диаграмата на разсейване можем да заключим, че годишният оборот е положително свързан със средния брой посетители на ден (т.е. y ще се увеличава с нарастването на ). Формата на функционалната зависимост е линейна.

Ориз. 2.2. Диаграма на разсейване например 2.2

Таблица 2.4

т	х 2т	x 2t 2	yt x 2t	x 1t x 2t

	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
С	127,83	1410,44	9160,9934	118,9728
Средно аритметично	10,65

Като цяло е необходимо да се определят параметрите на двуфакторния иконометричен модел

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Информацията, необходима за по-нататъшни изчисления, е представена в табл. 2.4.

Нека оценим параметрите на линеен двуфакторен иконометричен модел, използвайки метода на най-малките квадрати.

По този начин,

Оценката на коефициента = 61,6583 показва, че при равни други условия с увеличаване на търговската площ с 1 хил. m 2 годишният оборот ще се увеличи средно с 61,6583 милиона рубли.

Оценката на коефициента = 2,2748 показва, че при равни други условия с нарастване на средния брой посетители на 1 хил. души. на ден годишният оборот ще се увеличи средно с 2,2748 милиона рубли.

Пример 2.3.Използвайки информацията, представена в табл. 2.2 и 2.4 оценяват параметъра на еднофакторен иконометричен модел

където е центрираната стойност на годишния оборот на -ти магазин, милиони рубли; - центрирана стойност на средния дневен брой посетители на t-ия магазин, хиляди души. (виж примери 2.1-2.2).

Решение.Допълнителната информация, необходима за изчисленията, е представена в табл. 2.5.

Таблица 2.5



	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Сума			48,4344	431,0566