Metóda najmenších štvorcov

Metóda najmenších štvorcov je matematicko štatistická metóda pre aproximáciu dvojíc nameraných údajov [x ; y]. Aproximáciou je myslené čo najlepšie priblíženie sa ku skutočnej hodnote. Najjednoduchším prípadom použitia metódy najmenších štvorcov je preloženie (aproximácia) nameraných údajov priamkou ŷ=kx+q

 

 

Metóda najmenších štvorcov - lineárna regresia

Hľadáme koeficienty k a q, aby všetky odchýlky Δyi boli čo najmenšie. Ako kritérium platí podmienka, že súčet druhých mocnín všetkých odchýlok musí dosahovať minimálnu hodnotu. Druhú mocninu používame preto, aby sme dostali kladnú hodnotu. Z geometrického hľadiska sa teda jedná o štvorec.

 

 

 

 

Výsledná suma plôch všetkých štvorcov musí byť čo najmenšia:

 

 

Po dosadení funkčnej závislosti pre priamku platí:

 

 

Parciálne derivácie plochy podľa k a q dáme do rovnosti s nulou a riešime rovnice. Prvou deriváciou zistíme extrém a druhou deriváciou zisťujeme či sa jedná o maximum alebo minimum. Maximum sa však v tomto prípade blíži nekonečnu.

 

 

Po deriváciách a úpravách dostávame vzorce pre koeficienty k a q:

 

 

 

 

Bravaisov – Pearsonov korelačný koeficient


Korelačný koeficient (R) vyjadruje mieru závislostí medzi dvoma premennými. Dosahuje hodnoty od -1 po +1. Ak R umocníme, dostávame hodnoty v rozsahu od 0 po 1, čo vyjadruje mieru rozptylu a jeho hodnota nezávisí od mierky grafu.

Druhá mocnina koeficientu korelácie sa nazýva koeficient determinácie (R2). Ak R2=1 tak všetky namerané body ležia na priamke, takže nemáme žiadny rozptyl. Ak R2=0 tak medzi premennými nie je žiadny vzťah. Ak napríklad R2=0,81 tak 81% variability je vysvetlených lineárnou závislosťou. Zvyšných 19% variability premennej y zostalo nevysvetlených. Hodnotu koeficientu determinácie získame ako druhú mocninu podielu kovariácie a súčinu rozptylov. Po úprave dostávame vzťah:

 

 

 

 

 

 

Na obrázkoch sú vypočítané hodnoty R2 pre rôzne rozloženie dvojíc bodov [x ; y]

 

 

Výpočet optimálnych koeficientov priamky metódou najmenších štvorcov


Príklad: Nájdite lineárnu funkciu, ktorá optimálne reprezentuje namerané dvojice bodov [2 ; 2] ; [4 ; 4] ; [6 ; 5] ; [8 ; 4] ; [10 ; 5] . Z nameraných bodov zostrojte graf aj krivku regresnej funkcie.

 

 

Vytvoríme si tabuľku nameraných údajov. Vo vzorci pre výpočet koeficientov k a q sa často za symbolom suma opakujú určité výrazy. Tieto výrazy si rozdelíme na menšie časti, vypočítame do tabuľky a potom ich hodnoty zosumujeme. Máme dokopy 5 dvojíc, takže počet všetkých meraných dvojíc [xi ; yi] je n=5.

 

 

Zosumované hodnoty z tabuľky dosadíme do vzorcov pre výpočet koeficientov k a q:

 

 

 

 

 

Zosumované hodnoty z tabuľky dosadíme do vzorcov:

 

Metóda najmenších štvorcov - vypočítaný príklad

 

Z koeficientov dostaneme hľadanú lineárnu regresnú funkciu ŷ=0,3x+2,2. Pre jej vykreslenie potrebujeme vypočítať aspoň dva body ktoré jej patria. Obvykle sa regresná krivka vykresľuje v rovnakom intervale ako sú namerané údaje. V našom prípade je to od 2 po 10.

 

 

Nakoniec narysujeme graf s nameranými hodnotami a do neho regresnú krivku. Na overenie správnosti výpočtov a grafu môžeme použiť niekoľko pravidiel:

 

  • Priemer všetkých xi a yi dáva ťažisko, ktoré leží na regresnej krivke [6;4]
  • Po predĺžení priamky nadobúda priesečník s osou y hodnotu 2,2
  • Arcus tangens 0,3 nadobúda hodnotu 16,7° čo je uhol medzi regresnou krivkou a osou x (v kartézkych súradniciach)

 

Na záver treba vyčísliť koeficient determinácie, pretože ani pri najpresnejšom meraní nedosiahneme 100% presnosť. Znovu použijeme vypočítané sumy z tabuľky.

 

Korelačný koeficient determinácie - vypočítaný príklad

 

Toto bol najjednoduchší prípad, kedy je výsledná funkcia priamka. Používa sa pre lineárne priebehy a priamo úmerné veličiny. Metóda najmenších štvorcov sa dá aplikovať na ľubovoľnú krivku, ktorá je predpísaná funkciou. Napríklad hyperbolická, logaritmická, polynomická...

 

Súvisiace články:

Axonometria - 3D XYZ súradnice a grafy v Exceli

Test presnosti GPS

Výpočet výšky budovy podľa tieňa

en