Linia regresji metodą najmniejszych kwadratów

📊 Linia regresji metodą najmniejszych kwadratów (LSRL) to linia prosta, która minimalizuje sumę kwadratów odległości pionowych między obserwowanymi punktami danych a linią. Matematycznie, jeśli mamy n punktów danych (x₁, y₁), (x₂, y₂), …, (xₙ, yₙ), LSRL jest linią ŷ = mx + b, która minimalizuje wielkość Σ(yᵢ − ŷᵢ)², gdzie ŷᵢ = mxᵢ + b to przewidywana wartości.

🏆 To kryterium nazywa się kryterium najmniejszych kwadratów, a otrzymana linia jest również nazywana linią zwykłych najmniejszych kwadratów (OLS) lub linią najlepszego dopasowania. Metoda najmniejszych kwadratów ma bogatą historię sięgającą Adriena-Marie Legendre'a w 1805 r., który opublikował ją jako metodę wyznaczania orbit komet, oraz Carla Friedricha Gaussa, który twierdził, że stosuje ją od 1795 r., a później rozwinął ją dalej w swojej teorii błędów.

⚠️ Nazwa „najmniejsze kwadraty” pochodzi bezpośrednio od celu matematycznego: spośród wszystkich możliwych linii, wybieramy tę, która sprawia, że suma kwadratów reszt jest jak najmniejsza — najmniejszą sumę kwadratów. Podniesienie reszt do kwadratu (zamiast przyjmowania wartości bezwzględnych) gwarantuje, że błędy dodatnie i ujemne nie znoszą się wzajemnie, a także nadaje większą wagę większym odchyleniom, co jest statystycznie pożądane.

📊 Obecnie linia regresji metodą najmniejszych kwadratów jest najczęściej stosowaną metodą dopasowywania linii prostej przez punkty danych w statystyce, ekonomii, naukach przyrodniczych, społecznych i inżynierii. Służy jako podstawa dla bardziej zaawansowanych technik, w tym regresji wielokrotnej, uogólnionych modeli liniowych i algorytmów uczenia maszynowego. Każdy kurs wprowadzający do statystyki uczy LSRL jako kamienia węgielnego analizy regresji.