Линия на регресия на най-малките квадрати

📊 Регресионната линия на най-малките квадрати (LSRL) е правата линия, която минимизира сумата от квадратите на вертикалните разстояния между наблюдаваните точки от данни и линията. Математически, ако имаме n точки от данни (x₁, y₁), (x₂, y₂), …, (xₙ, yₙ), LSRL е линията ŷ = mx + b, която минимизира количеството Σ(yᵢ − ŷᵢ)², където ŷᵢ = mxᵢ + b са предвидените стойности.

🏆 Този критерий се нарича критерий на най-малките квадрати, а получената линия е известна също като линия на обикновени най-малки квадрати (OLS) или линия на най-добро съвпадение. Методът на най-малките квадрати има богата история, датираща от Адриен-Мари Лежандр през 1805 г., който го публикува като начин за определяне на орбитите на кометите, и Карл Фридрих Гаус, който твърди, че го използва от 1795 г. и по-късно го доразвива в своята теория за грешките.

⚠️ Името „най-малки квадрати“ идва директно от математическата цел: измежду всички възможни линии ние избираме тази, която прави сумата от остатъците на квадрат възможно най-малка — най-малката сума от квадрати. Поставянето на остатъците на квадрат (вместо да се вземат абсолютни стойности) гарантира, че положителните и отрицателните грешки не се компенсират взаимно и също така придава по-голяма тежест на по-големите отклонения, което е статистически желателно.

📊 Днес регресионната линия на най-малките квадрати е най-широко използваният метод за напасване на права линия през точки от данни в статистиката, икономиката, естествените науки, социалните науки и инженерството. Той служи като основа за по-напреднали техники, включително множествена регресия, обобщени линейни модели и алгоритми за машинно обучение. Всеки въвеждащ курс по статистика учи LSRL като крайъгълен камък на регресионния анализ.