Линия регрессии по методу наименьших квадратов

📊 Линия регрессии наименьших квадратов (LSRL) – это прямая линия, которая минимизирует сумму квадратов вертикальных расстояний между наблюдаемыми точками данных и линией. Математически, если у нас есть n точек данных (x₁, y₁), (x₂, y₂), …, (xₙ, yₙ), LSRL — это линия ŷ = mx + b, которая минимизирует величину Σ(yᵢ − ŷᵢ)², где ŷᵢ = mxᵢ + b — предсказанные значения.

🏆 Этот критерий называется критерием наименьших квадратов, а полученная линия также известна как линия обычных наименьших квадратов (OLS) или линия наилучшего соответствия. Метод наименьших квадратов имеет богатую историю, восходящую к Адриену-Мари Лежандру в 1805 году, который опубликовал его как способ определения орбит комет, и Карлу Фридриху Гауссу, который утверждал, что использовал его с 1795 года, а затем развил его дальше в своей теории ошибок.

⚠️ Название «наименьших квадратов» происходит непосредственно от математической цели: среди всех возможных линий, мы выбираем ту, которая делает сумму квадратов остатков как можно меньшей — наименьшую сумму квадратов. Возведение остатков в квадрат (вместо того, чтобы брать абсолютные значения) гарантирует, что положительные и отрицательные ошибки не компенсируют друг друга, а также придает больший вес большим отклонениям, что статистически желательно.

📊 Сегодня линия регрессии наименьших квадратов является наиболее широко используемым методом построения прямой линии через точки данных в статистике, экономике, естественных науках, социальных науках и технике. Он служит основой для более продвинутых методов, включая множественную регрессию, обобщенные линейные модели и алгоритмы машинного обучения. В каждом вводном курсе статистики LSRL рассматривается как краеугольный камень регрессионного анализа.