Метод наименьших квадратов: какую прямую проводят через облако точек и почему

Метод наименьших квадратов это правило выбора прямой по облаку точек: из всех прямых берут ту, у которой сумма квадратов вертикальных отклонений точек от неё минимальна. Такая прямая даёт наилучшую догадку о второй величине по значению первой. Квадраты нужны потому, что иначе промахи в разные стороны взаимно погасились бы и подошла бы почти любая прямая.

Что именно минимизируют

Задача регрессии формулируется узко: по значению одной величины назвать наилучшую догадку о второй. Для каждой точки считают, насколько прямая промахнулась по вертикали, возводят промах в квадрат и складывают по всем точкам. Прямая с наименьшей суммой и есть регрессионная. Квадрат делает промахи в обе стороны положительными и сильнее наказывает крупные.

Решение записывается формулами через средние, дисперсии и корреляцию, но геометрический смысл проще: прямая проходит через точку средних обеих величин, а её наклон равен корреляции, умноженной на отношение разбросов.

Главное свойство

Предсказание всегда ближе к среднему, чем исходное отклонение, и так во всех случаях, кроме идеальной корреляции. Балл 80 при среднем 60 даёт предсказание 72, а не 80. Это не осторожность метода, а прямое следствие того, что связь неполная: часть отклонения от среднего была случайностью, и на повторе она не воспроизведётся.

Из-за этого свойства метод когда-то и получил своё название: Гальтон заметил, что рост сыновей высоких отцов «регрессирует», возвращается, к среднему. Возвращение к среднему это не биологический закон, а арифметика прямой, проведённой по неполной связи, и оно появится в любых данных, где корреляция меньше единицы.

Где ошибаются

Первая ошибка: читать наклон прямой как причинную связь. Метод находит лучшую прямую для предсказания, а не механизм. По росту можно предсказывать вес и по весу рост, обе прямые законны и обе разные.

Вторая ошибка: доверять прямой вне облака точек. Метод подгонял её к тем значениям, которые были, и о поведении величины за их пределами ничего не знает. Экстраполяция это уже не наименьшие квадраты, а допущение, что прямая продолжается.

Вопросы

Почему квадраты, а не модули отклонений?

Сумма модулей тоже возможна, это медианная регрессия. Квадраты выбраны потому, что задача с ними решается формулой в явном виде, а сумма квадратов тесно связана с дисперсией и корреляцией.

Кто придумал метод наименьших квадратов?

Опубликовал Лежандр в 1805 году, Гаусс утверждал, что пользовался им с 1795 года для расчёта орбит. Оба применяли его к астрономическим измерениям.

Что такое остаток в регрессии?

Разница между наблюдённым значением и предсказанием прямой для той же точки. Именно суммы квадратов остатков метод и минимизирует, а разбор остатков показывает, где прямая не годится.