Модель линейной регрессии (LASSO)

В методе LASSO коэффициенты линейной модели \[ y = X\beta + \varepsilon \] находятся из решения задачи минимизации среднеквадратичной ошибки. При этом в функцию потерь добавляется штраф на величину коэффициентов: \[ loss(\beta, \lambda) = \lVert y - X\beta \rVert^2_2 + \lambda \sum_{i=1}^k |\beta_i|, \] где \(\lambda\) — параметр регуляризации, который задаёт баланс между качеством подгонки модели и её сложностью. Для того, чтобы получить аналитическое решение этой задачи, необходмимо для каждого коэффициента минимизировать функцию потерь для двух случаев раскрытия модуля.

Однако на практике используются другие методы, например, в пакерте glmnet реализован алгоритм покоординатного спуска.

Особенностью регрессии LASSO является её склонность занулять большие коэффициенты, из-за чего она часто используется для отбора переменных. Эта склонность определяется значением параметра регуляризации \(\lambda\), который подбирается с помощью кроссвалидации. Это значит, что для нескольких значений параметра решается задача минимизации функции потерь, а затем наиболее подходящим значением параметра \(\lambda\) принимается то, при котором функция ошибки была наименьшей.