線形回帰では、実際の分布より学習した傾きが大きくなりオーバーフィッティング(過学習)で精度が出ない場合がある。
精度を出す場合、正則化(リッジ回帰、ロッソ回帰)を用いて精度の調整を行う。
計算方法
線形回帰のオーバーフィッティングは傾きが大きくなる。つまり、説明変数に対しての学習したウエイトが大きくなる。評価関数にこのウエイトの数も評価対象に加え、より重みの少ないものを評価するという式となる。
難しいものではなく、線形回帰の評価関数、最小2乗法の(実測値 - 予測値)^2の値にモデルで計算した各重みの2乗の合計を加えたものを評価関数とする。
最小2乗法に加える、各重みの和のことを罰則項と呼ぶ。
ロッソ回帰は重みの2乗ではなく、絶対値の各和となる。
リッジ回帰は説明変数が少ないもの、ロッソ回帰は説明変数が多いものに適している。らしい。
