最小二乗法は「最も近い直線」をどう定めるか

単回帰では、データ点に一本の直線を当てはめます。
ここでいう「最も近い」とは、各点から回帰直線への縦方向距離（残差）の二乗和を最小にすることです。

1. 目的関数

最小二乗法では「残差の二乗和」を最小化します。
この量が小さいほど、直線がデータ全体によく適合していると解釈できます。

2. 係数の求め方

切片と傾きを変数として最小化問題を解くと、正規方程式が得られます。
そこから、傾きは x と y の共分散に比例し、x の分散で割った形になります。

3. 直感

可視化で赤い縦線（残差）を見ると、直線の傾きや切片を変えるたびに二乗和が変わります。
その二乗和が最小になる位置が、最小二乗解です。

まとめ

• 最小二乗法は「誤差二乗和を最小にする」最適化問題。
• 幾何的には、点群に最も近い直線を選ぶ方法と解釈できる。
• 回帰分析における推定・予測の基礎となる。