最小二乗法の意味と計算方法 - 回帰直線の求め方
距離の合計値が最小であれば、なんとなくそれっぽくなりそうですよね! 「距離を求めたい」…これはデータの分析で扱う"分散"の記事にも出てきましたね。 距離を求めるときは、 絶対値を用いる方法 2乗する方法 この2つがありました。 今回利用するのは、 「2乗する」 方法です。 (距離の合計の 最小 値を 二乗 することで求めるから、 「 最小二乗 法」 と言います。 手順2【距離を求める】 ここでは実際に距離を数式にしていきましょう。 具体的な例で考えていきたいので、ためしに $1$ 個目の点について見ていきましょう。 ※左の点の座標から順に $( \ x_i \, \ y_i \)$( $1≦i≦10$ )と定めます。 データの点の座標はもちろ $( \ x_1 \, \ y_1 \)$ です。 また、$x$ 座標が $x_1$ である直線上の点(図のオレンジの点)は、 $y=ax+b$ に $x=x_1$ を代入して、$y=ax_1+b$ となるので、$$(x_1, ax_1+b)$$と表すことができます。 座標がわかったので、距離を2乗することで出していきます。 $$距離=\{y_1-(ax_1+b)\}^2$$ さて、ここで今回求めたかったのは、 「すべての点と直線との距離」であることに着目すると、 この操作を $i=2, 3, 4, …, 10$ に対しても 繰り返し行えばいい ことになります。 そして、それらをすべて足せばよいですね! ですから、今回最小にしたい式は、 \begin{align}\{y_1-(ax_1+b)\}^2+\{y_2-(ax_2+b)\}^2+…+\{y_{10}-(ax_{10}+b)\}^2\end{align} ※この数式は横にスクロールできます。(スマホでご覧の方対象。) になります。 さあ、いよいよ次のステップで 「平方完成」 を利用していきますよ! 手順3【平方完成をする】 早速平方完成していきたいのですが、ここで皆さん、こういう疑問が出てきませんか? 変数が2つ (今回の場合 $a, b$)あるのにどうやって平方完成すればいいんだ…? 最小二乗法とは？公式の導出をわかりやすく高校数学を用いて解説！【平方完成の方法アリ】 | 遊ぶ数学. 大丈夫。 変数がたくさんあるときの鉄則を今から紹介します。 1つの変数のみ変数 としてみて、それ以外の変数は 定数扱い とする! これは「やり方その $1$ (偏微分)」でも少し触れたのですが、 まず $a$ を変数としてみる… $a$ についての2次式になるから、その式を平方完成 つぎに $b$ を変数としてみる… $b$ についての2次式になるから、その式を平方完成 このようにすれば問題なく平方完成が行えます!
最小二乗法とは？公式の導出をわかりやすく高校数学を用いて解説！【平方完成の方法アリ】 | 遊ぶ数学
1 \end{align*} したがって、回帰直線の傾き $a$ は 1. 1 と求まりました ステップ 6:y 切片を求める 最後に、回帰直線の y 切片 $b$ を求めます。ステップ 1 で求めた平均値 $\overline{x}, \, \overline{y}$ と、ステップ 5 で求めた傾き $a$ を、回帰直線を求める公式に代入します。 \begin{align*} b &= \overline{y} - a\overline{x} \\[5pt] &= 72 - 1. 1 \times 70 \\[5pt] &= -5. 0 \end{align*} よって、回帰直線の y 切片 $b$ は -5. 0(単位:点)と求まりました。 最後に、傾きと切片をまとめて書くと、次のようになります。 \[ y = 1. 最小二乗法の意味と計算方法 - 回帰直線の求め方. 1 x - 5. 0 \] これで最小二乗法に基づく回帰直線を求めることができました。 散布図に、いま求めた回帰直線を書き加えると、次の図のようになります。 最小二乗法による回帰直線を書き加えた散布図
最小二乗法の意味と計算方法 - 回帰直線の求め方
大学1,2年程度のレベルの内容なので,もし高校数学が怪しいようであれば,統計検定3級からの挑戦を検討しても良いでしょう. なお,本書については,以下の記事で書評としてまとめています.
例えば,「気温」と「アイスの売り上げ」のような相関のある2つのデータを考えるとき,集めたデータを 散布図 を描いて視覚的に考えることはよくありますね. 「気温」と「アイスの売り上げ」の場合には,散布図から分かりやすく「気温が高いほどアイスの売り上げが良い(正の相関がある)」ことは見てとれます. しかし,必ずしも散布図を見てすぐに相関が分かるとは限りません. そこで,相関を散布図の上に視覚的に表現するための方法として, 回帰分析 という方法があります. 回帰分析を用いると,2つのデータの相関関係をグラフとして視覚的に捉えることができ,相関関係を捉えやすくなります. 回帰分析の中で最も基本的なものに, 回帰直線 を描くための 最小二乗法 があります. この記事では, 最小二乗法 の考え方を説明し, 回帰直線 を求めます. 回帰分析の目的 あるテストを受けた8人の生徒について,勉強時間$x$とテストの成績$y$が以下の表のようになったとしましょう. これを$xy$平面上にプロットすると下図のようになります. このように, 2つのデータの組$(x, y)$を$xy$平面上にプロットした図を 散布図 といい,原因となる$x$を 説明変数 ,その結果となる$y$を 目的変数 などといいます. さて,この散布図を見たとき,データはなんとなく右上がりになっているように見えるので,このデータを直線で表すなら下図のようになるでしょうか. この直線のように, 「散布図にプロットされたデータをそれっぽい直線や曲線で表したい」というのが回帰分析の目的です. 回帰分析でデータを表現する線は必ずしも直線とは限らず,曲線であることもあります が,ともかく回帰分析は「それっぽい線」を見つける方法の総称のことをいいます. 最小二乗法 回帰分析のための1つの方法として 最小二乗法 があります. 最小二乗法の考え方 回帰分析で求めたい「それっぽい線」としては,曲線よりも直線の方が考えやすいと考えることは自然なことでしょう. このときの「それっぽい直線」を 回帰直線(regression line) といい,回帰直線を求める考え方の1つに 最小二乗法 があります. 当然のことながら,全ての点から離れた例えば下図のような直線は「それっぽい」とは言い難いですね. こう考えると, どの点からもそれなりに近い直線を回帰直線と言いたくなりますね.