機械学習 week3 Classification

動画1

分類問題 classification において一つの戦略として、linear regression を用いて、0.5より大きいものを1 true , 0.5 より小さいものを 0 false に分類するように解く方法が考えられるが、これは上手くいかない。なぜなら分類問題は、linear regression 似ているかもしれないが、根本的には異なるものだから。

binary classification problem

値が0か1、つまり２つの分類しかしない問題。

飛ばす

動画2

sigmoid function = logistic function
$g(z)=\frac{1}{1+e^{-z}}$

つまり、どんな値を入れても、必ず0から1までの値が出力されるのがポイント。
なぜなら、分類問題においては 0が false 1が true になるように設定しているから、その範囲で値が出力される事が大事。

この sigmoid function の z に、いままで使ってきた一次式$\theta^Tx$を入れる。それが予測のために使う logistic regression model

$h_\theta(x) =g(\theta^Tx)$←これがlogistic regression model
$z=\theta^Tx$
$g(z)=\frac{1}{1+e^{-z}}$

代入したらこう
$h_\theta(x) =\frac{1}{1+e^{-\theta^Tx}}$

logistic regression model h(x) の値が示すものは、Y=１になると予想できる確率

例えば logistic regression の h(x) に特徴量$x_1$を入れた値が0.7だったとする。

$h(x_1)=0.7$

コレが意味するのは、$x_1$の時には、70%の確率でtrueであると logistic regression model が判定しているということ。

これを数学的に表すと次のようになる。

$h(x)=P(y=1|x;\theta)$

つまりh(x)が示すのは、特徴量xの場合に(|x)、yが1になる確率であり(P(y=1)) 、特徴量ｘとθが絡んでくる(|x;\theta) 絡んでくるの部分は正確には parametarize と表現されていた。

動画3

次のような場合を考える

$h_\theta(x)=g(\theta_0 + \theta_1x_1 + \theta_x_2)$ // $\theta_0 + \theta_1x_1 + \theta_x_2$は $\theta^T$ )

かりに $\theta = \begin{pmatrix}\theta_0=-3 \\ \theta_1=1 \\ \theta_2=1\end{pmatrix}$と決まった場合には、こうなる

$\theta^T = -3+x_1+x_2$

そして $\theta^T \geq 0$のときはつまり、y=1 つまり true であると予測できる。

つまり、

$-3+x_1+x_2 \geq 0$

$x_1+x_2 \geq -3$ の時に true と判定するということ

この $x_1$ と $x_2$ の組み合わせを図示すると次のようになる

$x_1+x_2 = -3$ がdecision boundary で、その下の領域がtrue上の領域がfalseだ