機械学習week3 logistic regression の const function

動画1

既に学習したcost function J(θ)を別の表し方をしてみる
単に、i番目の特徴量xとi番目の結果であるyの組み合わせの関数を定義してるだけ

次に、linear regression のコストファンクションは、logistic regression には合わないので、それ専用のコストファンクションを考えていく。

ちなみにlinear regression のコストファンクションが上手くない理由は以下。

$h_\theta(x)$ が $\frac{1}{1+e^{-\theta^Tx}}$ なので、これは1次関数ではない。今まではこれが1次関数だった。その場合には convex つまり極小値が1個しかないグラフになった。

$h_\theta(x)$ が $\frac{1}{1+e^{-\theta^Tx}}$ の場合には non-convex つまり極小値が複数あるものになるので、上手くgradient descent が機能しない。

logistic regression の場合の cost function

まずy=1のときと、y=0のときでファンクションが違う

左の図が $-log(h_\theta(x))$ だ。

なぜこうなるかというと、log(z)が左の青い図

-がついて反転するのでピンクと赤の部分になる

さらに、zの部分に $h_\theta(x)$ が入るわけだが、 $h_\theta(x)$ はシグモイド関数の中に入ってる関係上、0〜1までの値しか取らないので、結果としてピンクのエリアになる。これが $-log(h_\theta(x))$ の図

y=0のときは以下