＃61
隠れマルコフモデル（HMM）は、”隠れ変数を持ち、時刻とともに確率的に変化する”。
＃62
サポートベクトルマシン（SVM）はディープラーニングが台頭する以前から広く使われてきたモデルであり、”マージンの最大化”というコンセプトに基づいて設計されている。SVMには分類問題を上手く解くための工夫が施されている。例えば、スラック変数は”一部のサンプルの誤分類に寛容になる”ための工夫であり、カーネル法は”線形分離できるような高次元に埋め込む”ための工夫である。
＃63
文章中に書かれている話題・テーマを抽出するための手法として、トピックモデルが利用されている。代表的な手法として、テキストデータに特異値分解を適用した”LSI”や、その後に開発され、文章中のトピックを潜在変数としてモデル化した”LDA”が知られている。
＃64
入力層と出力層の2つの層を用いてニューラルネットワークをモデル化したものが”単純パーセプトロン”である。ここで入力層から出力層へどのように値を伝播させるか調整する関数のことを”活性化関数”と呼ぶ。
＃65
情報量は情報の珍しさを示すと解釈できる。一般に任意の事象の生起確率を”対数”変換した値に-1をかけた形で表現される。この値は事象の生起確率が低ければ低いほど大きくなり、逆にほとんど確実に生起する場合には0に近づく。
＃66
多くの機械学習の目的は、ある目的関数の値を最小化するパラメータを求めることであり、このことを最適化と呼ぶ。最適化手法として、下記などが挙げられる。
- Adam
- SGD
- RMSprop
＃67
回帰問題は、ある入力データか”数値の予測”を行う問題である。例えば、不動産の価格を予測するような問題である。
＃68
機械学習の教師あり学習では、学習データからモデルを作成し、作成したモデルの精度を確認することが行われる。モデルの精度は学習データによって評価されるのではなく、モデルにとって未知のデータに対する回帰や分類の精度で評価される。すなわち、作成したモデルが”汎化性能”を有しているか否かが評価の基準となる。
＃69
機械学習の分類問題におけるモデルを考える際、適切な性能指標を見出すためには、”混同行列”が利用される。2クラス分類の例では、”混同行列”とは本来Aに分類しなければいけないものがどれくらい正しくAと判断されているか、またAに分類しなければいけないものを誤ってBと分類ししている割合がどれくらいかなどを知ることができる。
＃70
機械学習では学習データから作成したモデルを未知のデータに適用して利用することが念頭に置かれていることが多い。その場合に問題となるのが、”過学習”である。これは、学習したデータの範囲に対して汎用性のある大まかな傾向を捉えることを超えて、そのデータの中でのみ非常に高い説明力を誇るモデルを組み過ぎたために、未知のデータに対しては再現性のない瑣末な傾向までをも学習してしまい、未知のデータに対して適切な予測や分類ができないような状態に落ちいていることを指す。
コメント