#121
敵対的生成ネットワーク（GAN）において、理論上は、モデルに関してニューラルネットワーク以外の枠組みを利用しても良い。
#122
ディープラーニングは音声認識の逆過程である音声合成においても利用されている。2016年にDeepMind社により発表されたニューラルネットワークのアルゴリズム”WaveNet”は従来に比べて圧倒的に高い質での音声合成に成功し、AIスピーカーが人間に近い自然な言語を話すことなどに大きく寄与している。
#123
モデルの学習時には適用される勾配降下法は局所解に陥らず、より効率的に解を探索する手法が望まれる。最適化手法のひとつである”モメンタム法”は前回のパラメータの更新量を現在の更新にも反映することで、さらにパラメータを変化しやすくする項を加えた方法である。”Nesterov Accelerate Gradient（NAG）”は次のステップにおけるパラメータの近似値を用いて、効率的に学習率を設定する手法である。
#124
サイズが6×6のグレースケール画像に対し、パディングを行わず、サイズが3×3のカーネルで畳み込みを行ったところ、出力は2×2のサイズとなった。このときのストライド幅は”3”と考えられる。
#125
畳み込みニューラルネットワーク（CNN）の演算で、画像ブロックサイズが30×30、フィルターのカーネルサイズが3×3の場合、”ストライドが水平、垂直1の場合に対し、2に変更すると計算量は4分の1になる”。
#126
4×4ピクセルの画像にストライド幅2で2×2ピクセルのプーリングをパディングなしで適用した場合、プーリングの適用回数は”4”回となる。
#127
強化学習において、ある方策に従い行動した場合の報酬の和である収益は、”未来の報酬に割引率を乗算して総和する。割引率は常に同じである”。
#128
確率的勾配降下法とは、”学習データごとに勾配を求めて修正量を出し、逐次更新する手法である”。
#129
ドロップアウトは幅広いモデルを正則化可能である。そしてデータ量や計算量の増加を抑えつつ汎化性を高める強力な手法である。
ドロップアウトはニューラルネットワークに対して疑似的にバギングを実現することができる方法であると考えられる。
ミニバッチに事例を導入するたびにネットワーク全ての入力と隠れユニットに適用する二値マスクを無作為にサンプリングする。
ドロップアウトは順伝播型ニューラルネットワークや制限付きボルツマンマシンに使われるリカレントニューラルネットワーク（RNN）に使うことはできないにも使うことができる。
#130
Q学習と比較した方策勾配法の特徴。
行動価値関数関数近似によって方策を表現する
方策を表現する関数は微分可能である必要がある。
行動のランダム性を学習によって調節できる。
行動が連続の場合でも現実的な時間で計算可能である。
コメント