深層学習 Deep Learning (監修:人工知能学会)
こういうロジックと工夫とかがまとまった書籍、良いですよね。大学院までで学んだことが基本となって、そこからさらにこういう理論の構築がされているのだということはよくわかりました。こういう大学院の頃にかじったことが主となる技術として生活を変えていく、というところを垣間見ることができるのって良いですね。
1部
基礎的な話。
確定的なニューラルネットワーク、確率論的なマルコフ過程やその中の統計的機械学習のモデルとしてのボルツマンマシンの話。今回は扱われていなかったけれど、ベイジアンベースの話は成果がどうか気になりますね。計算が複雑になりがちだけれど、計算時間は短い印象です。ベイジアン系。そこから、実装の話になって応用の2部へと話が移ります。
以下、幾つか具体的な話。
- DistBelief
- DropOut
- 複数モデルの推定値の平均を利用することで、過学習を防ぐ。計算コスト上昇を防ぐために、ランダムでノードを消して学習を繰り返し、その結果を使う。幾つか、計算量増加を防ぐ。
- ノードは他のーどを頼らないので、独立性を持つ。
- https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf
面白かったところとして、ニューラルネットワークの超パラメータを決定するのにランダム探索が優れていることが報告されているとあったところがあります。私も違った類の計算をする時にランダムに決めることが何故か比較的有効だということがありました。その時は一様ランダム関数でしたが。この書籍で書かれていたところにおけるランダムがどうランダムなのか、は議論があるけれどスコープ外なので省略。(参考文献の研究にはちゃんと書かれているっぽい。)
実装技術のところで、ニューラルネットワークはパーツ自体は単純だが、全体が複雑でそれらが正しく動作しているかのチェックが難しいとありました。実際、この話に限らず複数の独立したモジュールが連なって1つの意味のあるシステムを作る場合、そのテストって難しい。さらにはこの学習系はそれが正しいかをパッとunit testみたいに判定するのが難しい。確率的。。。
2部
画像、音声認識、自然言語に対してこれらの技術がどう使われるかが書いていました。気になったところをメモ。
- 画像
- 畳み込みニューラルネットワーク(convolutional neural network)
- 学習には教師あり学習が基本
- 1980年代後半の文字認識のためのものから、対して変わっていない
- 畳み込みニューラルネットワーク(convolutional neural network)
教師なし学習でも、条件によってはk-means法などと同等の結果がでる、というのは面白かったです。ただ、学習なしでは、まだ多層ネットワークで扱おうとしたら処理が仕切れない、という状態なので処理性能を上げるかロジックの短時間化が必要そうなのですね。
- 音声認識には、深層ニューラルネットワークと隠れマルコフのハイブリッド
- 時系列における、入力に対する出力
- 音響モデル。
- 言語モデルベースの話
- 自然言語
- 品詞タグ付けや意味表現など、多くの学習にこの深層学習が応用されている
いずれも、現実世界の問題を解くには計算量の削減や計算能力の向上に繋げることがとても重要なのだと感じました。
TensorFlowを読む
この書籍とは関係ないですが、TensorFlowの以下も合わせて読みました。DistBeliefとのつながりもわかって、以前さっと眺めた時に比べて理解が深まった気がします。
- TensorFlow2015ver2
締め
今の主流が確率的なのか確定的なのか、それらの基礎は何かを含めて知ることができました。確率的はものだと、この書籍ではマルコフ系が主でベイジアン系はさっと触れる程度だったので、マルコフ系が今の所主流なのかな。ただ、サンプル数と計算量からするとベイジアン系も必要とされていそうなので、きっかけあればそちらの技術も覗いてみたいですね。
そういえば、分散系での意思決定には独立性がキモということを思い出した。あと、この手の複雑な計算が混ざるロジックの証明は近似計算大事ですね。近似計算は十分に小さいと見る、といったことの他に確率モデルに近似される、とかなテクニックも必要なのでここまで近似を使い証明に落とし込んだ人たち素直に素晴らしいですね…
ともあれ、数学計算だったり聞きなれない用語も多数出てきたので、読むのに集中力が必要だった。
~ my tech diary ~ 
2 Comments