第2次AIブームとは
第2次AIブームとはAIの歴史のうち1980～1987年頃を指す。この時期に主に起きた事は以下と言われている。 今回は、これらについて詳細を調査して纏めておく。- オントロジー
- 多層パーセプトロンの発明
- 勾配法
- 誤差逆伝搬法
- シグモイド関数
- 未学習と過学習
オントロジー
「すべての一般常識をコンピュータへ取り込む」事を目的として1984年にダグラス・レナートによりCycプロジェクト（オントロジーの構築）が発足。言葉、語彙、意味を他の人とも共有できる明確な仕様（概念の明示的な仕様）の定義を目指した。
多層パーセプトロンの発明
パーセプトロンを多層化することで、複数のクラス分類を可能となった。また、単層パーセプトロンでは不可能であった非線形分離も可能となった。層を増やすことで表現力が増したが、一方で過学習と勾配の消失という問題が発生し、解ける問題に限界があった。
多層パーセプトロンは層を増やすことで表現力が増したが、一方で過学習と勾配の消失という問題が発生し、解ける問題に限界があった。
勾配法
多層化することで最適化すべき変数が多くなり、決定論的に最適値を計算することが難しくなった。 このため、損失（精度の悪さ）を最適化すべき変数で偏微分して勾配（傾き）を求め値を更新していくことで、最適値を見つける勾配法が用いられるようになった。その中でも最急降下法 （Gradient descent）を用いることで、傾きの急さと学習率η（イータ）を連動することで早い計算が可能となる。
The only TIP The only EDGE Logistic Regression Algorithm（ロジスティック回帰）[機械学習]より引用
https://blog.kazuya.co/machine%20learning/2014/04/28/Logistic-Regression-Algorithm.html
誤差逆伝搬法
勾配法によって最適値を求めるために偏微分の計算を行う必要があるが、すべての層を考慮して偏微分すると計算量が多くなってしまう。この問題を解決するために、微分の連鎖律（多変数関数の合成関数の微分）を用いて出力層から順番に偏微分する手法「誤差逆伝播法」が用いられた。
シグモイド関数
単層パーセプトロンでは出力の前にステップ関数を適用していたが、多層パーセプトロンでは誤差逆伝播法で微分計算を用いるため、微分可能かつ傾きが消えないシグモイド関数(Sigmoid)を活性化関数として適用している。
未学習と過学習
学習データに対して十分に小さな誤差が得られないことを、未学習（Underfitting）といい、学習データとテストデータに対してそれぞれの誤差の乖離が大きすぎることを、過学習（Ovefitting）という。
「https://www.youtube.com/watch%3Fv=SjQyLhQIXSM」より引用
今回はこの辺までで。
0 件のコメント:
コメントを投稿