2020年9月10日木曜日

第2次AIブーム詳細(オントロジー・多層パーセプトロンの発明・勾配法・誤差逆伝播法・シグモイド関数・未学習と過学習)


最近流行っているAIを2年程前(2018年頃)から仕事で扱うようになり、それにあわせて色々勉強したので その内容を備忘を兼ねてまとめようと思います。 

第2次AIブームとは

第2次AIブームとはAIの歴史のうち1980~1987年頃を指す。この時期に主に起きた事は以下と言われている。 今回は、これらについて詳細を調査して纏めておく。
  • オントロジー
  • 多層パーセプトロンの発明
  • 勾配法
  • 誤差逆伝搬法
  • シグモイド関数
  • 未学習と過学習

オントロジー

「すべての一般常識をコンピュータへ取り込む」事を目的として1984年にダグラス・レナートによりCycプロジェクト(オントロジーの構築)が発足。言葉、語彙、意味を他の人とも共有できる明確な仕様(概念の明示的な仕様)の定義を目指した。


多層パーセプトロンの発明

パーセプトロンを多層化することで、複数のクラス分類を可能となった。また、単層パーセプトロンでは不可能であった非線形分離も可能となった。 

層を増やすことで表現力が増したが、一方で過学習と勾配の消失という問題が発生し、解ける問題に限界があった。



多層パーセプトロンは層を増やすことで表現力が増したが、一方で過学習と勾配の消失という問題が発生し、解ける問題に限界があった。



勾配法

多層化することで最適化すべき変数が多くなり、決定論的に最適値を計算することが難しくなった。 このため、損失(精度の悪さ)を最適化すべき変数で偏微分して勾配(傾き)を求め値を更新していくことで、最適値を見つける勾配法が用いられるようになった。その中でも最急降下法 (Gradient descent)を用いることで、傾きの急さと学習率η(イータ)を連動することで早い計算が可能となる。