スポンサーリンク
記憶する用語まとめ
| 用語 | 説明 |
|---|---|
| 正則化 | モデルのパラメータの二乗和を最小になるように学習する L1正則化であるLasso正則化と、L2正則化であるRidge正則化の二種類が存在する。L1正則化を使用するとスパースになる。 Elastic NetはLasso正則化とRidge正則化の中間。 |
| バッチ正規化 | 一部の層の出力を正規化し、内部共変量シフトの対策となる |
| 内部共変量シフト | 大規模なニューラルネットワークを学習すると、ある層の入力がそれより仮想の学習が進むにつれて変化してしまう現象 |
| ドロップアウト | 学習の際に一部のノードを無効化する |
| データ拡張 | データの水増しをしてデータの不足を補う |
| パディング | 畳み込み層では入力データの周りを固定の値で埋める |
| ストライド | 畳み込みのフィルターを動かす幅のことを指す |
| プーリング | ・周りの平均値で圧縮する平均プーリング ・周りの最大値で圧縮する最大プーリング ・周りの値をp乗しその標準偏差をとるLpプーリング |
| ハイパーパラメータ | ＜求める方法＞ ・グリッドサーチ：パラメータを複数用意し、それらの値の組み合わせを全通り総当たりで行う ・ランダムサーチ：考えられるパラメータの範囲を決め、ランダムにパラメータを組み合わせて学習させる ＜最適化の方法＞ ・ベイズ最適化もハイパーパラメータ |
| 主成分分析（PCA） | 次元削減し、不要なデータを削除する |
学習っぽいまとめ
| 学習 | 説明 |
|---|---|
| アンサンブル学習 | 複数の学習器を組み合わせて予測する手法のことである. ・スタッキング：モデルを積み上げて性能を向上させる手法 ・バギング：複数のモデルを別々に学習させ、各モデルの平均や多数決によって最終的な判断をする手法。 |
| 強化学習 | 行動を学習する手法 |
| 転移学習 | 関連する別のタスクで学習し,その学習済みの特徴やパラメータなどを利用することで効率的に対象のタスクを学習する |
| マルチタスク学習 | 同時に複数の識別問題に対応できるように学習する手法のことである |
| 蒸留 | すでに学習されているモデル（教師モデル）を利用して,より小さくシンプルなモデル（生徒モデル）を学習させる手法 |
| ファインチューニング | 既存のモデルの一部を利用して新たなモデルを解くために再学習する手法 |
スポンサーリンク
定理系のまとめ
| 定理名 | 説明 |
|---|---|
| ノーフリーランチ定理 | 全てのタスクに対して常に他よりすぐれている万能的なアルゴリズムは存在しないこと |
| 醜いアヒルの子の定理 | 認知できる全ての客観的な特徴に基づくと全ての対象は同程度に類似している |
| バーニーおじさんのルール | 学習に用いるデータ量の目安（モデルのパラメータの10倍程度） |
| 次元の呪い | データの次元が増加すると問題の算法が指数関数的に大きくなること |
モデル等のまとめ
| モデル | 説明 |
|---|---|
| GPU | 画像処理に特化 |
| CPU | 画像処理に特化なし |
| RNN | 時間軸に沿って深いネットワーク構造 |
| CNN | データに潜む空間的構造をモデル化 |
| GAN | 生成ネットワーク,識別ネットワークの二つを競い合わせることで生成モデルを獲得する |
| LeNet | 1998年に提案された、現在最も広く使われているCNNのもととなるモデル |
| AlexNet | 2012 年に提案された画像認識における優勝モデル（トロント大学のSuper Visionというチーム） |
| GoogLeNet | 2014年のILSVRCの分類問題において最も高い精度で優勝 |
| VGG16 | 教師あり学習で、画像分類タスクで用られ、2014年のILSVRCでGoogLeNetに劣らず高い精度を出した |
| ResNet | 2015年のILSVRCで多くの部門でトップの成績。画像分類タスクで用いられる層が深くなってもうまく学習を行うことができるモデル |
| VAE | 平均や分散などを求める生成モデル |
スポンサーリンク
参考書
 |
深層学習教科書 ディープラーニング G検定（ジェネラリスト） 公式テキスト 新品価格 |
 |
徹底攻略 ディープラーニングG検定 ジェネラリスト 問題集 徹底攻略シリーズ 新品価格 |
 |
これ1冊で合格！ スッキリわかるディープラーニングG検定（ジェネラリスト） テキスト＆問題演習 (TAC出版) 新品価格 |
 |
これ1冊で最短合格 ディープラーニングG検定ジェネラリスト 要点整理テキスト&問題集 新品価格 |
この辺りがよく使われると思います（^ ^）
それでは頑張って合格しましょう！
