こんにちは，デイビッドです．近頃，JDLAのE資格学習を進めており，せっかくなので，学びを残していこうと思います．この記事では，
「機械学習・深層学習の理論学習の全体像について」（学習が渋滞している）．
です．
日頃より知識や概念の理解には，「体系化」が必要であると考えており，まずは，学びの全体像を用意し，そこから枝葉にリンクしていける「構造物」が欲しいと思っており，自身の学習に合わせて，更新していこうと思っております．手法の概要のみではなく数式もきちんと扱った上で，グラフィカルでインタラクティブな，生成AI時代にも，痒い所に手が届く「知識ネットワークシステム」を残せれば，と思っております．遅速になるやもしれませんので，工事中のこちらの記事に辿り着いた方はそっ閉じするか，眺めていってもらえたらと思います．
以下は，東大松尾・岩澤研究室のサイトで，参考になりました．
Contents
機械学習
データから学習し，予測や分類を行うアルゴリズムとモデルの総称．例として画像認識や音声認識がある．
パターン認識
データ内のパターンを自動的に識別し，分類や認識を行う技術．例として文字認識や顔認識がある．
k近傍法
Kdtree
教師あり学習
ラベル付きデータを使ってモデルを訓練し，新しいデータのラベルを予測する方法．分類や回帰が含まれる．
線形回帰
独立変数と従属変数の間の線形関係をモデル化し，連続変数を予測する手法．例として家の価格予測がある．
ロジスティック回帰
二値分類問題を解くための回帰モデルで，結果を確率として出力．例として病気の有無の予測がある．
サポートベクターマシン
データを高次元空間にマッピングし，分類境界を見つける手法．サポートベクターを用いる．
決定木
データを条件に基づいて分割し，分類や回帰を行う手法．特徴量に基づいたツリー構造を作成．
教師なし学習
ラベルなしデータを使い，データの構造やパターンを学習する方法．クラスタリングや次元圧縮が含まれる．
次元圧縮
高次元データを低次元に変換し，情報を保持しつつデータを簡略化．主成分分析（PCA）が代表的．
クラスタリング
データを類似性に基づいてグループ化し，データ内の隠れたパターンを発見．K-means法が一般的．
機械学習の課題
過剰適合，過少適合について．汎化誤差，訓練誤差，バイアス，バリアンス，正則化，次元の呪い
検証集合
訓練誤差，汎化誤差，交差検証など
性能指標
正解率(Accuracy)、適合率(Precision)、再現率(Recall)、F値、など
深層学習
多層ニューラルネットワークを用いて複雑なデータパターンを学習する手法．画像認識や自然言語処理に応用．
順伝播型ネットワーク
層が一方向に繋がるニューラルネットワーク．入力から出力への情報伝達が一方向．
多層パーセプトロン
出力層と損失関数
活性化関数
最適化
モデルのパラメータを調整し，目的関数を最大化または最小化するプロセス．勾配降下法などを使用．
誤差逆伝播法
適応的学習率を持つアルゴリズム
パラメータの初期化戦略
正則化
モデルの複雑さを制約し，過学習を防ぐ手法．L1正則化やL2正則化が一般的．
パラメータノルムペナルティー
確率的削除
陰的正則化
CNN
（Convolutional Neural Network）畳み込みニューラルネットワーク．畳み込み層を用いて画像データの特徴を抽出するニューラルネットワーク．画像認識や物体検出に使用．
RNN
（Recurrent Neural Network）リカーレントニューラルネットワーク．時系列データや連続データを扱うニューラルネットワーク．シーケンスデータの学習に適している．
ゲート機構
系列変換
Transformer
Attention機構を用いた自然言語処理に特化したニューラルネットワークアーキテクチャ．
Attention！一世風靡中のChatGPTをはじめとする生成AIくんの基本理論．
汎化性能向上のテクニック
モデルの新しいデータに対する予測性能を向上させる手法．データ拡張やアンサンブル法が含まれる．
データ集合の拡張
データ量を増やし，モデルの学習性能を向上させる技術．データ拡張が一般的．
正規化
特徴量のスケールを統一し，モデルの学習効率と精度を向上させる手法．Min-MaxスケーリングやZスコア正規化がある．
アンサンブル法
複数のモデルを組み合わせて予測精度を向上させる手法．バギングやブースティングが含まれる．
ハイパーパラメータの選択
モデルの性能を最適化するためのハイパーパラメータの調整．グリッドサーチやランダムサーチが使用される．
深層学習の応用
深層学習技術の実世界での応用．画像認識，音声処理，自然言語処理などが含まれる．
画像認識
画像内の物体や特徴を自動的に認識する技術．顔認識や物体検出に応用．
ResNet，WideResNet
Vision Transformer
物体検出
画像内の特定の物体を検出し，その位置を特定する技術．YOLOやFaster R-CNNがある．
FasterR-CNN，MaskR-CNN
YOLO，SSD
FCOS
セマンティックセグメンテーション
画像の各ピクセルを分類し，各領域を識別する技術．U-Netが代表的．
FCN，U-Net
自然言語処理
テキストデータを理解・生成する技術．翻訳，要約，質問応答などが含まれる．
WordEmbedding
BERT
GPT-n
音声処理
音声データを解析・生成する技術．音声認識や音声合成に使用．
生成モデル
新しいデータを生成するモデル．GANやVAEが代表的．
識別モデルと生成モデル
オートエンコーダ
GAN
深層強化学習
深層学習と強化学習を組み合わせた手法．エージェントが環境と相互作用しながら学習．
DQN
A3C
多様なモデル学習方法
様々な学習方法を適用し，最適なモデルを構築する手法．
転移学習
半教師あり学習と自己教師あり学習
能動学習（Active Learning）
距離学習（Metric Learning）
メタ学習（Meta Learning）
深層学習の説明性
モデルの予測結果を解釈し，説明するための手法．LIMEやSHAPが含まれる．
開発・運用環境
深層学習モデルの実装や運用に必要な環境．ハードウェアやソフトウェアの設定が含まれる．
エッジコンピューティング
端末側でデータ処理を行い，リアルタイム性を向上させる技術．
モデルの軽量化
分散処理
複数のコンピュータでデータ処理を分担し，大規模データを効率的に処理する技術．
並列分散処理
連合学習
アクセラレータ
GPUやTPUなどの専用ハードウェアを用いて計算速度を向上させる技術．
デバイスによる高速化
環境構築
開発や運用に必要なソフトウェアやハードウェアのセットアップ．
コンテナ型仮想化
参考
こちらのE資格のシラバスからアウトラインはそのまま展開しております．
各内容について，参考になる記事や自身でまとめた記事をリンクとして貼っていくようにしようと思っております．
コメント