パターン認識

パターン認識

入力変数を、出力変数をとしたとき、学習データセットからとの間に存在する規則性を見つけ出し、新しく観測されたに対応するを求めることをパターン認識という。なお、出力変数が連続値の場合は回帰分析と同等である。

機械学習には、大きく分けてパラメトリックなアプローチとノンパラメトリックなアプローチとがある。パラメトリックなアプローチでは、確率分布関数を一次独立な関数の線型（非線型）結合によって表現し、そのパラメーターを推定する。一方、ノンパラメトリックなアプローチでは、データ集合から直接に目的の確率を計算する。

ある入力に対して出力が，にしたがって決まるとする．このとき，学習セットの集合から関数を推定することを機械学習と呼ぶ．が有限離散数の場合は，関数が入力の分類器の役割を果たすのでパターン認識と呼ばれ，が有限離散数の場合は回帰と呼ばれる．なお、出力変数が連続値の場合は回帰分析と同等である。

機械学習

入力変数を、出力変数をとしたとき、学習データセットから条件付き確率分布を推定することを機械学習という。無作為抽出されたサンプル集団から（母集団の）確率分布を推定することになるので、機械学習は推測統計学と関係が深い。実際、機械学習で使う技法の多くは推測統計学のものである。なお、出力変数が連続値の場合は回帰分析と同等である。

機械学習には、大きく分けてパラメトリックなアプローチとノンパラメトリックなアプローチとがある。パラメトリックなアプローチでは、確率分布関数を一次独立な関数の線型（非線型）結合によって表現し、そのパラメーターを推定する。一方、ノンパラメトリックなアプローチでは、データ集合から直接に目的の確率を計算する。

パターン認識と回帰分析

ある入力に対する出力が，関数にしたがって決まるとする．このとき，入力と出力（教師）の組の集合（学習データセット）から関数を推定することを機械学習とよぶ．パターン認識の場合は、が有限離散変数であり、関数はクラス分類をおこなう。一方，回帰分析の場合は、が連続変数である．

ベイズ推定法

確率的情報処理をパターン認識に適用する．
ベイズ推定法から前述のNN法を導出することもできるため，一般的なパターン認識法の一般的な表現ともいえる？？
学習のメカニズムを説明するのにも適している？？

最近傍法

NN法

入力ベクトルとプロトタイプベクトル（クラスを代表するベクトル）の距離を測り，もっとも近いプロトタイプの属するクラスを認識結果として出力する方法を最近傍法（NN法）と呼ぶ．

まず，分類するクラスが個あるとして，それぞれをで表すとする．
特徴ベクトルが次元であるとすると，クラスのプロトタイプは以下のように定義される．
　　
このとき，入力ベクトルとプロトタイプとの距離は次式によって求められる．

この距離を最小にするプロトタイプの属するクラスが識別器の出力となる．
（余談：２クラス問題のNN法はパーセプトロンと数学的に等価である．《(参考)フリーソフトでつくる　音声認識システム》）

K-NN法

NN法では，最近傍のプロトタイプベクトルにより，入力ベクトルの識別をおこなった．
k-NN法では，最近傍の個のプロトタイプベクトルにより，入力ベクトルの識別をおこなう．
最近傍の個のプロトタイプベクトルを探し，その中で多数を占めたクラスを識別結果とする．

サポートベクトルマシン（SVM）

概要

線型非分離な問題への対策