Never Stop Questioning

Passive Aggressive

最終更新：2013年05月20日 00:41

t-style

- view

メンバー限定登録/ログイン

ここを編集

作成中。

概略

Passive Aggressive(PA)はオンライン学習アルゴリズムの一つ。パーセプトロンのようなアルゴリズムだがヒンジロスに基づいて更新する。オンライン版のSVM的位置づけ。

準備

線形識別器

ある重みベクトル $w$ と入力ベクトル $x$ の内積が0以上か0未満かで識別器を構成する。つまり、次式の関数となる。なお、定数（バイアス）項のために入力ベクトルの最初に常に1の値をとる要素を加える。

$\def\vector#1{\mbox{\boldmath $#1$}} \begin{document} \vector{x} & \mapsto & \begin{cases} +1 & if \ \vector{w} \cdot \vector{x} \ge 0 \\ -1 & otherwise \end{cases} \end{document}$

ヒンジロス

ヒンジロスは次式で表される。なお、 $\ge 1$ であることは必然ではない。

$\def\vector#1{\mbox{\boldmath $#1$}} \begin{document} \\ \l(\vector{w};(\vector{x},y)) & = & \begin{cases} 0 & if \ y (\vector{w} \cdot \vector{x}) \ge 1 \\ 1 - y (\vector{w} \cdot \vector{x}) & otherwise \end{cases} \end{document}$

導出

更新方法（目的関数）

PAでは次式によって重みベクトルを更新する。

$\def\vector#1{\mbox{\boldmath $#1$}} \begin{array}{l l} \vector{w_{t+1}} = argmin [\vector{w} \in \mathbb{R}^{n}] \ \frac{1}{2} \| \vector{w} - \vector{w_{t}} \| \\ \\ s.t. \\ & \l(\vector{w};(\vector{x}, y)) = 0 \\ & y_{t} (\vector{w} \cdot \vector{x}) \ge 1 \\ & 1-y_{t} (\vector{w} \cdot \vector{x}) \le 0 \\ \end{array}$