Never Stop Questioning

Passive Aggressive

メニュー

ここを編集

統計・機械学習

計算機

プログラミング

Raspberry Pi

USBカメラによるストリーミング

その他

工事中

関係ない話題

日本語の不思議

管理者用

プロフィール

但馬慶行
(TAJIMA Yoshiyuki)

機械学習とロボットを趣味で勉強中。
連絡先はトップページ

※上記の広告は60日以上更新のないWIKIに表示されています。更新することで広告が下部へ移動します。

ここを編集

作成中。

概略

Passive Aggressive(PA)はオンライン学習アルゴリズムの一つ。パーセプトロンのようなアルゴリズムだがヒンジロスに基づいて更新する。オンライン版のSVM的位置づけ。

準備

線形識別器

ある重みベクトル $w$ と入力ベクトル $x$ の内積が0以上か0未満かで識別器を構成する。つまり、次式の関数となる。なお、定数（バイアス）項のために入力ベクトルの最初に常に1の値をとる要素を加える。

$\def\vector#1{\mbox{\boldmath $#1$}} \begin{document} \vector{x} & \mapsto & \begin{cases} +1 & if \ \vector{w} \cdot \vector{x} \ge 0 \\ -1 & otherwise \end{cases} \end{document}$

ヒンジロス

ヒンジロスは次式で表される。なお、 $\ge 1$ であることは必然ではない。

$\def\vector#1{\mbox{\boldmath $#1$}} \begin{document} \\ \l(\vector{w};(\vector{x},y)) & = & \begin{cases} 0 & if \ y (\vector{w} \cdot \vector{x}) \ge 1 \\ 1 - y (\vector{w} \cdot \vector{x}) & otherwise \end{cases} \end{document}$

導出

更新方法（目的関数）

PAでは次式によって重みベクトルを更新する。

$\def\vector#1{\mbox{\boldmath $#1$}} \begin{array}{l l} \vector{w_{t+1}} = argmin [\vector{w} \in \mathbb{R}^{n}] \ \frac{1}{2} \| \vector{w} - \vector{w_{t}} \| \\ \\ s.t. \\ & \l(\vector{w};(\vector{x}, y)) = 0 \\ & y_{t} (\vector{w} \cdot \vector{x}) \ge 1 \\ & 1-y_{t} (\vector{w} \cdot \vector{x}) \le 0 \\ \end{array}$