「有用な不等式」の編集履歴（バックアップ）一覧はこちら
有用な不等式 - (2015/09/08 (火) 17:41:43) の１つ前との変更点
追加された行は緑色になります。
削除された行は赤色になります。
関数の不等式を見たら → sup/inf を付けてみよう↑
<math>f(x) \leq g(x) \quad \Leftrightarrow \quad \sup f(x) \leq \sup g(x)</math>
<math>f(x) \leq g(y) \quad \Leftrightarrow \quad \sup f(x) \leq \inf g(y)</math>
← 作用素ノルム示すときとか。
== 初等不等式 ==
'''相加相乗平均'''
<math>\frac{a+b}{2} \geq \sqrt{ab} \quad (a,b \geq 0)</math>
'''Sinc関数'''
<math>\frac{2}{\pi} \leq \frac{\sin x}{x} \quad (0 \leq x \leq \frac{\pi}{2})</math>
[証明]は，図を描くとほぼ明らか。<math>y=\sin x</math> と <math>y=\frac{2}{\pi}x</math> を比べる。
'''Cor. 以下の形でも覚えておくとよい。'''
<math>\frac{2}{\pi} \leq \sin x \leq x \quad (0 \leq x \leq \frac{\pi}{2})</math>
これを用いて，難しいところにある sin を x で置き換えてしまうことができる。
'''三角関数を抑えこむ'''
<math>1 - \frac{1}{2} x^2 \leq \cos x \leq 1 - \frac{1}{2} x^2 + \frac{1}{24} x^4 \quad \mbox{for all } x</math>
<math>\sin x \leq x \quad \mbox{for all } x \geq 0</math>
'''平均値の定理'''
（適当な微分可能性のもとで）
<math>|f(x)-f(y)| \leq |f'(c)||x-y|</math>
C∞級とかなら何回も適用してみても良いことあるかも。
'''Jordanの不等式'''
Dirichletの振動積分を評価するときに使う。
<math>\int_0^\pi e^{-r \sin \theta} d \theta < \frac{\pi}{r} \quad (r>0)</math>
[証明]は，sinの符号が変わる90度前後で場合わけして，Sinc関数の不等式に持ち込む。
90~180度は ω=π-θ とおくと0~90度の式に変わる。
'''複素数列とかで使う。'''
<math>| \Re z |, | \Im z | \leq |z| \leq | \Re z | + | \Im z |</math>
'''複素積分の基本不等式'''
曲線Cの長さをLとし、C上で<math>f(z) \leq M</math> とする。
<math>\Big| \int_C f(z) dz \Big| \leq \int_C |f(z)||dz| \leq LM</math>
'''超関数論で出てくる。'''
<math>x \leq \sqrt{1+x^2}</math>
|x|大のとき
<math>x \sim \sqrt{1+x^2}</math>
で，C<sup>∞</sup>級，また
<math>1 \leq \sqrt{1+x^2}</math>
なども成り立つ。
より一般に，
<math>|\mathbf{x}^\alpha| \leq (1+\|\mathbf{x}\|^2)^\frac{|\alpha|}{2}</math>
さらに，ある定数があって，
<math>c_{-}(1+\|\mathbf{x}\|^2)^k \leq \sum_{|\alpha|\leq k} \|\mathbf{x}^\alpha \|^2 \leq c_{+}(1+\|\mathbf{x}\|^2)^k</math>
'''エントロピーの計算とかで使う。'''
<math>\log x \leq x - 1</math>
<math>\sum_x p(x) \log \frac{q(x)}{p(x)} \leq \sum_x p(x) \left( \frac{q(x)}{p(x)} -1 \right) = 0</math>
== Chebyshev(Чебышёв)の系譜 ==
== Chebyshev(Чебышёв)不等式 ==
大数の弱法則を証明するのに使う。
Lpと測度収束の関係とか。
確率論的表現式は特に，平均からの離れ具合を分散の倍数で測った場合の確率を評価している。
'''測度論的'''
0<p<∞に対し，f∈Lp(X)とする。
任意の ε>0 に対し以下が成り立つ。
<math>E_\epsilon := \{x \in X | |f| > \epsilon\}</math>
<math>\mu(E_\epsilon) \leq \frac{1}{\epsilon^p} \| f \|_{L^p(X)}^p</math>
[証明]
<math>\| f \|^p_{L^p(X)} = \int_X |f|^p dx \geq \int_{E_\epsilon} |f|^p dx > \epsilon^p \int_{E_\epsilon} dx = \epsilon^p \mu(E_\epsilon)</math>
'''確率論'''
確率変数Xは平均μと'''分散σ<sup>2</sup>を持つ'''とする。←つまり二乗可積分
このとき，p=2,f=X-μ,ε=kσ とおけば以下を得る。
<math>P \{ |X-\mu| \geq k \sigma\} < \frac{1}{k^2} </math>
[証明]は次のようにしても良い。
<math>\sigma^2 = \int_\Omega |x-\mu|^2 dp(x) \geq \int_{E_{k \sigma}} |x- \mu|^2 dp(x) > (k \sigma)^2 \int_{E_{k \sigma}} d p(x) = (k \sigma)^2 P( E_{k \sigma} )</math>
'''Cor. 不等号の向きを逆にしておくのも有効'''
<math>P \{ |X - \mu| < k \sigma \} > 1 - \frac{1}{k^2}</math>
あるいは <math> 1 - \frac{1}{k^2} = \alpha</math> とおいて，
<math>P \{ |X - \mu| < \frac{\sigma }{\sqrt{1-\alpha}} \} > \alpha</math>
'''Ex. 平均と分散が分かっているときに，平均からズレる確率を測る'''
----
= Jensenの系譜 =
== Jensenの不等式 (1906) ==
基本的な不等式の１つ
相加相乗平均，Hölder，Cramer-Raoなどはみなこの不等式の系
相加相乗平均は -log(x) の凸性から導かれる。
KL divergenceの正値性もJensenから導かれる。
<math>f(x) \textrm{ : convex-function}</math>
<math>\sum^N p_i = 1 \; (p_i \geq 0)</math>
<math>\Rightarrow \sum^N p_i f(x_i) \geq f\left( \sum^N p_i x_i\right)</math>
<math>\textrm{equality holds when } x_1= \cdots =x_N</math>
'''Cor.（変形）'''
<math>f(x) \textrm{ : convex-function}</math>
<math>\alpha_i \geq 0</math>
<math>\Rightarrow \frac{\sum \alpha_i f(x_i)}{\sum \alpha_i} \geq f \left( \frac{\sum \alpha_i x_i}{\sum \alpha_i}\right)</math>
'''凸関数の平均は，平均の凸関数よりでかい。'''
'''Cor.（積分版）'''
<math>I \subset \mathbb{R} \textrm{ : interval s.t. } |I|=1</math>
<math>f(x) \textrm{ : convex on I}</math>
<math>\phi(x) \textrm{ : integrable on I}</math>
<math>\Rightarrow \int_I f(\phi(x)) dx \geq f \left( \int_I \phi(x) dx \right)</math>
'''Cor.（拡張）'''
<math>f(x) \textrm{ : convex on \mathbb{R}}</math>
<math>\int_\mathbb{R} p(x) dx=1</math>
<math>\phi(x) \textrm{ : integrable on \mathbb{R}}</math>
<math>\Rightarrow \int_\mathbb{R} f(\phi(x)) d p(x) \geq f \left( \int_\mathbb{R} \phi(x) dp(x) \right)</math>
'''Cor.（期待値版）'''
<math>f \textrm{ : convex}</math>
<math>\mathbf{X} \textrm{ : integrable random variable}</math>
<math>\mathbb{E} \{ f(\mathbf{X})\} \geq f\left( \mathbb{E} \{ \mathbf{X}\} \right)</math>
'''凸関数の期待値は，期待値の凸関数よりでかい。'''
'''Def. 凸関数（convex-function）'''
f(x)が凸であるとは，以下が成り立つことをいう。
<math>^\forall a,b\in \mathbb{R}, \; t \in [0,1]</math>
<math> t f(a) + (1-t) f(b) \geq f\left( ta+(1-t)b\right)</math>
要するに，'''下に凸'''のこと。
'''Prop. C2級関数の凸判定法'''
二階微分が常に正ならおｋ
<math>f(x)\textrm{ : convex } \Leftrightarrow f^{\prime\prime} \geq 0</math>
'''Ex.'''
<math>f(x) = x^{2n} \; \left( x \in (-\infty ,\infty) \right)</math>
<math>f(x) = - \sin x \; \left( x \in [0 , \pi] \right)</math>
<math>f(x) = \tan x \; \left( x \in [0 , \frac{\pi}{2}) \right)</math>
<math>f(x) = - \log x \; \left( x \in (0, \infty) \right)</math>
== 不詳 ==
<math>(a+b)^p < 2^p(a^p+b^p)</math>
[証明]
実際には（対称性を崩して）もっときつく押さえられることに注意↑
<math>0 < a \leq b</math> としてよい。
<math>(a+b)^p \leq (2b)^p \leq 2^p b^p < 2^p(a^p+b^p)</math>
== Youngの不等式 ==
<math>a,b \geq 0</math> に対し，
<math>ab \leq \frac{1}{p}a^p + \frac{1}{q}b^q</math>
[証明]
log は上に凸なので，
<math>\log(tx+(1-t)y) \geq t \log x + (1-t) \log y</math>
この不等式に以下を代入する。
<math>t = \frac{1}{p},\ 1-t = \frac{1}{q}, \ x = a^p, \ y = b^q</math>
次の形に変形できる。
<math>\log \left( \frac{1}{p}a^p + \frac{1}{q}b^q \right) \geq \log ab</math>
log は単調増加なので，求める不等式を得る。
<math>ab \leq \frac{1}{p}a^p + \frac{1}{q}b^q</math>
== Hölder不等式 (1889; Rogers 1888) ==
<math>f,g \textrm{ : measurable functions on } \Omega</math>
<math>\|fg\|_1 \le \|f\|_p \|g\|_q</math>
f,g がそれぞれLp,Lqであることは求めない。
つまり，無限大も含めて成立するということ。
f∈Lp,g∈Lq が成立するときは，fg∈L1 が漏れなくついてくる。
'''Rem.'''
1≦p≦∞に対し，1/p+1/q=1なるqを，Hölder共役（-conjugates）という。
'''Rem.'''
p=q=2のとき，Cauchy-Schwaltz不等式
'''使い方'''
指数は見方次第でコロコロ変えられるってこと。
<math>\| f \|_{L^p}^p = \int_X |f|^p dx = \int_X |f^\frac{p}{q}|^q dx = \|f^\frac{p}{q} \|_{L^q}^q = \int_X |f^q|^\frac{p}{q} dx = \| f^q \|_{L^\frac{p}{q}}^\frac{p}{q}</math>
== Mincowski不等式 ==
<math>f,g \in L^p</math>
<math>\|f+g\|_p \le \|f\|_p + \|g\|_p</math>
'''Rem.'''
L<sup>p</sup>空間の三角不等式にあたる。
Hölder不等式から証明される。
== Schwartz不等式 ==
何種類かある。
内積空間の特徴づけ。
Lp版はHölderの系として出てくる。
== Cramer-Rao不等式 ==
Jensenから証明される。
不偏推定量(推定量の期待値が真値と一致)に対して，分散を評価する不等式
<math>X_i \sim p(X, \theta) \quad (i=1,\cdots,n)</math> 目的の分布からとられた確率変数列
<math>\widehat{\theta} := \delta( X_1, \cdots, X_n )</math> 推定量(つまり真の母数θの推定方法)
<math>\mathbb{E} \widehat{\theta} = \theta</math> 不偏推定量
このときさらに，δが適当な正則条件を満たせば，推定量の分散について以下の不等式が成り立つ。
<math>\mathrm{Var}\widehat{\theta} = \frac{1}{n \mathbb{E} \left[ \left( \frac{\partial p(X, \theta)}{\partial \theta}\right)^2 \right]}</math>
等号を成立させる推定量を'''有効推定量'''という。
一様分布は正則条件を満たさないので使えない。
== 相加相乗平均 ==
<math>\frac{\sum a_n }{n} \geq \sqrt[n]{\prod a_n}</math>
関数の不等式を見たら → sup/inf を付けてみよう↑
<math>f(x) \leq g(x) \quad \Leftrightarrow \quad \sup f(x) \leq \sup g(x)</math>
<math>f(x) \leq g(y) \quad \Leftrightarrow \quad \sup f(x) \leq \inf g(y)</math>
← 作用素ノルム示すときとか。
== 初等不等式 ==
'''相加相乗平均'''
<math>\frac{a+b}{2} \geq \sqrt{ab} \quad (a,b \geq 0)</math>
'''Sinc関数'''
<math>\frac{2}{\pi} \leq \frac{\sin x}{x} \quad (0 \leq x \leq \frac{\pi}{2})</math>
[証明]は，図を描くとほぼ明らか。<math>y=\sin x</math> と <math>y=\frac{2}{\pi}x</math> を比べる。
'''Cor. 以下の形でも覚えておくとよい。'''
<math>\frac{2}{\pi} \leq \sin x \leq x \quad (0 \leq x \leq \frac{\pi}{2})</math>
これを用いて，難しいところにある sin を x で置き換えてしまうことができる。
'''三角関数を抑えこむ'''
<math>1 - \frac{1}{2} x^2 \leq \cos x \leq 1 - \frac{1}{2} x^2 + \frac{1}{24} x^4 \quad \mbox{for all } x</math>
<math>\sin x \leq x \quad \mbox{for all } x \geq 0</math>
'''平均値の定理'''
（適当な微分可能性のもとで）
<math>|f(x)-f(y)| \leq |f'(c)||x-y|</math>
C∞級とかなら何回も適用してみても良いことあるかも。
'''Jordanの不等式'''
Dirichletの振動積分を評価するときに使う。
<math>\int_0^\pi e^{-r \sin \theta} d \theta < \frac{\pi}{r} \quad (r>0)</math>
[証明]は，sinの符号が変わる90度前後で場合わけして，Sinc関数の不等式に持ち込む。
90~180度は ω=π-θ とおくと0~90度の式に変わる。
'''複素数列とかで使う。'''
<math>| \Re z |, | \Im z | \leq |z| \leq | \Re z | + | \Im z |</math>
'''複素積分の基本不等式'''
曲線Cの長さをLとし、C上で<math>f(z) \leq M</math> とする。
<math>\Big| \int_C f(z) dz \Big| \leq \int_C |f(z)||dz| \leq LM</math>
'''超関数論で出てくる。'''
<math>x \leq \sqrt{1+x^2}</math>
|x|大のとき
<math>x \sim \sqrt{1+x^2}</math>
で，C<sup>∞</sup>級，また
<math>1 \leq \sqrt{1+x^2}</math>
なども成り立つ。
より一般に，
<math>|\mathbf{x}^\alpha| \leq (1+\|\mathbf{x}\|^2)^\frac{|\alpha|}{2}</math>
さらに，ある定数があって，
<math>c_{-}(1+\|\mathbf{x}\|^2)^k \leq \sum_{|\alpha|\leq k} \|\mathbf{x}^\alpha \|^2 \leq c_{+}(1+\|\mathbf{x}\|^2)^k</math>
'''エントロピーの計算とかで使う。'''
<math>\log x \leq x - 1</math>
<math>\sum_x p(x) \log \frac{q(x)}{p(x)} \leq \sum_x p(x) \left( \frac{q(x)}{p(x)} -1 \right) = 0</math>
== Chebyshev(Чебышёв)の系譜 ==
== Chebyshev(Чебышёв)不等式 ==
大数の弱法則を証明するのに使う。
Lpと測度収束の関係とか。
確率論的表現式は特に，平均からの離れ具合を分散の倍数で測った場合の確率を評価している。
'''測度論的'''
0<p<∞に対し，f∈Lp(X)とする。
任意の ε>0 に対し以下が成り立つ。
<math>E_\epsilon := \{x \in X | |f| > \epsilon \}</math>
<math>\mu(E_\epsilon) \leq \frac{1}{\epsilon^p} \| f \|_{L^p(X)}^p</math>
[証明]
<math>\| f \|^p_{L^p(X)} = \int_X |f|^p dx \geq \int_{E_\epsilon} |f|^p dx > \epsilon^p \int_{E_\epsilon} dx = \epsilon^p \mu(E_\epsilon)</math>
'''確率論'''
確率変数Xは平均μと'''分散σ<sup>2</sup>を持つ'''とする。←つまり二乗可積分
このとき，p=2,f=X-μ,ε=kσ とおけば以下を得る。
<math>P \{ |X-\mu| \geq k \sigma\} < \frac{1}{k^2} </math>
[証明]は次のようにしても良い。
<math>\sigma^2 = \int_\Omega |x-\mu|^2 dp(x) \geq \int_{E_{k \sigma}} |x- \mu|^2 dp(x) > (k \sigma)^2 \int_{E_{k \sigma}} d p(x) = (k \sigma)^2 P( E_{k \sigma} )</math>
'''Cor. 不等号の向きを逆にしておくのも有効'''
<math>P \{ |X - \mu| < k \sigma \} > 1 - \frac{1}{k^2}</math>
あるいは <math> 1 - \frac{1}{k^2} = \alpha</math> とおいて，
<math>P \{ |X - \mu| < \frac{\sigma }{\sqrt{1-\alpha}} \} > \alpha</math>
'''Ex. 平均と分散が分かっているときに，平均からズレる確率を測る'''
----
= Jensenの系譜 =
== Jensenの不等式 (1906) ==
基本的な不等式の１つ
相加相乗平均，Hölder，Cramer-Raoなどはみなこの不等式の系
相加相乗平均は -log(x) の凸性から導かれる。
KL divergenceの正値性もJensenから導かれる。
<math>f(x) \textrm{ : convex-function}</math>
<math>\sum^N p_i = 1 \; (p_i \geq 0)</math>
<math>\Rightarrow \sum^N p_i f(x_i) \geq f\left( \sum^N p_i x_i\right)</math>
<math>\textrm{equality holds when } x_1= \cdots =x_N</math>
'''Cor.（変形）'''
<math>f(x) \textrm{ : convex-function}</math>
<math>\alpha_i \geq 0</math>
<math>\Rightarrow \frac{\sum \alpha_i f(x_i)}{\sum \alpha_i} \geq f \left( \frac{\sum \alpha_i x_i}{\sum \alpha_i}\right)</math>
'''凸関数の平均は，平均の凸関数よりでかい。'''
'''Cor.（積分版）'''
<math>I \subset \mathbb{R} \textrm{ : interval s.t. } |I|=1</math>
<math>f(x) \textrm{ : convex on I}</math>
<math>\phi(x) \textrm{ : integrable on I}</math>
<math>\Rightarrow \int_I f(\phi(x)) dx \geq f \left( \int_I \phi(x) dx \right)</math>
'''Cor.（拡張）'''
<math>f(x) \textrm{ : convex on \mathbb{R}}</math>
<math>\int_\mathbb{R} p(x) dx=1</math>
<math>\phi(x) \textrm{ : integrable on \mathbb{R}}</math>
<math>\Rightarrow \int_\mathbb{R} f(\phi(x)) d p(x) \geq f \left( \int_\mathbb{R} \phi(x) dp(x) \right)</math>
'''Cor.（期待値版）'''
<math>f \textrm{ : convex}</math>
<math>\mathbf{X} \textrm{ : integrable random variable}</math>
<math>\mathbb{E} \{ f(\mathbf{X})\} \geq f\left( \mathbb{E} \{ \mathbf{X}\} \right)</math>
'''凸関数の期待値は，期待値の凸関数よりでかい。'''
'''Def. 凸関数（convex-function）'''
f(x)が凸であるとは，以下が成り立つことをいう。
<math>^\forall a,b\in \mathbb{R}, \; t \in [0,1]</math>
<math> t f(a) + (1-t) f(b) \geq f\left( ta+(1-t)b\right)</math>
要するに，'''下に凸'''のこと。
'''Prop. C2級関数の凸判定法'''
二階微分が常に正ならおｋ
<math>f(x)\textrm{ : convex } \Leftrightarrow f^{\prime\prime} \geq 0</math>
'''Ex.'''
<math>f(x) = x^{2n} \; \left( x \in (-\infty ,\infty) \right)</math>
<math>f(x) = - \sin x \; \left( x \in [0 , \pi] \right)</math>
<math>f(x) = \tan x \; \left( x \in [0 , \frac{\pi}{2}) \right)</math>
<math>f(x) = - \log x \; \left( x \in (0, \infty) \right)</math>
== 不詳 ==
<math>(a+b)^p < 2^p(a^p+b^p)</math>
[証明]
実際には（対称性を崩して）もっときつく押さえられることに注意↑
<math>0 < a \leq b</math> としてよい。
<math>(a+b)^p \leq (2b)^p \leq 2^p b^p < 2^p(a^p+b^p)</math>
== Youngの不等式 ==
<math>a,b \geq 0</math> に対し，
<math>ab \leq \frac{1}{p}a^p + \frac{1}{q}b^q</math>
[証明]
log は上に凸なので，
<math>\log(tx+(1-t)y) \geq t \log x + (1-t) \log y</math>
この不等式に以下を代入する。
<math>t = \frac{1}{p},\ 1-t = \frac{1}{q}, \ x = a^p, \ y = b^q</math>
次の形に変形できる。
<math>\log \left( \frac{1}{p}a^p + \frac{1}{q}b^q \right) \geq \log ab</math>
log は単調増加なので，求める不等式を得る。
<math>ab \leq \frac{1}{p}a^p + \frac{1}{q}b^q</math>
== Hölder不等式 (1889; Rogers 1888) ==
<math>f,g \textrm{ : measurable functions on } \Omega</math>
<math>\|fg\|_1 \le \|f\|_p \|g\|_q</math>
f,g がそれぞれLp,Lqであることは求めない。
つまり，無限大も含めて成立するということ。
f∈Lp,g∈Lq が成立するときは，fg∈L1 が漏れなくついてくる。
'''Rem.'''
1≦p≦∞に対し，1/p+1/q=1なるqを，Hölder共役（-conjugates）という。
'''Rem.'''
p=q=2のとき，Cauchy-Schwaltz不等式
'''使い方'''
指数は見方次第でコロコロ変えられるってこと。
<math>\| f \|_{L^p}^p = \int_X |f|^p dx = \int_X |f^\frac{p}{q}|^q dx = \|f^\frac{p}{q} \|_{L^q}^q = \int_X |f^q|^\frac{p}{q} dx = \| f^q \|_{L^\frac{p}{q}}^\frac{p}{q}</math>
== Mincowski不等式 ==
<math>f,g \in L^p</math>
<math>\|f+g\|_p \le \|f\|_p + \|g\|_p</math>
'''Rem.'''
L<sup>p</sup>空間の三角不等式にあたる。
Hölder不等式から証明される。
== Schwartz不等式 ==
何種類かある。
内積空間の特徴づけ。
Lp版はHölderの系として出てくる。
== Cramer-Rao不等式 ==
Jensenから証明される。
不偏推定量(推定量の期待値が真値と一致)に対して，分散を評価する不等式
<math>X_i \sim p(X, \theta) \quad (i=1,\cdots,n)</math> 目的の分布からとられた確率変数列
<math>\widehat{\theta} := \delta( X_1, \cdots, X_n )</math> 推定量(つまり真の母数θの推定方法)
<math>\mathbb{E} \widehat{\theta} = \theta</math> 不偏推定量
このときさらに，δが適当な正則条件を満たせば，推定量の分散について以下の不等式が成り立つ。
<math>\mathrm{Var}\widehat{\theta} = \frac{1}{n \mathbb{E} \left[ \left( \frac{\partial p(X, \theta)}{\partial \theta}\right)^2 \right]}</math>
等号を成立させる推定量を'''有効推定量'''という。
一様分布は正則条件を満たさないので使えない。
== 相加相乗平均 ==
<math>\frac{\sum a_n }{n} \geq \sqrt[n]{\prod a_n}</math>
