intro:researches:machine

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン 前のリビジョン
次のリビジョン		 前のリビジョン
次のリビジョン両方とも次のリビジョン
intro:researches:machine [2020/04/15 16:02] – [多様体上の機械学習とその既存手法] Hideaki IIDUKAintro:researches:machine [2020/06/26 17:01] – Hideaki IIDUKA
行 38: 行 38:
 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、
 \begin{align*} \begin{align*}
-\mathbb{E}\left[f \left(\frac{1}{n}\sum_{k=1}^n x_k \right) - f^\star \right] \leq \mathcal{O}\left(\frac{1}{n}\right) + M_1 \alpha + M_2 \beta, \text{ i.e., } +\liminf_{n \to + \infty} \mathbb{E}\left[f (x_n)  - f^\star \right] 
-\limsup_{n \to + \infty} \mathbb{E}\left[f \left(\frac{1}{n}\sum_{k=1}^n x_k \right)  - f^\star \right] +
 \leq  M_1 \alpha + M_2 \beta. \leq  M_1 \alpha + M_2 \beta.
 \end{align*} \end{align*}
  • intro/researches/machine.txt
  • 最終更新: 2023/06/02 13:40
  • by Naoki SATO