intro:researches:machine

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン 前のリビジョン
次のリビジョン		 前のリビジョン
次のリビジョン両方とも次のリビジョン
intro:researches:machine [2020/04/09 13:53] – [多様体上の機械学習とその既存手法] Hideaki IIDUKAintro:researches:machine [2020/06/26 17:01] – Hideaki IIDUKA
行 38: 行 38:
 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、
 \begin{align*} \begin{align*}
-\mathbb{E}\left[f \left(\frac{1}{n}\sum_{k=1}^n x_k \right) - f^\star \right] \leq \mathcal{O}\left(\frac{1}{n}\right) + M_1 \alpha + M_2 \beta, \text{ i.e., } +\liminf_{n \to + \infty} \mathbb{E}\left[f (x_n)  - f^\star \right] 
-\limsup_{n \to + \infty} \mathbb{E}\left[f \left(\frac{1}{n}\sum_{k=1}^n x_k \right)  - f^\star \right] +
 \leq  M_1 \alpha + M_2 \beta. \leq  M_1 \alpha + M_2 \beta.
 \end{align*} \end{align*}
行 73: 行 72:
 この損失最小化問題手法を解くための機械学習手法として、Euclid 空間上の[[https://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E7%9A%84%E5%8B%BE%E9%85%8D%E9%99%8D%E4%B8%8B%E6%B3%95|確率的勾配降下法]]を拡張した[[https://ieeexplore.ieee.org/document/6487381|Riemann 確率的勾配降下法 (RSGD)]] がすでに提案されています。 この損失最小化問題手法を解くための機械学習手法として、Euclid 空間上の[[https://ja.wikipedia.org/wiki/%E7%A2%BA%E7%8E%87%E7%9A%84%E5%8B%BE%E9%85%8D%E9%99%8D%E4%B8%8B%E6%B3%95|確率的勾配降下法]]を拡張した[[https://ieeexplore.ieee.org/document/6487381|Riemann 確率的勾配降下法 (RSGD)]] がすでに提案されています。
 そこで、 Adam や AMSGrad といった Euclid 空間上の適応学習率最適化アルゴリズムを一般の Riemann 多様体上に拡張することは、Riemann 多様体上の損失最小化問題を高速に解くためには大変自然な発想であると思います。 そこで、 Adam や AMSGrad といった Euclid 空間上の適応学習率最適化アルゴリズムを一般の Riemann 多様体上に拡張することは、Riemann 多様体上の損失最小化問題を高速に解くためには大変自然な発想であると思います。
-しかしながら、Euclid 空間上の適応学習率最適化アルゴリズムの多様体上への拡張は、一般の多様体上に共通する座標系が存在しないことが原因により、容易ではないと考えられます。+しかしながら、Euclid 空間上の適応学習率最適化アルゴリズムの多様体上への拡張は、一般の多様体上に共通する座標系が存在しないことが原因となり、容易ではないと考えられます。
 そこで、積多様体の成分を Euclid 空間における座標成分のようにみなして [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] を Riemann 積多様体上に拡張した手法 [[https://arxiv.org/pdf/1810.00760.pdf|Riemannian AMSGrad (RAMSGrad)]] が 2019 年に G. Bécigneul と O.-E. Ganea によって提案されました。 そこで、積多様体の成分を Euclid 空間における座標成分のようにみなして [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] を Riemann 積多様体上に拡張した手法 [[https://arxiv.org/pdf/1810.00760.pdf|Riemannian AMSGrad (RAMSGrad)]] が 2019 年に G. Bécigneul と O.-E. Ganea によって提案されました。
 しかしながら、Euclid 空間上の機械学習アルゴリズム内でも示したように、 **減少**学習率 $\alpha_t = \alpha/\sqrt{t}$ を有する[[https://arxiv.org/pdf/1810.00760.pdf|RAMSGrad]] は しかしながら、Euclid 空間上の機械学習アルゴリズム内でも示したように、 **減少**学習率 $\alpha_t = \alpha/\sqrt{t}$ を有する[[https://arxiv.org/pdf/1810.00760.pdf|RAMSGrad]] は
  • intro/researches/machine.txt
  • 最終更新: 2023/06/02 13:40
  • by Naoki SATO