差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン 前のリビジョン 次のリビジョン | 前のリビジョン 次のリビジョン両方とも次のリビジョン | ||
intro:researches:machine [2020/04/09 13:53] – [多様体上の機械学習とその既存手法] Hideaki IIDUKA | intro:researches:machine [2020/06/26 17:01] – Hideaki IIDUKA | ||
---|---|---|---|
行 38: | 行 38: | ||
$(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, | $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, | ||
\begin{align*} | \begin{align*} | ||
- | \mathbb{E}\left[f \left(\frac{1}{n}\sum_{k=1}^n x_k \right) - f^\star \right] \leq \mathcal{O}\left(\frac{1}{n}\right) + M_1 \alpha + M_2 \beta, \text{ i.e., } | + | \limsup_{n \to + \infty} \mathbb{E}\left[f (x_n) - f^\star \right] |
- | \limsup_{n \to + \infty} \mathbb{E}\left[f | + | |
\leq M_1 \alpha + M_2 \beta. | \leq M_1 \alpha + M_2 \beta. | ||
\end{align*} | \end{align*} | ||
行 73: | 行 72: | ||
この損失最小化問題手法を解くための機械学習手法として、Euclid 空間上の[[https:// | この損失最小化問題手法を解くための機械学習手法として、Euclid 空間上の[[https:// | ||
そこで、 Adam や AMSGrad といった Euclid 空間上の適応学習率最適化アルゴリズムを一般の Riemann 多様体上に拡張することは、Riemann 多様体上の損失最小化問題を高速に解くためには大変自然な発想であると思います。 | そこで、 Adam や AMSGrad といった Euclid 空間上の適応学習率最適化アルゴリズムを一般の Riemann 多様体上に拡張することは、Riemann 多様体上の損失最小化問題を高速に解くためには大変自然な発想であると思います。 | ||
- | しかしながら、Euclid 空間上の適応学習率最適化アルゴリズムの多様体上への拡張は、一般の多様体上に共通する座標系が存在しないことが原因により、容易ではないと考えられます。 | + | しかしながら、Euclid 空間上の適応学習率最適化アルゴリズムの多様体上への拡張は、一般の多様体上に共通する座標系が存在しないことが原因となり、容易ではないと考えられます。 |
そこで、積多様体の成分を Euclid 空間における座標成分のようにみなして [[https:// | そこで、積多様体の成分を Euclid 空間における座標成分のようにみなして [[https:// | ||
しかしながら、Euclid 空間上の機械学習アルゴリズム内でも示したように、 **減少**学習率 $\alpha_t = \alpha/ | しかしながら、Euclid 空間上の機械学習アルゴリズム内でも示したように、 **減少**学習率 $\alpha_t = \alpha/ |