intro:researches:machine

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン 前のリビジョン
次のリビジョン		 前のリビジョン
次のリビジョン両方とも次のリビジョン
intro:researches:machine [2020/04/15 16:02] – [多様体上の機械学習とその既存手法] Hideaki IIDUKAintro:researches:machine [2020/12/20 12:59] – [アンサンブル学習アルゴリズム] Hideaki IIDUKA
行 38: 行 38:
 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、
 \begin{align*} \begin{align*}
-\mathbb{E}\left[f \left(\frac{1}{n}\sum_{k=1}^n x_k \right) - f^\star \right] \leq \mathcal{O}\left(\frac{1}{n}\right) + M_1 \alpha + M_2 \beta, \text{ i.e., } +\liminf_{n \to + \infty} \mathbb{E}\left[f (x_n)  - f^\star \right] 
-\limsup_{n \to + \infty} \mathbb{E}\left[f \left(\frac{1}{n}\sum_{k=1}^n x_k \right)  - f^\star \right] +
 \leq  M_1 \alpha + M_2 \beta. \leq  M_1 \alpha + M_2 \beta.
 \end{align*} \end{align*}
行 125: 行 124:
 が定義できます。$P_+, P_{\mathrm{s}}, P_{\mathrm{d}}$ は計算可能なので、写像 $Q$ も容易に計算可能です。更に、[[intro:researches:fixedpoint|不動点近似法]]の理論により、 が定義できます。$P_+, P_{\mathrm{s}}, P_{\mathrm{d}}$ は計算可能なので、写像 $Q$ も容易に計算可能です。更に、[[intro:researches:fixedpoint|不動点近似法]]の理論により、
 $Q$ は準非拡大写像となり、 $\mathrm{Fix}(Q) = X$ を示すことができます。この事実により、$Q$ を取り入れたアルゴリズムで生成される点列は $Q$ の不動点、すなわち、$X$ の点を見つけることが期待できそうです。 $Q$ は準非拡大写像となり、 $\mathrm{Fix}(Q) = X$ を示すことができます。この事実により、$Q$ を取り入れたアルゴリズムで生成される点列は $Q$ の不動点、すなわち、$X$ の点を見つけることが期待できそうです。
-  * [[:iiduka:|H. Iiduka]]: [[https://ieeexplore.ieee.org/document/8744480|Stochastic Fixed Point Optimization Algorithm for Classifier Ensemble]], IEEE Transactions on Cybernetics (accepted)  {{:iiduka:CYB-E-2018-12-2420.R1.pdf|PDF}}+  * [[:iiduka:|H. Iiduka]]: [[https://ieeexplore.ieee.org/document/8744480|Stochastic Fixed Point Optimization Algorithm for Classifier Ensemble]], IEEE Transactions on Cybernetics, Vol. 50, No. 10, pp. 4370--4380 (2020) {{:iiduka:CYB-E-2018-12-2420.R1.pdf|PDF}}
 この論文では、以下で定義される**確率的不動点最適化アルゴリズム**を提案しています。 この論文では、以下で定義される**確率的不動点最適化アルゴリズム**を提案しています。
 \begin{align*} \begin{align*}
  • intro/researches/machine.txt
  • 最終更新: 2023/06/02 13:40
  • by Naoki SATO