intro:researches:machine

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン 前のリビジョン
次のリビジョン		 前のリビジョン
次のリビジョン両方とも次のリビジョン
intro:researches:machine [2020/06/26 17:01] – Hideaki IIDUKAintro:researches:machine [2020/12/20 12:59] – [アンサンブル学習アルゴリズム] Hideaki IIDUKA
行 38: 行 38:
 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、 $(x_n)_{n\in\mathbb{N}}$は適応学習率最適化アルゴリズムで生成される点列とし、$\alpha, \beta$ は**定数**学習率(([[https://arxiv.org/pdf/1412.6980.pdf|Adam]] や [[https://arxiv.org/pdf/1904.09237.pdf|AMSGrad]] では、$\beta = 0.9$ を利用しています。))とします。このとき、ある定数 $M_i$ ($i=1,2$) が存在して、
 \begin{align*} \begin{align*}
-\limsup_{n \to + \infty} \mathbb{E}\left[f (x_n)  - f^\star \right] +\liminf_{n \to + \infty} \mathbb{E}\left[f (x_n)  - f^\star \right] 
 \leq  M_1 \alpha + M_2 \beta. \leq  M_1 \alpha + M_2 \beta.
 \end{align*} \end{align*}
行 124: 行 124:
 が定義できます。$P_+, P_{\mathrm{s}}, P_{\mathrm{d}}$ は計算可能なので、写像 $Q$ も容易に計算可能です。更に、[[intro:researches:fixedpoint|不動点近似法]]の理論により、 が定義できます。$P_+, P_{\mathrm{s}}, P_{\mathrm{d}}$ は計算可能なので、写像 $Q$ も容易に計算可能です。更に、[[intro:researches:fixedpoint|不動点近似法]]の理論により、
 $Q$ は準非拡大写像となり、 $\mathrm{Fix}(Q) = X$ を示すことができます。この事実により、$Q$ を取り入れたアルゴリズムで生成される点列は $Q$ の不動点、すなわち、$X$ の点を見つけることが期待できそうです。 $Q$ は準非拡大写像となり、 $\mathrm{Fix}(Q) = X$ を示すことができます。この事実により、$Q$ を取り入れたアルゴリズムで生成される点列は $Q$ の不動点、すなわち、$X$ の点を見つけることが期待できそうです。
-  * [[:iiduka:|H. Iiduka]]: [[https://ieeexplore.ieee.org/document/8744480|Stochastic Fixed Point Optimization Algorithm for Classifier Ensemble]], IEEE Transactions on Cybernetics (accepted)  {{:iiduka:CYB-E-2018-12-2420.R1.pdf|PDF}}+  * [[:iiduka:|H. Iiduka]]: [[https://ieeexplore.ieee.org/document/8744480|Stochastic Fixed Point Optimization Algorithm for Classifier Ensemble]], IEEE Transactions on Cybernetics, Vol. 50, No. 10, pp. 4370--4380 (2020) {{:iiduka:CYB-E-2018-12-2420.R1.pdf|PDF}}
 この論文では、以下で定義される**確率的不動点最適化アルゴリズム**を提案しています。 この論文では、以下で定義される**確率的不動点最適化アルゴリズム**を提案しています。
 \begin{align*} \begin{align*}
  • intro/researches/machine.txt
  • 最終更新: 2023/06/02 13:40
  • by Naoki SATO