差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン 前のリビジョン | 最新のリビジョン両方とも次のリビジョン | ||
| intro:researches:machine [2023/05/29 18:22] – [クリティカルバッチサイズの推定] Naoki SATO | intro:researches:machine [2023/05/29 18:47] – [クリティカルバッチサイズの推定] Naoki SATO | ||
|---|---|---|---|
| 行 231: | 行 231: | ||
| \frac{\sigma_G^2}{\epsilon_G^3} \leq 788.7 | \frac{\sigma_G^2}{\epsilon_G^3} \leq 788.7 | ||
| \end{align} | \end{align} | ||
| - | とできます。これを使えば、AdaBeliefとRMSPropの推定値を計算できます。さらに、生成器のモデルにDCGAN architectureを採用している場合は、この比$\sigma_G^2 / \epsilon_G^3$を適用できるので、別のGANでDCGAN architectureを採用している場合にもこの推定式は有効です。実際、WGAN-GPでCelebAデータセットを訓練する場合にも、推定値と測定値は近くなります。 | + | とできます。これを使えば、AdaBeliefとRMSPropの推定値を計算できます。推定値は四角で、測定値は丸でマーキングしてあります。 |
| + | さらに、生成器のモデルにDCGAN architectureを採用している場合は、この比$\sigma_G^2 / \epsilon_G^3$を適用できるので、別のGANでDCGAN architectureを採用している場合にもこの推定式は有効です。実際、WGAN-GPでCelebAデータセットを訓練する場合にも、推定値と測定値は近くなります。 | ||
| + | {{ : | ||
| + | DCGANがSection4.1で、WGAN-GPがSection4.2に当たります。RMSProp以外では完全に推定に成功していることが分かります。RMSPropで推定が上手くいかない原因は、RMSPropのクリティカルバッチサイズの推定式に$\beta_1$と$\beta_2$が含まれていないことであると考えられます。 | ||
| Naoki Sato, Hideaki Iiduka: Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule, Proceedings of The 40th International Conference on Machine Learning, PMLR 202: ??–?? (2023) | Naoki Sato, Hideaki Iiduka: Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule, Proceedings of The 40th International Conference on Machine Learning, PMLR 202: ??–?? (2023) | ||