差分

このページの2つのバージョン間の差分を表示します。

--- intro:publications [2024/03/20 13:54] – [賞罰] Hideaki IIDUKA
+++ intro:publications [2025/06/11 21:25] (現在) – Naoki SATO
@@ 行 3: / 行 3: @@
   - [[https://arxiv.org/search/?searchtype=author&query=Iiduka%2C+H|プレプリント]] (arXiv.org Search Results)
-===== 2024年 =====
+===== 2025年 =====
+==== 著書 ====
+==== レフェリー付き原著論文 ====
+  - [[https://scholar.google.com/citations?user=hdDU4Z4AAAAJ&hl=ja|Kento Imaizumi]], [[..:iiduka:|Hideaki Iiduka]]: **[[https://doi.org/10.1080/02331934.2024.2367635|Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates]]**, [[https://www.tandfonline.com/journals/gopt20|Optimization]]: Special Issue dedicated to Dr. Alexander J. Zaslavski on the occasion of his 65th birthday ?? (?):?? --?? (2025) [[https://www.tandfonline.com/doi/epdf/10.1080/02331934.2024.2367635?needAccess=true|Open Access]]
+  - [[https://github.com/tsukaoyuki|Yuki Tsukada]], [[..:iiduka:|Hideaki Iiduka]]: **[[https://openreview.net/forum?id=pqZ6nOm3WF|Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo-Line-Search Learning Rate]]**, [[https://jmlr.org/tmlr/|Transactions on Machine Learning Research]] (2025) [[https://openreview.net/pdf?id=pqZ6nOm3WF|Open Access]]
+  - [[https://scholar.google.com/citations?hl=ja&user=s9l7NM8AAAAJ|Hikaru Umeda]], [[..:iiduka:|Hideaki Iiduka]]: **[[https://openreview.net/forum?id=sbmp55k6iE|Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent]]**, [[https://jmlr.org/tmlr/|Transactions on Machine Learning Research]] (2025) [[https://openreview.net/pdf?id=sbmp55k6iE|Open Access]]
+  - [[https://scholar.google.co.jp/citations?user=RXrwOgoAAAAJ&hl=ja|Hiroyuki Sakai]], [[..:iiduka:|Hideaki Iiduka]]: **[[https://openreview.net/forum?id=knv4lQFVoE|A General Framework of Riemannian Adaptive Optimization Methods with a Convergence Analysis]]**, [[https://jmlr.org/tmlr/|Transactions on Machine Learning Research]] (2025) [[https://openreview.net/pdf?id=knv4lQFVoE|Open Access]]
+==== 紀要・講究録 ====
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|Naoki Sato]], [[..:iiduka:|Hideaki Iiduka]]: **[[https://ojs.aaai.org/index.php/AAAI/article/view/34234|Explicit and Implicit Graduated Optimization in Deep Neural Networks]]**, [[https://aaai.org/proceeding/aaai-39-2025/|Proceedings of the AAAI Conference on Artificial Intelligence]], 39 (19), 20283--20291 (2025)
 ==== 賞罰 ====
-  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]]: **確率的勾配降下法の平滑化効果を利用した段階的最適化手法によるディープニューラルネットワークの大域的最適化**, [[https://orsj.org/nc2024s/student_award|日本オペレーションズ・リサーチ学会 2024年春季研究発表会 学生優秀発表賞]] (2024年3月19日)
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]]: [[https://www.google.com/about/careers/applications/buildyourfuture/scholarships/google-conference-scholarships?ohl=default&hl=en_US|Google Conference Scholarship]], **$1500** (AAAI-25への渡航費として) (2025年2月25日)
+==== 修士学位請求論文 ====
+  - 佐藤 尚樹: **Implicit Graduated Optimization with Noise in Stochastic Gradient Descent**
+  - 塚田 裕樹: **Convergence Analysis of Mini-batch Stochastic Gradient Descent Using Armijo Line Search for Nonconvex Optimization**
+==== 卒業論文 ====
+  - 梅田 泰希: **線形およびコサインアニーリング学習率を用いた確率的勾配降下法の収束解析**
+  - 北林 功大: **Polyak ステップサイズを利用した凸最適化のための勾配降下法の収束率**
+  - 小山 奏良: **Gradient Descent with Wolfe Line Search Step-sizes to Train Deep Neural Networks using Poisoned Dataset**
+  - 原田 陽向: **増加バッチサイズと減衰学習率を用いた損失関数の形状の鋭さを考慮した最適化手法の収束解析**
+  - 和田 幸志郎: **フィルタリングを利用したカーネマン=トヴェルスキー最適化**
+  - 右近 寛夢: **オンライン学習に基づくヘッセ行列近似を用いた準ニュートン法**
+  - 松本 陸矢: **凸および非凸最適化のための適応的学習率を伴うモーメンタム法の大域的収束性**
+  - 丸山 英希: **定数および減少ステップサイズを利用した確率的勾配降下法の収束性および勾配降下法との比較**
+==== 講演・口頭発表等（国内） ====
+  - [[https://scholar.google.com/citations?hl=ja&user=s9l7NM8AAAAJ|梅田 光瑠]], [[..:iiduka:|飯塚 秀明]]: **バッチサイズと学習率の同時増加による確率的勾配降下法の高速化**, 日本オペレーションズ・リサーチ学会 2025年春季研究発表会, 成蹊大学 (2025年3月6日)
+  - 大和田 佳生, [[..:iiduka:|飯塚 秀明]]: **Riemann多様体上の確率的勾配降下法のバッチサイズと学習率について**, 日本オペレーションズ・リサーチ学会 2025年春季研究発表会, 成蹊大学 (2025年3月6日)
+  - [[https://scholar.google.com/citations?user=hdDU4Z4AAAAJ&hl=ja|今泉 賢人]], [[..:iiduka:|飯塚 秀明]]: **非凸最適化における増加バッチサイズと増加または減少慣性係数を使用したモーメンタム法の収束解析**, 日本オペレーションズ・リサーチ学会 2025年春季研究発表会, 成蹊大学 (2025年3月6日)
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]], [[..:iiduka:|飯塚 秀明]]: **制約付き非凸最適化問題のための確率的Frank-Wolfe法とその敵対的攻撃への応用**, 日本オペレーションズ・リサーチ学会 2025年春季研究発表会, 成蹊大学 (2025年3月6日)
+==== 講演・口頭発表等（国外） ====
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|Naoki Sato]], [[..:iiduka:|Hideaki Iiduka]]: **Explicit and Implicit Graduated Optimization in Deep Neural Networks**, [[https://aaai.org/conference/aaai/aaai-25/|The 39th Annual AAAI Conference on Artificial Intelligence (AAAI-25)]], Pennsylvania Convention Center, Philadelphia, Pennsylvania, USA (Feb. 27 -- Mar. 4, 2025)
+===== 2024年 =====
 ==== 著書 ====
+  -  [[..:iiduka:|飯塚 秀明]]: **[[https://www.coronasha.co.jp/np/isbn/9784339061321/|機械学習のための数学]]**, [[https://www.coronasha.co.jp/|コロナ社]] (2024)
 ==== レフェリー付き原著論文 ====
-  - [[https://scholar.google.co.jp/citations?user=RXrwOgoAAAAJ&hl=ja|Hiroyuki Sakai]], [[..:iiduka:|Hideaki Iiduka]]: **[[http://manu71.magtech.com.cn/Jwk3_pjo/EN/10.61208/pjo-2024-005|Convergence of Riemannian Stochastic Gradient Descent on Hadamard Manifold]]**, [[http://manu71.magtech.com.cn/Jwk3_pjo/EN/home|Pacific Journal of Optimization]]: Special issue: Dedicated to Prof. Masao Fukushima on the occasion of his 75th birthday ?? (?): ??--?? (2024)
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|Naoki Sato]], Koshiro Izumi, [[..:iiduka:|Hideaki Iiduka]]: **[[https://jmlr.org/papers/v25/22-0815.html|Scaled Conjugate
+Gradient Method for Nonconvex Optimization in Deep Neural Networks]]**, [[https://www.jmlr.org/|Journal of Machine Learning Research]] 25 (395): 1-37 (2024) [[https://jmlr.org/papers/volume25/22-0815/22-0815.pdf|Open Access]]
+  - [[https://scholar.google.co.jp/citations?user=RXrwOgoAAAAJ&hl=ja|Hiroyuki Sakai]], [[..:iiduka:|Hideaki Iiduka]]: **[[http://manu71.magtech.com.cn/Jwk3_pjo/EN/10.61208/pjo-2024-005|Convergence of Riemannian Stochastic Gradient Descent on Hadamard Manifold]]**, [[http://manu71.magtech.com.cn/Jwk3_pjo/EN/home|Pacific Journal of Optimization]]: Special issue: Dedicated to Prof. Masao Fukushima on the occasion of his 75th birthday 20 (4): 743--767 (2024) [[http://www.yokohamapublishers.jp/online-p/PJO/vol20/pjov20n4p743.pdf|Open Access]]
+  - [[https://scholar.google.co.jp/citations?user=RXrwOgoAAAAJ&hl=ja|Hiroyuki Sakai]], [[..:iiduka:|Hideaki Iiduka]]: **[[https://link.springer.com/article/10.1007/s10957-024-02449-8?utm_source=rct_congratemailt&utm_medium=email&utm_campaign=oa_20240529&utm_content=10.1007%2Fs10957-024-02449-8|Modified Memoryless Spectral-scaling Broyden Family on Riemannian Manifolds]]**, [[https://link.springer.com/journal/10957|Journal of Optimization Theory and Applications]] 202: 834--853 (2024) [[https://link.springer.com/article/10.1007/s10957-024-02449-8?utm_source=rct_congratemailt&utm_medium=email&utm_campaign=oa_20240529&utm_content=10.1007%2Fs10957-024-02449-8|Open Access]]
   - [[..:iiduka:|Hideaki Iiduka]]: **[[https://link.springer.com/article/10.1007/s11075-023-01575-0|Theoretical Analysis of Adam using Hyperparameters Close to One without Lipschitz Smoothness]]**, [[https://www.springer.com/journal/11075|Numerical Algorithms]] 95: 383--421 (2024) {{:iiduka:iiduka2023.pdf|PDF}} [[https://rdcu.be/df4ce|Springer Nature SharedIt]]
-==== 紀要・講究録 ====
+==== 賞罰 ====
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]]: **連続最適化アルゴリズムの探索方向ノイズと深層学習モデルの汎化性能の関係**, [[https://www.tome.jp/business/kenshouronbun_hyoushou.html|第5回とめ研究所若手研究者懸賞論文]] 優秀賞 (賞金10万円) (2024年11月1日)
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]]: **確率的勾配降下法の平滑化効果を利用した段階的最適化手法によるディープニューラルネットワークの大域的最適化**, [[https://orsj.org/nc2024s/student_award|日本オペレーションズ・リサーチ学会 2024年春季研究発表会 学生優秀発表賞]] (2024年3月19日)
 ==== 修士学位請求論文 ====
   - 吉村 遥河: **深層学習のための直線探索法を用いた確率的勾配降下法の収束解析**
@@ 行 27: / 行 73: @@
   - 道法 咲瑛: **確率的弱凸最適化におけるモーメンタム項付きミニバッチ近接点法**
   - 日永 凜太朗: **非凸最適化における弱い仮定での定数および減少ステップサイズを用いた確率的勾配降下法の解析と比較**
+==== 機関誌 ====
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]], [[:iiduka:|飯塚 秀明]]: **[[https://orsj.org/wp-content/corsj/or69-9/or69_9_485.pdf|確率的勾配降下法の平滑化効果を利用した段階的最適化手法によるDNNの大域的最適化]]**, オペレーションズ・リサーチ 経営の科学-特集 学生によるOR研究最前線, vol.69, no.9, pp.485--492, 2024 {{:iiduka:or69_9_485.pdf|PDF}}
 ==== 講演・口頭発表等 ====
-  - [[https://scholar.google.co.jp/citations?user=RXrwOgoAAAAJ&hl=ja|酒井 裕行]], [[..:iiduka:|飯塚 秀明]]: **Riemann 多様体上の memoryless spectral-scaling Broyden 公式族の改良およびより一般の写像を用いた拡張**, 日本オペレーションズ・リサーチ学会 2024年春季研究発表会, 筑波大学 筑波キャンパス 春日エリア (2024年3月7日)
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]], [[..:iiduka:|飯塚 秀明]]: **SGDの確率的ノイズを利用した段階的最適化手法による経験損失関数の大域的最適化**, 電子情報通信学会 情報論的学習理論と機械学習 (IBISML) 研究会 (第55回), 北海道大学大学院環境科学院棟講義室1 (2024年12月21日)
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]], [[..:iiduka:|飯塚 秀明]]: **確率的勾配降下法の平滑化効果を利用した段階的最適化アルゴリズムによる経験損失最小化問題のための大域的最適化**, 第27回情報論的学習理論ワークショップ(IBIS2024), ソニックシティ(さいたま) (2024年11月5日)
+  - [[https://scholar.google.co.jp/citations?user=RXrwOgoAAAAJ&hl=ja|酒井 裕行]], [[..:iiduka:|飯塚 秀明]]: **リーマン多様体上の最適化アルゴリズムの固有値問題への応用**, 日本応用数理学会2024年度年会「行列・固有値問題の解法とその応用」 研究部会OS, 京都大学 (2024年9月14日)
+  - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]], [[..:iiduka:|飯塚 秀明]]: **目的関数の平滑化とディープニューラルネットワークの汎化性能におけるモーメンタム法の慣性項の役割**, 日本オペレーションズ・リサーチ学会 2024年秋季研究発表会, 南山大学 (2024年9月11日)
+  - [[https://scholar.google.co.jp/citations?user=RXrwOgoAAAAJ&hl=ja|酒井 裕行]], [[..:iiduka:|飯塚 秀明]]: **Riemann多様体上のmemoryless spectral-scaling Broyden公式族の改良およびより一般の写像を用いた拡張**, 日本オペレーションズ・リサーチ学会 2024年春季研究発表会, 筑波大学 筑波キャンパス 春日エリア (2024年3月7日)
   - [[https://scholar.google.co.jp/citations?user=rNbGTIgAAAAJ&hl=ja|佐藤 尚樹]], [[..:iiduka:|飯塚 秀明]]: **確率的勾配降下法の平滑化効果を利用した段階的最適化手法によるディープニューラルネットワークの大域的最適化**, 日本オペレーションズ・リサーチ学会 2024年春季研究発表会, 筑波大学 筑波キャンパス 春日エリア (2024年3月7日)