集中講義「非線形物理学特論Ⅰ」(2024)
京都大学情報学研究科の大学院生対象の講義ですが、学外の方も含めどなたでも参加して頂いて結構です。この話題に興味のある、学部学生からポスドク、教員の方まで、興味のある方は奮ってご参加下さい。
本講義は盛況のうちに終了しました。来年度も同様の講義を予定しておりますので、ご興味のある方は是非ご参加を検討して頂ければと思います。
◎講師 唐木田 亮 氏 産業技術総合研究所
◎講義日程および講義室
6月25日(火) 10:30~12:00, 13:15~16:30(2,3,4時限目)工学部総合校舎 213講義室
7月2日(火) 10:30~12:00, 13:15~16:30(2,3,4時限目)工学部総合校舎 213講義室
7月9日(火) 13:15~16:30(3,4時限目)工学部総合校舎 213講義室
参考: 京都大学吉田キャンパスのマップ(53の建物)
◎概要
機械学習から神経科学まで幅広い広がりを見せているニューラルネットワークとその学習の諸問題について、おもに統計力学と力学系に関連する理論の立場から解説する。ランダム神経回路の解析を土台として、深層学習における学習ダイナミクスの理解に向けて講義を展開していく。基本的な道具や考え方を入門的に習得することに主眼をおきつつ、近年の動向や発展的事例を含めた全体像の俯瞰を得ることまで目指す。
具体的な講義予定は以下の通りである。なお、履修者の理解度や講義の進度を考慮して、一部の内容の変更・省略あるいは順序の変更を行うことがある。
(1) ニューラルネットワークの概要 (6/25)
(2) 深層モデルの統計神経力学 (6/25) – 勾配消失/発散問題と秩序-カオス相転移, バックプロパゲーションの平均場理論
(3) 学習レジームと陰的バイアス (6/25, 7/2) – NTKレジーム, 無限幅極限の特徴学習, muP導出, 対角線形ネット模型
(4)過剰パラメータ系の典型評価 (7/2) – 二重/多重降下現象, カーネルリッジ回帰における汎化誤差のレプリカ解析, ランダム行列理論
(5) 連想記憶モデルとその周辺 (7/2, 7/9) – 現代的ホップフィールドネットワーク, 注意機構型, エネルギーベースモデルの学習法 (CD法, スコアマッチング, 平衡伝播法)
(6) 深層線形ネットの学習力学 (7/9) – 可解条件, カタパルト現象, 動的等長性
《参考》途中随時休憩を挟む予定です。
注意事項:事前登録等は不要です。変更等がありましたら、随時最新の情報を反映する予定です。なお zoom 等による配信は行いません。
講義の補足情報:webに掲載予定ですが詳細は講義中に説明します(メール経由の問い合わせには応じません)
※履修登録している学生は基本的にクラシスおよびPandAからの情報や連絡を参考にして下さい。上記はあくまで参考情報です。
問い合わせ先:青柳 富誌生 aoyagiあっとi.kyoto-u.ac.jp (あっとは @ に変更して下さい.)