一、培訓目標

完成本培訓后，學員將能夠：

·深化理論基礎：深入理解深度學習、生成式AI等領域的數(shù)學原理和模型架構，不再停留在調包層面。

·掌握前沿架構：精通Transformer、擴散模型等核心架構的細節(jié)、變體及其應用場景。

·具備科研與工程化思維：能夠復現(xiàn)、調試、優(yōu)化甚至改進先進算法，并將其有效地應用于解決復雜、大規(guī)模問題。

·追蹤技術趨勢：建立系統(tǒng)的知識框架，以便持續(xù)自主地學習和跟蹤AI領域的最新進展。

二、目標學員

·擁有扎實機器學習基礎的數(shù)據(jù)科學家、算法工程師。

·希望深入AI研發(fā)領域的軟件工程師、研究型工程師。

·相關專業(yè)的碩士、博士研究生及高校研究人員。

三、預備知識

·熟練掌握機器學習基礎（線性模型、樹模型、神經網(wǎng)絡、梯度下降）。

·熟練掌握Python和至少一個深度學習框架（PyTorch首選/TensorFlow）。

·具備良好的數(shù)學基礎（線性代數(shù)、概率論、微積分）。

四、詳細大綱

模塊一：深度學習理論基礎深化

1.1 深度網(wǎng)絡的優(yōu)化難題與高級技巧

·優(yōu)化目標 landscape 分析：為何深度學習難以優(yōu)化？

·優(yōu)化器進階：從Adam到新銳優(yōu)化器（如Lion， Sophia）的原理與比較。

·初始化策略深度解析：Kaiming， Xavier 背后的數(shù)學原理。

·損失面分析與扁平最小值：通向泛化能力更好的解。

1.2 生成式模型的核心范式與數(shù)學基礎

·生成式模型的統(tǒng)一視角：隱變量模型與似然函數(shù)。

·變分自編碼器：重參數(shù)化技巧、ELBO的深入推導與控制生成。

·生成對抗網(wǎng)絡：博弈論視角、訓練動力學與模式崩潰的理論分析。

·標準化流：可逆變換與精確似然計算。

模塊二：Transformer架構深度解析與前沿進展

2.1 Transformer 核心機制剖析

·自注意力機制：數(shù)學表達、計算復雜度、多種注意力變體（線性注意力、池化注意力）。

·位置編碼：絕對位置編碼、相對位置編碼（如RoPE， ALiBi）的原理與比較。

·深度模型訓練技術：預歸一化、后歸一化、深層網(wǎng)絡的穩(wěn)定性分析。

2.2 Transformer 前沿變體與應用

·高效Transformer：Longformer， BigBird， Linformer 等用于處理長文本的機制。

·視覺Transformer：ViT， Swin Transformer 如何將Transformer成功應用于CV領域。

·大語言模型架構演進：Mixture-of-Experts， 狀態(tài)空間模型（如Mamba）的挑戰(zhàn)與機遇。

模塊三：生成式AI前沿：擴散模型與自回歸模型

3.1 擴散模型深度解析

·基礎原理：前向過程與反向去噪過程的數(shù)學推導。

·核心設計：噪聲調度、條件控制（Classifier-Free Guidance， T5 - 條件控制）。

·加速采樣技術：DDIM， DPM - Solver 等， 理論加速界限。

·前沿應用：視頻生成、3D生成、大語言模型擴散化。

3.2 大語言模型的高級話題

·推理與規(guī)劃：Chain-of-Thought， Tree-of-Thoughts， Graph-of-Thoughts。

·對齊技術：從RLHF到更穩(wěn)定的DPO， 及其理論背景。

·智能體：基于LLM的智能體架構、工具使用、記憶與反思。

模塊四：超越監(jiān)督學習：強化學習與自監(jiān)督學習

4.1 現(xiàn)代強化學習算法

·策略梯度方法進階：Actor - Critic框架， 近端策略優(yōu)化（PPO）的細節(jié)與實現(xiàn)。

·價值函數(shù)方法：DQN及其變體（Rainbow）， 分布式RL。

·模仿學習與逆強化學習：從專家示范中學習目標函數(shù)。

4.2 自監(jiān)督與表示學習

·對比學習：SimCLR， MoCo 等算法的核心思想與實現(xiàn)。

·掩碼學習：BERT， MAE 如何通過重建學習強大表示。

·表示學習的評估：線性探測、非線性探測等評估協(xié)議。

模塊五：專項領域算法進階（選修專題）

5.1 計算機視覺進階

·目標檢測：DETR 系列及其端到端檢測思想。

·圖像分割：SAM 模型架構與提示式分割。

·多模態(tài)模型：CLIP 的對比學習與 LLaVA 等模型的架構。

5.2 圖神經網(wǎng)絡進階

·圖Transformer與消息傳遞機制的演進。

·大規(guī)模圖學習的挑戰(zhàn)與解決方案。

模塊六：綜合研討與項目實戰(zhàn)

?