[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-99":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=PPoBgu7QbKO%2B8J1uZA6NYzNftJM%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Tdn1aV9gvPHllFof%2FqUZvyavFPg%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=H4VCcV8qWm9Z2F5ZRtePaLur0Rg%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":125},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":117,"canonicalPath":118,"id":119,"contentType":120,"prevArticle":121},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_fm.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=21ybMCgqSNL12xHuD0SY5o1gPW0%3D","强化学习,PPO,DeepSeek,MoE,稀疏注意力","2026 夏季 InfiniTensor 训练营《强化学习基础与 DeepSeek 训练介绍》系统讲解强化学习核心理论与经典算法，涵盖马尔可夫决策过程、Q-Learning、DQN、策略梯度、Actor-Critic 及 PPO 等关键知识点。同时深入解析 DeepSeek V3 至 V4 的架构演进，包括 MoE、MLA、DSA、CSA\u002FHCA 等设计及其在百万级长上下文场景下的优化思路。","2026-10-22 20:38:11",2,"2026 夏季 InfiniTensor 训练营训练系统 5：《强化学习基础与 DeepSeek 训练介绍》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw01.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iMle2kxbSCeaCKNW2aLfgkK5fbk%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">8 月 10 日，2026 夏季 InfiniTensor 训练营训练系统方向第五课《强化学习基础与 DeepSeek 训练介绍》开讲。\r\n前置课程《训练框架编程基础》讲解了 PyTorch Tensor、动态自动求导 autograd、网络模块、优化器与标准训练循环等内容；并介绍了 checkpoint、混合精度、梯度累积等工程工具以及 Megatron-LM 大模型框架。\u003C\u002Fspan>\r\n\r\n本节课将讲解强化学习核心理论与经典算法，涵盖马尔可夫决策过程、Q-Learning、DQN、策略梯度、Actor-Critic及 PPO 等关键知识点，同时介绍 DeepSeek V3 至 V4 的架构演进。\r\n\r\n## 强化学习基础\r\n### 强化学习概述\r\n#### 1. 强化学习特点及应用场景\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw02.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=QQI4IREgLqPFNSliCBDqVwd93qE%3D)\r\n\r\n#### 2. 核心定义\r\n- 强化学习是一种让机器通过与环境之间的不断交互，来学习如何实现目标的计算方法。\r\n- 不给机器提供标准答案，而是让它像一个探索者一样，在尝试中学习哪些行为带来好的结果、哪些导致惩罚，从而逐步学会做出更优决策。\r\n\r\n#### 3. 强化学习要素\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw03.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Myr05cbVVZeJo26nQhAAFee%2F8iY%3D)\r\n\r\n**交互闭环：**\r\n- 智能体观察状态 → 选择动作 → 动作作用于环境 → 环境返回新状态 + 即时奖励 → 循环\r\n\r\n\r\n\r\n### 马尔可夫过程\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw04.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tFuNs6rJLduUERQ%2FkbUdQl%2BtO%2Bc%3D)\r\n\r\n#### 1. 马尔可夫性质\r\n- **定义**：当且仅当某一时刻的状态只取决于上一时刻的状态时，该随机过程具有马尔可夫性质\r\n- **含义**：当前状态是未来的充分统计量，下一个状态只取决于当前状态，不受过去状态影响\r\n- **链式传递**：T+1 时刻状态只与 T 时刻有关，但 T 时刻状态实际包含了所有 T-1 时刻的信息\r\n- **优势**：大大简化运算，只需当前状态即可决定未来\r\n\r\n#### 2. 马尔可夫过程的描述\r\n- **S**：有限数量的状态集合\r\n- **P**：状态转移矩阵（第 i 行第 j 列代表从 Sᵢ 转移到 Sⱼ 的概率）\r\n- 从每个状态出发，转移到其他状态的概率总和为 1\r\n- **终止状态**：没有概率转移到其他状态（以概率 1 转移到自身）\r\n\r\n#### 3. 采样\r\n- 给定马尔可夫过程，从某一状态出发，根据状态转移矩阵生成状态序列\r\n\r\n### 马尔可夫奖励过程\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw05.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kR9kPWAh2CgugJwSFcD8HVLc%2BUY%3D)\r\n\r\n#### 1. MRP 的四元组定义：(S, P, R, γ)\r\n- **S**：有限状态集合\r\n- **P**：状态转移概率矩阵\r\n- **R**：奖励函数——处于状态 S 时获得即时奖励的期望值\r\n- **γ** ：折扣因子（取值范围 [0, 1]），用于计算未来奖励的现值\r\n\r\n#### 2. 折扣因子 γ 的三大作用\r\n- **风险控制**：越遥远的未来不确定性越大，对未来奖励打折是合理的风险控制\r\n- **时间偏好**：反映\"宁愿现在拿 100 元也不愿一年后拿 110 元\"的现实偏好\r\n- **数学必要性**：防止无限持续过程的累积奖励发散至无穷，保证回报总和有界\r\n\r\n#### 3. 回报 Gₜ\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw06.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SvjA3nVTaoot71idDejxoluHPwM%3D)\r\n\r\n- 从时间 T 开始，所有未来奖励按折扣因子 γ 衰减后的累加总和\r\n- γ → 0：智能体更关注眼前利益\r\n- γ → 1：智能体更重视长期回报\r\n\r\n#### 4. 价值函数 V(s)\r\n- **定义**：从状态 S 出发所能获得的期望回报，反映处于该状态有多好\r\n- **贝尔曼方程 (Bellman Equation)**：\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw07.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ebuzIJIe44cdAt%2BI3gLslJNVj4A%3D)\r\n\r\n#### 5. 价值函数的求解\r\n- **解析解**：整理为线性方程组，可直接算出每个状态的准确价值\r\n- **迭代算法**（适用于大规模 MRP）：\r\n  - 动态规划\r\n  - 时序差分学习\r\n\r\n### 马尔可夫决策过程\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw08.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=f5iOl3%2BVjwdGuROJWNGehW%2FvfKw%3D)\r\n\r\n#### 1.MDP 的五元组定义：(S, A, P, R, γ)\r\n- 在 MRP 基础上加入 **A（动作集合）**\r\n- 状态转移函数和奖励函数都多了**动作**作为自变量\r\n- 存在智能体来执行动作，是一个与时间相关的、智能体与环境不断交互的循环过程\r\n\r\n#### 2. 策略 (Policy) π\r\n- π(a|s)：在状态 S 下采取动作 A 的概率\r\n- **确定性策略**：每个状态只输出一个确定动作（概率为 1）\r\n- **随机性策略**：输出动作的概率分布，根据分布采样得到动作\r\n- 由于马尔可夫性质，策略只需与当前状态有关\r\n\r\n#### 3. 状态价值函数 与 动作价值函数\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw09.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=yDJq6laH4wbHpapCmjtBFokYWII%3D)\r\n\r\n#### 4. 最优策略 (Optimal Policy)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw10.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zpmiPHfSdBqx4NXBPvDlX242A70%3D)\r\n\r\n-  **策略优劣比较**：对所有状态 s，若 V^π*(s) ≥ V^π(s)，则 π* 不差于 π\r\n- 有限状态、有限动作的 MDP 中至少存在一个最优策略\r\n- 最优策略可能有多个，但**最优价值函数唯一**\r\n- **贝尔曼最优方程**：最优价值函数可用自身递归表示 —— 状态价值 = 当前奖励 + 折扣后的未来最优价值\r\n\r\n## 经典强化学习算法\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw11.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5mHNs1JB17QLvwBYLeO4zGgkPEs%3D)\r\n\r\n### Q-Learning\r\n#### 1. 核心思想\r\n- 维护一张 **Q 表 (Q-Table)**，Q(s, a) 表示在状态 S 下执行动作 A 长期来看能获得多少回报\r\n- 不需要提前建立环境模型（Model-Free），通过与环境交互不断修正 Q 值\r\n\r\n#### 2. 更新机制\r\n1. **计算 Target Q 值**：即时奖励 R + γ × max Q(s', a')\r\n2. **计算 TD Error（时序差分误差）**：Target - 当前 Q 值，反映之前估计是偏高还是偏低\r\n3. **更新 Q 值**：Q(s,a) ← Q(s,a) + α × TD Error（α 为学习率，控制每次调整幅度）\r\n\r\n#### 3. 完整学习流程\r\n- 初始化 Q 表 → 观察状态 S → 选择动作 A → 执行 A → 获得奖励 R + 新状态 S'\r\n→ 计算 Target → 更新 Q(s,a) → S' 作为新状态 → 重复\r\n\r\n- 经过大量交互后，在每个状态下选择 Q 值最大的动作即为最优策略\r\n\r\n### DQN 算法 (Deep Q-Network)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw12.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=P5JyHft6VY1LIq2v1yI2Pd71mrc%3D)\r\n\r\n#### 1. 从 Q 表到神经网络\r\n- **Q 表的局限**：状态\u002F动作空间大或连续时无法枚举（如游戏画面的每个像素变化）\r\n- **DQN 核心思想**：用神经网络近似 Q 函数，输入当前状态，输出各动作对应的 Q 值向量\r\n\r\n#### 2. 目标网络 (Target Network)\r\n- **问题**：TD 目标依赖 Q 网络自身输出，直接用同一网络会导致训练目标频繁变动、训练不稳定\r\n- **解决方案**：使用两套网络\r\n  - **主网络**：用于预测 Q 值并持续更新\r\n  - **目标网络**：用于计算 Target Q 值，参数暂时固定，定期同步\r\n\r\n#### 3. 应用实例：Flappy Bird\r\n- 使用 PyTorch 实现\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw13.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=pTTessiI6pGWqdx2oa7CnuU74Sc%3D)\r\n\r\n### 基于策略的方法——策略梯度\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw14.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iAZBc9dSIrZfrBSR%2FgVw6roC1XY%3D)\r\n\r\n**1. 参数化策略**：策略表示为带参数 θ 的函数，输入状态，输出各动作概率\r\n**2. 轨迹 (Trajectory) τ**：从初始状态开始，经历一系列状态和动作形成的序列\r\n**3. 轨迹概率**：由初始状态分布、策略选择的动作、环境状态转移三部分决定\r\n**4. 优化目标**：调整参数 θ，使模型更容易生成高回报的轨迹\r\n**5. 核心思想**：不学习 Q 值再决定动作，而是直接参数化策略，通过优化 θ 提高高回报轨迹出现的概率\r\n\r\n### Actor-Critic（演员-评论家算法）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw15.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2F0pdGcTK2XuDVP7T8X1wpcoArf0%3D)\r\n\r\n#### 1. 整体框架\r\n- 本质仍属于基于策略的方法，但同时学习策略函数和价值函数\r\n- **Actor（演员）**：做决策、选动作、输出策略 π_θ\r\n- **Critic（评论家）**：评价决策好不好，学习状态价值函数 V(s)\r\n\r\n#### 2. 优势函数\r\n- **定义**：A(s, a) = Q(s, a) - V(s)\r\n- 衡量在当前状态下选择某个动作相比平均表现好多少\r\n  - A > 0：该动作优于平均水平 → 提高选择概率\r\n  - A \u003C 0：该动作低于平均水平 → 降低选择概率\r\n\r\n#### 3. 用 TD Error 近似优势函数\r\n- 实际中无法直接计算准确的 Q 值，用 **TD Error** 近似\r\n- TD Error = 用于衡量实际获得结果与 Critic 当前估计之间的差异\r\n  - TD Error > 0：实际结果比预期好\r\n  - TD Error \u003C 0：实际结果比预期差\r\n- **双重作用**：\r\n  1. Critic 利用 TD Error 修正价值估计\r\n  2. 作为 Actor 更新策略的优势信号\r\n\r\n### PPO（近端策略优化）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw16.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=gV%2FQYni78WftEkQ0x9WflqiKV98%3D)\r\n\r\n#### 1.核心思想：\r\n- 结合**优势函数**（告诉策略往哪个方向更新）和**裁剪机制**（限制更新幅度）\r\n- 通过多次小幅度稳定更新，逐步提升策略性能\r\n\r\n#### 2. 在大语言模型训练中的应用\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw17.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=auN71JLEgzeQMQGl0EXgvGVPKU8%3D)\r\n\r\n\r\n#### 3. 优化阶段的两大约束机制\r\n- **参考模型 (Reference Model)**：通常为冻结的 SFT 模型，用于约束当前策略模型不要偏离原始语言能力，通过 KL 散度控制策略变化幅\r\n- **KL 散度约束**：衡量当前模型与参考模型的差别，差别太大则减少更新幅度\r\n   - 目的：让模型进步，但不能一次变化太多\r\n\r\n## DeepSeek 架构演进\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw18.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=opP1KBZGEl9hw0e16a68dQSZpmM%3D)\r\n\r\n### DeepSeek V3\r\n#### 1. MoE（混合专家模型）\r\n- **超大规模参数 + 稀疏激活**\r\n- 总参数量 **671B**，每个 token 仅激活 **37B** 参数\r\n- 在保持超大模型容量的同时控制单 token 的实际计算成本\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw19.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2FFBWPbRfDUFIdfskxKa6R5WBmW0%3D)\r\n\r\n#### 2. MLA（多头潜在注意力）\r\n- 将 Key 和 Value 压缩到更低维的潜在表示再存入 KV Cache\r\n- 使用时通过投影恢复\r\n- **核心作用**：显著降低推理过程中 KV Cache 的显存占用\r\n\r\n### DeepSeek R1\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw20.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=X50IgWwyAA2DTX2wDVn6ScgvndY%3D)\r\n\r\n- 对于数学、代码等具有明确验证标准的任务，可以通过规则获得可验证奖励，从而减少对人工评分的依赖\r\n- 与强化学习理论的对应：模型生成推理过程和答案 → 环境给出可验证奖励 → 强化学习调整策略\r\n\r\n### DeepSeek V3.2\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw21.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7JGiABwcIsp9b%2Fl53epj3TIz7H4%3D)\r\n\r\n#### 1. DSA（稀疏注意力 - DeepSeek Sparse Attention）\r\n\r\n**（1）背景问题**：\r\n- 常规 Attention 中当前 token 关注所有历史 token，计算复杂度关于序列长度呈平方增长\r\n- 序列越长，计算和显存成本飞速增长，KV Cache 压力巨大\r\n\r\n**（2）经典方法——滑动窗口注意力**：\r\n- 当前 token 只关注最近 W 个 token，复杂度降至 O(L×W)\r\n- 局限：仅按位置固定选择，不知道哪些历史信息真正重要\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw22.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=24%2Bf7tD6aeBk%2Bp28tz3x3xlgmIc%3D)\r\n\r\n**（3）DSA 的创新**：\r\n- 与滑动窗口的区别：根据**内容相关性动态选择**（而非按位置固定选择）\r\n- **两大组件**：\r\n  1. **Lightning Indexer（索引器）**：根据当前 Query 和历史 Token 的表示计算相关性分数\r\n  2. **Token Selector（选择器）**：根据分数挑选相关 Token，仅在选中的 Token 上执行 Attention 计算\r\n- 若选中 K 个历史 Token（K ≪ L），复杂度降至 O(L×K)\r\n- **核心思想**：让模型学习哪些历史 Token 相关度最高、最值得计算\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw23.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=O485wsxnSV5CTjm3lOn99wd%2F9V8%3D)\r\n\r\n\r\n### DeepSeek V4\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw24.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=jrtNxCbyjkvjO6XtE03xcPaT8ac%3D)\r\n\r\n\r\n- 面向**百万级长上下文**的整体计算和存储效率\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=07ovyfEz93I1Glk%2BjPdOxVw3ra4%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=yQQCxNoB64Iue0OdGDsKbeJjW00%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-98","study-98","2026 夏季 InfiniTensor 训练营 CUDA 编程 9：《量化与工业级算子调优部署》",11,"\u002Fstudy-material\u002Fstudy-99","study-99","markdown",{"publishTime":7,"createTime":109,"canonicalPath":122,"id":123,"title":124},"\u002Fstudy-material\u002Fstudy-100","study-100","2026 夏季 InfiniTensor 训练营 AI 编程与智能体应用 9：《麒麟 Agent 运行时系统和智算软件栈优化方法》",{"htmlContent":126,"headings":127},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw01.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iMle2kxbSCeaCKNW2aLfgkK5fbk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cspan style=\"font-size:12px;color:#555;\">8 月 10 日，2026 夏季 InfiniTensor 训练营训练系统方向第五课《强化学习基础与 DeepSeek 训练介绍》开讲。\u003Cbr>前置课程《训练框架编程基础》讲解了 PyTorch Tensor、动态自动求导 autograd、网络模块、优化器与标准训练循环等内容；并介绍了 checkpoint、混合精度、梯度累积等工程工具以及 Megatron-LM 大模型框架。\u003C\u002Fspan>\u003C\u002Fp>\n\u003Cp>本节课将讲解强化学习核心理论与经典算法，涵盖马尔可夫决策过程、Q-Learning、DQN、策略梯度、Actor-Critic及 PPO 等关键知识点，同时介绍 DeepSeek V3 至 V4 的架构演进。\u003C\u002Fp>\n\u003Ch2 id=\"强化学习基础\">\u003Ca class=\"anchor\" href=\"#强化学习基础\" aria-label=\"跳转到标题：强化学习基础\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>强化学习基础\u003C\u002Fh2>\u003Ch3 id=\"强化学习概述\">\u003Ca class=\"anchor\" href=\"#强化学习概述\" aria-label=\"跳转到标题：强化学习概述\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>强化学习概述\u003C\u002Fh3>\u003Ch4 id=\"1-强化学习特点及应用场景\">\u003Ca class=\"anchor\" href=\"#1-强化学习特点及应用场景\" aria-label=\"跳转到标题：1. 强化学习特点及应用场景\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 强化学习特点及应用场景\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw02.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=QQI4IREgLqPFNSliCBDqVwd93qE%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-核心定义\">\u003Ca class=\"anchor\" href=\"#2-核心定义\" aria-label=\"跳转到标题：2. 核心定义\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 核心定义\u003C\u002Fh4>\u003Cul>\n\u003Cli>强化学习是一种让机器通过与环境之间的不断交互，来学习如何实现目标的计算方法。\u003C\u002Fli>\n\u003Cli>不给机器提供标准答案，而是让它像一个探索者一样，在尝试中学习哪些行为带来好的结果、哪些导致惩罚，从而逐步学会做出更优决策。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-强化学习要素\">\u003Ca class=\"anchor\" href=\"#3-强化学习要素\" aria-label=\"跳转到标题：3. 强化学习要素\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 强化学习要素\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw03.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Myr05cbVVZeJo26nQhAAFee%2F8iY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cstrong>交互闭环：\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cul>\n\u003Cli>智能体观察状态 → 选择动作 → 动作作用于环境 → 环境返回新状态 + 即时奖励 → 循环\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"马尔可夫过程\">\u003Ca class=\"anchor\" href=\"#马尔可夫过程\" aria-label=\"跳转到标题：马尔可夫过程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>马尔可夫过程\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw04.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tFuNs6rJLduUERQ%2FkbUdQl%2BtO%2Bc%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"1-马尔可夫性质\">\u003Ca class=\"anchor\" href=\"#1-马尔可夫性质\" aria-label=\"跳转到标题：1. 马尔可夫性质\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 马尔可夫性质\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>定义\u003C\u002Fstrong>：当且仅当某一时刻的状态只取决于上一时刻的状态时，该随机过程具有马尔可夫性质\u003C\u002Fli>\n\u003Cli>\u003Cstrong>含义\u003C\u002Fstrong>：当前状态是未来的充分统计量，下一个状态只取决于当前状态，不受过去状态影响\u003C\u002Fli>\n\u003Cli>\u003Cstrong>链式传递\u003C\u002Fstrong>：T+1 时刻状态只与 T 时刻有关，但 T 时刻状态实际包含了所有 T-1 时刻的信息\u003C\u002Fli>\n\u003Cli>\u003Cstrong>优势\u003C\u002Fstrong>：大大简化运算，只需当前状态即可决定未来\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-马尔可夫过程的描述\">\u003Ca class=\"anchor\" href=\"#2-马尔可夫过程的描述\" aria-label=\"跳转到标题：2. 马尔可夫过程的描述\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 马尔可夫过程的描述\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>S\u003C\u002Fstrong>：有限数量的状态集合\u003C\u002Fli>\n\u003Cli>\u003Cstrong>P\u003C\u002Fstrong>：状态转移矩阵（第 i 行第 j 列代表从 Sᵢ 转移到 Sⱼ 的概率）\u003C\u002Fli>\n\u003Cli>从每个状态出发，转移到其他状态的概率总和为 1\u003C\u002Fli>\n\u003Cli>\u003Cstrong>终止状态\u003C\u002Fstrong>：没有概率转移到其他状态（以概率 1 转移到自身）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-采样\">\u003Ca class=\"anchor\" href=\"#3-采样\" aria-label=\"跳转到标题：3. 采样\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 采样\u003C\u002Fh4>\u003Cul>\n\u003Cli>给定马尔可夫过程，从某一状态出发，根据状态转移矩阵生成状态序列\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"马尔可夫奖励过程\">\u003Ca class=\"anchor\" href=\"#马尔可夫奖励过程\" aria-label=\"跳转到标题：马尔可夫奖励过程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>马尔可夫奖励过程\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw05.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kR9kPWAh2CgugJwSFcD8HVLc%2BUY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"1-mrp-的四元组定义-s-p-r\">\u003Ca class=\"anchor\" href=\"#1-mrp-的四元组定义-s-p-r\" aria-label=\"跳转到标题：1. MRP 的四元组定义：(S, P, R, γ)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. MRP 的四元组定义：(S, P, R, γ)\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>S\u003C\u002Fstrong>：有限状态集合\u003C\u002Fli>\n\u003Cli>\u003Cstrong>P\u003C\u002Fstrong>：状态转移概率矩阵\u003C\u002Fli>\n\u003Cli>\u003Cstrong>R\u003C\u002Fstrong>：奖励函数——处于状态 S 时获得即时奖励的期望值\u003C\u002Fli>\n\u003Cli>\u003Cstrong>γ\u003C\u002Fstrong> ：折扣因子（取值范围 [0, 1]），用于计算未来奖励的现值\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-折扣因子-的三大作用\">\u003Ca class=\"anchor\" href=\"#2-折扣因子-的三大作用\" aria-label=\"跳转到标题：2. 折扣因子 γ 的三大作用\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 折扣因子 γ 的三大作用\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>风险控制\u003C\u002Fstrong>：越遥远的未来不确定性越大，对未来奖励打折是合理的风险控制\u003C\u002Fli>\n\u003Cli>\u003Cstrong>时间偏好\u003C\u002Fstrong>：反映"宁愿现在拿 100 元也不愿一年后拿 110 元"的现实偏好\u003C\u002Fli>\n\u003Cli>\u003Cstrong>数学必要性\u003C\u002Fstrong>：防止无限持续过程的累积奖励发散至无穷，保证回报总和有界\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-回报-g\">\u003Ca class=\"anchor\" href=\"#3-回报-g\" aria-label=\"跳转到标题：3. 回报 Gₜ\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 回报 Gₜ\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw06.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SvjA3nVTaoot71idDejxoluHPwM%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>从时间 T 开始，所有未来奖励按折扣因子 γ 衰减后的累加总和\u003C\u002Fli>\n\u003Cli>γ → 0：智能体更关注眼前利益\u003C\u002Fli>\n\u003Cli>γ → 1：智能体更重视长期回报\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"4-价值函数-v-s\">\u003Ca class=\"anchor\" href=\"#4-价值函数-v-s\" aria-label=\"跳转到标题：4. 价值函数 V(s)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>4. 价值函数 V(s)\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>定义\u003C\u002Fstrong>：从状态 S 出发所能获得的期望回报，反映处于该状态有多好\u003C\u002Fli>\n\u003Cli>\u003Cstrong>贝尔曼方程 (Bellman Equation)\u003C\u002Fstrong>：\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw07.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ebuzIJIe44cdAt%2BI3gLslJNVj4A%3D\" alt=\"\">\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"5-价值函数的求解\">\u003Ca class=\"anchor\" href=\"#5-价值函数的求解\" aria-label=\"跳转到标题：5. 价值函数的求解\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>5. 价值函数的求解\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>解析解\u003C\u002Fstrong>：整理为线性方程组，可直接算出每个状态的准确价值\u003C\u002Fli>\n\u003Cli>\u003Cstrong>迭代算法\u003C\u002Fstrong>（适用于大规模 MRP）：\u003Cul>\n\u003Cli>动态规划\u003C\u002Fli>\n\u003Cli>时序差分学习\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"马尔可夫决策过程\">\u003Ca class=\"anchor\" href=\"#马尔可夫决策过程\" aria-label=\"跳转到标题：马尔可夫决策过程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>马尔可夫决策过程\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw08.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=f5iOl3%2BVjwdGuROJWNGehW%2FvfKw%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"1-mdp-的五元组定义-s-a-p-r\">\u003Ca class=\"anchor\" href=\"#1-mdp-的五元组定义-s-a-p-r\" aria-label=\"跳转到标题：1.MDP 的五元组定义：(S, A, P, R, γ)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1.MDP 的五元组定义：(S, A, P, R, γ)\u003C\u002Fh4>\u003Cul>\n\u003Cli>在 MRP 基础上加入 \u003Cstrong>A（动作集合）\u003C\u002Fstrong>\u003C\u002Fli>\n\u003Cli>状态转移函数和奖励函数都多了\u003Cstrong>动作\u003C\u002Fstrong>作为自变量\u003C\u002Fli>\n\u003Cli>存在智能体来执行动作，是一个与时间相关的、智能体与环境不断交互的循环过程\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-策略-policy\">\u003Ca class=\"anchor\" href=\"#2-策略-policy\" aria-label=\"跳转到标题：2. 策略 (Policy) π\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 策略 (Policy) π\u003C\u002Fh4>\u003Cul>\n\u003Cli>π(a|s)：在状态 S 下采取动作 A 的概率\u003C\u002Fli>\n\u003Cli>\u003Cstrong>确定性策略\u003C\u002Fstrong>：每个状态只输出一个确定动作（概率为 1）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>随机性策略\u003C\u002Fstrong>：输出动作的概率分布，根据分布采样得到动作\u003C\u002Fli>\n\u003Cli>由于马尔可夫性质，策略只需与当前状态有关\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-状态价值函数-与-动作价值函数\">\u003Ca class=\"anchor\" href=\"#3-状态价值函数-与-动作价值函数\" aria-label=\"跳转到标题：3. 状态价值函数 与 动作价值函数\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 状态价值函数 与 动作价值函数\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw09.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=yDJq6laH4wbHpapCmjtBFokYWII%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"4-最优策略-optimal-policy\">\u003Ca class=\"anchor\" href=\"#4-最优策略-optimal-policy\" aria-label=\"跳转到标题：4. 最优策略 (Optimal Policy)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>4. 最优策略 (Optimal Policy)\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw10.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zpmiPHfSdBqx4NXBPvDlX242A70%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>策略优劣比较\u003C\u002Fstrong>：对所有状态 s，若 V^π*(s) ≥ V^π(s)，则 π* 不差于 π\u003C\u002Fli>\n\u003Cli>有限状态、有限动作的 MDP 中至少存在一个最优策略\u003C\u002Fli>\n\u003Cli>最优策略可能有多个，但\u003Cstrong>最优价值函数唯一\u003C\u002Fstrong>\u003C\u002Fli>\n\u003Cli>\u003Cstrong>贝尔曼最优方程\u003C\u002Fstrong>：最优价值函数可用自身递归表示 —— 状态价值 = 当前奖励 + 折扣后的未来最优价值\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"经典强化学习算法\">\u003Ca class=\"anchor\" href=\"#经典强化学习算法\" aria-label=\"跳转到标题：经典强化学习算法\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>经典强化学习算法\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw11.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5mHNs1JB17QLvwBYLeO4zGgkPEs%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"q-learning\">\u003Ca class=\"anchor\" href=\"#q-learning\" aria-label=\"跳转到标题：Q-Learning\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>Q-Learning\u003C\u002Fh3>\u003Ch4 id=\"1-核心思想\">\u003Ca class=\"anchor\" href=\"#1-核心思想\" aria-label=\"跳转到标题：1. 核心思想\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 核心思想\u003C\u002Fh4>\u003Cul>\n\u003Cli>维护一张 \u003Cstrong>Q 表 (Q-Table)\u003C\u002Fstrong>，Q(s, a) 表示在状态 S 下执行动作 A 长期来看能获得多少回报\u003C\u002Fli>\n\u003Cli>不需要提前建立环境模型（Model-Free），通过与环境交互不断修正 Q 值\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-更新机制\">\u003Ca class=\"anchor\" href=\"#2-更新机制\" aria-label=\"跳转到标题：2. 更新机制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 更新机制\u003C\u002Fh4>\u003Col>\n\u003Cli>\u003Cstrong>计算 Target Q 值\u003C\u002Fstrong>：即时奖励 R + γ × max Q(s', a')\u003C\u002Fli>\n\u003Cli>\u003Cstrong>计算 TD Error（时序差分误差）\u003C\u002Fstrong>：Target - 当前 Q 值，反映之前估计是偏高还是偏低\u003C\u002Fli>\n\u003Cli>\u003Cstrong>更新 Q 值\u003C\u002Fstrong>：Q(s,a) ← Q(s,a) + α × TD Error（α 为学习率，控制每次调整幅度）\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Ch4 id=\"3-完整学习流程\">\u003Ca class=\"anchor\" href=\"#3-完整学习流程\" aria-label=\"跳转到标题：3. 完整学习流程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 完整学习流程\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cp>初始化 Q 表 → 观察状态 S → 选择动作 A → 执行 A → 获得奖励 R + 新状态 S'\u003Cbr>→ 计算 Target → 更新 Q(s,a) → S' 作为新状态 → 重复\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>经过大量交互后，在每个状态下选择 Q 值最大的动作即为最优策略\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"dqn-算法-deep-q-network\">\u003Ca class=\"anchor\" href=\"#dqn-算法-deep-q-network\" aria-label=\"跳转到标题：DQN 算法 (Deep Q-Network)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>DQN 算法 (Deep Q-Network)\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw12.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=P5JyHft6VY1LIq2v1yI2Pd71mrc%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"1-从-q-表到神经网络\">\u003Ca class=\"anchor\" href=\"#1-从-q-表到神经网络\" aria-label=\"跳转到标题：1. 从 Q 表到神经网络\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 从 Q 表到神经网络\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>Q 表的局限\u003C\u002Fstrong>：状态\u002F动作空间大或连续时无法枚举（如游戏画面的每个像素变化）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>DQN 核心思想\u003C\u002Fstrong>：用神经网络近似 Q 函数，输入当前状态，输出各动作对应的 Q 值向量\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-目标网络-target-network\">\u003Ca class=\"anchor\" href=\"#2-目标网络-target-network\" aria-label=\"跳转到标题：2. 目标网络 (Target Network)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 目标网络 (Target Network)\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>问题\u003C\u002Fstrong>：TD 目标依赖 Q 网络自身输出，直接用同一网络会导致训练目标频繁变动、训练不稳定\u003C\u002Fli>\n\u003Cli>\u003Cstrong>解决方案\u003C\u002Fstrong>：使用两套网络\u003Cul>\n\u003Cli>\u003Cstrong>主网络\u003C\u002Fstrong>：用于预测 Q 值并持续更新\u003C\u002Fli>\n\u003Cli>\u003Cstrong>目标网络\u003C\u002Fstrong>：用于计算 Target Q 值，参数暂时固定，定期同步\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-应用实例-flappy-bird\">\u003Ca class=\"anchor\" href=\"#3-应用实例-flappy-bird\" aria-label=\"跳转到标题：3. 应用实例：Flappy Bird\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 应用实例：Flappy Bird\u003C\u002Fh4>\u003Cul>\n\u003Cli>使用 PyTorch 实现\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw13.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=pTTessiI6pGWqdx2oa7CnuU74Sc%3D\" alt=\"\">\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"基于策略的方法-策略梯度\">\u003Ca class=\"anchor\" href=\"#基于策略的方法-策略梯度\" aria-label=\"跳转到标题：基于策略的方法——策略梯度\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>基于策略的方法——策略梯度\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw14.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iAZBc9dSIrZfrBSR%2FgVw6roC1XY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cstrong>1. 参数化策略\u003C\u002Fstrong>：策略表示为带参数 θ 的函数，输入状态，输出各动作概率\u003Cbr>\u003Cstrong>2. 轨迹 (Trajectory) τ\u003C\u002Fstrong>：从初始状态开始，经历一系列状态和动作形成的序列\u003Cbr>\u003Cstrong>3. 轨迹概率\u003C\u002Fstrong>：由初始状态分布、策略选择的动作、环境状态转移三部分决定\u003Cbr>\u003Cstrong>4. 优化目标\u003C\u002Fstrong>：调整参数 θ，使模型更容易生成高回报的轨迹\u003Cbr>\u003Cstrong>5. 核心思想\u003C\u002Fstrong>：不学习 Q 值再决定动作，而是直接参数化策略，通过优化 θ 提高高回报轨迹出现的概率\u003C\u002Fp>\n\u003Ch3 id=\"actor-critic-演员-评论家算法\">\u003Ca class=\"anchor\" href=\"#actor-critic-演员-评论家算法\" aria-label=\"跳转到标题：Actor-Critic（演员-评论家算法）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>Actor-Critic（演员-评论家算法）\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw15.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2F0pdGcTK2XuDVP7T8X1wpcoArf0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"1-整体框架\">\u003Ca class=\"anchor\" href=\"#1-整体框架\" aria-label=\"跳转到标题：1. 整体框架\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 整体框架\u003C\u002Fh4>\u003Cul>\n\u003Cli>本质仍属于基于策略的方法，但同时学习策略函数和价值函数\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Actor（演员）\u003C\u002Fstrong>：做决策、选动作、输出策略 π_θ\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Critic（评论家）\u003C\u002Fstrong>：评价决策好不好，学习状态价值函数 V(s)\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-优势函数\">\u003Ca class=\"anchor\" href=\"#2-优势函数\" aria-label=\"跳转到标题：2. 优势函数\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 优势函数\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>定义\u003C\u002Fstrong>：A(s, a) = Q(s, a) - V(s)\u003C\u002Fli>\n\u003Cli>衡量在当前状态下选择某个动作相比平均表现好多少\u003Cul>\n\u003Cli>A > 0：该动作优于平均水平 → 提高选择概率\u003C\u002Fli>\n\u003Cli>A < 0：该动作低于平均水平 → 降低选择概率\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-用-td-error-近似优势函数\">\u003Ca class=\"anchor\" href=\"#3-用-td-error-近似优势函数\" aria-label=\"跳转到标题：3. 用 TD Error 近似优势函数\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 用 TD Error 近似优势函数\u003C\u002Fh4>\u003Cul>\n\u003Cli>实际中无法直接计算准确的 Q 值，用 \u003Cstrong>TD Error\u003C\u002Fstrong> 近似\u003C\u002Fli>\n\u003Cli>TD Error = 用于衡量实际获得结果与 Critic 当前估计之间的差异\u003Cul>\n\u003Cli>TD Error > 0：实际结果比预期好\u003C\u002Fli>\n\u003Cli>TD Error < 0：实际结果比预期差\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003Cli>\u003Cstrong>双重作用\u003C\u002Fstrong>：\u003Col>\n\u003Cli>Critic 利用 TD Error 修正价值估计\u003C\u002Fli>\n\u003Cli>作为 Actor 更新策略的优势信号\u003C\u002Fli>\n\u003C\u002Fol>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"ppo-近端策略优化\">\u003Ca class=\"anchor\" href=\"#ppo-近端策略优化\" aria-label=\"跳转到标题：PPO（近端策略优化）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>PPO（近端策略优化）\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw16.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=gV%2FQYni78WftEkQ0x9WflqiKV98%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"1-核心思想-1\">\u003Ca class=\"anchor\" href=\"#1-核心思想-1\" aria-label=\"跳转到标题：1.核心思想：\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1.核心思想：\u003C\u002Fh4>\u003Cul>\n\u003Cli>结合\u003Cstrong>优势函数\u003C\u002Fstrong>（告诉策略往哪个方向更新）和\u003Cstrong>裁剪机制\u003C\u002Fstrong>（限制更新幅度）\u003C\u002Fli>\n\u003Cli>通过多次小幅度稳定更新，逐步提升策略性能\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-在大语言模型训练中的应用\">\u003Ca class=\"anchor\" href=\"#2-在大语言模型训练中的应用\" aria-label=\"跳转到标题：2. 在大语言模型训练中的应用\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 在大语言模型训练中的应用\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw17.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=auN71JLEgzeQMQGl0EXgvGVPKU8%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"3-优化阶段的两大约束机制\">\u003Ca class=\"anchor\" href=\"#3-优化阶段的两大约束机制\" aria-label=\"跳转到标题：3. 优化阶段的两大约束机制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 优化阶段的两大约束机制\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>参考模型 (Reference Model)\u003C\u002Fstrong>：通常为冻结的 SFT 模型，用于约束当前策略模型不要偏离原始语言能力，通过 KL 散度控制策略变化幅\u003C\u002Fli>\n\u003Cli>\u003Cstrong>KL 散度约束\u003C\u002Fstrong>：衡量当前模型与参考模型的差别，差别太大则减少更新幅度\u003Cul>\n\u003Cli>目的：让模型进步，但不能一次变化太多\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"deepseek-架构演进\">\u003Ca class=\"anchor\" href=\"#deepseek-架构演进\" aria-label=\"跳转到标题：DeepSeek 架构演进\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>DeepSeek 架构演进\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw18.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=opP1KBZGEl9hw0e16a68dQSZpmM%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"deepseek-v3\">\u003Ca class=\"anchor\" href=\"#deepseek-v3\" aria-label=\"跳转到标题：DeepSeek V3\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>DeepSeek V3\u003C\u002Fh3>\u003Ch4 id=\"1-moe-混合专家模型\">\u003Ca class=\"anchor\" href=\"#1-moe-混合专家模型\" aria-label=\"跳转到标题：1. MoE（混合专家模型）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. MoE（混合专家模型）\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>超大规模参数 + 稀疏激活\u003C\u002Fstrong>\u003C\u002Fli>\n\u003Cli>总参数量 \u003Cstrong>671B\u003C\u002Fstrong>，每个 token 仅激活 \u003Cstrong>37B\u003C\u002Fstrong> 参数\u003C\u002Fli>\n\u003Cli>在保持超大模型容量的同时控制单 token 的实际计算成本\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw19.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2FFBWPbRfDUFIdfskxKa6R5WBmW0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-mla-多头潜在注意力\">\u003Ca class=\"anchor\" href=\"#2-mla-多头潜在注意力\" aria-label=\"跳转到标题：2. MLA（多头潜在注意力）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. MLA（多头潜在注意力）\u003C\u002Fh4>\u003Cul>\n\u003Cli>将 Key 和 Value 压缩到更低维的潜在表示再存入 KV Cache\u003C\u002Fli>\n\u003Cli>使用时通过投影恢复\u003C\u002Fli>\n\u003Cli>\u003Cstrong>核心作用\u003C\u002Fstrong>：显著降低推理过程中 KV Cache 的显存占用\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"deepseek-r1\">\u003Ca class=\"anchor\" href=\"#deepseek-r1\" aria-label=\"跳转到标题：DeepSeek R1\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>DeepSeek R1\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw20.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=X50IgWwyAA2DTX2wDVn6ScgvndY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>对于数学、代码等具有明确验证标准的任务，可以通过规则获得可验证奖励，从而减少对人工评分的依赖\u003C\u002Fli>\n\u003Cli>与强化学习理论的对应：模型生成推理过程和答案 → 环境给出可验证奖励 → 强化学习调整策略\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"deepseek-v3-2\">\u003Ca class=\"anchor\" href=\"#deepseek-v3-2\" aria-label=\"跳转到标题：DeepSeek V3.2\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>DeepSeek V3.2\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw21.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7JGiABwcIsp9b%2Fl53epj3TIz7H4%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"1-dsa-稀疏注意力-deepseek-sparse-attention\">\u003Ca class=\"anchor\" href=\"#1-dsa-稀疏注意力-deepseek-sparse-attention\" aria-label=\"跳转到标题：1. DSA（稀疏注意力 - DeepSeek Sparse Attention）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. DSA（稀疏注意力 - DeepSeek Sparse Attention）\u003C\u002Fh4>\u003Cp>\u003Cstrong>（1）背景问题\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>常规 Attention 中当前 token 关注所有历史 token，计算复杂度关于序列长度呈平方增长\u003C\u002Fli>\n\u003Cli>序列越长，计算和显存成本飞速增长，KV Cache 压力巨大\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cstrong>（2）经典方法——滑动窗口注意力\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>当前 token 只关注最近 W 个 token，复杂度降至 O(L×W)\u003C\u002Fli>\n\u003Cli>局限：仅按位置固定选择，不知道哪些历史信息真正重要\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw22.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=24%2Bf7tD6aeBk%2Bp28tz3x3xlgmIc%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cstrong>（3）DSA 的创新\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>与滑动窗口的区别：根据\u003Cstrong>内容相关性动态选择\u003C\u002Fstrong>（而非按位置固定选择）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>两大组件\u003C\u002Fstrong>：\u003Col>\n\u003Cli>\u003Cstrong>Lightning Indexer（索引器）\u003C\u002Fstrong>：根据当前 Query 和历史 Token 的表示计算相关性分数\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Token Selector（选择器）\u003C\u002Fstrong>：根据分数挑选相关 Token，仅在选中的 Token 上执行 Attention 计算\u003C\u002Fli>\n\u003C\u002Fol>\n\u003C\u002Fli>\n\u003Cli>若选中 K 个历史 Token（K ≪ L），复杂度降至 O(L×K)\u003C\u002Fli>\n\u003Cli>\u003Cstrong>核心思想\u003C\u002Fstrong>：让模型学习哪些历史 Token 相关度最高、最值得计算\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw23.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=O485wsxnSV5CTjm3lOn99wd%2F9V8%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"deepseek-v4\">\u003Ca class=\"anchor\" href=\"#deepseek-v4\" aria-label=\"跳转到标题：DeepSeek V4\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>DeepSeek V4\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw24.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=jrtNxCbyjkvjO6XtE03xcPaT8ac%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>面向\u003Cstrong>百万级长上下文\u003C\u002Fstrong>的整体计算和存储效率\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"加入训练营\">\u003Ca class=\"anchor\" href=\"#加入训练营\" aria-label=\"跳转到标题：加入训练营\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>加入训练营\u003C\u002Fh2>\u003Cp>📺\u003Cstrong>完整课程内容，请观看直播或查看课程回放：\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>InfiniTensor 官网\u003C\u002Fstrong>： \u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com\">https:\u002F\u002Fwww.infinitensor.com\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>B站直播\u003C\u002Fstrong>： InfiniTensor 官方直播间\u003C\u002Fp>\n\u003Cp>\u003Cstrong>视频号直播\u003C\u002Fstrong>： InfiniTensor 视频号预约\u003C\u002Fp>\n\u003Cp>\u003Cstrong>答疑交流\u003C\u002Fstrong>： 训练营官方社群⬇️\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=07ovyfEz93I1Glk%2BjPdOxVw3ra4%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"关注与交流\">\u003Ca class=\"anchor\" href=\"#关注与交流\" aria-label=\"跳转到标题：关注与交流\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>关注与交流\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792750030&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=yQQCxNoB64Iue0OdGDsKbeJjW00%3D\" alt=\"\">\u003C\u002Fp>\n",[128,130,132,136,139,142,144,147,150,153,155,158,161,164,167,170,172,175,178,181,184,186,189,192,195,198,201,204,207,210,213,216,219,222,225,228,231,234,237,240,243,246,249,252,255,258,261,263],{"id":129,"text":129,"level":110},"强化学习基础",{"id":131,"text":131,"level":9},"强化学习概述",{"id":133,"text":134,"level":135},"1-强化学习特点及应用场景","1. 强化学习特点及应用场景",4,{"id":137,"text":138,"level":135},"2-核心定义","2. 核心定义",{"id":140,"text":141,"level":135},"3-强化学习要素","3. 强化学习要素",{"id":143,"text":143,"level":9},"马尔可夫过程",{"id":145,"text":146,"level":135},"1-马尔可夫性质","1. 马尔可夫性质",{"id":148,"text":149,"level":135},"2-马尔可夫过程的描述","2. 马尔可夫过程的描述",{"id":151,"text":152,"level":135},"3-采样","3. 采样",{"id":154,"text":154,"level":9},"马尔可夫奖励过程",{"id":156,"text":157,"level":135},"1-mrp-的四元组定义-s-p-r","1. MRP 的四元组定义：(S, P, R, γ)",{"id":159,"text":160,"level":135},"2-折扣因子-的三大作用","2. 折扣因子 γ 的三大作用",{"id":162,"text":163,"level":135},"3-回报-g","3. 回报 Gₜ",{"id":165,"text":166,"level":135},"4-价值函数-v-s","4. 价值函数 V(s)",{"id":168,"text":169,"level":135},"5-价值函数的求解","5. 价值函数的求解",{"id":171,"text":171,"level":9},"马尔可夫决策过程",{"id":173,"text":174,"level":135},"1-mdp-的五元组定义-s-a-p-r","1.MDP 的五元组定义：(S, A, P, R, γ)",{"id":176,"text":177,"level":135},"2-策略-policy","2. 策略 (Policy) π",{"id":179,"text":180,"level":135},"3-状态价值函数-与-动作价值函数","3. 状态价值函数 与 动作价值函数",{"id":182,"text":183,"level":135},"4-最优策略-optimal-policy","4. 最优策略 (Optimal Policy)",{"id":185,"text":185,"level":110},"经典强化学习算法",{"id":187,"text":188,"level":9},"q-learning","Q-Learning",{"id":190,"text":191,"level":135},"1-核心思想","1. 核心思想",{"id":193,"text":194,"level":135},"2-更新机制","2. 更新机制",{"id":196,"text":197,"level":135},"3-完整学习流程","3. 完整学习流程",{"id":199,"text":200,"level":9},"dqn-算法-deep-q-network","DQN 算法 (Deep Q-Network)",{"id":202,"text":203,"level":135},"1-从-q-表到神经网络","1. 从 Q 表到神经网络",{"id":205,"text":206,"level":135},"2-目标网络-target-network","2. 目标网络 (Target Network)",{"id":208,"text":209,"level":135},"3-应用实例-flappy-bird","3. 应用实例：Flappy Bird",{"id":211,"text":212,"level":9},"基于策略的方法-策略梯度","基于策略的方法——策略梯度",{"id":214,"text":215,"level":9},"actor-critic-演员-评论家算法","Actor-Critic（演员-评论家算法）",{"id":217,"text":218,"level":135},"1-整体框架","1. 整体框架",{"id":220,"text":221,"level":135},"2-优势函数","2. 优势函数",{"id":223,"text":224,"level":135},"3-用-td-error-近似优势函数","3. 用 TD Error 近似优势函数",{"id":226,"text":227,"level":9},"ppo-近端策略优化","PPO（近端策略优化）",{"id":229,"text":230,"level":135},"1-核心思想-1","1.核心思想：",{"id":232,"text":233,"level":135},"2-在大语言模型训练中的应用","2. 在大语言模型训练中的应用",{"id":235,"text":236,"level":135},"3-优化阶段的两大约束机制","3. 优化阶段的两大约束机制",{"id":238,"text":239,"level":110},"deepseek-架构演进","DeepSeek 架构演进",{"id":241,"text":242,"level":9},"deepseek-v3","DeepSeek V3",{"id":244,"text":245,"level":135},"1-moe-混合专家模型","1. MoE（混合专家模型）",{"id":247,"text":248,"level":135},"2-mla-多头潜在注意力","2. MLA（多头潜在注意力）",{"id":250,"text":251,"level":9},"deepseek-r1","DeepSeek R1",{"id":253,"text":254,"level":9},"deepseek-v3-2","DeepSeek V3.2",{"id":256,"text":257,"level":135},"1-dsa-稀疏注意力-deepseek-sparse-attention","1. DSA（稀疏注意力 - DeepSeek Sparse Attention）",{"id":259,"text":260,"level":9},"deepseek-v4","DeepSeek V4",{"id":262,"text":262,"level":110},"加入训练营",{"id":264,"text":264,"level":110},"关注与交流"]