[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-61":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2BwVzWBmdtkq8YPZLqXna4E1FT3M%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=E67XHLL7db9GOlGHdVrBAdjqtXU%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZDQtqBSR0N65mJrj3FTJxyAPi6M%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":125},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":117,"canonicalPath":118,"id":119,"contentType":120,"prevArticle":121},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_fm.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=rjT3g%2Bsmva9dC9JCtkxGdP6tFUc%3D","神经网络训练,PyTorch Autograd,混合精度训练,InfiniTrain,分布式并行","课程从工程视角解析神经网络训练核心原理，讲解反向传播、PyTorch Autograd、混合精度训练，并介绍自研 InfiniTrain 训练框架分布式与显存优化技术。","2026-10-22 20:38:11",2,"2026 夏季 InfiniTensor 训练营训练系统 1：《训练基础介绍》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw01.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kxXOJzR17TkXodFhIVS4%2FdA3Ac8%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">7 月 14 日， 2026 夏季 InfiniTensor 大模型与人工智能系统训练营训练系统方向第一课《训练基础介绍》开讲。\r\n本节课聚焦于训练系统开发视角，深入解析神经网络训练中的核心工程问题。内容涵盖从数学原理到 PyTorch 底层机制的全链路知识，并介绍团队自研训练框架 InfiniTrain 的实战应用。\r\n本课程侧重于训练系统工程实现，不涉及模型调参及结构设计技巧，相关需求请关注大模型系列课程。\u003C\u002Fspan>\r\n\r\n\r\n## 神经网络与训练核心原理\r\n\r\n### 1. 神经网络基础回顾\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw02.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=X9FDFaURhNKCRZlDjfZsq7IniSw%3D)\r\n\r\n- **基本定义**：模拟人脑信息处理的计算系统，由输入层、隐藏层、输出层组成。\r\n- **前向传播**：数据从左至右逐层计算，最终得到预测值 $hat{y}$。\r\n- **训练目标**：通过数据驱动自动学习映射关系，不断优化神经元权重以拟合真实情况。\r\n\r\n### 2. 梯度下降法\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw03.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=rvhmVq5H9wMz8V5nn%2Fqgwt2euYU%3D)\r\n\r\n- **核心算法**：梯度下降法（Gradient Descent），沿梯度反方向更新参数以最小化损失函数 $L(\theta)$。\r\n- **更新公式**：$\theta = \theta - eta cdot\r\nabla_\theta L$ （$eta$ 为学习率，控制步长大小）。\r\n- **局部最优问题**：SGD 采用随机梯度更新参数，训练过程中可能受到鞍点、平坦区域等因素影响；Adam 等优化器结合动量和自适应学习率机制，通常能够提升收敛速度。\r\n- **损失函数**：衡量预测值与真实标签差距（分类任务用交叉熵，回归任务用均方误差）。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw04.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1dEr6Xnu0fspR6CtLbid%2BTIppOw%3D)\r\n\r\n### 3. 激活函数详解\r\n引入非线性变换以逼近复杂函数，避免多层线性堆叠退化：\r\n| 函数 | 特点 | 优缺点 |\r\n| :--- | :--- | :--- |\r\n| **Sigmoid** | S 型曲线，输出(0,1) | 适用于概率预测；两端梯度消失严重 |\r\n| **Tanh** | S 型曲线，输出(-1,1) | 零中心化，表达力更强；仍存在梯度消失 |\r\n| **ReLU** | 正区间恒等映射，负区间为 0 | 计算高效，缓解梯度消失；存在“死神经元”问题 |\r\n| **LeakyReLU** | 负区间保留微小斜率 | 解决死神经元问题，训练更鲁棒 |\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw05.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=AN%2BQ2gIRlgDBfcy0OMkHrFJZNYs%3D)\r\n\r\n\r\n## 反向传播与计算图机制\r\n\r\n### 1. 链式法则（Chain Rule）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw06.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4BOBdkeudU9h48lNLXkI0tdn90c%3D)\r\n\r\n- **串联路径**：相邻节点偏导相乘。\r\n- **分支路径**：多条路径偏导之和（如残差连接）。\r\n- **参数共享**：同一参数被多次使用时，需累加所有路径上的偏导数。\r\n\r\n### 2. 反向传播流程\r\n- **执行逻辑**：从 Loss 出发，依据链式法则逐层回传梯度。\r\n- **显存开销**：需缓存前向传播的中间激活值，导致训练显存占用显著高于推理。\r\n- **关键步骤**：\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw07.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=RuFNY4vtNCwuFhue20bQ5BJRjok%3D)\r\n\r\n\r\n### 3. 数据集划分规范\r\n- **训练集 (Training Set)**：直接用于参数更新（通常占 80%）。\r\n- **验证集开发集 (Validation Set)**：用于超参选择、早停监控，不参与梯度更新（通常占 10%）。\r\n- **测试集 (Test Set)**：评估模型泛化能力，需与验证集同分布（通常占 10%）。\r\n\r\n\r\n\r\n## PyTorch AutoGrad 深度解析\r\n\r\n### 1. 自动微分机制\r\n- **动态建图**：前向运算时动态构建有向无环图（DAG），叶子节点为输入，根节点为输出。\r\n- **`Function` 对象**：每个操作对应一个 `Function`，记录前向结果与反向逻辑。\r\n- **`grad_fn` 属性**：非叶子张量的梯度入口，指向创建该张量的 `Function`。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw08.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=X4%2BHIw7IQ1%2Brl6c%2BV3jOFjJGg18%3D)\r\n\r\n### 2. 梯度计算规则\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw09.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=d7JW1V9%2BYrEXW0XpF2ifYVJZLFQ%3D)\r\n\r\n- **循环引用处理**：使用 `pack\u002Funpack` 机制避免激活值与 `grad_fn` 之间的循环引用，确保显存正确释放。\r\n- **不可导点处理**：针对 ReLU(0) 等情况，依据凸\u002F凹函数性质定义次梯度或抛出异常。\r\n- **`requires_grad` 控制**：默认情况下，仅叶子节点的 `.grad` 会累加梯度；中间节点仅用于传递梯度流。\r\n\r\n### 3. 模式与操作约束\r\n- **`no_grad` vs `inference`**：`no_grad` 禁用建图；`inference` 进一步优化推理且创建的 Tensor 无法重新进入 `autograd`。\r\n- **`module.eval()` 误区**：仅改变 `nn.Dropout`\u002F`nn.BatchNorm2d` 等行为模块的状态，**不禁用 `autograd`**。\r\n- **原地操作 (In-place) 禁止**：会覆盖中间值并破坏计算图版本计数器，导致正确性检查失败报错。\r\n\r\n\r\n## 混合精度训练 `torch.amp`\r\n\r\n### 1. 核心组件\r\n- **`autocast`**：自动将特定算子切换为 FP16 执行，提升吞吐并降低显存。\r\n- **`GradScaler`**：动态缩放 Loss 防止 FP16 梯度下溢，自动调整 scale 因子保证数值稳定性。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw10.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3UpuZS0zqOpA07FTNjRJZGdUd1g%3D)\r\n\r\n### 2. 优化等级 (APEX 标准)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw11.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9I9%2BowWcet3aUF1VHItJYDQgZMU%3D)\r\n\r\n- **`O0`**：纯 FP32，无优化。\r\n- **`O1`**：按算子采用混合精度计算，存储 FP32（推荐通用策略）。\r\n- **`O2`**：权重\u002F梯度 FP16，仅 Master Weight 为 FP32。\r\n- **`O3`**：全 FP16，极致速度但风险高。\r\n\r\n### 3. 分层混合精度策略\r\n针对不同模块的数值敏感性采用差异化精度：\r\n- **`Embedding`**：`O0` （高精度敏感）\r\n- **`Attention`**：`O1`\r\n- **`FFN`**：`O3`\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw12.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lWc69vU9ilZbZOETsKy71S5Nz%2FU%3D)\r\n\r\n\r\n\r\n## 自研框架 InfiniTrain 介绍\r\n\r\n### 1. 框架概况\r\n- **定位**：从零搭建的 C++ 训练框架，支持 CPU\u002FCUDA 双后端。\r\n- **教学版**：TinyInfiniTrain（训练营作业载体，需补齐算子与训练流程）。\r\n\r\n### 2. 核心特性\r\n- **模型支持**：Dense 模型（MoE 开发中）。\r\n- **精度支持**：FP32、低精度推理、混合精度训练。\r\n- **分布式策略**：数据并行、张量并行、序列并行、流水并行及其组合。\r\n- **显存优化**：集成多种主流显存节省技术。\r\n\r\n\r\n\r\n## 加入训练营\r\n\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： [https:\u002F\u002Fwww.infinitensor.com]\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F2026-xjq.png?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=uKKZHEMMNB9PmoN2W7t8t3RWewk%3D)\r\n\r\n## 关注与交流\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=n%2FSVGJ8eOraf6k1nlkjH0x9NZjY%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-60","study-60","2026 夏季 InfiniTensor 训练营 AI 编程与智能体应用方向 1：《AI 辅助编程：开发流程、Agent Skills 与工程化实践》",48,"\u002Fstudy-material\u002Fstudy-61","study-61","markdown",{"publishTime":7,"createTime":109,"canonicalPath":122,"id":123,"title":124},"\u002Fstudy-material\u002Fstudy-62","study-62","2026 夏季 InfiniTensor 训练营 AI 编译器 1：《AI 编译器概述》",{"htmlContent":126,"headings":127},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw01.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kxXOJzR17TkXodFhIVS4%2FdA3Ac8%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cspan style=\"font-size:12px;color:#555;\">7 月 14 日， 2026 夏季 InfiniTensor 大模型与人工智能系统训练营训练系统方向第一课《训练基础介绍》开讲。\u003Cbr>本节课聚焦于训练系统开发视角，深入解析神经网络训练中的核心工程问题。内容涵盖从数学原理到 PyTorch 底层机制的全链路知识，并介绍团队自研训练框架 InfiniTrain 的实战应用。\u003Cbr>本课程侧重于训练系统工程实现，不涉及模型调参及结构设计技巧，相关需求请关注大模型系列课程。\u003C\u002Fspan>\u003C\u002Fp>\n\u003Ch2 id=\"神经网络与训练核心原理\">\u003Ca class=\"anchor\" href=\"#神经网络与训练核心原理\" aria-label=\"跳转到标题：神经网络与训练核心原理\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>神经网络与训练核心原理\u003C\u002Fh2>\u003Ch3 id=\"1-神经网络基础回顾\">\u003Ca class=\"anchor\" href=\"#1-神经网络基础回顾\" aria-label=\"跳转到标题：1. 神经网络基础回顾\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 神经网络基础回顾\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw02.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=X9FDFaURhNKCRZlDjfZsq7IniSw%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>基本定义\u003C\u002Fstrong>：模拟人脑信息处理的计算系统，由输入层、隐藏层、输出层组成。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>前向传播\u003C\u002Fstrong>：数据从左至右逐层计算，最终得到预测值 $hat{y}$。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>训练目标\u003C\u002Fstrong>：通过数据驱动自动学习映射关系，不断优化神经元权重以拟合真实情况。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"2-梯度下降法\">\u003Ca class=\"anchor\" href=\"#2-梯度下降法\" aria-label=\"跳转到标题：2. 梯度下降法\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 梯度下降法\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw03.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=rvhmVq5H9wMz8V5nn%2Fqgwt2euYU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>核心算法\u003C\u002Fstrong>：梯度下降法（Gradient Descent），沿梯度反方向更新参数以最小化损失函数 $L(   heta)$。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>更新公式\u003C\u002Fstrong>：$    heta =  heta - eta cdot\u003Cbr>abla_\theta L$ （$eta$ 为学习率，控制步长大小）。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>局部最优问题\u003C\u002Fstrong>：SGD 采用随机梯度更新参数，训练过程中可能受到鞍点、平坦区域等因素影响；Adam 等优化器结合动量和自适应学习率机制，通常能够提升收敛速度。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>损失函数\u003C\u002Fstrong>：衡量预测值与真实标签差距（分类任务用交叉熵，回归任务用均方误差）。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw04.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1dEr6Xnu0fspR6CtLbid%2BTIppOw%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"3-激活函数详解\">\u003Ca class=\"anchor\" href=\"#3-激活函数详解\" aria-label=\"跳转到标题：3. 激活函数详解\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 激活函数详解\u003C\u002Fh3>\u003Cp>引入非线性变换以逼近复杂函数，避免多层线性堆叠退化：\u003C\u002Fp>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth align=\"left\">函数\u003C\u002Fth>\n\u003Cth align=\"left\">特点\u003C\u002Fth>\n\u003Cth align=\"left\">优缺点\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd align=\"left\">\u003Cstrong>Sigmoid\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"left\">S 型曲线，输出(0,1)\u003C\u002Ftd>\n\u003Ctd align=\"left\">适用于概率预测；两端梯度消失严重\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd align=\"left\">\u003Cstrong>Tanh\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"left\">S 型曲线，输出(-1,1)\u003C\u002Ftd>\n\u003Ctd align=\"left\">零中心化，表达力更强；仍存在梯度消失\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd align=\"left\">\u003Cstrong>ReLU\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"left\">正区间恒等映射，负区间为 0\u003C\u002Ftd>\n\u003Ctd align=\"left\">计算高效，缓解梯度消失；存在“死神经元”问题\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd align=\"left\">\u003Cstrong>LeakyReLU\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"left\">负区间保留微小斜率\u003C\u002Ftd>\n\u003Ctd align=\"left\">解决死神经元问题，训练更鲁棒\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw05.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=AN%2BQ2gIRlgDBfcy0OMkHrFJZNYs%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"反向传播与计算图机制\">\u003Ca class=\"anchor\" href=\"#反向传播与计算图机制\" aria-label=\"跳转到标题：反向传播与计算图机制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>反向传播与计算图机制\u003C\u002Fh2>\u003Ch3 id=\"1-链式法则-chain-rule\">\u003Ca class=\"anchor\" href=\"#1-链式法则-chain-rule\" aria-label=\"跳转到标题：1. 链式法则（Chain Rule）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 链式法则（Chain Rule）\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw06.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4BOBdkeudU9h48lNLXkI0tdn90c%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>串联路径\u003C\u002Fstrong>：相邻节点偏导相乘。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>分支路径\u003C\u002Fstrong>：多条路径偏导之和（如残差连接）。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>参数共享\u003C\u002Fstrong>：同一参数被多次使用时，需累加所有路径上的偏导数。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"2-反向传播流程\">\u003Ca class=\"anchor\" href=\"#2-反向传播流程\" aria-label=\"跳转到标题：2. 反向传播流程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 反向传播流程\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>执行逻辑\u003C\u002Fstrong>：从 Loss 出发，依据链式法则逐层回传梯度。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>显存开销\u003C\u002Fstrong>：需缓存前向传播的中间激活值，导致训练显存占用显著高于推理。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>关键步骤\u003C\u002Fstrong>：\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw07.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=RuFNY4vtNCwuFhue20bQ5BJRjok%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"3-数据集划分规范\">\u003Ca class=\"anchor\" href=\"#3-数据集划分规范\" aria-label=\"跳转到标题：3. 数据集划分规范\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 数据集划分规范\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>训练集 (Training Set)\u003C\u002Fstrong>：直接用于参数更新（通常占 80%）。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>验证集开发集 (Validation Set)\u003C\u002Fstrong>：用于超参选择、早停监控，不参与梯度更新（通常占 10%）。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>测试集 (Test Set)\u003C\u002Fstrong>：评估模型泛化能力，需与验证集同分布（通常占 10%）。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"pytorch-autograd-深度解析\">\u003Ca class=\"anchor\" href=\"#pytorch-autograd-深度解析\" aria-label=\"跳转到标题：PyTorch AutoGrad 深度解析\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>PyTorch AutoGrad 深度解析\u003C\u002Fh2>\u003Ch3 id=\"1-自动微分机制\">\u003Ca class=\"anchor\" href=\"#1-自动微分机制\" aria-label=\"跳转到标题：1. 自动微分机制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 自动微分机制\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>动态建图\u003C\u002Fstrong>：前向运算时动态构建有向无环图（DAG），叶子节点为输入，根节点为输出。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>Function\u003C\u002Fcode> 对象\u003C\u002Fstrong>：每个操作对应一个 \u003Ccode>Function\u003C\u002Fcode>，记录前向结果与反向逻辑。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>grad_fn\u003C\u002Fcode> 属性\u003C\u002Fstrong>：非叶子张量的梯度入口，指向创建该张量的 \u003Ccode>Function\u003C\u002Fcode>。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw08.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=X4%2BHIw7IQ1%2Brl6c%2BV3jOFjJGg18%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"2-梯度计算规则\">\u003Ca class=\"anchor\" href=\"#2-梯度计算规则\" aria-label=\"跳转到标题：2. 梯度计算规则\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 梯度计算规则\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw09.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=d7JW1V9%2BYrEXW0XpF2ifYVJZLFQ%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>循环引用处理\u003C\u002Fstrong>：使用 \u003Ccode>pack\u002Funpack\u003C\u002Fcode> 机制避免激活值与 \u003Ccode>grad_fn\u003C\u002Fcode> 之间的循环引用，确保显存正确释放。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>不可导点处理\u003C\u002Fstrong>：针对 ReLU(0) 等情况，依据凸\u002F凹函数性质定义次梯度或抛出异常。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>requires_grad\u003C\u002Fcode> 控制\u003C\u002Fstrong>：默认情况下，仅叶子节点的 \u003Ccode>.grad\u003C\u002Fcode> 会累加梯度；中间节点仅用于传递梯度流。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"3-模式与操作约束\">\u003Ca class=\"anchor\" href=\"#3-模式与操作约束\" aria-label=\"跳转到标题：3. 模式与操作约束\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 模式与操作约束\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>\u003Ccode>no_grad\u003C\u002Fcode> vs \u003Ccode>inference\u003C\u002Fcode>\u003C\u002Fstrong>：\u003Ccode>no_grad\u003C\u002Fcode> 禁用建图；\u003Ccode>inference\u003C\u002Fcode> 进一步优化推理且创建的 Tensor 无法重新进入 \u003Ccode>autograd\u003C\u002Fcode>。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>module.eval()\u003C\u002Fcode> 误区\u003C\u002Fstrong>：仅改变 \u003Ccode>nn.Dropout\u003C\u002Fcode>\u002F\u003Ccode>nn.BatchNorm2d\u003C\u002Fcode> 等行为模块的状态，\u003Cstrong>不禁用 \u003Ccode>autograd\u003C\u002Fcode>\u003C\u002Fstrong>。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>原地操作 (In-place) 禁止\u003C\u002Fstrong>：会覆盖中间值并破坏计算图版本计数器，导致正确性检查失败报错。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"混合精度训练-torch-amp\">\u003Ca class=\"anchor\" href=\"#混合精度训练-torch-amp\" aria-label=\"跳转到标题：混合精度训练 torch.amp\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>混合精度训练 \u003Ccode>torch.amp\u003C\u002Fcode>\u003C\u002Fh2>\u003Ch3 id=\"1-核心组件\">\u003Ca class=\"anchor\" href=\"#1-核心组件\" aria-label=\"跳转到标题：1. 核心组件\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 核心组件\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>\u003Ccode>autocast\u003C\u002Fcode>\u003C\u002Fstrong>：自动将特定算子切换为 FP16 执行，提升吞吐并降低显存。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>GradScaler\u003C\u002Fcode>\u003C\u002Fstrong>：动态缩放 Loss 防止 FP16 梯度下溢，自动调整 scale 因子保证数值稳定性。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw10.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3UpuZS0zqOpA07FTNjRJZGdUd1g%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"2-优化等级-apex-标准\">\u003Ca class=\"anchor\" href=\"#2-优化等级-apex-标准\" aria-label=\"跳转到标题：2. 优化等级 (APEX 标准)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 优化等级 (APEX 标准)\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw11.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9I9%2BowWcet3aUF1VHItJYDQgZMU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>\u003Ccode>O0\u003C\u002Fcode>\u003C\u002Fstrong>：纯 FP32，无优化。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>O1\u003C\u002Fcode>\u003C\u002Fstrong>：按算子采用混合精度计算，存储 FP32（推荐通用策略）。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>O2\u003C\u002Fcode>\u003C\u002Fstrong>：权重\u002F梯度 FP16，仅 Master Weight 为 FP32。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>O3\u003C\u002Fcode>\u003C\u002Fstrong>：全 FP16，极致速度但风险高。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"3-分层混合精度策略\">\u003Ca class=\"anchor\" href=\"#3-分层混合精度策略\" aria-label=\"跳转到标题：3. 分层混合精度策略\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 分层混合精度策略\u003C\u002Fh3>\u003Cp>针对不同模块的数值敏感性采用差异化精度：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>\u003Ccode>Embedding\u003C\u002Fcode>\u003C\u002Fstrong>：\u003Ccode>O0\u003C\u002Fcode> （高精度敏感）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>Attention\u003C\u002Fcode>\u003C\u002Fstrong>：\u003Ccode>O1\u003C\u002Fcode>\u003C\u002Fli>\n\u003Cli>\u003Cstrong>\u003Ccode>FFN\u003C\u002Fcode>\u003C\u002Fstrong>：\u003Ccode>O3\u003C\u002Fcode>\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_61_zw12.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lWc69vU9ilZbZOETsKy71S5Nz%2FU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"自研框架-infinitrain-介绍\">\u003Ca class=\"anchor\" href=\"#自研框架-infinitrain-介绍\" aria-label=\"跳转到标题：自研框架 InfiniTrain 介绍\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>自研框架 InfiniTrain 介绍\u003C\u002Fh2>\u003Ch3 id=\"1-框架概况\">\u003Ca class=\"anchor\" href=\"#1-框架概况\" aria-label=\"跳转到标题：1. 框架概况\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 框架概况\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>定位\u003C\u002Fstrong>：从零搭建的 C++ 训练框架，支持 CPU\u002FCUDA 双后端。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>教学版\u003C\u002Fstrong>：TinyInfiniTrain（训练营作业载体，需补齐算子与训练流程）。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"2-核心特性\">\u003Ca class=\"anchor\" href=\"#2-核心特性\" aria-label=\"跳转到标题：2. 核心特性\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 核心特性\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>模型支持\u003C\u002Fstrong>：Dense 模型（MoE 开发中）。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>精度支持\u003C\u002Fstrong>：FP32、低精度推理、混合精度训练。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>分布式策略\u003C\u002Fstrong>：数据并行、张量并行、序列并行、流水并行及其组合。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>显存优化\u003C\u002Fstrong>：集成多种主流显存节省技术。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"加入训练营\">\u003Ca class=\"anchor\" href=\"#加入训练营\" aria-label=\"跳转到标题：加入训练营\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>加入训练营\u003C\u002Fh2>\u003Cp>📺\u003Cstrong>完整课程内容，请观看直播或查看课程回放：\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>InfiniTensor 官网\u003C\u002Fstrong>： [\u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com%5D\">https:\u002F\u002Fwww.infinitensor.com]\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>B站直播\u003C\u002Fstrong>： InfiniTensor 官方直播间\u003C\u002Fp>\n\u003Cp>\u003Cstrong>视频号直播\u003C\u002Fstrong>： InfiniTensor 视频号预约\u003C\u002Fp>\n\u003Cp>\u003Cstrong>答疑交流\u003C\u002Fstrong>： 训练营官方社群⬇️\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F2026-xjq.png?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=uKKZHEMMNB9PmoN2W7t8t3RWewk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"关注与交流\">\u003Ca class=\"anchor\" href=\"#关注与交流\" aria-label=\"跳转到标题：关注与交流\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>关注与交流\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792752562&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=n%2FSVGJ8eOraf6k1nlkjH0x9NZjY%3D\" alt=\"\">\u003C\u002Fp>\n",[128,130,133,136,139,141,144,147,150,153,156,159,162,165,168,171,174,177,180,183,185],{"id":129,"text":129,"level":110},"神经网络与训练核心原理",{"id":131,"text":132,"level":9},"1-神经网络基础回顾","1. 神经网络基础回顾",{"id":134,"text":135,"level":9},"2-梯度下降法","2. 梯度下降法",{"id":137,"text":138,"level":9},"3-激活函数详解","3. 激活函数详解",{"id":140,"text":140,"level":110},"反向传播与计算图机制",{"id":142,"text":143,"level":9},"1-链式法则-chain-rule","1. 链式法则（Chain Rule）",{"id":145,"text":146,"level":9},"2-反向传播流程","2. 反向传播流程",{"id":148,"text":149,"level":9},"3-数据集划分规范","3. 数据集划分规范",{"id":151,"text":152,"level":110},"pytorch-autograd-深度解析","PyTorch AutoGrad 深度解析",{"id":154,"text":155,"level":9},"1-自动微分机制","1. 自动微分机制",{"id":157,"text":158,"level":9},"2-梯度计算规则","2. 梯度计算规则",{"id":160,"text":161,"level":9},"3-模式与操作约束","3. 模式与操作约束",{"id":163,"text":164,"level":110},"混合精度训练-torch-amp","混合精度训练 torch.amp",{"id":166,"text":167,"level":9},"1-核心组件","1. 核心组件",{"id":169,"text":170,"level":9},"2-优化等级-apex-标准","2. 优化等级 (APEX 标准)",{"id":172,"text":173,"level":9},"3-分层混合精度策略","3. 分层混合精度策略",{"id":175,"text":176,"level":110},"自研框架-infinitrain-介绍","自研框架 InfiniTrain 介绍",{"id":178,"text":179,"level":9},"1-框架概况","1. 框架概况",{"id":181,"text":182,"level":9},"2-核心特性","2. 核心特性",{"id":184,"text":184,"level":110},"加入训练营",{"id":186,"text":186,"level":110},"关注与交流"]