[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-74":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=nCcM9ECgK5PlmraUwj%2BH%2F1S%2BELk%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kRi1yuIH5NG2docsx57MXWlzm1k%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eT9ZAOmPWlOldw%2FMHXc0X0x2%2Bhg%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":125},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":117,"canonicalPath":118,"id":119,"contentType":120,"prevArticle":121},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_fm.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=DKFPGD23Ege1TBZSV0vtMa1OjoE%3D","分布式训练,数据并行,张量并行,流水并行,MoE 专家并行","解析大模型单卡显存与算力瓶颈，详解数据、张量、流水、MoE 四大并行方案，对比 PS 与 AllReduce，介绍 GPipe\u002F1F1B 等流水线空泡优化及混合并行落地策略。","2026-10-22 20:38:11",2,"2026 夏季 InfiniTensor 训练营训练系统 2：《分布式训练》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw01.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=I2TL5AwhDN%2FvKOp8dEqZAaUgo%2Bk%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">7 月 22 日，2026 夏季 InfiniTensor 训练营训练系统方向第二课《分布式训练》开讲。\r\n前置课程《训练基础介绍》讲了大模型训练系统工程，涵盖神经网络原理、反向传播机制等内容，并介绍了自研训练框架 InfiniTrain 的架构与分布式并行技术。\r\n\u003C\u002Fspan>\r\n\r\n本节课基于训练框架编程与通信基础，深入探讨分布式训练的核心机制，涵盖数据并行、张量并行、流水并行及专家并行等内容。\r\n\r\n>课程配套开源项目 **InfiniTrain** 已实现大部分开发，同时专业阶段作业项目 **TinyInfiniTrain** 即将发布，包含具体作业要求与实现指南，大家可通过结尾 GitHub 链接获取代码、提交作业。\r\n\r\n## 为什么需要分布式训练？\r\n#### 1. 显存容量瓶颈\r\n\r\n小模型时代（如 AlexNet）单张消费级显卡即可完成训练。进入大模型时代（如 GPT-3 的 175B 参数），仅模型权重在 FP32 存储下就需占用超 700GB 显存，若加上梯度、优化器状态和中间激活值，单卡显存已完全无法承载。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw02.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Arepn1VgGfi58LxfC5c7qHwGXwk%3D)\r\n\r\n#### 2. 算力增长滞后\r\n近年来业界领先模型规模增长达 410 倍，而显卡算力（从 P100 到 H100）显存仅增长不到 7 倍，单卡算力与模型规模之间产生了数量级的差距。\r\n\r\n#### 3. 内存墙限制\r\nGPU 计算单元（厨师）速度飞速提升，但内存带宽与访问速度（仓库送食材）未能同比例增长，导致计算单元大量时间处于等待数据搬运的状态，算力利用率受限。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw03.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=W4RMsn8jUDf2CuDDcx85QPLcMAU%3D)\r\n\r\n#### 4. 分布式训练的核心收益\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw04.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Bh5QOIaeRuShjIPQ%2BqnVgDeNMoA%3D)\r\n\r\n将模型数据或计算任务分散到多设备协同执行，可获得三大收益：\r\n- **突破容量**：聚合多卡显存，解决单卡容量上限问题。\r\n- **缩短时间**：聚合多卡算力，加速训练进程。\r\n- **缓解内存墙**：聚合多设备内存带宽，在合理切分下提升数据流速。\r\n\r\n*注：分布式并非卡越多越快，切分数据必然引入通信开销，平衡“节省的资源”与“引入的通信”是实操关键。*\r\n\r\n\r\n## 数据并行\r\n### 核心原理\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw05.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=u9ex9bDqacvp%2F1P98mpMKlU20zc%3D)\r\n\r\n数据并行沿 Batch 维度切分输入数据，每张 GPU 保存完整且初始状态一致的模型权重。\r\n\r\n各卡独立完成前向与反向计算，得到局部梯度后，必须进行**梯度聚合**，确保每张卡获取相同的全局梯度并执行相同的优化器更新，从而保持模型副本一致。\r\n\r\n### 梯度聚合的两种经典范式\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw06.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Dyzp0AwlafyyVAYK6OZ0s4EH9j0%3D)\r\n\r\n\r\n1. **参数服务器（Parameter Server）**：中心化聚合。Worker 将梯度传回中心节点，由中心节点聚合更新后重新分发。缺点是中心节点易成为带宽与处理瓶颈，扩展性受限。\r\n2. **AllReduce**：去中心化集体通信。聚合任务分摊给所有设备，每个 GPU 参与梯度的归约与传播，最终所有 GPU 获得相同结果，有效避免单节点瓶颈，是目前通用实现。\r\n\r\n### 扩展瓶颈与限制\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw07.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qRT2L8%2BpfLJu38IddiQmBctMEbY%3D)\r\n\r\n1. **通信开销**：每个 Step 都需 Reduce，卡数与模型参数越大，同步梯度越多。\r\n2. **硬件拓扑依赖**：NVLink 与跨机 InfiniBand 的带宽和延迟差异显著影响性能。\r\n3. **计算通信比**：模型较小或单卡 Batch 过小时，计算快而通信等待长；但全局 Batch 过大又可能影响模型收敛与泛化。\r\n4. **单卡容量上限**：大模型时代，单卡无法保存完整模型参数，由此引出模型并行。\r\n\r\n## 模型并行\r\n当网络大到无法放入单设备，或完整模型梯度同步代价过高时，需将模型切分至不同设备。各设备处理相同逻辑的一批数据，但仅保存模型的一部分。\r\n\r\n### 张量并行\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw08.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=oyLTttJmaXJphEKw8qpex26lyTQ%3D)\r\n\r\n- **原理**：将单层网络的大权重矩阵切分到多张卡上。例如列切分需 AllGather 拼接输出，行切分需 AllReduce 求和输出。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw09.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=412BY2jcIB2JSTplyhXd3oKiPZ8%3D)\r\n\r\n- **优势**：显著降低单卡权重、梯度及中间激活值的显存压力，理想情况下缩短计算时间。\r\n- **劣势**：通信频繁且处于关键路径；大矩阵切小后单次计算规模变小，可能无法充分利用 GPU 算力。通常优先限制在同一台高速互联的服务器内部。\r\n\r\n\r\n### 序列并行\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw10.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qRZNIC94Aizh8NzVuIHFB8Vp2Nk%3D)\r\n\r\n- **原理**：针对张量并行未能覆盖的 LayerNorm、Dropout 等逐 Token 算子，进一步沿 Token 序列维度切分激活值。\r\n- **定位**：张量并行的补充与优化，通过 AllGather 或 ReduceScatter 转换张量分布，降低单卡激活显存。\r\n\r\n### 上下文并行\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw11.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9b%2BqVFzyxIEliRX04LynUtn4tMo%3D)\r\n\r\n- **原理**：从模型输入开始按 Sequence 切分，结合 Ring Attention，各卡保留 Query 分片，KV 在组内环形传递并计算部分注意力结果。\r\n- **定位**：专为超长序列场景设计，代价是 Attention 前后增加通信，需重点优化通信与计算的重叠。\r\n\r\n### 流水并行\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw12.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eEujfij63r9vu5xCRj2cHAYSpnM%3D)\r\n\r\n1.**原理**：将模型不同层分配到不同设备，前向传播通过 Send\u002FReceive 传递中间激活，反向传播反向传递梯度。\r\n\r\n2.**空泡（Bubble）优化**：\r\n- **GPipe**：将 Mini-batch 切分为多个 Micro-batch，先连续完成所有前向，再连续完成所有反向。切分越多空泡占比越小，但激活值显存占用增加。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw13.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=okXuFaHamjwGNi6J0HqIo9YxNzs%3D)\r\n\r\n- **1F1B**：稳定阶段每个设备交替进行一次前向和一次反向，像“砌墙”一样填满流水线，大幅减少空泡。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw14.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=liMYSq0YbqSUkamyzj9gPS5jw8M%3D)\r\n\r\n\r\n### 专家并行\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw15.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4BbZTsWBhnPBTrFXP63Khs%2B2FNE%3D)\r\n\r\n- **原理**：面向 MoE（混合专家）模型，通过 Gate 动态路由 Token 到对应专家。将不同专家放置在不同 GPU 上，通过 **All-to-All** 通信分发 Token 并回收结果。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw16.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ziqtRbniXJtSw6qqQYWLXLoqiWs%3D)\r\n\r\n- **特点**：主要用于 MoE 模型中的 Expert 层，将不同专家分布到不同 GPU 上。\r\n- **负载不均衡挑战**：热门专家 GPU 排队，冷门 GPU 空闲。解决思路包括：优化路由器（Top-K 选择）、加入辅助损失惩罚不均衡、设置容量约束限制单专家接收 Token 上限。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw17.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tppTFm9GRytMzDReUarMwsTql30%3D)\r\n\r\n\r\n## 混合并行实战与策略选择\r\n实际应用中通常采用**混合并行**，充分利用算力协调不同维度的划分策略。\r\n\r\n### 1. 经典组合案例（以 GPT-3 为例）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw18.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EFaWUi47GkBAmN7KQ5ySX%2BixGg0%3D)\r\n\r\n- **节点内（张量并行）**：通信极其频繁，分配在单主机 8 张 GPU 内，利用 NVLink 高速互联。\r\n- **跨节点（流水并行）**：仅在阶段边界传递激活值，通信量相对较小，分配在多节点组合上。\r\n- **跨主机（数据并行）**：梯度同步对拓扑灵活度要求高，分配在不同主机之间。\r\n\r\n### 2. 并行策略选择考量\r\n没有一种策略适配所有场景，选择时需综合评估：\r\n- **数据并行**：成本为梯度 AllReduce。\r\n- **张量并行**：成本为高频层内集合通信。\r\n- **流水并行**：成本为阶段边界通信与空泡。\r\n- **专家并行**：成本为 Token 路由的 All-to-All 通信及负载不均衡问题。\r\n\r\n需结合实际应用场景、算力环境与通信带宽进行针对性调优。\r\n\r\n\r\n## 作业提交\r\n\r\n- **作业仓库地址**：\r\nhttps:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FTinyInfiniTrain\r\n\r\n- **提交方式**：\r\n网站上传 github 链接，以最新提交为准。\r\n\r\n- **Github 链接示例**：（需带有 commit 信息，以最新提交为准）\r\n（https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniTrain\u002Ftree\u002F4bd441）\r\n\r\n\r\n\r\n\r\n\r\n## 加入训练营\r\n#### 📺完整课程内容，请观看直播或查看课程回放：\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F2026-xjq.png?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j5LLQWJGl7lfBWs0J77BjrIj89Q%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5J3BUGj%2FbNiiRCskyxeUoMVLor4%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-73","study-73","2026 夏季 InfiniTensor 训练营 AI 编程与智能体应用 2：《AI Agent 基础：从“会回答”到“能执行任务”的 AI 系统》",35,"\u002Fstudy-material\u002Fstudy-74","study-74","markdown",{"publishTime":7,"createTime":109,"canonicalPath":122,"id":123,"title":124},"\u002Fstudy-material\u002Fstudy-75","study-75","2026 夏季 InfiniTensor 训练营 AI 编译器 2：《AI 编译器中的前端优化》",{"htmlContent":126,"headings":127},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw01.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=I2TL5AwhDN%2FvKOp8dEqZAaUgo%2Bk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cspan style=\"font-size:12px;color:#555;\">7 月 22 日，2026 夏季 InfiniTensor 训练营训练系统方向第二课《分布式训练》开讲。\u003Cbr>前置课程《训练基础介绍》讲了大模型训练系统工程，涵盖神经网络原理、反向传播机制等内容，并介绍了自研训练框架 InfiniTrain 的架构与分布式并行技术。\u003Cbr>\u003C\u002Fspan>\u003C\u002Fp>\n\u003Cp>本节课基于训练框架编程与通信基础，深入探讨分布式训练的核心机制，涵盖数据并行、张量并行、流水并行及专家并行等内容。\u003C\u002Fp>\n\u003Cblockquote>\n\u003Cp>课程配套开源项目 \u003Cstrong>InfiniTrain\u003C\u002Fstrong> 已实现大部分开发，同时专业阶段作业项目 \u003Cstrong>TinyInfiniTrain\u003C\u002Fstrong> 即将发布，包含具体作业要求与实现指南，大家可通过结尾 GitHub 链接获取代码、提交作业。\u003C\u002Fp>\n\u003C\u002Fblockquote>\n\u003Ch2 id=\"为什么需要分布式训练\">\u003Ca class=\"anchor\" href=\"#为什么需要分布式训练\" aria-label=\"跳转到标题：为什么需要分布式训练？\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>为什么需要分布式训练？\u003C\u002Fh2>\u003Ch4 id=\"1-显存容量瓶颈\">\u003Ca class=\"anchor\" href=\"#1-显存容量瓶颈\" aria-label=\"跳转到标题：1. 显存容量瓶颈\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 显存容量瓶颈\u003C\u002Fh4>\u003Cp>小模型时代（如 AlexNet）单张消费级显卡即可完成训练。进入大模型时代（如 GPT-3 的 175B 参数），仅模型权重在 FP32 存储下就需占用超 700GB 显存，若加上梯度、优化器状态和中间激活值，单卡显存已完全无法承载。\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw02.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Arepn1VgGfi58LxfC5c7qHwGXwk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-算力增长滞后\">\u003Ca class=\"anchor\" href=\"#2-算力增长滞后\" aria-label=\"跳转到标题：2. 算力增长滞后\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 算力增长滞后\u003C\u002Fh4>\u003Cp>近年来业界领先模型规模增长达 410 倍，而显卡算力（从 P100 到 H100）显存仅增长不到 7 倍，单卡算力与模型规模之间产生了数量级的差距。\u003C\u002Fp>\n\u003Ch4 id=\"3-内存墙限制\">\u003Ca class=\"anchor\" href=\"#3-内存墙限制\" aria-label=\"跳转到标题：3. 内存墙限制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 内存墙限制\u003C\u002Fh4>\u003Cp>GPU 计算单元（厨师）速度飞速提升，但内存带宽与访问速度（仓库送食材）未能同比例增长，导致计算单元大量时间处于等待数据搬运的状态，算力利用率受限。\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw03.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=W4RMsn8jUDf2CuDDcx85QPLcMAU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"4-分布式训练的核心收益\">\u003Ca class=\"anchor\" href=\"#4-分布式训练的核心收益\" aria-label=\"跳转到标题：4. 分布式训练的核心收益\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>4. 分布式训练的核心收益\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw04.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Bh5QOIaeRuShjIPQ%2BqnVgDeNMoA%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>将模型数据或计算任务分散到多设备协同执行，可获得三大收益：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>突破容量\u003C\u002Fstrong>：聚合多卡显存，解决单卡容量上限问题。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>缩短时间\u003C\u002Fstrong>：聚合多卡算力，加速训练进程。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>缓解内存墙\u003C\u002Fstrong>：聚合多设备内存带宽，在合理切分下提升数据流速。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cem>注：分布式并非卡越多越快，切分数据必然引入通信开销，平衡“节省的资源”与“引入的通信”是实操关键。\u003C\u002Fem>\u003C\u002Fp>\n\u003Ch2 id=\"数据并行\">\u003Ca class=\"anchor\" href=\"#数据并行\" aria-label=\"跳转到标题：数据并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>数据并行\u003C\u002Fh2>\u003Ch3 id=\"核心原理\">\u003Ca class=\"anchor\" href=\"#核心原理\" aria-label=\"跳转到标题：核心原理\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>核心原理\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw05.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=u9ex9bDqacvp%2F1P98mpMKlU20zc%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>数据并行沿 Batch 维度切分输入数据，每张 GPU 保存完整且初始状态一致的模型权重。\u003C\u002Fp>\n\u003Cp>各卡独立完成前向与反向计算，得到局部梯度后，必须进行\u003Cstrong>梯度聚合\u003C\u002Fstrong>，确保每张卡获取相同的全局梯度并执行相同的优化器更新，从而保持模型副本一致。\u003C\u002Fp>\n\u003Ch3 id=\"梯度聚合的两种经典范式\">\u003Ca class=\"anchor\" href=\"#梯度聚合的两种经典范式\" aria-label=\"跳转到标题：梯度聚合的两种经典范式\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>梯度聚合的两种经典范式\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw06.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Dyzp0AwlafyyVAYK6OZ0s4EH9j0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Col>\n\u003Cli>\u003Cstrong>参数服务器（Parameter Server）\u003C\u002Fstrong>：中心化聚合。Worker 将梯度传回中心节点，由中心节点聚合更新后重新分发。缺点是中心节点易成为带宽与处理瓶颈，扩展性受限。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>AllReduce\u003C\u002Fstrong>：去中心化集体通信。聚合任务分摊给所有设备，每个 GPU 参与梯度的归约与传播，最终所有 GPU 获得相同结果，有效避免单节点瓶颈，是目前通用实现。\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Ch3 id=\"扩展瓶颈与限制\">\u003Ca class=\"anchor\" href=\"#扩展瓶颈与限制\" aria-label=\"跳转到标题：扩展瓶颈与限制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>扩展瓶颈与限制\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw07.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qRT2L8%2BpfLJu38IddiQmBctMEbY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Col>\n\u003Cli>\u003Cstrong>通信开销\u003C\u002Fstrong>：每个 Step 都需 Reduce，卡数与模型参数越大，同步梯度越多。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>硬件拓扑依赖\u003C\u002Fstrong>：NVLink 与跨机 InfiniBand 的带宽和延迟差异显著影响性能。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>计算通信比\u003C\u002Fstrong>：模型较小或单卡 Batch 过小时，计算快而通信等待长；但全局 Batch 过大又可能影响模型收敛与泛化。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>单卡容量上限\u003C\u002Fstrong>：大模型时代，单卡无法保存完整模型参数，由此引出模型并行。\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Ch2 id=\"模型并行\">\u003Ca class=\"anchor\" href=\"#模型并行\" aria-label=\"跳转到标题：模型并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>模型并行\u003C\u002Fh2>\u003Cp>当网络大到无法放入单设备，或完整模型梯度同步代价过高时，需将模型切分至不同设备。各设备处理相同逻辑的一批数据，但仅保存模型的一部分。\u003C\u002Fp>\n\u003Ch3 id=\"张量并行\">\u003Ca class=\"anchor\" href=\"#张量并行\" aria-label=\"跳转到标题：张量并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>张量并行\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw08.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=oyLTttJmaXJphEKw8qpex26lyTQ%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>原理\u003C\u002Fstrong>：将单层网络的大权重矩阵切分到多张卡上。例如列切分需 AllGather 拼接输出，行切分需 AllReduce 求和输出。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw09.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=412BY2jcIB2JSTplyhXd3oKiPZ8%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>优势\u003C\u002Fstrong>：显著降低单卡权重、梯度及中间激活值的显存压力，理想情况下缩短计算时间。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>劣势\u003C\u002Fstrong>：通信频繁且处于关键路径；大矩阵切小后单次计算规模变小，可能无法充分利用 GPU 算力。通常优先限制在同一台高速互联的服务器内部。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"序列并行\">\u003Ca class=\"anchor\" href=\"#序列并行\" aria-label=\"跳转到标题：序列并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>序列并行\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw10.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qRZNIC94Aizh8NzVuIHFB8Vp2Nk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>原理\u003C\u002Fstrong>：针对张量并行未能覆盖的 LayerNorm、Dropout 等逐 Token 算子，进一步沿 Token 序列维度切分激活值。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>定位\u003C\u002Fstrong>：张量并行的补充与优化，通过 AllGather 或 ReduceScatter 转换张量分布，降低单卡激活显存。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"上下文并行\">\u003Ca class=\"anchor\" href=\"#上下文并行\" aria-label=\"跳转到标题：上下文并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>上下文并行\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw11.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9b%2BqVFzyxIEliRX04LynUtn4tMo%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>原理\u003C\u002Fstrong>：从模型输入开始按 Sequence 切分，结合 Ring Attention，各卡保留 Query 分片，KV 在组内环形传递并计算部分注意力结果。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>定位\u003C\u002Fstrong>：专为超长序列场景设计，代价是 Attention 前后增加通信，需重点优化通信与计算的重叠。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"流水并行\">\u003Ca class=\"anchor\" href=\"#流水并行\" aria-label=\"跳转到标题：流水并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>流水并行\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw12.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eEujfij63r9vu5xCRj2cHAYSpnM%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>1.\u003Cstrong>原理\u003C\u002Fstrong>：将模型不同层分配到不同设备，前向传播通过 Send\u002FReceive 传递中间激活，反向传播反向传递梯度。\u003C\u002Fp>\n\u003Cp>2.\u003Cstrong>空泡（Bubble）优化\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>GPipe\u003C\u002Fstrong>：将 Mini-batch 切分为多个 Micro-batch，先连续完成所有前向，再连续完成所有反向。切分越多空泡占比越小，但激活值显存占用增加。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw13.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=okXuFaHamjwGNi6J0HqIo9YxNzs%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>1F1B\u003C\u002Fstrong>：稳定阶段每个设备交替进行一次前向和一次反向，像“砌墙”一样填满流水线，大幅减少空泡。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw14.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=liMYSq0YbqSUkamyzj9gPS5jw8M%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"专家并行\">\u003Ca class=\"anchor\" href=\"#专家并行\" aria-label=\"跳转到标题：专家并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>专家并行\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw15.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4BbZTsWBhnPBTrFXP63Khs%2B2FNE%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>原理\u003C\u002Fstrong>：面向 MoE（混合专家）模型，通过 Gate 动态路由 Token 到对应专家。将不同专家放置在不同 GPU 上，通过 \u003Cstrong>All-to-All\u003C\u002Fstrong> 通信分发 Token 并回收结果。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw16.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ziqtRbniXJtSw6qqQYWLXLoqiWs%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>特点\u003C\u002Fstrong>：主要用于 MoE 模型中的 Expert 层，将不同专家分布到不同 GPU 上。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>负载不均衡挑战\u003C\u002Fstrong>：热门专家 GPU 排队，冷门 GPU 空闲。解决思路包括：优化路由器（Top-K 选择）、加入辅助损失惩罚不均衡、设置容量约束限制单专家接收 Token 上限。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw17.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tppTFm9GRytMzDReUarMwsTql30%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"混合并行实战与策略选择\">\u003Ca class=\"anchor\" href=\"#混合并行实战与策略选择\" aria-label=\"跳转到标题：混合并行实战与策略选择\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>混合并行实战与策略选择\u003C\u002Fh2>\u003Cp>实际应用中通常采用\u003Cstrong>混合并行\u003C\u002Fstrong>，充分利用算力协调不同维度的划分策略。\u003C\u002Fp>\n\u003Ch3 id=\"1-经典组合案例-以-gpt-3-为例\">\u003Ca class=\"anchor\" href=\"#1-经典组合案例-以-gpt-3-为例\" aria-label=\"跳转到标题：1. 经典组合案例（以 GPT-3 为例）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 经典组合案例（以 GPT-3 为例）\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_74_zw18.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EFaWUi47GkBAmN7KQ5ySX%2BixGg0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>节点内（张量并行）\u003C\u002Fstrong>：通信极其频繁，分配在单主机 8 张 GPU 内，利用 NVLink 高速互联。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>跨节点（流水并行）\u003C\u002Fstrong>：仅在阶段边界传递激活值，通信量相对较小，分配在多节点组合上。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>跨主机（数据并行）\u003C\u002Fstrong>：梯度同步对拓扑灵活度要求高，分配在不同主机之间。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"2-并行策略选择考量\">\u003Ca class=\"anchor\" href=\"#2-并行策略选择考量\" aria-label=\"跳转到标题：2. 并行策略选择考量\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 并行策略选择考量\u003C\u002Fh3>\u003Cp>没有一种策略适配所有场景，选择时需综合评估：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>数据并行\u003C\u002Fstrong>：成本为梯度 AllReduce。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>张量并行\u003C\u002Fstrong>：成本为高频层内集合通信。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>流水并行\u003C\u002Fstrong>：成本为阶段边界通信与空泡。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>专家并行\u003C\u002Fstrong>：成本为 Token 路由的 All-to-All 通信及负载不均衡问题。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>需结合实际应用场景、算力环境与通信带宽进行针对性调优。\u003C\u002Fp>\n\u003Ch2 id=\"作业提交\">\u003Ca class=\"anchor\" href=\"#作业提交\" aria-label=\"跳转到标题：作业提交\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>作业提交\u003C\u002Fh2>\u003Cul>\n\u003Cli>\u003Cp>\u003Cstrong>作业仓库地址\u003C\u002Fstrong>：\u003Cbr>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FTinyInfiniTrain\">https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FTinyInfiniTrain\u003C\u002Fa>\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>\u003Cstrong>提交方式\u003C\u002Fstrong>：\u003Cbr>网站上传 github 链接，以最新提交为准。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>\u003Cstrong>Github 链接示例\u003C\u002Fstrong>：（需带有 commit 信息，以最新提交为准）\u003Cbr>（\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniTrain\u002Ftree\u002F4bd441%EF%BC%89\">https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniTrain\u002Ftree\u002F4bd441）\u003C\u002Fa>\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"加入训练营\">\u003Ca class=\"anchor\" href=\"#加入训练营\" aria-label=\"跳转到标题：加入训练营\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>加入训练营\u003C\u002Fh2>\u003Ch4 id=\"完整课程内容-请观看直播或查看课程回放\">\u003Ca class=\"anchor\" href=\"#完整课程内容-请观看直播或查看课程回放\" aria-label=\"跳转到标题：📺完整课程内容，请观看直播或查看课程回放：\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📺完整课程内容，请观看直播或查看课程回放：\u003C\u002Fh4>\u003Cp>\u003Cstrong>InfiniTensor 官网\u003C\u002Fstrong>： \u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com\">https:\u002F\u002Fwww.infinitensor.com\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>B站直播\u003C\u002Fstrong>： InfiniTensor 官方直播间\u003C\u002Fp>\n\u003Cp>\u003Cstrong>视频号直播\u003C\u002Fstrong>： InfiniTensor 视频号预约\u003C\u002Fp>\n\u003Cp>\u003Cstrong>答疑交流\u003C\u002Fstrong>： 训练营官方社群⬇️\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F2026-xjq.png?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j5LLQWJGl7lfBWs0J77BjrIj89Q%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"关注与交流\">\u003Ca class=\"anchor\" href=\"#关注与交流\" aria-label=\"跳转到标题：关注与交流\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>关注与交流\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792752589&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5J3BUGj%2FbNiiRCskyxeUoMVLor4%3D\" alt=\"\">\u003C\u002Fp>\n",[128,131,135,138,141,144,146,148,150,152,154,156,158,160,162,164,166,169,172,174,176,179],{"id":129,"text":130,"level":110},"为什么需要分布式训练","为什么需要分布式训练？",{"id":132,"text":133,"level":134},"1-显存容量瓶颈","1. 显存容量瓶颈",4,{"id":136,"text":137,"level":134},"2-算力增长滞后","2. 算力增长滞后",{"id":139,"text":140,"level":134},"3-内存墙限制","3. 内存墙限制",{"id":142,"text":143,"level":134},"4-分布式训练的核心收益","4. 分布式训练的核心收益",{"id":145,"text":145,"level":110},"数据并行",{"id":147,"text":147,"level":9},"核心原理",{"id":149,"text":149,"level":9},"梯度聚合的两种经典范式",{"id":151,"text":151,"level":9},"扩展瓶颈与限制",{"id":153,"text":153,"level":110},"模型并行",{"id":155,"text":155,"level":9},"张量并行",{"id":157,"text":157,"level":9},"序列并行",{"id":159,"text":159,"level":9},"上下文并行",{"id":161,"text":161,"level":9},"流水并行",{"id":163,"text":163,"level":9},"专家并行",{"id":165,"text":165,"level":110},"混合并行实战与策略选择",{"id":167,"text":168,"level":9},"1-经典组合案例-以-gpt-3-为例","1. 经典组合案例（以 GPT-3 为例）",{"id":170,"text":171,"level":9},"2-并行策略选择考量","2. 并行策略选择考量",{"id":173,"text":173,"level":110},"作业提交",{"id":175,"text":175,"level":110},"加入训练营",{"id":177,"text":178,"level":134},"完整课程内容-请观看直播或查看课程回放","📺完整课程内容，请观看直播或查看课程回放：",{"id":180,"text":180,"level":110},"关注与交流"]