[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"news-detail-news-2":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=LJ0ZuxNgIJ4RyVgczKT23b4nC1U%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=QAVpGIqmRmM53c0O1pqgr%2F6rmnc%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Ax3dDPChIYk86aZzWXZANpD9s%2BY%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"newsDetail":105,"processedData":127},{"publishTime":106,"img":107,"keywords":108,"treeType":44,"description":109,"showStatus":44,"updateTime":110,"type":44,"title":111,"content":112,"nextArticle":113,"createTime":110,"sortOrder":118,"canonicalPath":119,"id":120,"contentType":121,"prevArticle":122},"2025-11-19 08:00:00","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_06.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=pgWffEqKN635fCVYQbW010TUCv8%3D","训练系统设计,多层协同,算力效率,CNCC2025,技术分享","分享内容聚焦大模型训练系统设计，强调多层次协同机制与算力效率优化策略在工程落地中的实际作用。","2026-10-22 20:38:11","【CNCC2025分享系列】大模型训练系统与设计：多层次协同与算力效率优化","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F1763447462490-12bc1cb1-0728-4a61-ace9-cf5d53811a36.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9tykkOAd%2FGaUqMVk%2B592AcRBOQY%3D)\r\n\r\n在AI技术狂飙的今天，大模型已成为驱动行业变革的超级引擎。然而，随着模型规模“膨胀式”增长，训练与推理中的算力效率、资源利用、系统扩展等问题也愈发棘手。一场围绕“效率”的系统级革新正悄然展开——深入探索多层次协同的训练推理系统设计，揭开大模型训练背后的“加速秘籍”！\r\n\r\n## 🔁 多层次协同：让训练系统“活”起来\r\n**Comet**：MoE架构下的“通信减负”高手\r\n在混合专家（MoE）架构中，通信常常是性能的“拖后腿大王”，有时甚至占一半训练时间！Comet系统化身调度大师，以token为粒度对共享张量进行解耦与智能重调度，实现计算与通信的动态穿插。这不仅大幅减少“空泡等待”，还让通信延迟显著降低，为MoE的大规模落地铺平道路。\r\n\r\n**LOTUS**：多任务微调的“打包艺术家”\r\n面对LoRA微调任务中张量小、硬件“吃不饱”的窘境，LOTUS系统玩起了“打包游戏”。它巧妙融合多任务数据，扩大算子规模，再借助负载感知与拓扑排序算法，实现多任务算子的高效穿插执行。硬件利用率直线上升，训练效率也水涨船高！\r\n\r\n**Gimbal**：作业调度的“平衡术大师”\r\n当训练任务“大小不一”、资源竞争激烈时，Gimbal登场了。它像一位资源调配师，动态调整每张卡上的微批次大小，实现作业的高效“拼车”。资源争抢？负载不均？不存在的！\r\n\r\n**ELORA**：Multi-LoRA推理的“内存管家”\r\nLoRA推理中，显存使用低效、负载难以均衡？ELORA构建了一套智能成本模型，精准评估预取收益，实现显存资源的“精打细算”与动态负载均衡。推理性能因此大幅提升，Multi-LoRA场景也能轻松驾驭。\r\n\r\n## ⚙️ Hypertron：高维并行训练的“自动驾驶”系统\r\n**挑战：** 大模型训练的“四座大山”\r\n模型越来越大，架构越来越复杂，训练效率如何不被拖垮？算力鸿沟、架构多样、系统扩展难、资源利用率低——Hypertron正是为攻克这些难题而生。\r\n\r\n**方法：** 自动并行优化的“智能导航”\r\nHypertron借鉴OneFlow的SBP抽象，强化张量并行描述能力，并构建延迟-带宽性能预测体系。结合启发式搜索算法，训练吞吐提升超30%，让分布式训练像“开车用导航”一样省心。\r\n\r\n**实战：** 384节点上的“7D并行”奇迹\r\n在华为Cloud Matrix 384超节点上，Hypertron实现了7维并行（DP、2D TP、SP、CP…），宛如一场“高维交响乐”。在2048张NPU上，加速比达1.33倍，MFU突破55%，证明了大模型训练的高效可扩展并非遥不可及。\r\n\r\n## 🔥 XTunerV1：超大MoE训练的“轻量化引擎”\r\n**挑战：** 当MoE模型冲破200B规模\r\noverlap需精调、专家分布不均、序列并行复杂、梯度累计影响全局校准——传统3D并行已力不从心。XTunerV1却迎难而上，以“Dropless”方式高效训练200B MoE模型，序列最长64K，性能碾压传统方案。\r\n\r\n**内核：** 平衡的艺术 + 极致的优化\r\nXTunerV1基于PyTorch FSDP，巧妙平衡显存、计算与通信，上手更友好。支持Tilewise FP8训练，性能媲美DeepSeekV3，并跨GPU\u002FNPU平台，最高支持1T参数MoE训练！\r\n\r\n在优化技术上，它五大招齐发：\r\n\r\n🧠 显存优化：通过swap优化checkpointing，省显存不省性能\r\n\r\n🔄 通信-计算重叠：加大BatchSize，挤掉空泡\r\n\r\n📡 通信优化：定制All Gather，效率再提10-20%\r\n\r\n🧩 EP优化：专家内部流水并行，分工明确\r\n\r\n⚡ 算子优化：TMA-Adaptive FP8 Gemm，计算性能拉满\r\n\r\n## 💡 资源受限？\u003Cbr>也能玩转大模型训练！\r\n大模型训练成本高、资源紧，是许多团队的现实困境。比如RTX 4090算力强但显存小、通信弱，难以高效训练 LLM；传统并行策略存在通信成本高、内存占用大或计算不均衡的问题，无法兼顾低成本与高效训练需求。\r\n\r\n**方法：**\r\n1. 序列虚拟流水线并行（SVPP）调度方法，以切片为粒度交错执行前向和反向传播，提前启动首次反向传播，大幅降低激活内存消耗，且提供多种变体适配不同内存限制。\r\n2. 采用细粒度权重梯度计算技术，将权重梯度计算分解为独立的 GEMM 操作，动态调度填充通信等待间隙，缓解切片间计算不均衡，减少迭代末期气泡。\r\n\r\n**实战：**\r\n在 Megatron-LM 框架上实现 MEPipe，整合性能分析器、SVPP 调度器和执行引擎，通过网格搜索确定最优并行策略\r\n\r\n在 64 块 RTX 4090 GPU 集群上训练不同规模 Llama 模型时，MEPipe 最高实现 1.68 倍加速（平均 1.35 倍），Llama 13B 模型的模型浮点运算利用率（MFU）达 35%\r\n\r\n## 🌟 效率革命，才刚刚开始\r\n从Comet、LOTUS、Gimbal、ELORA的多层次协同，到Hypertron的高维并行自动优化，再到XTunerV1面向超大MoE的轻量化引擎——大模型训练系统正迎来一场“效率革命”。在资源与需求的拉锯战中，技术创新持续突破，为AI的未来打下坚实基座。\r\n✨欢迎一起关注这场AI算力的进化之旅！\r\n\r\n### 📰 信息来源\r\n本文整理的技术内容摘自 CNCC 2025（中国计算机大会）现场报告与论坛分享。CNCC 是国内外知名学者和企业专家汇聚的年度盛会，关注前沿技术趋势与创新成果。\r\n\r\n### 📚 知识充电站\r\n如果你希望持续获取 AI 系统优化、大模型、CUDA 编程等方向的前沿解析与技术干货，欢迎关注我们的公众号 **「InfiniTensor」**。在这里，我们不仅分享知识，更致力于构建一个共同成长的学习社区。",{"publishTime":114,"createTime":110,"canonicalPath":115,"id":116,"title":117},"2025-11-18 08:00:00","\u002Fnews\u002Fnews-5","news-5","【CNCC2025分享系列】异构计算与部署：迈向AI算力效率的新高度",71,"\u002Fnews\u002Fnews-2","news-2","markdown",{"publishTime":123,"createTime":110,"canonicalPath":124,"id":125,"title":126},"2025-11-21 08:00:00","\u002Fnews\u002Fnews-3","news-3","本周日！别错过！2025秋季启元人工智能大赛启动会直播在即！",{"htmlContent":128,"headings":129},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F1763447462490-12bc1cb1-0728-4a61-ace9-cf5d53811a36.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9tykkOAd%2FGaUqMVk%2B592AcRBOQY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>在AI技术狂飙的今天，大模型已成为驱动行业变革的超级引擎。然而，随着模型规模“膨胀式”增长，训练与推理中的算力效率、资源利用、系统扩展等问题也愈发棘手。一场围绕“效率”的系统级革新正悄然展开——深入探索多层次协同的训练推理系统设计，揭开大模型训练背后的“加速秘籍”！\u003C\u002Fp>\n\u003Ch2 id=\"多层次协同-让训练系统-活-起来\">\u003Ca class=\"anchor\" href=\"#多层次协同-让训练系统-活-起来\" aria-label=\"跳转到标题：🔁 多层次协同：让训练系统“活”起来\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🔁 多层次协同：让训练系统“活”起来\u003C\u002Fh2>\u003Cp>\u003Cstrong>Comet\u003C\u002Fstrong>：MoE架构下的“通信减负”高手\u003Cbr>在混合专家（MoE）架构中，通信常常是性能的“拖后腿大王”，有时甚至占一半训练时间！Comet系统化身调度大师，以token为粒度对共享张量进行解耦与智能重调度，实现计算与通信的动态穿插。这不仅大幅减少“空泡等待”，还让通信延迟显著降低，为MoE的大规模落地铺平道路。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>LOTUS\u003C\u002Fstrong>：多任务微调的“打包艺术家”\u003Cbr>面对LoRA微调任务中张量小、硬件“吃不饱”的窘境，LOTUS系统玩起了“打包游戏”。它巧妙融合多任务数据，扩大算子规模，再借助负载感知与拓扑排序算法，实现多任务算子的高效穿插执行。硬件利用率直线上升，训练效率也水涨船高！\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Gimbal\u003C\u002Fstrong>：作业调度的“平衡术大师”\u003Cbr>当训练任务“大小不一”、资源竞争激烈时，Gimbal登场了。它像一位资源调配师，动态调整每张卡上的微批次大小，实现作业的高效“拼车”。资源争抢？负载不均？不存在的！\u003C\u002Fp>\n\u003Cp>\u003Cstrong>ELORA\u003C\u002Fstrong>：Multi-LoRA推理的“内存管家”\u003Cbr>LoRA推理中，显存使用低效、负载难以均衡？ELORA构建了一套智能成本模型，精准评估预取收益，实现显存资源的“精打细算”与动态负载均衡。推理性能因此大幅提升，Multi-LoRA场景也能轻松驾驭。\u003C\u002Fp>\n\u003Ch2 id=\"hypertron-高维并行训练的-自动驾驶-系统\">\u003Ca class=\"anchor\" href=\"#hypertron-高维并行训练的-自动驾驶-系统\" aria-label=\"跳转到标题：⚙️ Hypertron：高维并行训练的“自动驾驶”系统\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>⚙️ Hypertron：高维并行训练的“自动驾驶”系统\u003C\u002Fh2>\u003Cp>\u003Cstrong>挑战：\u003C\u002Fstrong> 大模型训练的“四座大山”\u003Cbr>模型越来越大，架构越来越复杂，训练效率如何不被拖垮？算力鸿沟、架构多样、系统扩展难、资源利用率低——Hypertron正是为攻克这些难题而生。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>方法：\u003C\u002Fstrong> 自动并行优化的“智能导航”\u003Cbr>Hypertron借鉴OneFlow的SBP抽象，强化张量并行描述能力，并构建延迟-带宽性能预测体系。结合启发式搜索算法，训练吞吐提升超30%，让分布式训练像“开车用导航”一样省心。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>实战：\u003C\u002Fstrong> 384节点上的“7D并行”奇迹\u003Cbr>在华为Cloud Matrix 384超节点上，Hypertron实现了7维并行（DP、2D TP、SP、CP…），宛如一场“高维交响乐”。在2048张NPU上，加速比达1.33倍，MFU突破55%，证明了大模型训练的高效可扩展并非遥不可及。\u003C\u002Fp>\n\u003Ch2 id=\"xtunerv1-超大moe训练的-轻量化引擎\">\u003Ca class=\"anchor\" href=\"#xtunerv1-超大moe训练的-轻量化引擎\" aria-label=\"跳转到标题：🔥 XTunerV1：超大MoE训练的“轻量化引擎”\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🔥 XTunerV1：超大MoE训练的“轻量化引擎”\u003C\u002Fh2>\u003Cp>\u003Cstrong>挑战：\u003C\u002Fstrong> 当MoE模型冲破200B规模\u003Cbr>overlap需精调、专家分布不均、序列并行复杂、梯度累计影响全局校准——传统3D并行已力不从心。XTunerV1却迎难而上，以“Dropless”方式高效训练200B MoE模型，序列最长64K，性能碾压传统方案。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>内核：\u003C\u002Fstrong> 平衡的艺术 + 极致的优化\u003Cbr>XTunerV1基于PyTorch FSDP，巧妙平衡显存、计算与通信，上手更友好。支持Tilewise FP8训练，性能媲美DeepSeekV3，并跨GPU\u002FNPU平台，最高支持1T参数MoE训练！\u003C\u002Fp>\n\u003Cp>在优化技术上，它五大招齐发：\u003C\u002Fp>\n\u003Cp>🧠 显存优化：通过swap优化checkpointing，省显存不省性能\u003C\u002Fp>\n\u003Cp>🔄 通信-计算重叠：加大BatchSize，挤掉空泡\u003C\u002Fp>\n\u003Cp>📡 通信优化：定制All Gather，效率再提10-20%\u003C\u002Fp>\n\u003Cp>🧩 EP优化：专家内部流水并行，分工明确\u003C\u002Fp>\n\u003Cp>⚡ 算子优化：TMA-Adaptive FP8 Gemm，计算性能拉满\u003C\u002Fp>\n\u003Ch2 id=\"资源受限-也能玩转大模型训练\">\u003Ca class=\"anchor\" href=\"#资源受限-也能玩转大模型训练\" aria-label=\"跳转到标题：💡 资源受限？也能玩转大模型训练！\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>💡 资源受限？\u003Cbr>也能玩转大模型训练！\u003C\u002Fh2>\u003Cp>大模型训练成本高、资源紧，是许多团队的现实困境。比如RTX 4090算力强但显存小、通信弱，难以高效训练 LLM；传统并行策略存在通信成本高、内存占用大或计算不均衡的问题，无法兼顾低成本与高效训练需求。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>方法：\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Col>\n\u003Cli>序列虚拟流水线并行（SVPP）调度方法，以切片为粒度交错执行前向和反向传播，提前启动首次反向传播，大幅降低激活内存消耗，且提供多种变体适配不同内存限制。\u003C\u002Fli>\n\u003Cli>采用细粒度权重梯度计算技术，将权重梯度计算分解为独立的 GEMM 操作，动态调度填充通信等待间隙，缓解切片间计算不均衡，减少迭代末期气泡。\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Cp>\u003Cstrong>实战：\u003C\u002Fstrong>\u003Cbr>在 Megatron-LM 框架上实现 MEPipe，整合性能分析器、SVPP 调度器和执行引擎，通过网格搜索确定最优并行策略\u003C\u002Fp>\n\u003Cp>在 64 块 RTX 4090 GPU 集群上训练不同规模 Llama 模型时，MEPipe 最高实现 1.68 倍加速（平均 1.35 倍），Llama 13B 模型的模型浮点运算利用率（MFU）达 35%\u003C\u002Fp>\n\u003Ch2 id=\"效率革命-才刚刚开始\">\u003Ca class=\"anchor\" href=\"#效率革命-才刚刚开始\" aria-label=\"跳转到标题：🌟 效率革命，才刚刚开始\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🌟 效率革命，才刚刚开始\u003C\u002Fh2>\u003Cp>从Comet、LOTUS、Gimbal、ELORA的多层次协同，到Hypertron的高维并行自动优化，再到XTunerV1面向超大MoE的轻量化引擎——大模型训练系统正迎来一场“效率革命”。在资源与需求的拉锯战中，技术创新持续突破，为AI的未来打下坚实基座。\u003Cbr>✨欢迎一起关注这场AI算力的进化之旅！\u003C\u002Fp>\n\u003Ch3 id=\"信息来源\">\u003Ca class=\"anchor\" href=\"#信息来源\" aria-label=\"跳转到标题：📰 信息来源\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📰 信息来源\u003C\u002Fh3>\u003Cp>本文整理的技术内容摘自 CNCC 2025（中国计算机大会）现场报告与论坛分享。CNCC 是国内外知名学者和企业专家汇聚的年度盛会，关注前沿技术趋势与创新成果。\u003C\u002Fp>\n\u003Ch3 id=\"知识充电站\">\u003Ca class=\"anchor\" href=\"#知识充电站\" aria-label=\"跳转到标题：📚 知识充电站\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📚 知识充电站\u003C\u002Fh3>\u003Cp>如果你希望持续获取 AI 系统优化、大模型、CUDA 编程等方向的前沿解析与技术干货，欢迎关注我们的公众号 \u003Cstrong>「InfiniTensor」\u003C\u002Fstrong>。在这里，我们不仅分享知识，更致力于构建一个共同成长的学习社区。\u003C\u002Fp>\n",[130,134,137,140,143,146,149],{"id":131,"text":132,"level":133},"多层次协同-让训练系统-活-起来","🔁 多层次协同：让训练系统“活”起来",2,{"id":135,"text":136,"level":133},"hypertron-高维并行训练的-自动驾驶-系统","⚙️ Hypertron：高维并行训练的“自动驾驶”系统",{"id":138,"text":139,"level":133},"xtunerv1-超大moe训练的-轻量化引擎","🔥 XTunerV1：超大MoE训练的“轻量化引擎”",{"id":141,"text":142,"level":133},"资源受限-也能玩转大模型训练","💡 资源受限？也能玩转大模型训练！",{"id":144,"text":145,"level":133},"效率革命-才刚刚开始","🌟 效率革命，才刚刚开始",{"id":147,"text":148,"level":9},"信息来源","📰 信息来源",{"id":150,"text":151,"level":9},"知识充电站","📚 知识充电站"]