[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"news-detail-news-50":49,"site-header-camps":116},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"newsDetail":50,"processedData":71},{"publishTime":51,"img":52,"keywords":53,"treeType":44,"showStatus":44,"updateTime":54,"type":44,"title":55,"content":56,"nextArticle":57,"createTime":54,"sortOrder":62,"canonicalPath":63,"id":64,"contentType":65,"prevArticle":66},"2026-06-23 08:00:00","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_50_fm.jpg?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=y08tZpK%2FresF6cv7BvWGP2bN968%3D","MSCCL++,GPU 通信,大模型推理,NCCL,三层抽象,InfiniCCL","2026-10-22 20:38:11","【论文分享】MSCCL++：让 GPU 通信像 CUDA 一样可编程","上一次论文分享中，我们介绍了北大金鑫团队与阿里云翟恩南团队发表于 NSDI 2026 的论文《ServeGen: Workload Characterization and Generation of Large Language Model Serving in Production》，讨论了真实生产环境中的大模型推理负载特征。\r\n\r\n过去几年，大模型推理优化聚焦在模型结构、KV Cache、调度策略及计算优化上。但随着模型规模的扩大和各种并行化策略的发展，一个被长期忽视的问题正在浮出水面——真实的大模型推理系统中，通信时间能占到总执行时间的 10%~40%，GPU 之间的通信已经成了推理性能的核心瓶颈。\r\n\r\nASPLOS 2026 上，微软研究院和 Azure 团队发表的论文《MSCCL++: Rethinking GPU Communication Abstractions for AI Inference》提出了一个目标：\r\n\r\n**让 GPU 通信像 CUDA 一样可编程，而不是只能使用 NCCL 这样的黑盒库。**\r\n\r\n这项工作已经被 Azure 内部多个推理服务采用，AMD 的 RCCL 也开始吸收其设计理念。\r\n\r\n\r\n### NCCL 越来越不够用了\r\n对于大部分开发者来说，NCCL ≈ GPU 通信。\r\n\r\nPyTorch 里调用集合通信操作，底层跑的就是 NCCL。但 NCCL 的设计目标是：成为一个通用通信库。而现在的大模型推理，越来越需要**针对具体负载、具体硬件的深度定制**。\r\n\r\n例如 TensorRT-LLM 已经不再完全依赖 NCCL，而是实现了自己的 AllReduce Kernel。因为对于不同场景：\r\n- Decode 阶段通常是小消息、高频通信；\r\n- Prefill 阶段通常是大消息、高带宽通信；\r\n\r\n二者对通信库的需求完全不同。\r\n\r\n与此同时，硬件在快速演进：NVLink、NVSwitch SHARP、Multimem、Multi-Node NVLink……这些新特性往往要等很久才能被 NCCL 正式支持。\r\n\r\n于是很多团队开始自己写通信库。但自己写的代价极高，需要处理 GPU 间同步、数据一致性、DMA 调度、RDMA 网络，还要针对不同硬件平台重新适配。\r\n\r\n这正是 MSCCL++ 想解决的问题。\r\n\r\n\r\n## MSCCL++ 的核心思路：\u003Cbr>三层抽象\r\n\r\nMSCCL++ 想要把通信能力拆成三层抽象，让不同能力层次的开发者都能拿到最合适的控制权。\r\n\r\n```cpp\r\nCollective API\r\n       ↑\r\nDSL API\r\n       ↑\r\nPrimitive API\r\n       ↑\r\nHardware\r\n```\r\n我们逐层来看。\r\n\r\n### 第一层：Collective API\r\n这一层面向普通用户，接口与 NCCL 基本兼容，无需修改上层应用，使用方式与 NCCL 没有区别：\r\n\r\n```cpp\r\n\u002F\u002F 原来\r\nncclAllReduce(...)\r\n\r\n\u002F\u002F 可直接替换为\r\nmscclppAllReduce(...)\r\n```\r\n\r\n### 第二层：DSL API\r\n这一层面向通信算法开发者，作者设计了一套 Python DSL，让开发者不用写复杂的 CUDA Kernel，而是通过类似下面的方式描述通信流程：\r\n\r\n```python\r\nchannel.put(...)\r\nchannel.wait(...)\r\nchannel.reduce(...)\r\n```\r\nDSL 编译器会自动完成：\r\n- 分析数据依赖\r\n- 插入同步操作\r\n- 执行算子融合\r\n- 生成执行计划\r\n\r\n最终由运行时解释执行。\r\n\r\n这一层非常类似于 CUDA Graph 在计算领域所扮演的角色，它让**通信算法的开发周期从数周缩短到数天**。\r\n\r\n### 第三层：Primitive API\r\n这是本文最核心的设计。作者认为，NCCL 提供的通信抽象层级较高，开发者通常只能通过 send、recv、allreduce 等高层通信原语进行编程，难以直接利用底层硬件的通信与同步能力\r\n\r\n因此 MSCCL++ 重新定义了更底层的通信抽象，让优化者能够直接控制通信、同步、DMA 等，核心是以下三种 Channel 抽象。\r\n\r\n\r\n## 三种 Channel：重新定义 GPU 通信\r\n现代 GPU 互联本质上存在三种不同的数据传输方式，于是作者在论文中提出了三种 Channel：\r\n\r\n### PortChannel\r\n对应：Port-Mapped I\u002FO\r\n典型场景： RDMA、DMA Engine\r\n\r\n| 核心特性 | 说明 |\r\n| --- | --- |\r\n| One-Sided | 发送方主动发起，接收方无需参与 |\r\n| Async | 发送立即返回 |\r\n| Zero-Copy | 直接访问目标地址，不经过中间缓冲区 |\r\n\r\n\r\n### MemoryChannel\r\n对应：Memory-Mapped I\u002FO\r\n典型场景： NVLink P2P、xGMI\r\n\r\nGPU Thread 直接访问远端 GPU 显存。作者进一步设计了两种协议：\r\n\r\n| 协议 | 特点 | 适用场景 |\r\n| --- | --- | --- |\r\n| **LL（Low Latency）** | 高频同步、小粒度传输 | Decode \u002F Sampling \u002F 小消息 |\r\n| **HB（High Bandwidth）**| 大块传输、少同步 | Prefill \u002F 大消息 |\r\n\r\n这与 NCCL 的 LL、LL128、Simple 协议设计思想非常相似。\r\n\r\n### 3. SwitchChannel\r\n这是 MSCCL++ 最有意思的创新之一，也是**在网计算**的发展结果之一。\r\n\r\n随着 H100 NVSwitch 的出现，交换机已经不仅仅负责转发数据——它还能直接执行 Reduce、Broadcast 等计算操作。\r\n\r\nMSCCL++ 将这种能力抽象为：\r\n\r\n```cpp\r\nreduce()\r\nbroadcast()\r\n```\r\n底层实际对应 NVIDIA 的 `multimem.ld_reduce` 和 `multimem.st`。\r\n\r\n换句话说：过去 AllReduce 在 GPU 上完成，未来部分计算可在交换机上完成。\r\n\r\n## MSCCL++ 与 InfiniCCL\r\n\r\n近期刚开源的**统一通信库项目 InfiniCCL**，与 MSCCL++ 目标相似，都试图解决通信库与硬件深度绑定的问题。但设计方向不同：\r\n\r\n#### MSCCL++ 更关注“通信编程模型”\r\n\r\n- 侧重问题：如何让开发者更容易编写高性能通信算法？\r\n- 重点：Primitive API、DSL、通信抽象。\r\n- 本质：Communication Programming Framework（通信编程框架）\r\n\r\n#### InfiniCCL 更关注“统一通信生态”\r\n\r\n- 侧重问题：如何提供跨硬件、跨厂商的一致通信接口？\r\n- 重点：NCCL-like API、Backend 自动检测、多平台适配、统一部署体验。\r\n- 本质：Unified Collective Communication Library（统一集合通信库）\r\n\r\n\r\nMSCCL++ 解决的是\"怎么写\"，InfiniCCL 解决的是\"怎么统一\"。 两者互补性很强，并非竞争关系。\r\n\r\n## 写在最后\r\n\r\nMSCCL++ 最值得关注的地方，并不只是它获得了 2×、3× 甚至 5× 的性能提升，而是它提出了一个新的思路：\r\n\r\n- **通信库不应该只是一个黑盒，而应该成为一个可编程的平台**。\r\n\r\n对于正在研究 TP\u002FEP 推理优化、通信调度、计算通信重叠的开发者来说，MSCCL++ 提供了一个值得借鉴的方向：\r\n\r\n未来的通信系统，也许不再是固定的 NCCL，而是能够根据负载特征、硬件拓扑和应用需求动态生成和优化通信策略的开放平台。\r\n\r\n这可能正是下一代 AI 通信基础设施的演进方向。\r\n\r\n\r\n\u003Cspan style=\"font-size:12px;color:#777;\">参考文献：《MSCCL++: Rethinking GPU Communication Abstractions for AI Inference》, ASPLOS 2026\u003C\u002Fspan>\r\n\r\n\r\n\u003Cdiv style=\"border:2px dashed #409eff;padding:12px 18px;border-radius:4px;\">\r\n\r\n  **2026 夏季 InfiniTensor 大模型与人工智能系统训练营现已开启报名！**\r\n\r\n  欢迎访问 **InfiniTensor 官网**（https:\u002F\u002Fwww.infinitensor.com ）查看报名信息，**关注公众号**获取更多相关内容。\r\n\r\n  扫描下方二维码，加入**训练营官方社群**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F2026-xjq.png?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=69AQYRRNeaLLHJDUft8sgw1%2BEiU%3D)\r\n\r\n\u003C\u002Fdiv>\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=PWOcTn3Z9OJvJpDh%2BsqT%2B6vsPsQ%3D)",{"publishTime":58,"createTime":54,"canonicalPath":59,"id":60,"title":61},"2026-06-18 08:00:00","\u002Fnews\u002Fnews-49","news-49","2026 夏季 InfiniTensor 大模型与人工智能系统训练营即将开放报名！",24,"\u002Fnews\u002Fnews-50","news-50","markdown",{"publishTime":67,"createTime":54,"canonicalPath":68,"id":69,"title":70},"2026-07-03 08:00:00","\u002Fnews\u002Fnews-51","news-51","不到 10 天，用大模型“搓”一个编译器",{"htmlContent":72,"headings":73},"\u003Cp>上一次论文分享中，我们介绍了北大金鑫团队与阿里云翟恩南团队发表于 NSDI 2026 的论文《ServeGen: Workload Characterization and Generation of Large Language Model Serving in Production》，讨论了真实生产环境中的大模型推理负载特征。\u003C\u002Fp>\n\u003Cp>过去几年，大模型推理优化聚焦在模型结构、KV Cache、调度策略及计算优化上。但随着模型规模的扩大和各种并行化策略的发展，一个被长期忽视的问题正在浮出水面——真实的大模型推理系统中，通信时间能占到总执行时间的 10%~40%，GPU 之间的通信已经成了推理性能的核心瓶颈。\u003C\u002Fp>\n\u003Cp>ASPLOS 2026 上，微软研究院和 Azure 团队发表的论文《MSCCL++: Rethinking GPU Communication Abstractions for AI Inference》提出了一个目标：\u003C\u002Fp>\n\u003Cp>\u003Cstrong>让 GPU 通信像 CUDA 一样可编程，而不是只能使用 NCCL 这样的黑盒库。\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp>这项工作已经被 Azure 内部多个推理服务采用，AMD 的 RCCL 也开始吸收其设计理念。\u003C\u002Fp>\n\u003Ch3 id=\"nccl-越来越不够用了\">\u003Ca class=\"anchor\" href=\"#nccl-越来越不够用了\" aria-label=\"跳转到标题：NCCL 越来越不够用了\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>NCCL 越来越不够用了\u003C\u002Fh3>\u003Cp>对于大部分开发者来说，NCCL ≈ GPU 通信。\u003C\u002Fp>\n\u003Cp>PyTorch 里调用集合通信操作，底层跑的就是 NCCL。但 NCCL 的设计目标是：成为一个通用通信库。而现在的大模型推理，越来越需要\u003Cstrong>针对具体负载、具体硬件的深度定制\u003C\u002Fstrong>。\u003C\u002Fp>\n\u003Cp>例如 TensorRT-LLM 已经不再完全依赖 NCCL，而是实现了自己的 AllReduce Kernel。因为对于不同场景：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>Decode 阶段通常是小消息、高频通信；\u003C\u002Fli>\n\u003Cli>Prefill 阶段通常是大消息、高带宽通信；\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>二者对通信库的需求完全不同。\u003C\u002Fp>\n\u003Cp>与此同时，硬件在快速演进：NVLink、NVSwitch SHARP、Multimem、Multi-Node NVLink……这些新特性往往要等很久才能被 NCCL 正式支持。\u003C\u002Fp>\n\u003Cp>于是很多团队开始自己写通信库。但自己写的代价极高，需要处理 GPU 间同步、数据一致性、DMA 调度、RDMA 网络，还要针对不同硬件平台重新适配。\u003C\u002Fp>\n\u003Cp>这正是 MSCCL++ 想解决的问题。\u003C\u002Fp>\n\u003Ch2 id=\"msccl-的核心思路-三层抽象\">\u003Ca class=\"anchor\" href=\"#msccl-的核心思路-三层抽象\" aria-label=\"跳转到标题：MSCCL++ 的核心思路：三层抽象\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>MSCCL++ 的核心思路：\u003Cbr>三层抽象\u003C\u002Fh2>\u003Cp>MSCCL++ 想要把通信能力拆成三层抽象，让不同能力层次的开发者都能拿到最合适的控制权。\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-cpp\">Collective API\n       ↑\nDSL API\n       ↑\nPrimitive API\n       ↑\nHardware\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>我们逐层来看。\u003C\u002Fp>\n\u003Ch3 id=\"第一层-collective-api\">\u003Ca class=\"anchor\" href=\"#第一层-collective-api\" aria-label=\"跳转到标题：第一层：Collective API\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>第一层：Collective API\u003C\u002Fh3>\u003Cp>这一层面向普通用户，接口与 NCCL 基本兼容，无需修改上层应用，使用方式与 NCCL 没有区别：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-cpp\">\u002F\u002F 原来\nncclAllReduce(...)\n\n\u002F\u002F 可直接替换为\nmscclppAllReduce(...)\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3 id=\"第二层-dsl-api\">\u003Ca class=\"anchor\" href=\"#第二层-dsl-api\" aria-label=\"跳转到标题：第二层：DSL API\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>第二层：DSL API\u003C\u002Fh3>\u003Cp>这一层面向通信算法开发者，作者设计了一套 Python DSL，让开发者不用写复杂的 CUDA Kernel，而是通过类似下面的方式描述通信流程：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-python\">channel.put(...)\nchannel.wait(...)\nchannel.reduce(...)\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>DSL 编译器会自动完成：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>分析数据依赖\u003C\u002Fli>\n\u003Cli>插入同步操作\u003C\u002Fli>\n\u003Cli>执行算子融合\u003C\u002Fli>\n\u003Cli>生成执行计划\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>最终由运行时解释执行。\u003C\u002Fp>\n\u003Cp>这一层非常类似于 CUDA Graph 在计算领域所扮演的角色，它让\u003Cstrong>通信算法的开发周期从数周缩短到数天\u003C\u002Fstrong>。\u003C\u002Fp>\n\u003Ch3 id=\"第三层-primitive-api\">\u003Ca class=\"anchor\" href=\"#第三层-primitive-api\" aria-label=\"跳转到标题：第三层：Primitive API\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>第三层：Primitive API\u003C\u002Fh3>\u003Cp>这是本文最核心的设计。作者认为，NCCL 提供的通信抽象层级较高，开发者通常只能通过 send、recv、allreduce 等高层通信原语进行编程，难以直接利用底层硬件的通信与同步能力\u003C\u002Fp>\n\u003Cp>因此 MSCCL++ 重新定义了更底层的通信抽象，让优化者能够直接控制通信、同步、DMA 等，核心是以下三种 Channel 抽象。\u003C\u002Fp>\n\u003Ch2 id=\"三种-channel-重新定义-gpu-通信\">\u003Ca class=\"anchor\" href=\"#三种-channel-重新定义-gpu-通信\" aria-label=\"跳转到标题：三种 Channel：重新定义 GPU 通信\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>三种 Channel：重新定义 GPU 通信\u003C\u002Fh2>\u003Cp>现代 GPU 互联本质上存在三种不同的数据传输方式，于是作者在论文中提出了三种 Channel：\u003C\u002Fp>\n\u003Ch3 id=\"portchannel\">\u003Ca class=\"anchor\" href=\"#portchannel\" aria-label=\"跳转到标题：PortChannel\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>PortChannel\u003C\u002Fh3>\u003Cp>对应：Port-Mapped I\u002FO\u003Cbr>典型场景： RDMA、DMA Engine\u003C\u002Fp>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>核心特性\u003C\u002Fth>\n\u003Cth>说明\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>One-Sided\u003C\u002Ftd>\n\u003Ctd>发送方主动发起，接收方无需参与\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Async\u003C\u002Ftd>\n\u003Ctd>发送立即返回\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Zero-Copy\u003C\u002Ftd>\n\u003Ctd>直接访问目标地址，不经过中间缓冲区\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Ch3 id=\"memorychannel\">\u003Ca class=\"anchor\" href=\"#memorychannel\" aria-label=\"跳转到标题：MemoryChannel\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>MemoryChannel\u003C\u002Fh3>\u003Cp>对应：Memory-Mapped I\u002FO\u003Cbr>典型场景： NVLink P2P、xGMI\u003C\u002Fp>\n\u003Cp>GPU Thread 直接访问远端 GPU 显存。作者进一步设计了两种协议：\u003C\u002Fp>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>协议\u003C\u002Fth>\n\u003Cth>特点\u003C\u002Fth>\n\u003Cth>适用场景\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>\u003Cstrong>LL（Low Latency）\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd>高频同步、小粒度传输\u003C\u002Ftd>\n\u003Ctd>Decode \u002F Sampling \u002F 小消息\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>HB（High Bandwidth）\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd>大块传输、少同步\u003C\u002Ftd>\n\u003Ctd>Prefill \u002F 大消息\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Cp>这与 NCCL 的 LL、LL128、Simple 协议设计思想非常相似。\u003C\u002Fp>\n\u003Ch3 id=\"3-switchchannel\">\u003Ca class=\"anchor\" href=\"#3-switchchannel\" aria-label=\"跳转到标题：3. SwitchChannel\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. SwitchChannel\u003C\u002Fh3>\u003Cp>这是 MSCCL++ 最有意思的创新之一，也是\u003Cstrong>在网计算\u003C\u002Fstrong>的发展结果之一。\u003C\u002Fp>\n\u003Cp>随着 H100 NVSwitch 的出现，交换机已经不仅仅负责转发数据——它还能直接执行 Reduce、Broadcast 等计算操作。\u003C\u002Fp>\n\u003Cp>MSCCL++ 将这种能力抽象为：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-cpp\">reduce()\nbroadcast()\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>底层实际对应 NVIDIA 的 \u003Ccode>multimem.ld_reduce\u003C\u002Fcode> 和 \u003Ccode>multimem.st\u003C\u002Fcode>。\u003C\u002Fp>\n\u003Cp>换句话说：过去 AllReduce 在 GPU 上完成，未来部分计算可在交换机上完成。\u003C\u002Fp>\n\u003Ch2 id=\"msccl-与-infiniccl\">\u003Ca class=\"anchor\" href=\"#msccl-与-infiniccl\" aria-label=\"跳转到标题：MSCCL++ 与 InfiniCCL\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>MSCCL++ 与 InfiniCCL\u003C\u002Fh2>\u003Cp>近期刚开源的\u003Cstrong>统一通信库项目 InfiniCCL\u003C\u002Fstrong>，与 MSCCL++ 目标相似，都试图解决通信库与硬件深度绑定的问题。但设计方向不同：\u003C\u002Fp>\n\u003Ch4 id=\"msccl-更关注-通信编程模型\">\u003Ca class=\"anchor\" href=\"#msccl-更关注-通信编程模型\" aria-label=\"跳转到标题：MSCCL++ 更关注“通信编程模型”\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>MSCCL++ 更关注“通信编程模型”\u003C\u002Fh4>\u003Cul>\n\u003Cli>侧重问题：如何让开发者更容易编写高性能通信算法？\u003C\u002Fli>\n\u003Cli>重点：Primitive API、DSL、通信抽象。\u003C\u002Fli>\n\u003Cli>本质：Communication Programming Framework（通信编程框架）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"infiniccl-更关注-统一通信生态\">\u003Ca class=\"anchor\" href=\"#infiniccl-更关注-统一通信生态\" aria-label=\"跳转到标题：InfiniCCL 更关注“统一通信生态”\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>InfiniCCL 更关注“统一通信生态”\u003C\u002Fh4>\u003Cul>\n\u003Cli>侧重问题：如何提供跨硬件、跨厂商的一致通信接口？\u003C\u002Fli>\n\u003Cli>重点：NCCL-like API、Backend 自动检测、多平台适配、统一部署体验。\u003C\u002Fli>\n\u003Cli>本质：Unified Collective Communication Library（统一集合通信库）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>MSCCL++ 解决的是"怎么写"，InfiniCCL 解决的是"怎么统一"。 两者互补性很强，并非竞争关系。\u003C\u002Fp>\n\u003Ch2 id=\"写在最后\">\u003Ca class=\"anchor\" href=\"#写在最后\" aria-label=\"跳转到标题：写在最后\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>写在最后\u003C\u002Fh2>\u003Cp>MSCCL++ 最值得关注的地方，并不只是它获得了 2×、3× 甚至 5× 的性能提升，而是它提出了一个新的思路：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>通信库不应该只是一个黑盒，而应该成为一个可编程的平台\u003C\u002Fstrong>。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>对于正在研究 TP\u002FEP 推理优化、通信调度、计算通信重叠的开发者来说，MSCCL++ 提供了一个值得借鉴的方向：\u003C\u002Fp>\n\u003Cp>未来的通信系统，也许不再是固定的 NCCL，而是能够根据负载特征、硬件拓扑和应用需求动态生成和优化通信策略的开放平台。\u003C\u002Fp>\n\u003Cp>这可能正是下一代 AI 通信基础设施的演进方向。\u003C\u002Fp>\n\u003Cp>\u003Cspan style=\"font-size:12px;color:#777;\">参考文献：《MSCCL++: Rethinking GPU Communication Abstractions for AI Inference》, ASPLOS 2026\u003C\u002Fspan>\u003C\u002Fp>\n\u003Cdiv style=\"border:2px dashed #409eff;padding:12px 18px;border-radius:4px;\">\u003Cp>  \u003Cstrong>2026 夏季 InfiniTensor 大模型与人工智能系统训练营现已开启报名！\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp>  欢迎访问 \u003Cstrong>InfiniTensor 官网\u003C\u002Fstrong>（\u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com\">https:\u002F\u002Fwww.infinitensor.com\u003C\u002Fa> ）查看报名信息，\u003Cstrong>关注公众号\u003C\u002Fstrong>获取更多相关内容。\u003C\u002Fp>\n\u003Cp>  扫描下方二维码，加入\u003Cstrong>训练营官方社群\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002F2026-xjq.png?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=69AQYRRNeaLLHJDUft8sgw1%2BEiU%3D\" alt=\"\">\u003C\u002Fp>\n\u003C\u002Fdiv>\u003Ch2 id=\"关注与交流\">\u003Ca class=\"anchor\" href=\"#关注与交流\" aria-label=\"跳转到标题：关注与交流\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>关注与交流\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=PWOcTn3Z9OJvJpDh%2BsqT%2B6vsPsQ%3D\" alt=\"\">\u003C\u002Fp>\n",[74,77,81,84,87,90,93,96,99,102,105,109,112,114],{"id":75,"text":76,"level":9},"nccl-越来越不够用了","NCCL 越来越不够用了",{"id":78,"text":79,"level":80},"msccl-的核心思路-三层抽象","MSCCL++ 的核心思路：三层抽象",2,{"id":82,"text":83,"level":9},"第一层-collective-api","第一层：Collective API",{"id":85,"text":86,"level":9},"第二层-dsl-api","第二层：DSL API",{"id":88,"text":89,"level":9},"第三层-primitive-api","第三层：Primitive API",{"id":91,"text":92,"level":80},"三种-channel-重新定义-gpu-通信","三种 Channel：重新定义 GPU 通信",{"id":94,"text":95,"level":9},"portchannel","PortChannel",{"id":97,"text":98,"level":9},"memorychannel","MemoryChannel",{"id":100,"text":101,"level":9},"3-switchchannel","3. SwitchChannel",{"id":103,"text":104,"level":80},"msccl-与-infiniccl","MSCCL++ 与 InfiniCCL",{"id":106,"text":107,"level":108},"msccl-更关注-通信编程模型","MSCCL++ 更关注“通信编程模型”",4,{"id":110,"text":111,"level":108},"infiniccl-更关注-统一通信生态","InfiniCCL 更关注“统一通信生态”",{"id":113,"text":113,"level":80},"写在最后",{"id":115,"text":115,"level":80},"关注与交流",{"total":45,"list":117,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":170,"navigateFirstPage":44,"navigateLastPage":44},[118,129,140,151,161],{"id":119,"slug":120,"title":121,"logo":122,"publicLiveEmbedUrl":14,"description":123,"introduction":124,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":125,"endTime":126,"status":22,"dashboardVisibility":127,"createdAt":125,"updatedAt":128},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SqASSorKbGqbBwQFQ5RjfAe6ISQ%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":130,"slug":131,"title":132,"logo":133,"publicLiveEmbedUrl":7,"description":134,"introduction":124,"organizer":18,"coOrganizer":5,"sponsor":135,"startTime":136,"endTime":137,"status":33,"dashboardVisibility":23,"createdAt":138,"updatedAt":139},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=R5JKr8bO3hHaCXaP1wzWmJLE%2F1s%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":141,"slug":36,"title":142,"logo":143,"publicLiveEmbedUrl":7,"description":144,"introduction":124,"organizer":18,"coOrganizer":5,"sponsor":145,"startTime":146,"endTime":147,"status":148,"dashboardVisibility":23,"createdAt":149,"updatedAt":150},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752856&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4gC4JkvFTMfNf4MMYpG%2BY8amgGQ%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":152,"slug":153,"title":154,"logo":155,"publicLiveEmbedUrl":7,"description":156,"introduction":124,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":157,"endTime":158,"status":148,"dashboardVisibility":23,"createdAt":159,"updatedAt":160},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":162,"slug":163,"title":164,"logo":165,"publicLiveEmbedUrl":7,"description":166,"introduction":124,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":167,"endTime":168,"status":148,"dashboardVisibility":23,"createdAt":159,"updatedAt":169},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44]]