[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-106":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=739batJ4%2B57Fju5PIvpwAi5wwJ4%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=TtQRCdsl2%2Blbx4NBmB3M41mPGDA%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=q4JuhVDAFMLSebXnpwWGpJRLRAw%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":125},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":117,"canonicalPath":118,"id":119,"contentType":120,"prevArticle":121},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_fm.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=izVX0hfsvmqIpEolUbqXixULYQ8%3D","多范式算子开发,九源软件栈,沐曦 MXMACA,国产异构算力,算子编译,InfiniTensor","多范式算子开发实战营由九源、沐曦、AI Infra 等社区联合推出，聚焦 TileLang、Triton、九齿等多 DSL 对比学习与国产异构算力实践。开营仪式首节课程由王豪杰老师带来《九源软件栈核心技术与开源生态》，结合吕墨尘老师“从调用 AI 到构建 AI”开营分享，系统呈现国产异构算力平台下的算子开发学习路径与开源生态实践。","2026-10-22 20:38:11",2,"「多范式算子开发实战营」开营首讲：《九源软件栈核心技术与开源生态》 课程回顾","9 月 13 日晚，由九源开源社区联合沐曦 GPU 与 MXMACA 软件栈、 AI Infra 开源社区、GitLink 开源平台、DataWhale 开源学习社区及启悟学习社区联合推出的 **「多范式算子开发实战营」** 正式开营。\r\n\r\n### 为什么叫\"多范式\"？\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw01.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=RAC5FwaawALj8MpdoJ%2Bfc02j28o%3D)\r\n\r\n本次实战营主打**多个 DSL 的对比学习**，帮助学员建立对算子开发的本质认知。课程内容包括：\r\n\r\n- **全局视野建立**：了解九源软件栈和沐曦 MXMACA 软件栈，理解异构国产算力平台的生态格局\r\n- **多 DSL 对比**：系统性比较多个 DSL 的设计思想和编程范式，掌握在不同场景、平台和问题下选择合适工具的能力\r\n- **复杂算子实战**：深入学习 Flash Attention、GEMM 等复杂算子的实现核心技术\r\n- **性能分析优化**：学习使用 McProfiling 等性能分析工具，掌握算子性能瓶颈的定位与优化方法\r\n- **AI Agent 辅助开发**：探索人机协作新范式，体验用 AI Agent 提升算子开发效率\r\n\r\n### 课程设计与学习方式\r\n\r\n- **每周两次直播课程**，由老师带领了解核心技术并展示实操\r\n- **GitLink 课程仓库** 提供完善的脚手架代码和学习任务\r\n- **任务驱动学习**：通过动手实践验证知识点\r\n- **课后回放**：课程内容上传至 B 站和 DataWhale 课程主页，方便反复学习\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw02.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=pzPU%2F5a%2FybgLFixxKIH0xYj%2Fgvg%3D)\r\n\r\n### 四项学习福利\r\n\r\n| 福利 | 内容 |\r\n|------|------|\r\n| 🎫 免费算力券 | 所有动手环节均可通过沐曦开发者社区领取的算力券完成 |\r\n| 💻 示例代码 | GitLink 学习仓库提供完善可靠的可运行示例代码 |\r\n| 📜 结营证书 | 按时完成所有学习任务并通过审核，可获沐曦盖章结营证书 |\r\n| 🎁 激励活动 | 在社交媒体分享学习心得，有机会获得沐曦定制周边大礼包 |\r\n\r\n\r\n## 吕墨尘老师开营分享：\u003Cbr>《从调用 AI 到构建 AI》\r\n\r\n> **主讲人**：九源智能计算系统生态联合体吕墨尘老师\r\n\r\n### 九源在做什么？\r\n\r\n九源围绕 **统一的软件架构**，推进编程语言、算子、通信、训练、推理等基础软件建设。目标不是做几场独立的技术分享，而是打造一条 **可持续走下去的学习路径**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw03.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=c9l8muIL4TAKZgd%2Brg3coTW592o%3D)\r\n\r\n\r\n\r\n### InfiniTensor 大模型与人工智能系统训练营\r\n\r\n- 自 2024 年夏季开始，已持续举办 **4 期**，累计吸引 **上万名学员**\r\n- 课程三大板块：\r\n  - **基础专业课**：各方向核心知识和基本方法\r\n  - **行业合作课**：企业工程师带真实开发场景讲解\r\n  - **大咖课**：学术界和产业界老师分享研究进展与实践经验\r\n\r\n### 课程体系覆盖\r\n\r\n- **并行编程:** CUDA、Triton、九齿、OpenCL、CPU 并行编程\r\n- **系统方向:** AI 编译器、训练系统、大模型推理服务系统、通信与并行优化\r\n- **新增课程:** AI 编程与智能体应用\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw04.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=IgRs10FQns30Y9laVHCDTkpKhjs%3D)\r\n\r\n\r\n### 实践与赛事\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw05.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=sMTzVAHqUpvHqrTsMw1TYVFT4Pg%3D)\r\n\r\n- **线下走进高校**：兰州大学、西安交通大学、西北工业大学等\r\n- **走进企业**：组织优秀学员参观新华三等企业\r\n- **启元人工智能大赛**：设置九齿算子与编译器开发、推理引擎适配优化等赛道，总奖金池 20 万\r\n- **KernelSwift 算子创新大赛**：与上海人工智能实验室合作\r\n- **嵩山杯**：即将开展独立赛道\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw06.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3JDJtvPmvP3y2%2B%2BMGDWRj3CQos4%3D)\r\n\r\n\r\n### 对学员的邀请\r\n\r\n- **刚入门**：从社区基础课程和小作业起步\r\n- **有基础**：认真参与实战营后，继续参加项目实践和赛事\r\n- **有经验的工程师**：把实际问题带到社区，参与代码贡献和课程共建\r\n- **高校老师**：把课程实训和科研需求结合\r\n- 九源为优秀学员提供 **实习推荐和企业内推** 机会\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw07.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Sz7iZ2EhCQ3MI%2BBamG7sNRCUFdE%3D)\r\n\r\n\r\n\r\n## 开营首讲：清华大学王豪杰老师\u003Cbr>《九源软件栈核心技术与开源生态》\r\n\r\n> **主讲人**：清华大学 \u002F 启元实验室助理研究员王豪杰老师\r\n\r\n### 一、统一架构\r\n\r\n#### 1. 为什么需要统一计算架构\r\n\r\n- **核心问题**：同一模型迁移到不同国产硬件平台时，需要重写或大量修改软件\r\n- **根本原因**：\r\n  - 平台差异性：底层 SDK、工具链各不相同\r\n  - 各平台的算子库、运行时库、通信库存在差异\r\n- **目标**：抹平底层差异性，将共性能力集中到基础软件层次\r\n\r\n#### 2. 分层架构设计\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw08.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=unOWed6UQMphJAzpSSjcKGfb02A%3D)\r\n\r\n\r\n#### 3. 硬件能力评估维度\r\n\r\n- **计算能力**（峰值算力，如 A100 的 312 TFLOPS）\r\n- **内存带宽**（单位时间内数据搬运能力）\r\n- **内存容量**（显存大小，影响可承载模型规模和上下文长度）\r\n- **互联能力**（机内多卡、跨机多节点数据交换）\r\n\r\n> 不同工作负载依赖不同能力：\r\n> Prefill 阶段看重计算能力，\r\n> Decode 阶段看重内存带宽。\r\n\r\n#### 4. 九源核心设计目标\r\n\r\n\r\n- **统一运行：** 一套代码在不同硬件平台无需修改即可运行\r\n- **高效执行：** 发挥加速卡该有的性能，保留硬件优化和异构协作能力\r\n- **持续演进：** 支持模型、硬件、工具的持续更新，模块化扩展\r\n\r\n#### 5. 九源软件栈\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw09.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=F6pMwIcB6h6GMPxUYoOcstwMTxo%3D)\r\n\r\n- **跨平台运行**：同一套模型代码在不同平台保持一致调用和优化方式\r\n- **异构协同**：不同加速卡分别承担同一服务中的不同工作，发挥各自性能长处\r\n\r\n\r\n### 二、算子与编译\r\n\r\n#### 1. 统一算子库要解决的问题\r\n\r\n- 算子来源多样：厂商优化库（cuBLAS\u002FcuDNN）、开源库（Flash Attention）、DSL 自定义实现\r\n- 需要抹平三类差异：\r\n  - **计算接口差异**：输入方式、参数、数据类型\r\n  - **执行资源差异**：设备管理、内存管理、任务提交方式\r\n  - **能力覆盖差异**：输入范围、stride 支持等\r\n\r\n#### 2. 统一算子库执行流程\r\n\r\n- DSL 算子：源程序 → 编译\u002F调优\u002F缓存 → 运行时 JIT 编译 → 算子加载 → 执行\r\n- 厂商算子库\u002F原生语言算子：明确计算语义和调用接口 → 统一对接\r\n- 上层框架无需关心底层实现方式，统一调用即可\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw10.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZEtIEknKky5QxFvI2mv2awcuxN0%3D)\r\n\r\n#### 3. 统一算子库三大核心目标\r\n\r\n- **选优：** 针对特定硬件和场景，自动找到最优实现\r\n- **扩展：** 新模型需求可通过 DSL 快速补充算子，无需关心工具链配置\r\n- **裁剪：** 根据实际部署需求定制化裁剪算子库，节省运行时资源\r\n\r\n#### 4. 九齿（NineToothed）编程语言\r\n\r\n- **设计动机**：\r\n  - 降低描述计算和组织并行的门槛\r\n- **核心思想**：\r\n  - **数据编排（Arrangement）**：定义数据分块方式（行分块、列分块、输出块映射）\r\n  - **局部计算（Application）**：以串行语义描述计算（置零 → 沿 K 累加 → 反写）\r\n  - 编译器自动完成并行化映射（花 20% 精力达到 80%+ 性能）\r\n- **编译模式**：\r\n  - **AOT**：运行前预编译，形成预加载库\r\n  - **JIT**：运行时按需编译\r\n\r\n\r\n### 三、运行时与通信\r\n\r\n#### 1. 运行时（InfiniRT）\r\n\r\n- **核心职责**：设备管理、资源管理、任务调度、依赖管理\r\n- **执行流程**：准备资源 → 提交任务 → 按依赖执行 → 资源复用\u002F回收\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw11.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=nCXwf%2FscE7KPjw3THTAAh9%2FUKXE%3D)\r\n\r\n- **资源分类管理**：\r\n  - **权重**：定长，跨请求复用保留\r\n  - **请求缓存（KV Cache）**：随请求增长，需管理内存不足策略\r\n  - **临时数据**：工作空间，用完即释放，需判断复用还是重新申请\r\n\r\n#### 2. 通信库（InfiniCCL）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw12.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OMws94aZWzaTYsSefIqQAwO8ugI%3D)\r\n\r\n- **统一接口**：上层只关心数据的逻辑汇总和分发，底层自动选择最优通信路径\r\n- **通信路径**：\r\n  - 同构环境：原生集合通信（如 NCCL 及沐曦对等库）\r\n  - 异构环境：回退到 MPI 通用路径\r\n  - 跨机传输：尽量利用 RDMA 减少数据移动开销\r\n- **自动分析**：根据数据交换需求和硬件拓扑，自动找到最优通信实现\r\n\r\n### 四、推理框架（InfiniLM）\r\n#### 1. 推理引擎的职责\r\n\r\n- 请求接收与排队\r\n- 模型与缓存管理\r\n- 计算资源服务多个请求的调度\r\n- 贯穿多轮执行的完整循环\r\n\r\n#### 2. 推理两阶段模型\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw13.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=E2CPmSizXpzj3zLe%2BWDz%2FYAyhxw%3D)\r\n\r\n- **Prefill** ：compute-bound，关注峰值算力，服务指标常用 TTFT\r\n- **Decode**：memory-bound，关注显存带宽，服务指标常用 ITL\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw14.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7j%2Bpi7PJYztU%2B5fBpuVIaplbYfQ%3D)\r\n\r\n#### 3. P\u002FD 分离策略\r\n\r\n- 将 Prefill 和 Decode 划分为独立的请求池和资源池\r\n- 避免 Prefill 插入 Decode 过程导致 ITL 被拉长\r\n- 不同硬件按性能特征分配：高算力卡 → Prefill，高带宽卡 → Decode\r\n\r\n\r\n### 五、异构推理与 PD 分离\r\n\r\n#### 1. 异构 PD 分离原理\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw15.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0tUYFHIwuEFKo3oPE5Dbi3EB5pk%3D)\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw16.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1srplNhdhraav7mYe2GSUnb6whU%3D)\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw17.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=TPN8ZQUWMbRRhvV2dDtleulvFEU%3D)\r\n\r\n#### 2. 异构 PD 分离的收益\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw18.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=BrwEkaCJP%2BvjJsoTuYe2XW%2BEtNM%3D)\r\n\r\n\r\n#### 3. 实验及结果\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw19.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Azwn8%2FBSnYhEQ940VPTheRaB2Is%3D)\r\n\r\n\r\n#### 4. 关键影响因素\r\n\r\n- P\u002FD 资源配比是否平衡\r\n- KV Cache 交接效率（网络带宽：RDMA > CPU 中转 RDMA > TCP\u002FIP）\r\n- 动态切换能力：根据线上负载变化调整 P\u002FD 资源分配\r\n\r\n\r\n### 六、开源共建\r\n#### 1. InfiniTensor 开源项目\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw20.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UgmPiL95VU3%2BHxCY9QTLrFEBIls%3D)\r\n\r\n\r\n#### 2. 学习与实践资源\r\n\r\n- **基础课程**：C++、Python、并行编程基础\r\n- **方向课程**：算子与编译、训练、推理、通信\r\n- **练习项目**（千行代码规模）：\r\n  - `TinyInfiniTensor`（AI 编译器方向）\r\n  - `llaisys`（大模型推理方向）\r\n  - `TinyInfiniTrain`（训练框架方向）\r\n  - `GoLlamaGo`（沐曦实战营项目）\r\n\r\n#### 3. 参与方式\r\n\r\n- 提出\u002F复现\u002F定位 Issue → 修改代码 → 补充测试 → 提交 PR\r\n- 参与赛事：启元人工智能大赛、KernelSwift 算子创新大赛、嵩山杯\r\n- 文档改进、评测贡献、课程共建均欢迎\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4vIkDijirVOEl01W4C%2B3fyE9q2Y%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-105","study-105","2026 夏季 InfiniTensor 训练营大咖课 4：清华大学陈键飞副教授——《大模型量化》 ",4,"\u002Fstudy-material\u002Fstudy-106","study-106","markdown",{"publishTime":7,"createTime":109,"canonicalPath":122,"id":123,"title":124},"\u002Fstudy-material\u002Fstudy-107","study-107","多范式算子开发实战营: 《九齿的设计思想与核心编程范式》课程回顾",{"htmlContent":126,"headings":127},"\u003Cp>9 月 13 日晚，由九源开源社区联合沐曦 GPU 与 MXMACA 软件栈、 AI Infra 开源社区、GitLink 开源平台、DataWhale 开源学习社区及启悟学习社区联合推出的 \u003Cstrong>「多范式算子开发实战营」\u003C\u002Fstrong> 正式开营。\u003C\u002Fp>\n\u003Ch3 id=\"为什么叫-quot-多范式-quot\">\u003Ca class=\"anchor\" href=\"#为什么叫-quot-多范式-quot\" aria-label=\"跳转到标题：为什么叫"多范式"？\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>为什么叫"多范式"？\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw01.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=RAC5FwaawALj8MpdoJ%2Bfc02j28o%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>本次实战营主打\u003Cstrong>多个 DSL 的对比学习\u003C\u002Fstrong>，帮助学员建立对算子开发的本质认知。课程内容包括：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>全局视野建立\u003C\u002Fstrong>：了解九源软件栈和沐曦 MXMACA 软件栈，理解异构国产算力平台的生态格局\u003C\u002Fli>\n\u003Cli>\u003Cstrong>多 DSL 对比\u003C\u002Fstrong>：系统性比较多个 DSL 的设计思想和编程范式，掌握在不同场景、平台和问题下选择合适工具的能力\u003C\u002Fli>\n\u003Cli>\u003Cstrong>复杂算子实战\u003C\u002Fstrong>：深入学习 Flash Attention、GEMM 等复杂算子的实现核心技术\u003C\u002Fli>\n\u003Cli>\u003Cstrong>性能分析优化\u003C\u002Fstrong>：学习使用 McProfiling 等性能分析工具，掌握算子性能瓶颈的定位与优化方法\u003C\u002Fli>\n\u003Cli>\u003Cstrong>AI Agent 辅助开发\u003C\u002Fstrong>：探索人机协作新范式，体验用 AI Agent 提升算子开发效率\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"课程设计与学习方式\">\u003Ca class=\"anchor\" href=\"#课程设计与学习方式\" aria-label=\"跳转到标题：课程设计与学习方式\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>课程设计与学习方式\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>每周两次直播课程\u003C\u002Fstrong>，由老师带领了解核心技术并展示实操\u003C\u002Fli>\n\u003Cli>\u003Cstrong>GitLink 课程仓库\u003C\u002Fstrong> 提供完善的脚手架代码和学习任务\u003C\u002Fli>\n\u003Cli>\u003Cstrong>任务驱动学习\u003C\u002Fstrong>：通过动手实践验证知识点\u003C\u002Fli>\n\u003Cli>\u003Cstrong>课后回放\u003C\u002Fstrong>：课程内容上传至 B 站和 DataWhale 课程主页，方便反复学习\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw02.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=pzPU%2F5a%2FybgLFixxKIH0xYj%2Fgvg%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"四项学习福利\">\u003Ca class=\"anchor\" href=\"#四项学习福利\" aria-label=\"跳转到标题：四项学习福利\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>四项学习福利\u003C\u002Fh3>\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>福利\u003C\u002Fth>\n\u003Cth>内容\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>🎫 免费算力券\u003C\u002Ftd>\n\u003Ctd>所有动手环节均可通过沐曦开发者社区领取的算力券完成\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>💻 示例代码\u003C\u002Ftd>\n\u003Ctd>GitLink 学习仓库提供完善可靠的可运行示例代码\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>📜 结营证书\u003C\u002Ftd>\n\u003Ctd>按时完成所有学习任务并通过审核，可获沐曦盖章结营证书\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>🎁 激励活动\u003C\u002Ftd>\n\u003Ctd>在社交媒体分享学习心得，有机会获得沐曦定制周边大礼包\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Ch2 id=\"吕墨尘老师开营分享-从调用-ai-到构建-ai\">\u003Ca class=\"anchor\" href=\"#吕墨尘老师开营分享-从调用-ai-到构建-ai\" aria-label=\"跳转到标题：吕墨尘老师开营分享：《从调用 AI 到构建 AI》\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>吕墨尘老师开营分享：\u003Cbr>《从调用 AI 到构建 AI》\u003C\u002Fh2>\u003Cblockquote>\n\u003Cp>\u003Cstrong>主讲人\u003C\u002Fstrong>：九源智能计算系统生态联合体吕墨尘老师\u003C\u002Fp>\n\u003C\u002Fblockquote>\n\u003Ch3 id=\"九源在做什么\">\u003Ca class=\"anchor\" href=\"#九源在做什么\" aria-label=\"跳转到标题：九源在做什么？\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>九源在做什么？\u003C\u002Fh3>\u003Cp>九源围绕 \u003Cstrong>统一的软件架构\u003C\u002Fstrong>，推进编程语言、算子、通信、训练、推理等基础软件建设。目标不是做几场独立的技术分享，而是打造一条 \u003Cstrong>可持续走下去的学习路径\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw03.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=c9l8muIL4TAKZgd%2Brg3coTW592o%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"infinitensor-大模型与人工智能系统训练营\">\u003Ca class=\"anchor\" href=\"#infinitensor-大模型与人工智能系统训练营\" aria-label=\"跳转到标题：InfiniTensor 大模型与人工智能系统训练营\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>InfiniTensor 大模型与人工智能系统训练营\u003C\u002Fh3>\u003Cul>\n\u003Cli>自 2024 年夏季开始，已持续举办 \u003Cstrong>4 期\u003C\u002Fstrong>，累计吸引 \u003Cstrong>上万名学员\u003C\u002Fstrong>\u003C\u002Fli>\n\u003Cli>课程三大板块：\u003Cul>\n\u003Cli>\u003Cstrong>基础专业课\u003C\u002Fstrong>：各方向核心知识和基本方法\u003C\u002Fli>\n\u003Cli>\u003Cstrong>行业合作课\u003C\u002Fstrong>：企业工程师带真实开发场景讲解\u003C\u002Fli>\n\u003Cli>\u003Cstrong>大咖课\u003C\u002Fstrong>：学术界和产业界老师分享研究进展与实践经验\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"课程体系覆盖\">\u003Ca class=\"anchor\" href=\"#课程体系覆盖\" aria-label=\"跳转到标题：课程体系覆盖\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>课程体系覆盖\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>并行编程:\u003C\u002Fstrong> CUDA、Triton、九齿、OpenCL、CPU 并行编程\u003C\u002Fli>\n\u003Cli>\u003Cstrong>系统方向:\u003C\u002Fstrong> AI 编译器、训练系统、大模型推理服务系统、通信与并行优化\u003C\u002Fli>\n\u003Cli>\u003Cstrong>新增课程:\u003C\u002Fstrong> AI 编程与智能体应用\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw04.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=IgRs10FQns30Y9laVHCDTkpKhjs%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"实践与赛事\">\u003Ca class=\"anchor\" href=\"#实践与赛事\" aria-label=\"跳转到标题：实践与赛事\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>实践与赛事\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw05.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=sMTzVAHqUpvHqrTsMw1TYVFT4Pg%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>线下走进高校\u003C\u002Fstrong>：兰州大学、西安交通大学、西北工业大学等\u003C\u002Fli>\n\u003Cli>\u003Cstrong>走进企业\u003C\u002Fstrong>：组织优秀学员参观新华三等企业\u003C\u002Fli>\n\u003Cli>\u003Cstrong>启元人工智能大赛\u003C\u002Fstrong>：设置九齿算子与编译器开发、推理引擎适配优化等赛道，总奖金池 20 万\u003C\u002Fli>\n\u003Cli>\u003Cstrong>KernelSwift 算子创新大赛\u003C\u002Fstrong>：与上海人工智能实验室合作\u003C\u002Fli>\n\u003Cli>\u003Cstrong>嵩山杯\u003C\u002Fstrong>：即将开展独立赛道\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw06.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3JDJtvPmvP3y2%2B%2BMGDWRj3CQos4%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"对学员的邀请\">\u003Ca class=\"anchor\" href=\"#对学员的邀请\" aria-label=\"跳转到标题：对学员的邀请\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>对学员的邀请\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>刚入门\u003C\u002Fstrong>：从社区基础课程和小作业起步\u003C\u002Fli>\n\u003Cli>\u003Cstrong>有基础\u003C\u002Fstrong>：认真参与实战营后，继续参加项目实践和赛事\u003C\u002Fli>\n\u003Cli>\u003Cstrong>有经验的工程师\u003C\u002Fstrong>：把实际问题带到社区，参与代码贡献和课程共建\u003C\u002Fli>\n\u003Cli>\u003Cstrong>高校老师\u003C\u002Fstrong>：把课程实训和科研需求结合\u003C\u002Fli>\n\u003Cli>九源为优秀学员提供 \u003Cstrong>实习推荐和企业内推\u003C\u002Fstrong> 机会\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw07.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Sz7iZ2EhCQ3MI%2BBamG7sNRCUFdE%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"开营首讲-清华大学王豪杰老师-九源软件栈核心技术与开源生态\">\u003Ca class=\"anchor\" href=\"#开营首讲-清华大学王豪杰老师-九源软件栈核心技术与开源生态\" aria-label=\"跳转到标题：开营首讲：清华大学王豪杰老师《九源软件栈核心技术与开源生态》\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>开营首讲：清华大学王豪杰老师\u003Cbr>《九源软件栈核心技术与开源生态》\u003C\u002Fh2>\u003Cblockquote>\n\u003Cp>\u003Cstrong>主讲人\u003C\u002Fstrong>：清华大学 \u002F 启元实验室助理研究员王豪杰老师\u003C\u002Fp>\n\u003C\u002Fblockquote>\n\u003Ch3 id=\"一-统一架构\">\u003Ca class=\"anchor\" href=\"#一-统一架构\" aria-label=\"跳转到标题：一、统一架构\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>一、统一架构\u003C\u002Fh3>\u003Ch4 id=\"1-为什么需要统一计算架构\">\u003Ca class=\"anchor\" href=\"#1-为什么需要统一计算架构\" aria-label=\"跳转到标题：1. 为什么需要统一计算架构\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 为什么需要统一计算架构\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>核心问题\u003C\u002Fstrong>：同一模型迁移到不同国产硬件平台时，需要重写或大量修改软件\u003C\u002Fli>\n\u003Cli>\u003Cstrong>根本原因\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>平台差异性：底层 SDK、工具链各不相同\u003C\u002Fli>\n\u003Cli>各平台的算子库、运行时库、通信库存在差异\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003Cli>\u003Cstrong>目标\u003C\u002Fstrong>：抹平底层差异性，将共性能力集中到基础软件层次\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-分层架构设计\">\u003Ca class=\"anchor\" href=\"#2-分层架构设计\" aria-label=\"跳转到标题：2. 分层架构设计\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 分层架构设计\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw08.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=unOWed6UQMphJAzpSSjcKGfb02A%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"3-硬件能力评估维度\">\u003Ca class=\"anchor\" href=\"#3-硬件能力评估维度\" aria-label=\"跳转到标题：3. 硬件能力评估维度\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 硬件能力评估维度\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>计算能力\u003C\u002Fstrong>（峰值算力，如 A100 的 312 TFLOPS）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>内存带宽\u003C\u002Fstrong>（单位时间内数据搬运能力）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>内存容量\u003C\u002Fstrong>（显存大小，影响可承载模型规模和上下文长度）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>互联能力\u003C\u002Fstrong>（机内多卡、跨机多节点数据交换）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cblockquote>\n\u003Cp>不同工作负载依赖不同能力：\u003Cbr>Prefill 阶段看重计算能力，\u003Cbr>Decode 阶段看重内存带宽。\u003C\u002Fp>\n\u003C\u002Fblockquote>\n\u003Ch4 id=\"4-九源核心设计目标\">\u003Ca class=\"anchor\" href=\"#4-九源核心设计目标\" aria-label=\"跳转到标题：4. 九源核心设计目标\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>4. 九源核心设计目标\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>统一运行：\u003C\u002Fstrong> 一套代码在不同硬件平台无需修改即可运行\u003C\u002Fli>\n\u003Cli>\u003Cstrong>高效执行：\u003C\u002Fstrong> 发挥加速卡该有的性能，保留硬件优化和异构协作能力\u003C\u002Fli>\n\u003Cli>\u003Cstrong>持续演进：\u003C\u002Fstrong> 支持模型、硬件、工具的持续更新，模块化扩展\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"5-九源软件栈\">\u003Ca class=\"anchor\" href=\"#5-九源软件栈\" aria-label=\"跳转到标题：5. 九源软件栈\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>5. 九源软件栈\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw09.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=F6pMwIcB6h6GMPxUYoOcstwMTxo%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>跨平台运行\u003C\u002Fstrong>：同一套模型代码在不同平台保持一致调用和优化方式\u003C\u002Fli>\n\u003Cli>\u003Cstrong>异构协同\u003C\u002Fstrong>：不同加速卡分别承担同一服务中的不同工作，发挥各自性能长处\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"二-算子与编译\">\u003Ca class=\"anchor\" href=\"#二-算子与编译\" aria-label=\"跳转到标题：二、算子与编译\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>二、算子与编译\u003C\u002Fh3>\u003Ch4 id=\"1-统一算子库要解决的问题\">\u003Ca class=\"anchor\" href=\"#1-统一算子库要解决的问题\" aria-label=\"跳转到标题：1. 统一算子库要解决的问题\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 统一算子库要解决的问题\u003C\u002Fh4>\u003Cul>\n\u003Cli>算子来源多样：厂商优化库（cuBLAS\u002FcuDNN）、开源库（Flash Attention）、DSL 自定义实现\u003C\u002Fli>\n\u003Cli>需要抹平三类差异：\u003Cul>\n\u003Cli>\u003Cstrong>计算接口差异\u003C\u002Fstrong>：输入方式、参数、数据类型\u003C\u002Fli>\n\u003Cli>\u003Cstrong>执行资源差异\u003C\u002Fstrong>：设备管理、内存管理、任务提交方式\u003C\u002Fli>\n\u003Cli>\u003Cstrong>能力覆盖差异\u003C\u002Fstrong>：输入范围、stride 支持等\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-统一算子库执行流程\">\u003Ca class=\"anchor\" href=\"#2-统一算子库执行流程\" aria-label=\"跳转到标题：2. 统一算子库执行流程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 统一算子库执行流程\u003C\u002Fh4>\u003Cul>\n\u003Cli>DSL 算子：源程序 → 编译\u002F调优\u002F缓存 → 运行时 JIT 编译 → 算子加载 → 执行\u003C\u002Fli>\n\u003Cli>厂商算子库\u002F原生语言算子：明确计算语义和调用接口 → 统一对接\u003C\u002Fli>\n\u003Cli>上层框架无需关心底层实现方式，统一调用即可\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw10.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZEtIEknKky5QxFvI2mv2awcuxN0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"3-统一算子库三大核心目标\">\u003Ca class=\"anchor\" href=\"#3-统一算子库三大核心目标\" aria-label=\"跳转到标题：3. 统一算子库三大核心目标\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 统一算子库三大核心目标\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>选优：\u003C\u002Fstrong> 针对特定硬件和场景，自动找到最优实现\u003C\u002Fli>\n\u003Cli>\u003Cstrong>扩展：\u003C\u002Fstrong> 新模型需求可通过 DSL 快速补充算子，无需关心工具链配置\u003C\u002Fli>\n\u003Cli>\u003Cstrong>裁剪：\u003C\u002Fstrong> 根据实际部署需求定制化裁剪算子库，节省运行时资源\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"4-九齿-ninetoothed-编程语言\">\u003Ca class=\"anchor\" href=\"#4-九齿-ninetoothed-编程语言\" aria-label=\"跳转到标题：4. 九齿（NineToothed）编程语言\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>4. 九齿（NineToothed）编程语言\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>设计动机\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>降低描述计算和组织并行的门槛\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003Cli>\u003Cstrong>核心思想\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>\u003Cstrong>数据编排（Arrangement）\u003C\u002Fstrong>：定义数据分块方式（行分块、列分块、输出块映射）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>局部计算（Application）\u003C\u002Fstrong>：以串行语义描述计算（置零 → 沿 K 累加 → 反写）\u003C\u002Fli>\n\u003Cli>编译器自动完成并行化映射（花 20% 精力达到 80%+ 性能）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003Cli>\u003Cstrong>编译模式\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>\u003Cstrong>AOT\u003C\u002Fstrong>：运行前预编译，形成预加载库\u003C\u002Fli>\n\u003Cli>\u003Cstrong>JIT\u003C\u002Fstrong>：运行时按需编译\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"三-运行时与通信\">\u003Ca class=\"anchor\" href=\"#三-运行时与通信\" aria-label=\"跳转到标题：三、运行时与通信\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>三、运行时与通信\u003C\u002Fh3>\u003Ch4 id=\"1-运行时-infinirt\">\u003Ca class=\"anchor\" href=\"#1-运行时-infinirt\" aria-label=\"跳转到标题：1. 运行时（InfiniRT）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 运行时（InfiniRT）\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>核心职责\u003C\u002Fstrong>：设备管理、资源管理、任务调度、依赖管理\u003C\u002Fli>\n\u003Cli>\u003Cstrong>执行流程\u003C\u002Fstrong>：准备资源 → 提交任务 → 按依赖执行 → 资源复用\u002F回收\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw11.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=nCXwf%2FscE7KPjw3THTAAh9%2FUKXE%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>资源分类管理\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>\u003Cstrong>权重\u003C\u002Fstrong>：定长，跨请求复用保留\u003C\u002Fli>\n\u003Cli>\u003Cstrong>请求缓存（KV Cache）\u003C\u002Fstrong>：随请求增长，需管理内存不足策略\u003C\u002Fli>\n\u003Cli>\u003Cstrong>临时数据\u003C\u002Fstrong>：工作空间，用完即释放，需判断复用还是重新申请\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-通信库-infiniccl\">\u003Ca class=\"anchor\" href=\"#2-通信库-infiniccl\" aria-label=\"跳转到标题：2. 通信库（InfiniCCL）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 通信库（InfiniCCL）\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw12.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OMws94aZWzaTYsSefIqQAwO8ugI%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>统一接口\u003C\u002Fstrong>：上层只关心数据的逻辑汇总和分发，底层自动选择最优通信路径\u003C\u002Fli>\n\u003Cli>\u003Cstrong>通信路径\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>同构环境：原生集合通信（如 NCCL 及沐曦对等库）\u003C\u002Fli>\n\u003Cli>异构环境：回退到 MPI 通用路径\u003C\u002Fli>\n\u003Cli>跨机传输：尽量利用 RDMA 减少数据移动开销\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003Cli>\u003Cstrong>自动分析\u003C\u002Fstrong>：根据数据交换需求和硬件拓扑，自动找到最优通信实现\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"四-推理框架-infinilm\">\u003Ca class=\"anchor\" href=\"#四-推理框架-infinilm\" aria-label=\"跳转到标题：四、推理框架（InfiniLM）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>四、推理框架（InfiniLM）\u003C\u002Fh3>\u003Ch4 id=\"1-推理引擎的职责\">\u003Ca class=\"anchor\" href=\"#1-推理引擎的职责\" aria-label=\"跳转到标题：1. 推理引擎的职责\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 推理引擎的职责\u003C\u002Fh4>\u003Cul>\n\u003Cli>请求接收与排队\u003C\u002Fli>\n\u003Cli>模型与缓存管理\u003C\u002Fli>\n\u003Cli>计算资源服务多个请求的调度\u003C\u002Fli>\n\u003Cli>贯穿多轮执行的完整循环\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-推理两阶段模型\">\u003Ca class=\"anchor\" href=\"#2-推理两阶段模型\" aria-label=\"跳转到标题：2. 推理两阶段模型\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 推理两阶段模型\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw13.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=E2CPmSizXpzj3zLe%2BWDz%2FYAyhxw%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Prefill\u003C\u002Fstrong> ：compute-bound，关注峰值算力，服务指标常用 TTFT\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Decode\u003C\u002Fstrong>：memory-bound，关注显存带宽，服务指标常用 ITL\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw14.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7j%2Bpi7PJYztU%2B5fBpuVIaplbYfQ%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"3-p-d-分离策略\">\u003Ca class=\"anchor\" href=\"#3-p-d-分离策略\" aria-label=\"跳转到标题：3. P\u002FD 分离策略\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. P\u002FD 分离策略\u003C\u002Fh4>\u003Cul>\n\u003Cli>将 Prefill 和 Decode 划分为独立的请求池和资源池\u003C\u002Fli>\n\u003Cli>避免 Prefill 插入 Decode 过程导致 ITL 被拉长\u003C\u002Fli>\n\u003Cli>不同硬件按性能特征分配：高算力卡 → Prefill，高带宽卡 → Decode\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"五-异构推理与-pd-分离\">\u003Ca class=\"anchor\" href=\"#五-异构推理与-pd-分离\" aria-label=\"跳转到标题：五、异构推理与 PD 分离\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>五、异构推理与 PD 分离\u003C\u002Fh3>\u003Ch4 id=\"1-异构-pd-分离原理\">\u003Ca class=\"anchor\" href=\"#1-异构-pd-分离原理\" aria-label=\"跳转到标题：1. 异构 PD 分离原理\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 异构 PD 分离原理\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw15.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0tUYFHIwuEFKo3oPE5Dbi3EB5pk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw16.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1srplNhdhraav7mYe2GSUnb6whU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw17.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=TPN8ZQUWMbRRhvV2dDtleulvFEU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-异构-pd-分离的收益\">\u003Ca class=\"anchor\" href=\"#2-异构-pd-分离的收益\" aria-label=\"跳转到标题：2. 异构 PD 分离的收益\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 异构 PD 分离的收益\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw18.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=BrwEkaCJP%2BvjJsoTuYe2XW%2BEtNM%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"3-实验及结果\">\u003Ca class=\"anchor\" href=\"#3-实验及结果\" aria-label=\"跳转到标题：3. 实验及结果\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 实验及结果\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw19.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Azwn8%2FBSnYhEQ940VPTheRaB2Is%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"4-关键影响因素\">\u003Ca class=\"anchor\" href=\"#4-关键影响因素\" aria-label=\"跳转到标题：4. 关键影响因素\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>4. 关键影响因素\u003C\u002Fh4>\u003Cul>\n\u003Cli>P\u002FD 资源配比是否平衡\u003C\u002Fli>\n\u003Cli>KV Cache 交接效率（网络带宽：RDMA > CPU 中转 RDMA > TCP\u002FIP）\u003C\u002Fli>\n\u003Cli>动态切换能力：根据线上负载变化调整 P\u002FD 资源分配\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"六-开源共建\">\u003Ca class=\"anchor\" href=\"#六-开源共建\" aria-label=\"跳转到标题：六、开源共建\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>六、开源共建\u003C\u002Fh3>\u003Ch4 id=\"1-infinitensor-开源项目\">\u003Ca class=\"anchor\" href=\"#1-infinitensor-开源项目\" aria-label=\"跳转到标题：1. InfiniTensor 开源项目\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. InfiniTensor 开源项目\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw20.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UgmPiL95VU3%2BHxCY9QTLrFEBIls%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-学习与实践资源\">\u003Ca class=\"anchor\" href=\"#2-学习与实践资源\" aria-label=\"跳转到标题：2. 学习与实践资源\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 学习与实践资源\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>基础课程\u003C\u002Fstrong>：C++、Python、并行编程基础\u003C\u002Fli>\n\u003Cli>\u003Cstrong>方向课程\u003C\u002Fstrong>：算子与编译、训练、推理、通信\u003C\u002Fli>\n\u003Cli>\u003Cstrong>练习项目\u003C\u002Fstrong>（千行代码规模）：\u003Cul>\n\u003Cli>\u003Ccode>TinyInfiniTensor\u003C\u002Fcode>（AI 编译器方向）\u003C\u002Fli>\n\u003Cli>\u003Ccode>llaisys\u003C\u002Fcode>（大模型推理方向）\u003C\u002Fli>\n\u003Cli>\u003Ccode>TinyInfiniTrain\u003C\u002Fcode>（训练框架方向）\u003C\u002Fli>\n\u003Cli>\u003Ccode>GoLlamaGo\u003C\u002Fcode>（沐曦实战营项目）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-参与方式\">\u003Ca class=\"anchor\" href=\"#3-参与方式\" aria-label=\"跳转到标题：3. 参与方式\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 参与方式\u003C\u002Fh4>\u003Cul>\n\u003Cli>提出\u002F复现\u002F定位 Issue → 修改代码 → 补充测试 → 提交 PR\u003C\u002Fli>\n\u003Cli>参与赛事：启元人工智能大赛、KernelSwift 算子创新大赛、嵩山杯\u003C\u002Fli>\n\u003Cli>文档改进、评测贡献、课程共建均欢迎\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"关注与交流\">\u003Ca class=\"anchor\" href=\"#关注与交流\" aria-label=\"跳转到标题：关注与交流\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>关注与交流\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792750071&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4vIkDijirVOEl01W4C%2B3fyE9q2Y%3D\" alt=\"\">\u003C\u002Fp>\n",[128,131,133,135,138,141,144,146,148,150,153,156,159,162,165,168,171,174,177,180,183,186,189,192,195,198,201,204,207,210,213,216,219,222,225,228,231,234],{"id":129,"text":130,"level":9},"为什么叫-quot-多范式-quot","为什么叫"多范式"？",{"id":132,"text":132,"level":9},"课程设计与学习方式",{"id":134,"text":134,"level":9},"四项学习福利",{"id":136,"text":137,"level":110},"吕墨尘老师开营分享-从调用-ai-到构建-ai","吕墨尘老师开营分享：《从调用 AI 到构建 AI》",{"id":139,"text":140,"level":9},"九源在做什么","九源在做什么？",{"id":142,"text":143,"level":9},"infinitensor-大模型与人工智能系统训练营","InfiniTensor 大模型与人工智能系统训练营",{"id":145,"text":145,"level":9},"课程体系覆盖",{"id":147,"text":147,"level":9},"实践与赛事",{"id":149,"text":149,"level":9},"对学员的邀请",{"id":151,"text":152,"level":110},"开营首讲-清华大学王豪杰老师-九源软件栈核心技术与开源生态","开营首讲：清华大学王豪杰老师《九源软件栈核心技术与开源生态》",{"id":154,"text":155,"level":9},"一-统一架构","一、统一架构",{"id":157,"text":158,"level":117},"1-为什么需要统一计算架构","1. 为什么需要统一计算架构",{"id":160,"text":161,"level":117},"2-分层架构设计","2. 分层架构设计",{"id":163,"text":164,"level":117},"3-硬件能力评估维度","3. 硬件能力评估维度",{"id":166,"text":167,"level":117},"4-九源核心设计目标","4. 九源核心设计目标",{"id":169,"text":170,"level":117},"5-九源软件栈","5. 九源软件栈",{"id":172,"text":173,"level":9},"二-算子与编译","二、算子与编译",{"id":175,"text":176,"level":117},"1-统一算子库要解决的问题","1. 统一算子库要解决的问题",{"id":178,"text":179,"level":117},"2-统一算子库执行流程","2. 统一算子库执行流程",{"id":181,"text":182,"level":117},"3-统一算子库三大核心目标","3. 统一算子库三大核心目标",{"id":184,"text":185,"level":117},"4-九齿-ninetoothed-编程语言","4. 九齿（NineToothed）编程语言",{"id":187,"text":188,"level":9},"三-运行时与通信","三、运行时与通信",{"id":190,"text":191,"level":117},"1-运行时-infinirt","1. 运行时（InfiniRT）",{"id":193,"text":194,"level":117},"2-通信库-infiniccl","2. 通信库（InfiniCCL）",{"id":196,"text":197,"level":9},"四-推理框架-infinilm","四、推理框架（InfiniLM）",{"id":199,"text":200,"level":117},"1-推理引擎的职责","1. 推理引擎的职责",{"id":202,"text":203,"level":117},"2-推理两阶段模型","2. 推理两阶段模型",{"id":205,"text":206,"level":117},"3-p-d-分离策略","3. P\u002FD 分离策略",{"id":208,"text":209,"level":9},"五-异构推理与-pd-分离","五、异构推理与 PD 分离",{"id":211,"text":212,"level":117},"1-异构-pd-分离原理","1. 异构 PD 分离原理",{"id":214,"text":215,"level":117},"2-异构-pd-分离的收益","2. 异构 PD 分离的收益",{"id":217,"text":218,"level":117},"3-实验及结果","3. 实验及结果",{"id":220,"text":221,"level":117},"4-关键影响因素","4. 关键影响因素",{"id":223,"text":224,"level":9},"六-开源共建","六、开源共建",{"id":226,"text":227,"level":117},"1-infinitensor-开源项目","1. InfiniTensor 开源项目",{"id":229,"text":230,"level":117},"2-学习与实践资源","2. 学习与实践资源",{"id":232,"text":233,"level":117},"3-参与方式","3. 参与方式",{"id":235,"text":235,"level":110},"关注与交流"]