[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-list:1":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=z9pFa%2FlJ4xUUErU3Xpln8jYTWsg%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tnHKchjmZzyKf1BVXAoWREKptzg%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eXz8hiOEeqsSGsqkiW1PUFlA980%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"total":105,"list":106,"pageNum":44,"pageSize":210,"size":210,"startRow":44,"endRow":210,"pages":183,"prePage":6,"nextPage":112,"isFirstPage":46,"isLastPage":4,"hasPreviousPage":4,"hasNextPage":46,"navigatePages":47,"navigatepageNums":213,"navigateFirstPage":44,"navigateLastPage":47},108,[107,118,126,134,143,151,160,169,177,186,195,204],{"img":108,"keywords":109,"treeType":44,"description":110,"showStatus":44,"updateTime":111,"type":112,"title":113,"content":114,"createTime":111,"sortOrder":44,"canonicalPath":115,"id":116,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=TRk8pRVevWpXtHSqVaKMWaDgPC0%3D","AI Agent,算子开发,MoE Kernel,上下文工程,性能优化,多范式算子","多范式算子开发实战营课程回顾，吴航讲解 AI Coding 演进、Agent 系统架构，结合 MoE Expert FFN Kernel 案例，演示 AI‑Agent 算子开发、验证与调优全流程。","2026-10-22 20:38:11",2,"课程回顾 | 多范式算子开发实战营：《基于 AI Agent 实现算子的编写、验证与优化》","9 月 22 日晚，多范式算子开发实战营邀请**联培博士生吴航老师**，带来《基于 AI Agent 实现算子的编写、验证与优化》。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iGPT15hURmxAxQxvCHi1z8SDVvg%3D)\r\n\r\n\r\n## 一、AI Coding 的范式演进与任务边界\r\n### AI 编程的三个发展阶段\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=yLZTLdcouQ93pVoaVH8HjWubSoI%3D)\r\n\r\n**1. Predict（预测）**：基于上下文预测下一行\u002F片段，工作对象小（Token\u002F表达式级）。\r\n\r\n**2. Modify（修改）**：基于自然语言指令修改单\u002F多文件，输出为 Patch。\r\n\r\n**3. Complete（完成）**：输入 Issue\u002F仓库\u002F验收条件，输出 Commit\u002FPR\u002F分支，承担验证责任。\r\n\r\n**4.核心观点**：变化不是补全消失，而是任务范围扩大后，系统需承担更多验证责任。\r\n\r\n### 五种 Vibe Coding 工作形态\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=a%2F5dJottLNU5nbxRalMUZ9ijRiM%3D)\r\n\r\n**1. Inline Completion**：光标级补全，人掌握节奏。\r\n\r\n**2. Chat\u002FAsk**：技术顾问模式，解释与分析，不改真实环境。\r\n\r\n**3. Multi-file Edit**：明确指令下的多文件 Patch 生成。\r\n\r\n**4. Local Agent**：本地仓库扫描、检索、执行命令、测试反馈。\r\n\r\n**5. Delegated Agent**：远程隔离环境后台运行，通过 PR 交付，需明确目标与验收条件。\r\n\r\n### 任务范围 vs 自治程度坐标系\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4iEMYH1xvtR2%2FSqVujIL%2BS5pP0g%3D)\r\n\r\n- **左下角**：代码补全（任务小、自治低）。\r\n- **右上角**：仓库级\u002F后台 Agent（任务大、自治高）。\r\n- ⚠️右上角不代表更先进或更可靠，高自治意味着错误影响范围更大。成熟做法是**明确目标、可靠反馈、可控权限**。\r\n\r\n### 工程控制点\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zboD5EOOvC%2BG9l4YroIJ1sdCx0g%3D)\r\n\r\n**1. Direct**：低风险、明确任务（如改阈值）。\r\n\r\n**2. Plan-First**：中等复杂度，先让 Agent 分析瓶颈假设，人确认后再改。\r\n\r\n**3. Spec-driven**：涉及调度\u002F资源边界，固定 SLO、显存预算、Fallback 行为。\r\n\r\n**4. Test-driven**：可明确测试的任务，先定义仿真\u002F回归测试场景。\r\n\r\n**5. Review-driven**：高风险性能优化，人或独立审查 Agent 策略。\r\n\r\n**6. Multi-Agent**：分工带来价值，但协调带来成本。适用于边界清晰、可独立验证的任务。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0St%2FZVoAQXQmfGkRmKxw70sRCDk%3D)\r\n\r\n\r\n## 二、Agent 系统架构与核心组件\r\n### 模型 ≠ Agent\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4rEYJbggsM4hN2buzRe4uwaE7kY%3D)\r\n\r\n#### 1. Code Model 的最低必要原理：\r\n- 预测下一批 Token\r\n- Fill-in-the-Middle\r\n- 结构化工具调用\r\n\r\n#### 2. 三角色分工：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=obZtroHxA9dTGInLr4gqVKzMZjE%3D)\r\n\r\n- **Model**：阅读信息、判断现状、选择下一步、生成参数。\r\n- **Harness**：装配上下文、校验参数、发起执行、记录状态、控制权限。\r\n- **Environment**：文件系统、Shell、Git、Benchmark、GPU 等真实反馈源。\r\n\r\n### Coding Agent Loop\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OFLLguiEQEKSz3xAFo1MZUjsSm8%3D)\r\n\r\n- **循环逻辑**：观察状态 → 执行动作 → 获取反馈 → 修正决策。\r\n\r\n#### 1. Context Assembly\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=yiMo27DuyBWLoubTeBodf9ltQ04%3D)\r\n\r\n#### 2. Tool Calling\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qFvjp0RuB8fmXD3Voy0y7MPNS6Y%3D)\r\n\r\n\r\n### 六层系统架构\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=i5wvi2WZW7kws%2FJwEE2L8Mxc0UU%3D)\r\n\r\n**1. Model & Context**：谁做决定？\r\n\r\n**2. Harness & Tools**：决定如何变成动作？\r\n\r\n**3. Runtime & Verification**：动作如何被限制和验证？\r\n\r\n**4. 应用**：当 AI 表现不佳时，逐层排查问题所在。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=mzcVXmIR9ODlYSCUZr%2B3w9R2AXg%3D)\r\n\r\n\r\n## 三、Context Engineering 与 Harness Engineering\r\n### Context Engineering（上下文工程）\r\n\r\n**1. Prompt ≠ Context**：Prompt 关注“怎么说”，Context 关注“让模型看见什么”。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eF59v3BjpTW2Ab%2B8XbpOMZT4hts%3D)\r\n\r\n**2. 五类上下文**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=K9cYvR%2BWAdLaPJG0P%2FsDPQE1ev8%3D)\r\n\r\n**3. 生命周期**：Discover → Select → Load → Use → Compress → Persist。\r\n\r\n⚠️ Select 比 Discover 更重要；长任务需 Compaction（压缩），保留关键决策与证据，移除重复低价值内容；**动态摘要 ≠ 事实本身**。\r\n\r\n### Harness Engineering\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Mx6mCmS2eQktXslLg9FZTwElfL8%3D)\r\n\r\n**1. 四大组成**：指导、感知、行动工具、边界。\r\n\r\n**2. 工具设计原则**：不是越通用越好，而是**明确、结构化、边界清晰**。\r\n\r\n**3. 仓库即工作环境**：给 Agent “地图”而非“百科全书”；信息需可发现、可导航、可版本化。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Q93LRxUmUn2kvECMw2vOomiKLyg%3D)\r\n\r\n**4. Executable Guardrails**：将文档规则转化为**可执行的检查\u002F测试**，产生明确失败信号，比纯文本原则更可靠。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Qh2zeG0hdaa13leTk%2BBZeFGd%2B9c%3D)\r\n\r\n### Agent Skill\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=XPhWUH5INxQEjnxiHRlKyKlblUo%3D)\r\n\r\n**1. 定义**：打包的操作方法、参考资料、验证脚本，是可版本化、可测试的团队资产。\r\n\r\n**2. 三要素**：什么时候用？怎么做？怎么证明做对了？\r\n\r\n**3. 渐进式披露**：名称\u002F描述 → `Skill.md` → 具体执行文件，避免一次性占满上下文。\r\n\r\n**4. Engineering**：像代码依赖一样审查第三方 Skill（来源、脚本行为、权限风险）。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=KTLU7KNhdIa4XI996l7XVGVxcZ0%3D)\r\n\r\n## 四、评测与交付验证\r\n### Agent 评测三层次\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw21.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=vKEBpEQOzAkXPbK%2B6Td4VLIFfaI%3D)\r\n\r\n**1. Outcome**：最终环境是否正确（P99 降低？吞吐提升？）。\r\n\r\n**2. Trajectory**：过程是否合理（是否建立 Baseline？读取正确模块？）。\r\n\r\n**3. System**：多次运行是否稳定（耗时、人工介入度、可复现性）。\r\n\r\n### Sandbox vs Approval\r\n- **Sandbox**：技术访问边界（文件、网络、GPU）。\r\n- **Approval**：人工授权点（高风险动作确认）。\r\n- **人的职责**：定义目标、设定边界、承担风险、最终交付判断。\r\n\r\n### 核心总结\r\n- 代码生成 ≠ 软件工程\r\n- 模型 ≠ Agent\r\n- 长上下文 ≠ Relevant Context\r\n- Skill ≠ Prompt 模板\r\n- Task Pass ≠ Delivered Software\r\n\r\n\r\n## 五、实战案例——MoE Expert FFN Kernel 优化\r\n#### 阶段 1. 重构数据通路\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw22.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lA9KnqTdPYTBLjg8Ea4gsvqM6%2FY%3D)\r\n\r\n- 不修改数学公式\u002FGEMM，仅调整数据组织方式。\r\n- 生产者-消费者按同一 Tile 对齐，为后续固定 Workspace 打基础。\r\n\r\n#### 阶段 2. 优化主路径\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw23.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8m0ZDEN3IhWib46OcF0CJlPSmtQ%3D)\r\n\r\n- 拆分通用 GEMM，显式创建 TensorCoreIntrin。\r\n- Gate\u002FUp 复用输入 Token 数据，减少搬运。\r\n\r\n#### 阶段 3. 处理 Stage 1 尾块\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw24.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9ArwpZM%2FbUHGgHXQayxYDkGkZKk%3D)\r\n\r\n- 针对 MoE 专家 Token 数不均问题。\r\n- 按 actual_rows 分流：>64 走 M128，≤32 走 M32，中间走 M64。\r\n- 避免小块强行使用大 Tile 导致的空算。\r\n\r\n#### 阶段 4. 优化 Down GEMM\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw25.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3%2F2RytbqaQoHHqRsO79dtXNZlEw%3D)\r\n\r\n- 判断 hidden-dominant vs deep-K 场景。\r\n- 不同形状匹配不同 Warp 集合，而非万能 Kernel。\r\n\r\n#### 阶段 5. 运行时工程开销优化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw26.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lGNfeNjDJ3%2BN%2Fkuop4kIY3IoNIo%3D)\r\n\r\n- **Kernel Cache**：相同 Shape\u002FConfig 复用 JIT 编译结果。\r\n- **Workspace Cache**：相同规格中间 Buffer 复用，避免重复分配。\r\n⚠️ Cache Key 必须完整，防止错误复用。\r\n\r\n#### 阶段 6. 优化成果\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_109_zw27.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=sUjdRXxLFX8JoLCwGLIZX9MMkbo%3D)\r\n\r\n\r\n>至此“多范式算子开发实战营”课程内容已完结，接下来进入学员项目完成阶段，检验学习成果。\r\n\r\n\r\n\r\n## 还想进一步参与？\u003Cbr>InfiniTensor 训练营等你加入！\r\n\r\n如果你对 AI 相关知识感兴趣，欢迎关注并加入九源智能计算系统生态联合体、启元实验室主办的 **InfiniTensor 大模型与人工智能系统训练营**——一个完全免费的人工智能一站式教育训练营，每年夏季、冬季开营，从算力硬件到大模型全流程课程学习，零基础也能跟上！\r\n\r\n### 训练营亮点：\r\n• 完全免费：全程免费学习，从入门到进阶一路护航；\r\n• 门槛宽松：不限背景、不限学历、不限经验，对人工智能与大模型技术有兴趣即可报名；\r\n• 课程硬核：覆盖系统编程语言、大模型推理、算子开发、AI 编译器、性能优化等课程，还有大咖课与项目实战；\r\n• 学练结合：配套习题、算力资源与实战项目，优秀学员可获得结业证书。\r\n\r\n### 关注与参与方式：\r\n• 关注 **InfiniTensor 公众号**，第一时间获取训练营报名、课表与课程动态\r\n• 前往 **InfiniTensor 开源社区官网**（https:\u002F\u002Fwww.infinitensor.com\u002F） 注册账号、完善个人信息即可完成报名，全程免费！\r\n\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)","\u002Fstudy-material\u002Fstudy-109","study-109","markdown",{"img":119,"keywords":120,"treeType":44,"description":121,"showStatus":44,"updateTime":111,"type":112,"title":122,"content":123,"createTime":111,"sortOrder":112,"canonicalPath":124,"id":125,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=cpmPnLfBsJhuXkI9EDvGQrkpdRU%3D","九齿 DSL,GEMM,FlashAttention,Roofline Model,算子开发","多范式算子开发实战营《基于九齿复杂算子实现案例》深入讲解基于九齿 DSL 实现矩阵乘法与 Flash Attention 等复杂算子的实战方法，涵盖 Tiling 分块并行算法、Tile\u002FExpand\u002FSqueeze核心原语及 Roofline Model 性能分析模型。","课程回顾 | 多范式算子开发实战营：《基于九齿复杂算子实现案例》","9 月 17 日晚，多范式算子开发实战营继续邀请**九齿 DSL 技术负责人黄嘉成老师**，带来《基于九齿复杂算子实现案例》。\r\n\r\n在之前的课程中，我们了解了多种 DSL 并初步体验了九齿的基础写法。但如何从简单的“向量加法”进阶到真正的复杂算子，本节课将深入实战，带大家掌握**矩阵乘法（GEMM）** 与 **Flash Attention** 的九齿实现，并学会使用 **Roofline Model** 科学评估算子性能。\r\n\r\n\r\n## 一、 矩阵乘法（GEMM）的并行算法与九齿实现\r\n### 算法原理回顾\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=anHqcOF%2Fs0J6m2JN9CXDJyDba3w%3D)\r\n\r\n**1. 数学定义**：$C = A \times B$，其中 $C$ 的每个元素对应 $A$ 的一行与 $B$ 的一列的乘累加。\r\n\r\n**2. 朴素实现的瓶颈**：三重循环（CPU串行思维）未考虑缓存与并行，性能极低。\r\n\r\n**3. GPU 分块并行策略（Tiling）**：\r\n- 将 $C$ 切分为 $BM \times BN$ 的块。\r\n- 对应 $A$ 的行块 ($BM \times BK$) 与 $B$ 的列块 ($BK \times BN$)。\r\n- **核心逻辑**：$C$ 的一个输出块对应 $A$ 的一整行块和 $B$ 的一整列块，通过沿 $K$ 维度遍历累加小矩阵乘结果。\r\n- **边界处理**：使用 `cdiv` (Ceiling Division) 向上取整，确保非整除情况下的数据完整性。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=F1AGMf7rDvv909Rl8hvfC3ziU9w%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=b86eOIGu7yQ%2Fwt4bRFxoNp7XtvM%3D)\r\n\r\n\r\n### 九齿实现 GEMM\r\n**1. 排布（Arrangement）分离计算**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=QrzCypi5I1x2%2B%2BM%2FNb%2B%2Fq0Ixsgs%3D)\r\n\r\n- **Tile**：对 $A, B, C$ 进行基础分块；对 $A$ 按行、$B$ 按列进行二次 Tile，以匹配 $C$ 的计算需求。\r\n- **Expand**：将 $A$ 的行块和 $B$ 的列块复制扩展，建立与 $C$ 所有输出块的映射关系（逻辑复制，无实际内存开销）。\r\n- **Squeeze**：移除冗余的单例维度（长度为 1 的维度），简化 Application 中的索引编写。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=fqvdAnzISPTopjMhZU16uaA2NNg%3D)\r\n\r\n**2. 计算（Application）**：\r\n- 输入输出均为“排布后的块”而非原始张量。\r\n- 在 Application 内遍历 $K$ 维度的小块，执行小矩阵乘与累加。\r\n\r\n**3. 自动推导机制**：\r\n- 九齿无需手动配置 Grid\u002FBlock，编译器根据最外层张量形状的一致性自动推导 Launch 配置。\r\n- **原则**：$A, B, C$ 排布后的最外层形状必须一致。\r\n\r\n### 可视化辅助理解\r\n**1. 嵌套张量可视化**：直观展示 Tile 产生的层级结构（单层→双层→三层）。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8TdDpBa0KQCOZKd%2Fyi42ERB%2FXns%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SqMj9sW4ECunQbfTQNNN%2BjmREa8%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Sgz4hWOfcnSHYtDupw7F9na%2Ff44%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=s7NTsCu404my4iUKdI69m2DxRCY%3D)\r\n\r\n\r\n**2. 排布可视化**：验证排布后的块与原始张量位置的对应关系，辅助 Debug。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=pRNIJY6MWmrdHPIduAKuzbcHq84%3D)\r\n\r\n\r\n**3. 代码与算法描述一致**：九齿代码结构与数学\u002F算法描述高度一致，降低认知负担。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=JarY%2F6ex%2BFkezwUoIjb8HTSHzIo%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Z5r9q7LgfYml44PohxBtU2tddTM%3D)\r\n\r\n\r\n\r\n## 二、 Kernel 性能评估：Roofline Model\r\n### Roofline Model 核心概念\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZKoAvQr55Hek%2FVT1u9f1chSAuFA%3D)\r\n\r\n**1. 横轴**：Arithmetic Intensity，即计算密度（FLOPs \u002F Byte）。\r\n\r\n**2. 纵轴**：Performance (FLOPS)。\r\n\r\n**3. 两大区域**：\r\n- **Memory Bound**：受限于显存带宽\r\n- **Compute Bound**：受限于峰值算力\r\n\r\n**4. 拐点意义**：区分优化方向的关键，不同 Case 可能落在不同区域。\r\n\r\n**5. 性能指标**：Compute Bound 看 FLOPS，Memory Bound 看 GB\u002Fs，通用标准看耗时。\r\n\r\n\r\n### Benchmark 实战方法\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Cbx46iUy%2Ff9FBi8Z6t9ywcb6%2BRY%3D)\r\n\r\n**1. `perf` 函数**：$2 \times M \times N \times K$ （乘+加各一次）。\r\n\r\n**2. 数据搬运量**：$M \times K + K \times N + M \times N$。\r\n\r\n\r\n## 三、 FlashAttention\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=FhLKnCcJFxt3ICzGzujP%2FgH2FkQ%3D)\r\n\r\n### 为什么需要 FlashAttention？\r\n**1. 传统 Attention 痛点**：$QK^T$ 结果巨大，多次读写 Global Memory 导致性能低下。\r\n\r\n**2. 核心思想**：基于 Online Softmax 原理，将 MatMul + Softmax + MatMul 融合为一个 Kernel，减少全局内存访问。\r\n\r\n**3. 算法特征**：$Q\u002FO$ 按 $BM$ 分块，$K\u002FV$ 按 $BN$ 分块；每个 $Q$ 块对应多个 $K\u002FV$ 块。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=BX0jSLuU0XI6uYSbWWaMXrVpYGk%3D)\r\n\r\n### 九齿实现要点\r\n**1. Arrangement 设计**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=KHii81PGRdaLB3di0W1KGFAtRmI%3D)\r\n\r\n\r\n**2. Application 编写**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=YO%2BGQ%2FoWWgYR62%2FklJsZQhsTe9U%3D)\r\n\r\n\r\n**3. 张量可视化**\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qR6U379JG29ZIeRSPkSM%2BkhekLc%3D)\r\n\r\n**4. 排布可视化**\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_108_zw21.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9yeTGCkm8AxUh0StkDMmTnrviRE%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)","\u002Fstudy-material\u002Fstudy-108","study-108",{"img":127,"keywords":128,"treeType":44,"description":129,"showStatus":44,"updateTime":111,"type":112,"title":130,"content":131,"createTime":111,"sortOrder":9,"canonicalPath":132,"id":133,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=hA5WUS5A%2FbzSIBcGH%2FsMwFo7wPI%3D","九齿 DSL,算子开发,Triton,TileLang,多范式算子,并行编程","多范式算子开发实战营《九齿的设计思想与核心编程范式》深入解析九齿 DSL 的设计思想与核心编程范式，横向对比 Triton、TileLang 的实现差异。详解 Triton 四大核心 API 及 Block 级编程模型，并通过向量加法实战演示九齿 Arrangement 与 Application 分离的设计精髓、Make API 组合逻辑及双重可视化工具，帮助开发者掌握张量级抽象的并行编程思维。","多范式算子开发实战营: 《九齿的设计思想与核心编程范式》课程回顾","9 月 15 日晚，多范式算子开发实战营邀请**九齿 DSL 技术负责人黄嘉成老师**，带来《九齿的设计思想与核心编程范式》。\r\n\r\n本节课将介绍九齿的设计思想与核心编程范式，并结合九齿、Triton、TileLang 等多种 DSL，介绍不同 DSL 的设计理念及适用场景，还将结合概念验证阶段的实际开发需求，帮助大家了解 DSL 如何用于算子开发与硬件适配，以及不同开发方式之间的特点和差异。\r\n\r\n\r\n## 一、 领域特定语言（DSL）\r\n### 什么是 DSL？\r\n1.Domain Specific Language 的定义与优势\r\n\r\n2.AI\u002F深度学习领域的常见 DSL：Triton, TileLang, 九齿\r\n\r\n### 三者横向对比：以“向量加法”为例\r\n**1. 向量加法**：并行编程界的 \"Hello World\"\r\n\r\n**2. 代码风格差异**：\r\n- Triton：显式 Program ID + 指针\u002F索引运算\r\n- TileLang：Pythonic `with` 语法 + Tiling 控制\r\n- 九齿：Arrangement（排布）+ Application（应用）分离\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=oyNDK66I7BSq36RaUPkjvSvpte4%3D)\r\n\r\n### 设计出发点\r\n**1. Triton**：屏蔽 CUDA 底层细节，保留 Block 级并行语义，跨平台性较好但仍有硬件差异\r\n\r\n**2. TileLang**：显式暴露存储层级与流水线控制，追求更底层的手动优化空间\r\n\r\n**3. 九齿**：进一步抽象掉指针与偏移量计算，追求更好的跨平台性与初学者友好度；以编译器优化换取高层抽象的性能损失\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=nuhoyI4StJvt3hHSVLUfcxbQGBY%3D)\r\n\r\n\r\n## 二、 Triton 编程基础\r\n### 为什么需要 Triton？\r\n- CUDA 的痛点：语法复杂、硬件门槛高、内存\u002F线程管理繁琐\r\n- Triton 的优势：Block-level 抽象、代码量少、快速达到专家级 80%-90% 性能\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5u831rC6fPesrey4qCfIqS13ZeM%3D)\r\n\r\n\r\n### 核心概念：从 Thread 到 Block\r\n- 无需显式管理 Thread 级执行细节、Shared Memory 等底层资源\r\n- 聚焦 SM 间调度与 Block 级数据访问\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OBtsLKlcL7WrM%2BczDMxLjGASehI%3D)\r\n\r\n### 四大核心 API\r\n- `program_id`：定位当前 Worker 身份\r\n- `arange`：生成递增向量，构造数据访问区域\r\n- `load`：带 Mask 边界检查的数据读取（Pointer + Mask + Other）\r\n- `store`：带 Mask 的安全数据写回\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ffeTcIEkS%2B5MDWxEUFVuBC3ZTto%3D)\r\n\r\n\r\n\r\n## 三、 九齿（NineToothed）核心设计思想\r\n### 九齿是什么？\r\n- 提供**张量级抽象**的 DSL\r\n- 无指针、无 Program ID、无 Load\u002FStore，一切皆张量\r\n- 以 Triton 为主要编译后端（支持 TensorFlow\u002FCUDA 扩展中）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lXanTTlffnnCRtfmCfVFjjukmwg%3D)\r\n\r\n### 为什么需要九齿？\r\n- PyTorch 等框架层：接口简洁但定制化难\r\n- Triton 等指针级 DSL：仍需并行思维转换，入门有门槛\r\n- **九齿定位**：让未接触并行编程的用户也能高效编写 Kernel\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kBSCxB0Y1g%2FOQb2K0AOwRYix75w%3D)\r\n\r\n\r\n### 核心范式\r\n- **Arrangement（排布）**：描述数据如何切分与分布（Tile, Expand, Squeeze 等原语）\r\n- **Application（应用）**：描述单个 Tile 上的具体计算逻辑\r\n\r\n\r\n### 代码对比：矩阵乘法（GEMM）\r\n- Triton：厚重的 PID 变换、Offset 计算、指针 Increment\r\n- 九齿：零指针运算，代码贴近算法自然语言描述\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=49%2BRCcXdsqn34GPVzBLRBsWUDCE%3D)\r\n\r\n\r\n## 四、 DSL 的实际用途\r\n### Kernel vs Operator 的概念区分\r\n- Kernel：纯计算单元，不负责内存分配与通信\r\n- Operator：包含 Kernel 调用、内存管理、通信等广义算子\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UZBEIYi5SR6hWqbLIZgixRsURlA%3D)\r\n\r\n### 核心应用场景\r\n- **现有算子融合\u002F优化**：如 FlashAttention，减少内存读写开销\r\n- **新算子敏捷概念验证（PoC）**：快速搭建，验证有效性后再投入底层优化\r\n- 新模型伴随新算子，DSL 加速“模型-算子”协同迭代\r\n\r\n## 五、 向量加法\r\n### Triton 实现\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2B9xcHTo3sI5YSSEFZB%2FmF1Wgm1I%3D)\r\n\r\n\r\n### 九齿实现\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=RmAskV1qmXKVRsO8ImMg1e8%2FNtA%3D)\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0XkTfhwth%2Fcqg5cdEiCzC1B6eRo%3D)\r\n\r\n\r\n### 范式推广：从向量加法到 GEMM\u002FFlashAttention\r\n- 万能公式：若干 Tensor → Arrangement 生成多组 Tiles → Application 逐组 Apply\r\n- 核心理念：记住这三行关系，即掌握了九齿的所有复杂算子编写逻辑\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=i%2Ftmcj2fJJnRH1pU%2BNTxzjIfgW4%3D)\r\n\r\n### 双重可视化辅助理解\r\n- **嵌套张量可视化**：展示 Tile 后的多层结构（如长度 16 向量 → 外层 8×内层 2 的嵌套向量）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kUzLBjOa%2FYSv1HzqfJrxCC95Vb4%3D)\r\n\r\n\r\n- **排布可视化**：交互展示每组 Tile 与原张量的位置对应关系\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_107_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bMTHOenhB3d0PDH6Ae%2Bn7AyCB%2B4%3D)\r\n\r\n\r\n\r\n\r\n*完整代码示例与作业请访问课程仓库。如有疑问欢迎在 Issue 区交流讨论。*\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)","\u002Fstudy-material\u002Fstudy-107","study-107",{"img":135,"keywords":136,"treeType":44,"description":137,"showStatus":44,"updateTime":111,"type":112,"title":138,"content":139,"createTime":111,"sortOrder":140,"canonicalPath":141,"id":142,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=uyQTddKeiFiTC1xb1kKfXg1PyHA%3D","多范式算子开发,九源软件栈,沐曦 MXMACA,国产异构算力,算子编译,InfiniTensor","多范式算子开发实战营由九源、沐曦、AI Infra 等社区联合推出，聚焦 TileLang、Triton、九齿等多 DSL 对比学习与国产异构算力实践。开营仪式首节课程由王豪杰老师带来《九源软件栈核心技术与开源生态》，结合吕墨尘老师“从调用 AI 到构建 AI”开营分享，系统呈现国产异构算力平台下的算子开发学习路径与开源生态实践。","「多范式算子开发实战营」开营首讲：《九源软件栈核心技术与开源生态》 课程回顾","9 月 13 日晚，由九源开源社区联合沐曦 GPU 与 MXMACA 软件栈、 AI Infra 开源社区、GitLink 开源平台、DataWhale 开源学习社区及启悟学习社区联合推出的 **「多范式算子开发实战营」** 正式开营。\r\n\r\n### 为什么叫\"多范式\"？\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=TaHFQ8%2B4G85IsagaO0NAuCaC25M%3D)\r\n\r\n本次实战营主打**多个 DSL 的对比学习**，帮助学员建立对算子开发的本质认知。课程内容包括：\r\n\r\n- **全局视野建立**：了解九源软件栈和沐曦 MXMACA 软件栈，理解异构国产算力平台的生态格局\r\n- **多 DSL 对比**：系统性比较多个 DSL 的设计思想和编程范式，掌握在不同场景、平台和问题下选择合适工具的能力\r\n- **复杂算子实战**：深入学习 Flash Attention、GEMM 等复杂算子的实现核心技术\r\n- **性能分析优化**：学习使用 McProfiling 等性能分析工具，掌握算子性能瓶颈的定位与优化方法\r\n- **AI Agent 辅助开发**：探索人机协作新范式，体验用 AI Agent 提升算子开发效率\r\n\r\n### 课程设计与学习方式\r\n\r\n- **每周两次直播课程**，由老师带领了解核心技术并展示实操\r\n- **GitLink 课程仓库** 提供完善的脚手架代码和学习任务\r\n- **任务驱动学习**：通过动手实践验证知识点\r\n- **课后回放**：课程内容上传至 B 站和 DataWhale 课程主页，方便反复学习\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lmr0QbukyRMebbxhiJT%2FVUrWbIA%3D)\r\n\r\n### 四项学习福利\r\n\r\n| 福利 | 内容 |\r\n|------|------|\r\n| 🎫 免费算力券 | 所有动手环节均可通过沐曦开发者社区领取的算力券完成 |\r\n| 💻 示例代码 | GitLink 学习仓库提供完善可靠的可运行示例代码 |\r\n| 📜 结营证书 | 按时完成所有学习任务并通过审核，可获沐曦盖章结营证书 |\r\n| 🎁 激励活动 | 在社交媒体分享学习心得，有机会获得沐曦定制周边大礼包 |\r\n\r\n\r\n## 吕墨尘老师开营分享：\u003Cbr>《从调用 AI 到构建 AI》\r\n\r\n> **主讲人**：九源智能计算系统生态联合体吕墨尘老师\r\n\r\n### 九源在做什么？\r\n\r\n九源围绕 **统一的软件架构**，推进编程语言、算子、通信、训练、推理等基础软件建设。目标不是做几场独立的技术分享，而是打造一条 **可持续走下去的学习路径**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8craFtINqed6uruLebBS6Wc00GA%3D)\r\n\r\n\r\n\r\n### InfiniTensor 大模型与人工智能系统训练营\r\n\r\n- 自 2024 年夏季开始，已持续举办 **4 期**，累计吸引 **上万名学员**\r\n- 课程三大板块：\r\n  - **基础专业课**：各方向核心知识和基本方法\r\n  - **行业合作课**：企业工程师带真实开发场景讲解\r\n  - **大咖课**：学术界和产业界老师分享研究进展与实践经验\r\n\r\n### 课程体系覆盖\r\n\r\n- **并行编程:** CUDA、Triton、九齿、OpenCL、CPU 并行编程\r\n- **系统方向:** AI 编译器、训练系统、大模型推理服务系统、通信与并行优化\r\n- **新增课程:** AI 编程与智能体应用\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=V%2FnTNRgPdcksE3jLu12UBUGVSWc%3D)\r\n\r\n\r\n### 实践与赛事\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=MxgFcn10KjQnF8zIQlzn2%2B0sjpc%3D)\r\n\r\n- **线下走进高校**：兰州大学、西安交通大学、西北工业大学等\r\n- **走进企业**：组织优秀学员参观新华三等企业\r\n- **启元人工智能大赛**：设置九齿算子与编译器开发、推理引擎适配优化等赛道，总奖金池 20 万\r\n- **KernelSwift 算子创新大赛**：与上海人工智能实验室合作\r\n- **嵩山杯**：即将开展独立赛道\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZKoZRGGbcx3duO%2F763lktB3YCds%3D)\r\n\r\n\r\n### 对学员的邀请\r\n\r\n- **刚入门**：从社区基础课程和小作业起步\r\n- **有基础**：认真参与实战营后，继续参加项目实践和赛事\r\n- **有经验的工程师**：把实际问题带到社区，参与代码贡献和课程共建\r\n- **高校老师**：把课程实训和科研需求结合\r\n- 九源为优秀学员提供 **实习推荐和企业内推** 机会\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=M1h5sFyNi%2FbO553OW%2BoeXvFbY1M%3D)\r\n\r\n\r\n\r\n## 开营首讲：清华大学王豪杰老师\u003Cbr>《九源软件栈核心技术与开源生态》\r\n\r\n> **主讲人**：清华大学 \u002F 启元实验室助理研究员王豪杰老师\r\n\r\n### 一、统一架构\r\n\r\n#### 1. 为什么需要统一计算架构\r\n\r\n- **核心问题**：同一模型迁移到不同国产硬件平台时，需要重写或大量修改软件\r\n- **根本原因**：\r\n  - 平台差异性：底层 SDK、工具链各不相同\r\n  - 各平台的算子库、运行时库、通信库存在差异\r\n- **目标**：抹平底层差异性，将共性能力集中到基础软件层次\r\n\r\n#### 2. 分层架构设计\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eJrYLy%2BspBizFQN9ORlg8uipODo%3D)\r\n\r\n\r\n#### 3. 硬件能力评估维度\r\n\r\n- **计算能力**（峰值算力，如 A100 的 312 TFLOPS）\r\n- **内存带宽**（单位时间内数据搬运能力）\r\n- **内存容量**（显存大小，影响可承载模型规模和上下文长度）\r\n- **互联能力**（机内多卡、跨机多节点数据交换）\r\n\r\n> 不同工作负载依赖不同能力：\r\n> Prefill 阶段看重计算能力，\r\n> Decode 阶段看重内存带宽。\r\n\r\n#### 4. 九源核心设计目标\r\n\r\n\r\n- **统一运行：** 一套代码在不同硬件平台无需修改即可运行\r\n- **高效执行：** 发挥加速卡该有的性能，保留硬件优化和异构协作能力\r\n- **持续演进：** 支持模型、硬件、工具的持续更新，模块化扩展\r\n\r\n#### 5. 九源软件栈\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bYwSGOt7ijVGcA9a9XcNf%2FEE8LE%3D)\r\n\r\n- **跨平台运行**：同一套模型代码在不同平台保持一致调用和优化方式\r\n- **异构协同**：不同加速卡分别承担同一服务中的不同工作，发挥各自性能长处\r\n\r\n\r\n### 二、算子与编译\r\n\r\n#### 1. 统一算子库要解决的问题\r\n\r\n- 算子来源多样：厂商优化库（cuBLAS\u002FcuDNN）、开源库（Flash Attention）、DSL 自定义实现\r\n- 需要抹平三类差异：\r\n  - **计算接口差异**：输入方式、参数、数据类型\r\n  - **执行资源差异**：设备管理、内存管理、任务提交方式\r\n  - **能力覆盖差异**：输入范围、stride 支持等\r\n\r\n#### 2. 统一算子库执行流程\r\n\r\n- DSL 算子：源程序 → 编译\u002F调优\u002F缓存 → 运行时 JIT 编译 → 算子加载 → 执行\r\n- 厂商算子库\u002F原生语言算子：明确计算语义和调用接口 → 统一对接\r\n- 上层框架无需关心底层实现方式，统一调用即可\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1466L6BWN0p5BBJ%2BhMHcHGSkbOU%3D)\r\n\r\n#### 3. 统一算子库三大核心目标\r\n\r\n- **选优：** 针对特定硬件和场景，自动找到最优实现\r\n- **扩展：** 新模型需求可通过 DSL 快速补充算子，无需关心工具链配置\r\n- **裁剪：** 根据实际部署需求定制化裁剪算子库，节省运行时资源\r\n\r\n#### 4. 九齿（NineToothed）编程语言\r\n\r\n- **设计动机**：\r\n  - 降低描述计算和组织并行的门槛\r\n- **核心思想**：\r\n  - **数据编排（Arrangement）**：定义数据分块方式（行分块、列分块、输出块映射）\r\n  - **局部计算（Application）**：以串行语义描述计算（置零 → 沿 K 累加 → 反写）\r\n  - 编译器自动完成并行化映射（花 20% 精力达到 80%+ 性能）\r\n- **编译模式**：\r\n  - **AOT**：运行前预编译，形成预加载库\r\n  - **JIT**：运行时按需编译\r\n\r\n\r\n### 三、运行时与通信\r\n\r\n#### 1. 运行时（InfiniRT）\r\n\r\n- **核心职责**：设备管理、资源管理、任务调度、依赖管理\r\n- **执行流程**：准备资源 → 提交任务 → 按依赖执行 → 资源复用\u002F回收\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ng1zzezTZtU%2FrKRVNZNlJbACmK0%3D)\r\n\r\n- **资源分类管理**：\r\n  - **权重**：定长，跨请求复用保留\r\n  - **请求缓存（KV Cache）**：随请求增长，需管理内存不足策略\r\n  - **临时数据**：工作空间，用完即释放，需判断复用还是重新申请\r\n\r\n#### 2. 通信库（InfiniCCL）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=NSsNwTSZhnQql7PuCo7zfS3yLhE%3D)\r\n\r\n- **统一接口**：上层只关心数据的逻辑汇总和分发，底层自动选择最优通信路径\r\n- **通信路径**：\r\n  - 同构环境：原生集合通信（如 NCCL 及沐曦对等库）\r\n  - 异构环境：回退到 MPI 通用路径\r\n  - 跨机传输：尽量利用 RDMA 减少数据移动开销\r\n- **自动分析**：根据数据交换需求和硬件拓扑，自动找到最优通信实现\r\n\r\n### 四、推理框架（InfiniLM）\r\n#### 1. 推理引擎的职责\r\n\r\n- 请求接收与排队\r\n- 模型与缓存管理\r\n- 计算资源服务多个请求的调度\r\n- 贯穿多轮执行的完整循环\r\n\r\n#### 2. 推理两阶段模型\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=gNV%2F%2Bb0xaW%2FWHddWcjysk9k5Ryo%3D)\r\n\r\n- **Prefill** ：compute-bound，关注峰值算力，服务指标常用 TTFT\r\n- **Decode**：memory-bound，关注显存带宽，服务指标常用 ITL\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kZTf7tZ7Fj6cGwSdvr9KStps1zQ%3D)\r\n\r\n#### 3. P\u002FD 分离策略\r\n\r\n- 将 Prefill 和 Decode 划分为独立的请求池和资源池\r\n- 避免 Prefill 插入 Decode 过程导致 ITL 被拉长\r\n- 不同硬件按性能特征分配：高算力卡 → Prefill，高带宽卡 → Decode\r\n\r\n\r\n### 五、异构推理与 PD 分离\r\n\r\n#### 1. 异构 PD 分离原理\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UEsYhpX8egpgwxGiksTbOs4ix9Y%3D)\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=TiRKVPH4LJ22btou%2BOGYAMwnnho%3D)\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1W7IXXoc1fzya2yXYkX%2FsOydZqY%3D)\r\n\r\n#### 2. 异构 PD 分离的收益\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lOMJugYMGxyIcPS2SwyOf%2BaiWPg%3D)\r\n\r\n\r\n#### 3. 实验及结果\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zlP2IbZ7yHLPUY93BLHbJsZPPkg%3D)\r\n\r\n\r\n#### 4. 关键影响因素\r\n\r\n- P\u002FD 资源配比是否平衡\r\n- KV Cache 交接效率（网络带宽：RDMA > CPU 中转 RDMA > TCP\u002FIP）\r\n- 动态切换能力：根据线上负载变化调整 P\u002FD 资源分配\r\n\r\n\r\n### 六、开源共建\r\n#### 1. InfiniTensor 开源项目\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_106_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=vZV2A8qPo9qhAvHjAgyl5eewmRg%3D)\r\n\r\n\r\n#### 2. 学习与实践资源\r\n\r\n- **基础课程**：C++、Python、并行编程基础\r\n- **方向课程**：算子与编译、训练、推理、通信\r\n- **练习项目**（千行代码规模）：\r\n  - `TinyInfiniTensor`（AI 编译器方向）\r\n  - `llaisys`（大模型推理方向）\r\n  - `TinyInfiniTrain`（训练框架方向）\r\n  - `GoLlamaGo`（沐曦实战营项目）\r\n\r\n#### 3. 参与方式\r\n\r\n- 提出\u002F复现\u002F定位 Issue → 修改代码 → 补充测试 → 提交 PR\r\n- 参与赛事：启元人工智能大赛、KernelSwift 算子创新大赛、嵩山杯\r\n- 文档改进、评测贡献、课程共建均欢迎\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)",4,"\u002Fstudy-material\u002Fstudy-106","study-106",{"img":144,"keywords":145,"treeType":44,"description":146,"showStatus":44,"updateTime":111,"type":112,"title":147,"content":148,"createTime":111,"sortOrder":45,"canonicalPath":149,"id":150,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ea0InTYgeu5EFXqNhdnNe%2BL2aTY%3D","大模型量化,FP8,量化感知训练,SageAttention,低精度计算","2026 夏季 InfiniTensor 训练营第四节大咖课由清华大学陈键飞教授带来《大模型量化》，详解低精度计算加速深度学习核心技术，涵盖 FP8\u002FFP4 量化原理、Microscaling 微缩放、SageAttention 及量化感知训练（QAT）等前沿方法。课程深入解析仅权重量化、KV Cache 压缩与低精度训练等实战场景。","2026 夏季 InfiniTensor 训练营大咖课 4：清华大学陈键飞副教授——《大模型量化》 ","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=evSfQoNmW3ujUz2pa4nd9pWF7GY%3D)\r\n\r\n随着大模型参数规模与应用需求持续增长，计算成本、显存占用与推理效率逐渐成为制约模型落地的重要因素。如何在有限的硬件资源下，实现更高效的计算，同时尽可能保持模型性能，成为大模型系统优化的重要课题。量化通过降低模型参数与计算的数值精度，在精度、效率与资源消耗之间寻找新的平衡，为大模型降本增效提供了重要技术路径。\r\n\r\n8 月 12 日晚，2026 夏季 InfiniTensor 大模型与人工智能系统训练营邀请**清华大学计算机系陈键飞副教授**，带来第四期大咖课 ——《大模型量化》。本次课程聚焦大模型量化技术，从基础理论、核心方法到前沿算法，解析低位宽计算如何助力大模型降本增效，为训练与推理带来新的技术路径。\r\n\r\n### 讲师介绍\r\n**陈键飞 | 清华大学计算机科学与技术系 副教授**\r\n- 2014 年获清华大学计算机学士学位，2019 年获博士学位。入选 2022 年度 CCF 青年人才发展计划，曾获中国计算机学会优秀博士学位论文奖、清华大学水木学者等荣誉。\r\n- 主要从事高效机器学习研究，重点关注低位宽与量化神经网络、深度学习优化、概率推理及大模型高效计算。近年来在训练后量化、量化感知训练、全量化训练以及 NVFP4 等低精度计算技术开展理论与算法研究。\r\n- 相关成果发表于 ICML、NeurIPS、ICLR 等国际会议，发布了 ActNN、WarpLDA、ZhuSuan、SageAttention 等多个开源软件。\r\n\r\n### 为什么要做低精度计算？\r\n#### 1.硬件算力的「精度天花板」\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=CX1AIc%2BsWUxDRRhtLe6ie05GF1E%3D)\r\n\r\n**（1）MFU 瓶颈**：随着系统层面的并行、通信和算子融合等优化不断深入，进一步提升实际计算效率仍面临一定挑战\r\n**（2）位宽决定峰值算力**：同一款 GPU 上，不同精度对应的峰值算力差异巨大\r\n**（3）底层原理**：低位宽运算所需芯片面积更小，硬件厂商在同样面积内塞入了更多低精度计算单元\r\n\r\n#### 2. 存储层面的收益\r\n- 降低数值精度（如 FP16 → 1-bit），显著节省模型存储空间\r\n- 对推理速度和显存占用均有正面影响\r\n\r\n## 低精度数值格式基础\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=VdatgXLuGk8JgdYJwqTpsSjhDC8%3D)\r\n\r\n### IEEE 754 浮点数表示\r\n- 三部分构成：**符号位 + 指数位 + 尾数位**\r\n- 常见格式对比：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qT9PeeCpwxezC%2FV3czlFDqDZHk4%3D)\r\n\r\n- 指数位与尾数位的分配决定了数值表示范围\r\n- 不同格式适用于不同数值分布的张量\r\n\r\n\r\n## 低精度张量\r\n### 直接类型转换的失败\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=R92h0JRgx1N5%2BeA3I8JigYoKnIY%3D)\r\n\r\n- **矩阵 A**（权重矩阵）：数值范围 ±0.001 → 强制转换后**全零**（下溢）\r\n- **矩阵 B**（激活矩阵）：数值范围 ±10000 → 强制转换后**严重溢出**（上溢）\r\n- **根本原因**：数值格式表示范围固定，而深度学习张量数值范围不固定\r\n\r\n### 缩放（Scaling）与量化\r\n\r\n- **缩放因子（Scale）**：以对称 INT8 量化为例，常可根据张量最大绝对值确定缩放因子，例如 scale = max(|x|) \u002F 127；实际量化方案还包括非对称量化以及 per-channel、per-group、per-token 等不同粒度的缩放方式。\r\n- **量化（Quantization）**：高精度 ÷ 缩放因子 → 归一化到 [-127, 127] → 取整\r\n- **反量化（Dequantization）**：低精度 × 缩放因子 → 恢复高精度\r\n- **本质**：低精度表示通常由低精度数值与 Scale 共同构成\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=XMX2piG4PDakry1soYEm6zEJjH8%3D)\r\n\r\n### 低精度矩阵乘法\r\n- 原始：高精度矩阵 A × 高精度矩阵 B（慢）\r\n- 量化后：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=jThgLMt%2FDHIebTi%2BQT5VbMX5I0s%3D)\r\n\r\n\r\n## 大模型中的量化\r\n- 场景不同→瓶颈不同→量化不同\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tqp%2FrwlwyGiXu1jz7KKJ5mMLK7c%3D)\r\n\r\n### 训练后量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Gmyr%2BHeCePkaFQhJSGR9BpIaews%3D)\r\n\r\n- 对于部分模型和场景，8-bit PTQ（如 FP8 或 INT8）通常能够在较小精度损失下实现部署，但具体效果需要结合模型、量化粒度、校准数据和目标硬件进行验证。\r\n- 量化误差可能在网络层间传播，并在部分模型和任务中造成累积或放大，因此需要通过逐层分析和端到端评测验证量化后的精度影响。\r\n\r\n### 离群值（Outlier）问题\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UleboLZ5YL6DSRPDJCh2XopoiBE%3D)\r\n\r\n- 部分 LLM 激活中存在幅值显著高于其他元素的离群值。\r\n- 若采用由最大值决定的统一缩放因子，可能导致大量普通元素的量化分辨率不足，从而造成较大的量化误差。\r\n\r\n#### 解决方案 1.非均匀量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qprOEqIcU7V46BSld%2FLT95V3vUk%3D)\r\n\r\n- 在小数值区域密集分布量化点，大数值区域稀疏分布\r\n- 浮点格式的可表示数值在不同数量级上的间隔并不均匀，因此对动态范围较大的张量通常具有一定优势；具体效果仍取决于张量分布和量化方案\r\n- 整数量化在硬件支持成熟、计算效率高的场景具有优势\r\n- **信息熵视角**：最优量化应使每种取值的元素数量相当，打满信息熵\r\n\r\n#### 解决方案 2. 细粒度缩放\r\n**（1）分块缩放**\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=m7ma69kMFz0j3zTWWuTtdicxNYc%3D)\r\n\r\n- 将矩阵切分为小块，每块独立计算缩放因子\r\n- 类比：航母的密闭舱设计，一块\"进水\"不影响全局\r\n\r\n**（2）微缩放**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=n8rmYhJ%2BLqzxEJUECNqDyPDv7ZE%3D)\r\n\r\n- 每 16～32 个元素组成一个量化块，并共享缩放因子，可显著降低局部离群值对量化精度的影响，在精度和额外 Scale 开销之间取得较好的平衡。\r\n\r\n#### 解决方案 3. 旋转\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=YRwAV6QRLPUnYREioRJUVSyjm%2FM%3D)\r\n\r\n- 在矩阵乘法中插入正交矩阵\r\n- 使原本难量化的矩阵变得更容易量化\r\n- **代表方法**：\r\n  - **SmoothQuant**：P 取对角阵，平衡 Activation 和 Weight 的量化难度\r\n  - **哈达玛变换**：通过正交旋转重新分布不同维度上的数值，使异常值更加均匀地分散，从而降低量化难度\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=L%2BgmRHwRB0BsUvSsIzdlDmvRTHg%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9houtd0mZS1d6CrGODwr4oSV0go%3D)\r\n\r\n\r\n## 典型应用场景\r\n### 仅权重量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1FOwipll70P47XC7Nof9rqJ6p0I%3D)\r\n\r\n- 将权重从 BF16 转为 NVFP4 \u002F INT4\r\n- 存储空间大幅缩减（如 1.6T 参数模型：BF16 需 3.2TB → FP4 仅需 800GB）\r\n- **加速解码（Decode）**：减少权重读取带来的 HBM 带宽压力，通常能够降低 Decode 阶段的计算\u002F访存开销并提升生成吞吐；对 TTFT 的改善则取决于具体模型、输入长度和硬件实现\r\n\r\n### 权重 + 激活量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2BNsO47iBeFBCWi6jYeiWS2FXt7w%3D)\r\n\r\n- 权重和激活均量化为 FP8 \u002F FP4\r\n- 不仅加速 Decode，还能加速 **Prefill** 阶段\r\n\r\n### Attention 量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=YQMGTMls6q2zTc7IWfWWFNdrJyI%3D)\r\n\r\n- Attention = Q×K（矩阵乘）→ Softmax → P×V（矩阵乘）\r\n- **难点**：Softmax 对精度敏感\r\n- **解决方案**：SageAttention 系列（最新 SageAttention 3）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=nr5l%2FCKk%2Fxr9oWuGE%2Fsxel2SNCA%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw21.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=76bKZK7YpiTbZBHOBKAnW%2BMPdMM%3D)\r\n\r\n\r\n### KV Cache 量化\r\n- 随序列长度增长，KV Cache 显存需求成倍增加\r\n- 降低 KV Cache 比特数 → 成倍降低推理系统显存需求\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw22.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EEKAMG1K8Smw2SZL0YjMcCUmznM%3D)\r\n\r\n\r\n## 低精度训练\r\n\r\n### 量化感知训练\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw23.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=giyM9VrNiU%2FcFEn7x1OTNE8bKwE%3D)\r\n\r\n- **核心思想**：训练时就让网络\"知道\"自己会被量化\r\n- 前向传播使用量化后的网络，优化量化网络的 Loss\r\n- 消除训推不一致\r\n\r\n### 训练加速：全量化训练 \u002F 混合精度训练\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw24.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=GYTr32%2FkozaQFq7uhcrwdpKWwl0%3D)\r\n\r\n- 前向传播 1 个矩阵乘法 + 反向传播 2 个矩阵乘法，全部低精度\r\n- **当前效果**：\r\n  - **FP8 训练**：验证了超大规模 FP8 混合精度训练的可行性和有效性，在合理的数值格式、量化策略和训练方案下能够保持良好的模型性能\r\n  - **FP4 全量化训练**：FP4 全量化训练对数值稳定性和训练精度要求更高，具体精度损失高度依赖模型、量化格式及训练策略；近年来基于 Microscaling 等技术的 FP4 训练已取得接近 FP8\u002FBF16 的结果。\r\n- 挑战：三个矩阵乘法均为低精度，精度控制难度显著提升\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw25.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ur178%2BfFgrgvFTIng7hUtx8YhRo%3D)\r\n\r\n\r\n\r\n## QA 精选答疑\r\n\r\n**Q1：大模型量化落地中，哪种位宽综合性价比最高？**\r\n**A：** 8-bit 基本在所有场景下都是安全且成熟的选择。4-bit 需分场景看待：权重量化可行（严肃应用建议配合量化感知训练）；Attention 量化在视频生成等特定场景可行；激活量化与 KV Cache 量化存在风险，需具体验证；训练中直接使用 4-bit 会有精度损失。\r\n\r\n**Q2：选择 FP8 还是 INT8，是否取决于硬件支持？**\r\n**A：** 是的。优先确认硬件是否支持 Microscaling，若不支持 Microscaling 通过其他技术弥补；若仅支持 INT8，同样可用上述技术，但需更精细地控制精度损失。\r\n\r\n**Q3：训练后量化和量化感知训练如何选择？**\r\n**A：** 二者是递进关系。始终先尝试训练后量化，它至少可作为 Baseline；若精度不满足需求，再考虑量化感知训练。注意量化感知训练门槛较高，需要额外的算力、数据，更适合有研发资源的大模型团队，学术研究者通常难以对大语言模型执行量化感知训练。\r\n\r\n**Q4：ActNN 这类开源量化工具上手门槛高吗？**\r\n**A：** ActNN 代码较老，直接套用意义不大，但其核心思想仍具参考价值。若确认瓶颈确实是激活显存占用且无法通过 Activation Checkpointing 或流水线并行解决，可借鉴其思路，借助 AI Coding Agent 快速实现适配当前负载的量化 Kernel。\r\n\r\n**Q5：低位宽计算未来有哪些潜力研究方向？**\r\n**A：** 两大分支：一是工程落地，弥合理论无精度损失与实际仍用高精度之间的 Gap，研究 4-bit 训练动力学及精度保持技术；二是算子-硬件协同设计（Co-Design），低精度矩阵乘法速度极快后，其他部分会成为新瓶颈的问题。\r\n\r\n**Q6：新格式（如 NVFP4）的硬件适配难点在哪？**\r\n**A：** 核心难点在于算力失衡。以 B300 为例，Tensor Core（NVFP4）算力是 CUDA Core 的约 200 倍，任何微小的地址计算、Scale 计算或类型转换指令都会成为瓶颈，抵消 Tensor Core 带来的性能收益，对 Kernel 编写提出极高要求。\r\n\r\n**Q7：量化压缩会影响模型的幻觉问题吗？**\r\n**A：** 会有影响，尤其是未经过全链路严格 QAT 的后训练量化模型。在复杂推理、长轨迹任务中，量化模型的性能下降会更明显。但使用 8-bit 量化通常不会出现此类问题。\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)","\u002Fstudy-material\u002Fstudy-105","study-105",{"img":152,"keywords":153,"treeType":44,"description":154,"showStatus":44,"updateTime":111,"type":112,"title":155,"content":156,"createTime":111,"sortOrder":157,"canonicalPath":158,"id":159,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=q5I2JiY39j9mH1hv9ohNXfAnDzE%3D","操作系统,AIOS,OpenKylin,银河麒麟,大模型系统优化","2026 夏季 InfiniTensor 训练营第三节大咖课国防科技大学余杰导师《人工智能时代操作系统的机遇与挑战》，解析人工智能时代操作系统的机遇与挑战，系统梳理 OS 发展历程、OS for AI 训练推理优化、OS with AI 智能化技术及AIOS架构演进，并结合麒麟团队 OpenKylin AIPC 端侧大模型部署实践揭示大模型作为内核的AI原生操作系统未来趋势。","2026 夏季 InfiniTensor 训练营大咖课 3：国防科技大学余杰老师 ——《人工智能时代操作系统的机遇与挑战》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=LuDEINh2FhQRKb3uHN%2FnDP1wchU%3D)\r\n\r\n在大模型时代，操作系统（OS）将如何演进？AI 与 OS 如何相互赋能？\r\n\r\n8 月 11 日晚，2026 夏季 InfiniTensor 大模型与人工智能系统训练营迎来第三期大咖课。本次课程特邀**国防科技大学博士生导师余杰老师**从 OS 发展历程、OS for AI、OS with AI 及麒麟团队实践四个维度，解析智能时代操作系统的定位与未来。\r\n\r\n### 讲师介绍\r\n**余杰 | 国防科技大学计算机学院研究员、博士生导师**\r\n- 国家重点研发项目首席科学家，基础软件教育部工程研究中心常务副主任、openKylin 开源社区副主席\r\n- 长期从事操作系统与人工智能研究，研制麒麟系列操作系统，荣获国家科技进步一等奖 1 项、省部级科技进步特等奖 2 项、一等奖 3 项\r\n- 入选军队学科拔尖人才、湖南科技领军人才等，获中国杰出开源人物、中国开源先锋人物等称号，获评“中国杰出开源人物”、“中国开源先锋人物”\r\n- 带领团队在TKDE、SCIS、AAAI、ICPP、ACL、NIPS等国际顶刊\u002F顶会发表学术论文50余篇，申请国家发明专利 30 余项，培养博士、硕士 30 余人\r\n\r\n\r\n### 操作系统 OS 的发展历程与智能时代定位\r\n#### 1. 操作系统的核心使命与驱动力\r\n**（1）两大核心任务**：\r\n- 向下：高效管理软硬件资源（提供硬件虚拟化机制）。\r\n- 向上：为软件和用户提供运行环境与开发环境（GUI + API）。\r\n**（2）两大发展原动力**：\r\n- 计算机硬件的不断发展（促进底层技术革新）。\r\n- 计算机应用的不断发展（产生新的机理与技术需求）。\r\n\r\n#### 2. 操作系统发展的四个阶段\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=pOmXz3Ol55PCCAkqpMo5Dh1FIE0%3D)\r\n\r\n#### 3. 大厂商演进\r\n- **微软**：抓住互联网与云时代（云收入占比超 30%），但在移动时代（Win8）失利；现通过 Copilot+PC 及开源的 ONNX Runtime 等技术布局 AI 推理生态。\r\n- **苹果**：软硬一体开创图形化与移动时代；经历互联网低谷后靠 iPhone 复兴；AI 时代主打 Apple Intelligence 与端侧隐私安全。\r\n- **历史规律**：一项技术在成为 OS 标配前，往往是独立存在的（如 GUI、TCP\u002FIP、Browser）。**判断：人工智能技术最终将成为操作系统的一部分。**\r\n\r\n#### 4. AI 时代 OS 的两大推动力\r\n- **强大的推理引擎**：管理复杂本地资源，提供数据源与服务。\r\n-  **更自然的交互方式**：人机协同、智能化 UI、个性化需求。\r\n\r\n### OS for AI —— 操作系统助力人工智能发展\r\n#### 1. OS 支撑 AI 的三大维度\r\n- **高质量数据**：存储、管理、流通及高效处理。\r\n- **高效用算力**：硬件层、内核层、基础库层的调度与优化。\r\n- **高效能算法**：提升数据利用率，缓解算力瓶颈。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=e7%2FiD%2BE3xAJSIon%2Br%2BjHtcMNXPU%3D)\r\n\r\n#### 2. 两大定律与终端智能风口\r\n- **摩尔定律**：集成电路的晶体管集成度长期呈指数增长，通常以约18～24个月翻倍。\r\n- **知识密度定律**：清华刘知远团队观察到，大模型知识密度呈持续提升趋势\r\n- **趋势**：混合 AI 与端侧大模型加速普及，AI 将无处不在。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=oul6ioYMYzxJF0NNKS7AjeQYRZY%3D)\r\n\r\n#### 3. 训练阶段的系统级优化\r\n- **模型架构设计**：DeepSeek MoE 架构，通过稀疏计算以经济成本训练强模型（专家分配减少算力滥用）。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zuA%2BE7VoySjoOAaN3uuFs3dg99k%3D)\r\n\r\n- **并行策略优化**：DeepSeek DualPipe 双向流水线并行，通过重新组织前向\u002F反向计算与通信，实现计算—通信重叠，并减少流水线气。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=h4VUJDlAAai3fSBldSifhQU1fwc%3D)\r\n\r\n- **通信优化**：通信分区与分层调度（操作级、层级、模型级），重叠通信延迟。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=W68gYTqwlN4sy0u7Nb94iph5lsY%3D)\r\n\r\n- **内存优化**：利用 GPU\u002FCPU\u002F内存异构协同，无线卸载引擎、内存中心分块、带宽中心分区。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lSKMSd7nW0age4sTbWfhL4xMudc%3D)\r\n\r\n#### 4. 推理阶段的系统级优化\r\n- **持续批处理**：Chunked Prefills + Decode-Maximal Batching，通过将长 Prefill 切分为多个 chunk，并与 Decode 请求混合批处理，提高 GPU 利用率并减少流水线气泡。\r\n- **PD 分离框架**（Mooncake）：Prefill 与 Decode 分离，最大化吞吐率，智能 KV Cache 调度。\r\n- **KV Cache 管理**（PagedAttention）：受虚拟内存启发，采用分页注意力机制，解决显存碎片化与冗余。\r\n- **KV Cache 管理**（Cached Attention）：针对多轮对话复用历史 KV Cache，通过 DRAM\u002FSSD 等分层存储及异步预取，减少历史上下文的重复计算。\r\n- **算子优化**（FlashAttention）：：通过分块（tiling）、在线 Softmax 等 IO-aware 机制，减少 HBM 与片上 SRAM 之间的数据搬运及 HBM 访问，并结合重计算降低中间结果的显存占用。\r\n\r\n#### 5. 产业界实践趋势\r\n- **开源OS**：Red Hat Enterprise Linux（AI 运维\u002F边缘等）、Ubuntu\u002FDebian 等 Linux 发行版。\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=sEC1vYOigsBW17R97agPEUBKyKo%3D)\r\n\r\n- **芯片厂商**：高通（终端生成式 AI 全栈使能）、Intel（AI PC 增量市场）、联发科\u002F联想（端侧 AI 普惠化）。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UmrsKJJ4%2FqTUsI8%2BFm7ySWhzi4Y%3D)\r\n\r\n\r\n- **演进方向**：端侧部署三阶段技术成熟 -> OS 与 AI 向系统级 AI Agent 演进。\r\n\r\n\r\n### OS with AI —— AI 技术赋能操作系统智能化\r\n#### 1. 学术界探索：经典 AI 改进系统能力\r\n- **内核决策**：LAKE 技术，在内核空间收集ML特征，协调资源竞争。\r\n- **进程调度**：基于强化学习（状态-动作-奖励）替代传统优先级\u002F时间片轮询。\r\n- **内核模糊测试**：HEALER 方法，利用关系学习引导测试，提升漏洞发现效率与分支覆盖率。\r\n- **内核数据路径**：基于学习优化重构数据路径，适应动态应用需求与硬件平台。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=CCcnW73dCZ8xUu26QSnDDrNYdho%3D)\r\n\r\n#### 2. AIOS：大模型智能体操作系统\r\n- **范式转变**：从“传统 OS+AI 补丁”转向“AI 原生”。\r\n- **核心理念**：在传统 OS 之上引入面向 LLM Agent 的 AIOS Kernel，将智能体调度、上下文、内存、存储、工具访问等能力纳入系统级资源管理。\r\n- **关键机制**：独立的智能体调度器、上下文管理、内存\u002F存储管理、工具访问控制。\r\n- **代表工作**：AIOS、KAOS（桌面知识库与工具增强）。\r\n\r\n#### 3. 产业界布局\r\n*   **微软**：Copilot+PC 全栈融合，开源 Onnx 卡位推理引擎，SKS\u002FAutogen 智能体框架。\r\n*   **谷歌**：Android 集成 AI，Gmail 等产品深度融合，面向开发者提供 Agent 框架与云服务。\r\n*   **苹果**：从收购转向自研 Apple Intelligence，打通 ChatGPT 与本地生态。\r\n\r\n### 麒麟团队的创新与实践\r\n#### 1. 关键技术突破\r\n- **智能计算优化**：面向 CPU 的巨型页内存池管理（二维矩阵装箱算法）。\r\n- **算子自动选择**：基于内存感知的卷积算子选择策略。\r\n- **张量管理优化**：面向动态计算图，协同张量交换与重计算，运行时在线决策。\r\n- **内存分配优化**：深度学习框架缓存分配器，超额订阅虚拟内存拼接，三级缓存启发式分配。\r\n- **张量卸载**：资源受限下算子感知的大模型推理卸载，智能算子调度算法。\r\n\r\n#### 2. OpenTiny AIPC 版成果\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_104_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tfAHs3Vx3OlL435sLZ75RpByQGA%3D)\r\n\r\n- **四大特征**：离线高效推理、系统深度融合、端侧应用赋能、端云统一调度。\r\n- **三层架构**：\r\n  - **模型层**：轻量化推理加速、量化、微调。\r\n  - **系统层**：端侧推理优化、服务引擎、部署框架、指令对齐。\r\n  - **应用层**：AI 助手、WPS 离线 AI 能力对接（内网场景专用）。\r\n- **全开源演示**：OpenKylin OS + 九格大模型 + SenseVoice 语音识别，商用笔记本实机演示。\r\n\r\n### Q&A 精选答疑\r\n\r\n**Q1：OS for AI 和 OS with AI 在实际落地中的最大区别？**\r\n **A：** 目标不同。**OS for AI** 是从系统视角助力AI，让 AI 性能更强、效率更高；**OS with AI** 是将 AI 技术引入 OS，让操作系统本身更智能、更强。\r\n\r\n**Q2：大模型对操作系统内核会带来哪些实质性改动？**\r\n**A：** 在 AI 原生 OS（AIOS）愿景中，**大模型将成为真正的内核（Kernel）**，而传统的 Linux Kernel 将变为底层硬件使能组件。\r\n\r\n**Q3：OpenKylin 推进 OS+AI 开源生态，瓶颈在生态还是技术？**\r\n**A：** 当前瓶颈主要在技术。如何将大模型从“外挂引擎”真正变为“Inside”，需要架构级突破，而非单纯的 Scale 扩展。相比之下，得益于 AI 厂商已建好的硬件适配生态，当前的生态构建难度反而低于传统信创时代。\r\n\r\n**Q4：如何看待 macOS 集成通义千问？对国产 OS 有冲击吗？**\r\n**A：** 这是好事，说明国内开源成果获国际认可。国产 OS 已从弱到强，距离国际先进水平很近。**开放竞争是成长的必经之路**，国内外技术拉齐有助于整个生态的成熟。\r\n\r\n**Q5：AI 能力下沉到 OS 层会带来额外性能开销吗？**\r\n**A：** 若在传统 Linux 内核上强行叠加 AI，确实会降低效率。但若采用 AI 原生架构（大模型为脑，传统内核为组件），则是另一套逻辑。此外，OS 发展是“包容式”而非“替代式”，传统 OS 仍将长期存在于特定场景中。\r\n\r\n**Q6：端侧 AI OS 未来会像手机一样普及吗？**\r\n**A：** 是历史的必然。遵循摩尔定律与知识密度定律，端侧算力将持续爆发。未来 AI 将像今天的网络连接一样成为基础设施，实现真正的 AI 普惠。\r\n\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)",6,"\u002Fstudy-material\u002Fstudy-104","study-104",{"img":161,"keywords":162,"treeType":44,"description":163,"showStatus":44,"updateTime":111,"type":112,"title":164,"content":165,"createTime":111,"sortOrder":166,"canonicalPath":167,"id":168,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qsNnp0IlPzWqL83CGj5tGRctR4A%3D","九源平台,国产 DCU,国产化集群,DAS,BW1000","2026 夏季 InfiniTensor 训练营《基于九源平台的国产化集群应用实践及优化》详解曙光智算国产 DCU 算力集群的模型推理实践，涵盖超算互联网平台架构、深算三号 BW 系列加速卡特性、DTK\u002FDAS 全栈软件兼容方案及 Notebook 实操部署流程。","2026 夏季 InfiniTensor 训练营通信与并行 3、推理引擎 7、训练系统 6：《基于九源平台的国产化集群应用实践及优化》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2Bk%2BRxwT4qv%2BR%2FObY2njbniZ7cKE%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">8 月 12 日，2026 夏季 InfiniTensor 训练营通信与并行方向第三课、推理引擎方向第七课、训练系统方向第六课《基于九源平台的国产化集群应用实践及优化》开讲。\r\n前置课程《大模型并行策略与通信优化》拆解大模型分布式训练各类并行方案、集合通信算子底层原理、通信性能优化核心手段；《InfiniLM》聚焦 InfiniLM，解析作业与项目所需的工程架构，介绍实现路径与评审标准，并解析 InfiniCore 与 InfiniLM；《强化学习基础与 DeepSeek 训练介绍》讲解强化学习核心理论与经典算法及 DeepSeek V3 至 V4 的架构演进；\u003C\u002Fspan>\r\n\r\n本节课以科普+实操为核心，介绍国产 DCU 硬件架构以及一站式 AI 开发环境，讲解曙光智算超算互联网平台与九源 InfiniTensor 的融合应用。\r\n\r\n\r\n## AI 功能简介\r\n### AI 服务产品架构\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=vOyoCYSJGUpaO9yvoUPyrh1vRlE%3D)\r\n\r\n**1. 硬件资源层**\r\n- 异构算力支持：CPU（Intel\u002FAMD\u002F海光）、GPU、国产 DCU\r\n- 存储产品：支持弹性扩容与高速协同加载\r\n\r\n**2. 计算服务中台**\r\n-  K8s 容器编排：适配 AI 个性化环境需求，集成 Notebook 工具\r\n-  Slurm 调度系统：面向高性能计算，支持弹性算力队列与容器化任务\r\n- 模型推理服务：私有化一键部署，保障数据敏感场景下的 Token\u002F提示词安全\r\n\r\n**3. 平台服务**\r\n-  HPC 服务与运营运维管理：支持团队资源分配与监控\r\n- 通用场景交付：物理机交付、线上共享资源、云主机等\r\n\r\n**4.内容服务**\r\n- AI 社区：教学视频、课程文档、前沿论文解读\r\n- 模型中心：一站式模型托管与调用，替代传统外部下载方式\r\n- 创空间（原应用广场）：自定义 AI 应用（如 ComfyUI）网页化发布与分享\r\n\r\n### 资源类型丰富\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SYl9Ve7HYWeYyADIAvFM3d%2BtreU%3D)\r\n\r\n**1. CPU 资源**：海光芯片多规格可选（主频\u002F内存弹性配置）\r\n\r\n**2. GPU 资源**：英伟达系列及配套 CPU 资源筛选\r\n- **重点：国产 DCU 加速卡**\r\n  - Z 系列（子房）：16G\u002F32G 显存起步\r\n  - K 系列（孔明）：K100 等迭代型号\r\n  - BW 系列（伯温）：当前主力 64G 显存，后续 BW 系列产品提供更大显存规格\r\n（*以古代先贤命名，寓意“智者算力”*）\r\n\r\n### 深算三号 BW1000\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=LWXM8ofYBpMwl80zDfm2Bj8BHaY%3D)\r\n\r\n\r\n### DeepAI 深算智能引擎\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=nU4H%2Bag6PyWasxh0R3LUGqXfoEo%3D)\r\n\r\n**1. 底层工具套件 DTK**\r\n- 对标 CUDA 的算子覆盖度超过 99%\r\n- 代码格式无缝迁移，降低国产化适配门槛\r\n\r\n**2. DAS AI 软件栈**\r\n- 预置 PyTorch\u002FTensorFlow\u002FTriton 等框架优化版\r\n- 社区提供轮子包（Wheel），pip 安装即用（当前版本 v1.6）\r\n\r\n**3. 行业应用场景**\r\n- AI 推理\u002F训练、云服务、政务、自动驾驶、材料科学、能源勘探、生物医药等\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8%2BbcWQ0UZTjK%2FTlxNbcgn60eWQA%3D)\r\n\r\n## Notebook、模型训练和模型部署\r\n### Notebook 启动\r\n1. 登录控制台 → 人工智能 → Notebook\r\n2. 选择资源组（DCU 型号\u002F显存\u002FDTK 版本）\r\n3. 选择镜像（基础镜像\u002F社区镜像\u002F我的镜像）\r\n4. 创建容器 → 进入 JupyterLab \u002F Terminal\r\n5. 文件管理：通过 Private Data 上传\u002F访问数据\r\n6. 监控面板：实时查看 CPU\u002F内存使用率 + TensorBoard 训练监控\r\n7. 自定义服务：端口映射至公网，分享 ComfyUI 等应用链接\r\n8.**关机前务必“保存环境”以便复用**\r\n\r\n### 模型训练\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EHPIoiDdYG0qArMorB2NsFIsry4%3D)\r\n\r\n## 镜像管理\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SYds19a3JPGfINpIsC9vrRkRZbo%3D)\r\n\r\n## AI 环境搭建\r\n### 集群 AI 相关数据路径\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=J5T9zRCu2Yo3c0hQoBP%2F8rczOEI%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Vovl7Kkve5phSh6ETCjaPOkNfxE%3D)\r\n\r\n## DAS 工具包\r\n### DAS 专用软件包安装\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=DFOdCu41wZRt04hN3HPMmazxNoQ%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZhNJlHLcjI5CtvDw3ssuQifTCHs%3D)\r\n\r\n- **注意事项**：严格匹配软件版本、DTK 版本、Python 版本\r\n\r\n\r\n### 实操演示\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZGQf3bJuIWUHVq4b8fOPwQ6VqVQ%3D)\r\n\r\n\r\n### 九源 InfiniTensor 快速接入\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_103_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=trFopkVgpS9doGXMSkYPHSDXamM%3D)\r\n\r\n- 路径：AI 社区 → 搜索“九源”或“InfiniTensor”\r\n- 两种使用方式：\r\n  - 免费试用：基础功能体验\r\n  - 实例创建：选择资源+模型包+镜像，一键进入推理\u002F计算环境\r\n- 支持克隆模型权重\u002F应用程序至控制台直接使用\r\n\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)",7,"\u002Fstudy-material\u002Fstudy-103","study-103",{"img":170,"keywords":171,"treeType":44,"description":172,"showStatus":44,"updateTime":111,"type":112,"title":173,"content":174,"createTime":111,"sortOrder":47,"canonicalPath":175,"id":176,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=aknS8nS3q0KFzaUsq%2Bjto69glUY%3D","多模态大模型,图文生成,Diffusion,LLaVA,多模态建模","2026 夏季 InfiniTensor 训练营《多模态智能及其应用》以 Nano Banana Pro 为落地案例拆解一体化多模态三大设计思路；梳理 CLIP \u002F SD 双技术演进线，讲解统一图文端到端架构；深度剖析解码、视觉特征、语义三层核心矛盾，对比四大建模派系优劣。","2026 夏季 InfiniTensor 训练营前沿模型 5：《多模态智能及其应用》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=oGI80xphUJrQ%2Bf7lR%2BDXJc6NvAs%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">8 月 12 日，2026 夏季 InfiniTensor 训练营前沿模型第五课《多模态智能及其应用》正式开讲。\r\n上一课《大模型自主智能体》讲解了单\u002F多智能体、工具学习、Agent 协作框架。\u003C\u002Fspan>\r\n\r\n本节课聚焦理解生成一体化多模态大模型，梳理其技术演进脉络、四大技术派系与工程落地案例 Nano Banana Pro。\r\n\r\n## Nano Banana Pro\r\n### 现象级案例解析\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7J8hlcEuD6QL8ZC%2F1ZwXEa%2FuY0A%3D)\r\n\r\n- ResNet 论文白板板书：英文拼写准确、框图逻辑严密\r\n- LLaVA-UHD v3 科普漫画：中文对白通俗、角色一致性强、文字渲染精准\r\n\r\n### Nano Banana Pro 的三大技术启示\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Kf%2FQnuLT40tpOr4b7QbiH5XZFqc%3D)\r\n\r\n**1. 原生多模态框架**\r\n- 拒绝拼凑：底层模型必须统一在同一表征空间\r\n- 以 Gemini 类多模态基础模型为底座，同步学习理解与生成\r\n\r\n**2. 上下文多模态思考**\r\n- 超长上下文窗口支持：多图、多轮对话、长文本设定集\r\n- 从“一次性出图”进化为“对话式连续创作”\r\n\r\n**3. 高质量数据与评估体系**\r\n- 角色一致性来源：海量优质图文交织数据\r\n- 主观指标（美感\u002F还原度）：系统化人类评估体系驱动\r\n- 客观指标（文字\u002F布局）：高效量化反馈机制\r\n\r\n## 现有开源多模态生成模型\r\n### 现有模型的困境\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=cT8vxG89bi0L25QaKAcUeCDpL70%3D)\r\n\r\n### 理想 vs 现实：一体化框架的核心矛盾\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UOzkbYScJra9tPbs0LPPlTUUBME%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=jnmrJ9vi8XyHXcC1uDF1k5gxvbc%3D)\r\n\r\n**1. 编解码矛盾**：AR 适合文本但图像生成不直观；Diffusion 适合图像但难做文本理解\r\n**2. 视觉特征矛盾**：离散特征兼容 AR 但易退化；连续特征细节丰富但难与文本统一\r\n**3. 表示特性矛盾**：语义特征对齐好但缺细节；细节特征逼真但难支撑语义理解\r\n\r\n### 现有理解生成模型框架\r\n- **三维分析矩阵**：解码方式（AR\u002FDiffusion）× 视觉特征（连续\u002F离散）× 表示特性（语义\u002F细节）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=okpIY1t32jLEKRU%2BoUZdZSzNAKA%3D)\r\n\r\n#### 派系一：生成式外挂派 AD-QC-LS（伪）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Lii0CvycQtz8Vzz6%2BHRDSiiPVf0%3D)\r\n\r\n- **代表工作**：BLIP-3o, Qwen-Image\r\n- **核心思路**：LLM 生成 Condition → 注入现成 Diffusion 模型\r\n- **优劣**：快速具备能力；参数冗余、图文特征割裂\r\n\r\n#### 派系二：极致统一派\r\n**1. A-Q-L**（EMU, Chameleon）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0LTe3d30RQN%2FPclH0U2MvwXuIQU%3D)\r\n\r\n\r\n**2. A-C-L**（NextStep-1）：VAE 保留细节，但语义理解弱、AR 解码不直观\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=hWfrPOT2%2FEFJYkpDv%2FxN06jO1yQ%3D)\r\n\r\n**3. A-Q-S**（VILA-U）：双任务优化统一特征，但 VQ 局限仍在\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=wzg0Sy7f5V1WdMuLK5VzOenNW90%3D)\r\n\r\n**4. D-Q-L**（LLaDA-V, MMaDA）：采用扩散式语言\u002F多模态建模范式；在生成过程中通过迭代去噪预测离散 token。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=cv%2Fy%2BJ%2BXFCeU55rbeyY3XxTLg98%3D)\r\n\r\n#### 派系三：融合建模派（主流路线）\r\n**1. A-Q-LS**（TokenFlow）：CLIP+ViT 融合 VQ，适配 AR 但受限于离散化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZtEfdv77jL3MAD3ZiYf2S1FeSgg%3D)\r\n\r\n**2. A-QC-SL**（Janus \u002F BAGEL）：特征解耦（独立 Expert + 共享 Attention），双 SOTA 但内生融合不足\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=onKrEyH1Rrc6ICKcZuqdVGi660U%3D)\r\n\r\n**3. AD-C-L**（Transfusion）：同一 Backbone 内 AR(文) + Diffusion(图)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7CARRiQoccEIjeSbG%2BoooWhssU0%3D)\r\n\r\n**4. AD-Q-SL**（Show-o）：CLIP-ViT + VAE 融合后 VQ 离散化 + Diffusion 解码，兼顾语义细节但仍受 VQ 限制\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=rdOWcMcGkuD56t%2FanG9GEp479O8%3D)\r\n\r\n**5. AD-QC-SL**（Manzano、X-Omni、TAR）：全维度融合（CLIP ViT 离散词表 + 外挂 Diffusion），能力强但结构冗余\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8ANl1l%2FWf%2F1sCIsGD8Uqm%2ByDkWo%3D)\r\n\r\n**6. AD-C-SL**（Show-o2、Tuna）：连续特征 + 语义细节融合 + VAE Decoder + Flow Matching，在论文报告的多项基准上取得较强性能\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=gKUBoL9L40ouTDAw1gr8dbmAC4M%3D)\r\n\r\n### DeepMind 启发\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=yXQbbEtY1KJa6XLf4TAuDY2GOyg%3D)\r\n\r\n从公开研究成果来看，连续视觉表示与 Diffusion\u002FFlow Matching 是统一多模态生成的重要技术路线；\r\n\r\n## Nano Banana Pro 技术方案预判\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_102_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=B%2FvSgVZxN0JKm7J7AQ1%2B1WWF%2BmE%3D)\r\n\r\n以下内容为基于公开信息和现有研究路线的技术推测。\r\n\r\n\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)","\u002Fstudy-material\u002Fstudy-102","study-102",{"img":178,"keywords":179,"treeType":44,"description":180,"showStatus":44,"updateTime":111,"type":112,"title":181,"content":182,"createTime":111,"sortOrder":183,"canonicalPath":184,"id":185,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tIKC4CN3ZNlMpybPsr3%2FWQV0roM%3D","InfiniLM,大模型推理,LLAI SYS,算子开发,异构加速","2026 夏季 InfiniTensor 训练营《InfiniLM》详解 LLAI SYS 作业工程结构，解析 InfiniLM\u002FInfiniCore 项目架构，提供 MLA、MTP、MoE 等新模型适配、性能优化、量化推理等选题指南，明确作业与项目提交规范及评审标准。","2026 夏季 InfiniTensor 训练营推理引擎 6：《InfiniLM》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=vst%2FHDoIFWYuY83%2FWCi5a1pN4do%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">8 月 11 日，2026 夏季 InfiniTensor 训练营推理引擎方向第六课《InfiniLM》开讲。\r\n前置课程《大模型服务系统》讲了对话前端、OpenAI 标准接口、KV Cache 内存管理、批量调度等内容\u003C\u002Fspan>\r\n\r\n本节课是推理方向最后一节课，聚焦 **InfiniLM**，解析作业与项目所需的工程架构，介绍实现路径与评审标准，并解析 InfiniCore 与 InfiniLM。\r\n\r\n## 关键时间节点（Deadline）\r\n\r\n请务必关注以下时间点，逾期提交可能影响评审：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=K0fqnWhW7TkFpL%2BKd7HzHmHxnhs%3D)\r\n\r\n\r\n## 作业工程 LLAI SYS 解析\r\n\r\n**LLAI SYS (Let’s Learn AI System)** 是专为教学设计的轻量级推理框架，集成了数据调度、资源管理与算子实现，便于理解全貌。\r\n\r\n### 项目结构\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=g%2Bh%2B24LPB66PE7X4nf5XARG%2FeT8%3D)\r\n\r\n#### include 核心模块\r\n- **张量 (`tensor.h`)**：生命周期管理、信息获取、视图变换、维度重排。\r\n- **运行时 (`runtime.h`)**：设备生命周期、启动流程、流、内存管理。\r\n- **算子 (`ops.h`)**：RMS_Norm, RoPE, Softmax, Linear , Add , Argmax 等。\r\n- **模型 (Models)**：Qwen2-1.5B 推理实现，包括权重加载、配置读取、KV Cache 管理及推理生命周期。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=DzGmnHh3js73tLKhLbuppbw8whw%3D)\r\n\r\n\r\n## 作业具体要求\r\n### Task 0: 环境准备\r\n- 安装编译器与基础依赖库。\r\n- Fork 指定个人仓库，构建并运行基础测试。\r\n- 下载指定模型。\r\n\r\n### Task 1: 张量\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=AtOOQMkw%2FniL9b4A%2Fo7uJ2WwVIo%3D)\r\n\r\n\r\n### Task 2: 算子\r\n- 必做：Argmax，Embedding, Linear, RMS_Norm, RoPE, Attention, Swiglu 。\r\n- 选做：Rearrange（张量重排）。\r\n\r\n### Task 3: Qwen-1.5B 文本生成\r\n- Python 前端 (`python\u002Fqwen2.py`) + C++ 后端实现。\r\n- 完善 `ctypes` 封装与 KV Cache 管理。\r\n- 通过 `python test\u002Ftest_infer.py` 验证（CPU 推理速度较慢属正常现象）。\r\n\r\n### Task 4: 异构加速适配（重点）\r\n> **新要求**：作业阶段即要求实现硬件加速，作为项目晋级筛选门槛。\r\n\r\n- **平台要求**：NVIDIA (必选) + 天数智芯\u002F摩尔线程\u002F沐曦 (三选一)。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tTg1bepCNTGfsSElJTY9TVb8Wk0%3D)\r\n\r\n## 项目阶段选题指南\r\n\r\n**核心原则**：为 **InfiniLM** 主仓库贡献**有意义、干净、独立**的代码。避免喧宾夺主或过度侵入式修改。\r\n\r\n### 选题方向推荐\r\n#### 1. 新模型\u002F新结构适配（高价值）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=du6D%2FUgtKy4PGVLLa9H2TcchonU%3D)\r\n\r\n- **MLA (Multi-head Latent Attention)**：DeepSeek 系列结构，通过低秩压缩显著降低 KV Cache 的存储开销。（*注：勿直接复用旧版 DeepSeek V2 代码，建议基于新接口实现。*）\r\n- **MTP (Multi-token Prediction)**：通过额外预测后续多个 Token，为投机解码等推理加速方案提供基础。参考 MiniCPM4 + MiniCPM-1Go 实现。\r\n- **MoE (Mixture of Experts)**：性能优化、新平台适配或引入新 MoE 模型（如 Qwen3-MoE, DeepSeek-V2）。\r\n- **NSA \u002F Mamba \u002F RWKV**：长文本优势结构或 SSM 类模型。\r\n- **高难度模型**：UltraMem, Titans, Minimax（基础分更高）。\r\n\r\n\r\n#### 2. 性能优化\r\n- **离线优化**：算子实现、调度策略。\r\n- **服务优化**：降低空泡、高效计算。\r\n- ⚠️ **注意**：控制改动范围，避免侵入式修改导致验证成本过高。\r\n\r\n#### 3. 框架与功能完善\r\n- 流式输出\r\n- Response API 支持\r\n- 诊断工具\r\n\r\n#### 4. 量化与低精度推理\r\n- 权重量化、KV Cache 量化\u002F压缩、混合精度执行。\r\n- 目标：良好的量化兼容性（如 W8A8 无缝切换）。\r\n\r\n#### 5. 可靠性与工程工具\r\n- Profiler 辅助工具（尤其针对缺乏 Nsight 的国产平台）。\r\n- 错误诊断与性能采集工具。\r\n\r\n### 提交与评判\r\n1. **提交目标**：\r\n   - 作业 → Fork 的个人仓库\r\n   - 项目 → InfiniLM 主仓库\r\n2. **报告规范**：PR Comment 或 Markdown 文件，必须包含**清晰复现步骤**。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=wmIvdVc9nRb1PfcA%2FYsIJprKSH0%3D)\r\n\r\n## 项目工程 InfiniLM\u002FInfiniCore 概览\r\n### InfiniCore (底层支撑)\r\n-   **InfiniOP**：提供算子。\r\n-   **InfiniCCL**：通信库（AllReduce, Send\u002FRecv for PP）。\r\n-   **InfiniRT**：运行时、CUDA Graph 支持。\r\n-   **InfiniCore 封装层**：对底层算子及运行时能力进行封装，提供更简洁的调用接口，并通过缓存机制复用相关资源。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=euNTjAoAxc8ZHIhTd5SUcTId08c%3D)\r\n\r\n### InfiniLM (推理框架)\r\n- **Pybind11**：Python\u002FC++ 绑定。\r\n- **Engine**：基础引擎、分布式 Worker、边界保护。\r\n- **Layers**：通用模块（Attention, Linear, MLP, Quantization）。\r\n- **Models**：模块化模型实现（复用 Layers，纯添加式修改）。\r\n- **Processor (Python)**：文本处理、EOS\u002FChatTemplate 隔离封装。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_101_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ymXGfhvqFfL4%2BtH8qPMTW%2FJGTwc%3D)\r\n\r\n\r\n> 推理方向的征程已进入实战阶段。希望大家利用好 LLAI SYS 夯实基础，在 InfiniLM 项目中展现创造力与工程能力。预祝各位在作业与项目中取得优异成绩！\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)",9,"\u002Fstudy-material\u002Fstudy-101","study-101",{"img":187,"keywords":188,"treeType":44,"description":189,"showStatus":44,"updateTime":111,"type":112,"title":190,"content":191,"createTime":111,"sortOrder":192,"canonicalPath":193,"id":194,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9e27geHZRYCJ0CLk%2Bxgai%2BKHGcI%3D","银河麒麟,智算操作系统,Agent 运行时,国产异构,KylinDLA","2026 夏季 InfiniTensor 训练营《麒麟 Agent 运行时系统和智算软件栈优化方法》完整讲解银河麒麟全系列国产操作系统产品；拆解统一智算软件栈异构底座；介绍麒麟 Agent 运行时模型调度、权限安全、多会话内存管理核心能力，配套数字员工、教学一体机等私有化行业落地方案。","2026 夏季 InfiniTensor 训练营 AI 编程与智能体应用 9：《麒麟 Agent 运行时系统和智算软件栈优化方法》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Diao419gbqPGFPPBnnVidq6O%2BNU%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">8 月 11 日，2026 夏季 InfiniTensor 训练营 AI 编程与智能体应用第九课《麒麟 Agent 运行时系统和智算软件栈优化方法》开讲。\r\n上一课《大模型自主智能体》从理论层面讲解大模型自主智能体技术链路，包含 ReAct 循环、三类工具学习范式、X-Agent、ChatDev 多角色协作等通用框架相关内容。\u003C\u002Fspan>\r\n\r\n本节课从操作系统视角解析 Agent 运行时与 OS 的关系及软件栈优化方法，介绍麒麟软件产品体系，讲解智算操作系统如何屏蔽异构算力差异、AI 软件栈等内容。\r\n\r\n\r\n## 麒麟软件与国产操作系统产品体系\r\n### 麒麟发展历程\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eJ8Xs9ZPre2nQqfafzBMrvywxjQ%3D)\r\n\r\n1. 源头：银河巨型机时代自研系统；863 专项孵化银河麒麟；\r\n2. 分支：中标麒麟面向通用桌面、服务器场景；\r\n3. 整合：2020 年银河麒麟与中标麒麟合并为麒麟软件，多次斩获国家科技进步一等奖。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=C7Oqln8T6X44xF2fk5A%2BfHVbVn0%3D)\r\n\r\n### 核心操作系统产品\r\n1. **OpenKylin 开源社区**：商业版上游开源基座，内置 wlcom 显示合成器、UKUI 桌面。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=R3ccS6DsJHvRd3mCneovcgpGd1o%3D)\r\n\r\n2. **银河麒麟桌面 V11**：磐石架构、KSAF 可编程安全框架、原生 AI PC 端侧 AI 适配。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=QrnxPtc%2BjDJrddmzsV0GfX7raW0%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=eK3Z7lA%2BCQcJTC%2F0FHTEjn1ddYg%3D)\r\n\r\n3. **银河麒麟服务器 V11**：深度融合 AI 能力，支持虚拟化、资源调度等服务器场景。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4mkRNa2uXFIzQUUr5CCoiBHYsVQ%3D)\r\n\r\n4. **星光麒麟万物智联系统**：面向万物智联场景的智能终端操作系统，采用统一应用框架，支持多种国产移动 SoC。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SOg63qEPhIyz48hLF7tiuOXFgnc%3D)\r\n\r\n5. **银河麒麟工业操作系统**：轻量桌面、实时隔离、原子更新，适配产线嵌入式设备。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Gdo5q2vDz20ureR2f3s4HrHf1F0%3D)\r\n\r\n6. **银河麒麟智算操作系统**：面向人工智能大模型训练和推理场景。支持异构混训\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=O0kD2uYcBj6TrFcctBg4we7Br90%3D)\r\n\r\n### 生态适配规模\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=HBsxOc7UUhYYKf5j%2FxyjzHQ9qXs%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=vQyzxulzuOfkcft6dS7ifTLZbbQ%3D)\r\n\r\n\r\n## 智算操作系统和智算软件栈\r\n### 国家政策环境\r\n国家 AI+ 行动、政务大模型适配指引要求算力一地建设、多地复用，需操作系统提供统一异构调度、数据安全隔离能力。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=2%2BclWIoJCbPJI5pkyPT3abZoczs%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=oIDwo%2BzX1agv%2Bq7pmpnxGT19ZR8%3D)\r\n\r\n### 国产 AI 软件栈发展现状\r\n1. 国产异构芯片算力存在差距；\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=xvGDc7HLIKJ%2B%2FZ737sJM%2FPnWKp8%3D)\r\n\r\n2. 各厂商编程框架、推理引擎、算子库、通信接口不统一，应用迁移成本极高；\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8vpQvHZxJjxFDEd7TNWnct%2FKAuo%3D)\r\n\r\n3. 多卡跨节点通信无标准化方案，混合训练推理吞吐损失严重。\r\n\r\n### 智算操作系统核心目标\r\n构建屏蔽部分硬件差异的统一 AI 软件底座，降低模型在不同芯片平台上的适配与部署成本。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5%2BlEYh2CkolhI2JLJO3l4QHYlqk%3D)\r\n\r\n\r\n#### 1.银河麒麟深度学习框架 KylinDLA\r\n- 统一适配多版本 PyTorch，兼容英伟达、AMD、国产各类异构加速卡，抹平框架版本差异。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=jLhnsJV7RHwKGL1TJbi9jzyOgUE%3D)\r\n\r\n#### 2.面向国产 CPU+GPU 的算子优化\r\n- 算子融合：合并连续计算，削减 HBM 访存读写；\r\n- 内存调度：KV Cache 分页、张量复用，降低峰值显存占用；\r\n- CPU\u002FGPU 协同分工，均衡负载；\r\n- 已完成多个国产 GPU 专用算子深度调优。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OAjYfy%2Fx9leERKoGqPJrafM1y5s%3D)\r\n\r\n#### 3. 异构加速卡统一通信库\r\n分层模块化设计，分为策略层、模型层、机制层：\r\n- 同芯片：调用厂商原生通信接口；\r\n- 跨异构芯片： 通过 RDMA 等高速互联技术实现不同计算设备间的数据传输与通信优化；\r\n- 内置 AllReduce \u002F AllGather 集合通信优化，支持多卡混合训练、推理。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=MyUKliwbkdTHFjxoexX1wT2Mhx0%3D)\r\n\r\n#### 4. 麒麟智算操作系统\r\n- 独立开发沐曦、天枢、海光等芯片专属算子库，支持 FP 8 \u002F INT 8 量化、GQA \u002F MQA 注意力、矩阵乘，7B \u002F 72 B 大模型推理性能较原厂提升显著。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw21.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=LvVTlRSsGhs91C7BLs050DT%2Fu1w%3D)\r\n\r\n### 上层模型生态适配\r\n- 已适配大语言、多模态视觉、语音、推荐等200+ 主流模型，配套智算生态网站一键部署。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw22.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bYxfxxigWE4s8k%2FxagKJP76emBA%3D)\r\n\r\n### 基于全国产智算底座的一体机解决方案\r\n\r\n1. **数字员工一体机**：问答、文档处理、翻译、会议多场景封装，私有化部署；\r\n2. **AI 教学一体机**：配套训练推理实操题目，适配训练营课程开发调试；\r\n3. **编程助手一体机**：内网代码生成、工作流自动化、代码评审；\r\n4. **智慧客服一体机**：专属知识库、多轮对话、工单自动生成。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw23.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3fUNlPJ8P%2Bne5sbXFlpdZUFf4ek%3D)\r\n\r\n## 端侧 AI 软件栈和 Agent 运行时系统\r\n\r\n### 端侧 AI 架构\r\n端侧硬件约束：算力有限、带宽低、显存小，侧重功耗与算力平衡。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw24.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=VJa9GjD9pZ%2BN%2F7Zad9gAqoVihbk%3D)\r\n\r\n### 端侧 MoE 模型推理优化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw25.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=m7JIxgCV%2BDeSimdOVeuESHIciuM%3D)\r\n\r\n#### 1. 降低路由 TopK：减少专家激活数量，降低计算量；\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw26.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=6WGb8BrcV0HgDX4kj4HTZKMoMiY%3D)\r\n\r\n#### 2. 缩小单个专家：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw27.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=n1IVMPIRZBcKpcC9sPO8mrarjVA%3D)\r\n\r\n#### 3. 路由算法优化：简单输入少激活专家，复杂输入多专家协同；\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw28.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=oGmZAo%2FwobLaCoI3cezt2zSKWVM%3D)\r\n\r\n#### 4. 推理部署优化：专家卸载；推测解码。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw29.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=rrnaMNJhUtFQ521cjx%2F5NDascPg%3D)\r\n\r\n### 推理性能 Profiler 分析工具\r\n算子级追踪 Kernel 耗时、访存开销，自动给出剪枝、量化、算子融合优化建议，适配全系列国产 NPU \u002F GPU。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw30.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=BdKO0mnK2eWFmqmtHP%2BZ4quaMHs%3D)\r\n\r\n### 注意力算子优化（面向 GQA \u002F MQA）\r\n重构内存排布，合并单 Block 内多头计算，提升 Warp 归约效率，访存下降，整体性能提升 20% +。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw31.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=s9CYBncrn9VHD%2B%2FrS83JtrXB6AY%3D)\r\n\r\n### Sampler 采样算子融合\r\n整合 TopK \u002F TopP \u002F Temperature 全套逻辑，消除多次 Load \u002F Store 访存冗余，Batch 越大加速效果越明显。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw32.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Qul6AKcDF2Kt0Oi06eDzkpyE9kM%3D)\r\n\r\n### 量化访存优化（GPTQ、AWQ）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw33.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bdoT4RzX96aLfGb4JBCRzoLjEcE%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_100_zw34.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=rjij%2BCru%2Bw2452tkx%2FsX6eow8No%3D)\r\n\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)",10,"\u002Fstudy-material\u002Fstudy-100","study-100",{"img":196,"keywords":197,"treeType":44,"description":198,"showStatus":44,"updateTime":111,"type":112,"title":199,"content":200,"createTime":111,"sortOrder":201,"canonicalPath":202,"id":203,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kgO6EfkLl7esJGyOWQqROwBwEss%3D","强化学习,PPO,DeepSeek,MoE,稀疏注意力","2026 夏季 InfiniTensor 训练营《强化学习基础与 DeepSeek 训练介绍》系统讲解强化学习核心理论与经典算法，涵盖马尔可夫决策过程、Q-Learning、DQN、策略梯度、Actor-Critic 及 PPO 等关键知识点。同时深入解析 DeepSeek V3 至 V4 的架构演进，包括 MoE、MLA、DSA、CSA\u002FHCA 等设计及其在百万级长上下文场景下的优化思路。","2026 夏季 InfiniTensor 训练营训练系统 5：《强化学习基础与 DeepSeek 训练介绍》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=f%2FFZ%2FTv2TFnXsvL8SEku1aN2Reg%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">8 月 10 日，2026 夏季 InfiniTensor 训练营训练系统方向第五课《强化学习基础与 DeepSeek 训练介绍》开讲。\r\n前置课程《训练框架编程基础》讲解了 PyTorch Tensor、动态自动求导 autograd、网络模块、优化器与标准训练循环等内容；并介绍了 checkpoint、混合精度、梯度累积等工程工具以及 Megatron-LM 大模型框架。\u003C\u002Fspan>\r\n\r\n本节课将讲解强化学习核心理论与经典算法，涵盖马尔可夫决策过程、Q-Learning、DQN、策略梯度、Actor-Critic及 PPO 等关键知识点，同时介绍 DeepSeek V3 至 V4 的架构演进。\r\n\r\n## 强化学习基础\r\n### 强化学习概述\r\n#### 1. 强化学习特点及应用场景\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=psNYQCb0dLIRAV7JhjLbmU3akWs%3D)\r\n\r\n#### 2. 核心定义\r\n- 强化学习是一种让机器通过与环境之间的不断交互，来学习如何实现目标的计算方法。\r\n- 不给机器提供标准答案，而是让它像一个探索者一样，在尝试中学习哪些行为带来好的结果、哪些导致惩罚，从而逐步学会做出更优决策。\r\n\r\n#### 3. 强化学习要素\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=U0DVSAhRLh5VCNgb0DjmQJkrm1g%3D)\r\n\r\n**交互闭环：**\r\n- 智能体观察状态 → 选择动作 → 动作作用于环境 → 环境返回新状态 + 即时奖励 → 循环\r\n\r\n\r\n\r\n### 马尔可夫过程\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2BxAc0awyF%2BolRPitLagvB2d80i8%3D)\r\n\r\n#### 1. 马尔可夫性质\r\n- **定义**：当且仅当某一时刻的状态只取决于上一时刻的状态时，该随机过程具有马尔可夫性质\r\n- **含义**：当前状态是未来的充分统计量，下一个状态只取决于当前状态，不受过去状态影响\r\n- **链式传递**：T+1 时刻状态只与 T 时刻有关，但 T 时刻状态实际包含了所有 T-1 时刻的信息\r\n- **优势**：大大简化运算，只需当前状态即可决定未来\r\n\r\n#### 2. 马尔可夫过程的描述\r\n- **S**：有限数量的状态集合\r\n- **P**：状态转移矩阵（第 i 行第 j 列代表从 Sᵢ 转移到 Sⱼ 的概率）\r\n- 从每个状态出发，转移到其他状态的概率总和为 1\r\n- **终止状态**：没有概率转移到其他状态（以概率 1 转移到自身）\r\n\r\n#### 3. 采样\r\n- 给定马尔可夫过程，从某一状态出发，根据状态转移矩阵生成状态序列\r\n\r\n### 马尔可夫奖励过程\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=AC9YIJ9Ej6RB5YhgMnFnimiDOvc%3D)\r\n\r\n#### 1. MRP 的四元组定义：(S, P, R, γ)\r\n- **S**：有限状态集合\r\n- **P**：状态转移概率矩阵\r\n- **R**：奖励函数——处于状态 S 时获得即时奖励的期望值\r\n- **γ** ：折扣因子（取值范围 [0, 1]），用于计算未来奖励的现值\r\n\r\n#### 2. 折扣因子 γ 的三大作用\r\n- **风险控制**：越遥远的未来不确定性越大，对未来奖励打折是合理的风险控制\r\n- **时间偏好**：反映\"宁愿现在拿 100 元也不愿一年后拿 110 元\"的现实偏好\r\n- **数学必要性**：防止无限持续过程的累积奖励发散至无穷，保证回报总和有界\r\n\r\n#### 3. 回报 Gₜ\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OqML%2Ffy0h4mQKwewRxVwLwcibCU%3D)\r\n\r\n- 从时间 T 开始，所有未来奖励按折扣因子 γ 衰减后的累加总和\r\n- γ → 0：智能体更关注眼前利益\r\n- γ → 1：智能体更重视长期回报\r\n\r\n#### 4. 价值函数 V(s)\r\n- **定义**：从状态 S 出发所能获得的期望回报，反映处于该状态有多好\r\n- **贝尔曼方程 (Bellman Equation)**：\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=9MSY%2BdVpxIW2BsaxyNBiKmCqQw0%3D)\r\n\r\n#### 5. 价值函数的求解\r\n- **解析解**：整理为线性方程组，可直接算出每个状态的准确价值\r\n- **迭代算法**（适用于大规模 MRP）：\r\n  - 动态规划\r\n  - 时序差分学习\r\n\r\n### 马尔可夫决策过程\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=55JzLPxO86rkZeSkOmvmJ%2F%2FY4yA%3D)\r\n\r\n#### 1.MDP 的五元组定义：(S, A, P, R, γ)\r\n- 在 MRP 基础上加入 **A（动作集合）**\r\n- 状态转移函数和奖励函数都多了**动作**作为自变量\r\n- 存在智能体来执行动作，是一个与时间相关的、智能体与环境不断交互的循环过程\r\n\r\n#### 2. 策略 (Policy) π\r\n- π(a|s)：在状态 S 下采取动作 A 的概率\r\n- **确定性策略**：每个状态只输出一个确定动作（概率为 1）\r\n- **随机性策略**：输出动作的概率分布，根据分布采样得到动作\r\n- 由于马尔可夫性质，策略只需与当前状态有关\r\n\r\n#### 3. 状态价值函数 与 动作价值函数\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=S%2Fy0%2FRX75x6lOTHFwTaZ8l5HkB8%3D)\r\n\r\n#### 4. 最优策略 (Optimal Policy)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=gwI5yCkVpZ7S%2BnJzp7F7Q%2FAympk%3D)\r\n\r\n-  **策略优劣比较**：对所有状态 s，若 V^π*(s) ≥ V^π(s)，则 π* 不差于 π\r\n- 有限状态、有限动作的 MDP 中至少存在一个最优策略\r\n- 最优策略可能有多个，但**最优价值函数唯一**\r\n- **贝尔曼最优方程**：最优价值函数可用自身递归表示 —— 状态价值 = 当前奖励 + 折扣后的未来最优价值\r\n\r\n## 经典强化学习算法\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=MrVWURFxrslRcitXxT972ZCjmfE%3D)\r\n\r\n### Q-Learning\r\n#### 1. 核心思想\r\n- 维护一张 **Q 表 (Q-Table)**，Q(s, a) 表示在状态 S 下执行动作 A 长期来看能获得多少回报\r\n- 不需要提前建立环境模型（Model-Free），通过与环境交互不断修正 Q 值\r\n\r\n#### 2. 更新机制\r\n1. **计算 Target Q 值**：即时奖励 R + γ × max Q(s', a')\r\n2. **计算 TD Error（时序差分误差）**：Target - 当前 Q 值，反映之前估计是偏高还是偏低\r\n3. **更新 Q 值**：Q(s,a) ← Q(s,a) + α × TD Error（α 为学习率，控制每次调整幅度）\r\n\r\n#### 3. 完整学习流程\r\n- 初始化 Q 表 → 观察状态 S → 选择动作 A → 执行 A → 获得奖励 R + 新状态 S'\r\n→ 计算 Target → 更新 Q(s,a) → S' 作为新状态 → 重复\r\n\r\n- 经过大量交互后，在每个状态下选择 Q 值最大的动作即为最优策略\r\n\r\n### DQN 算法 (Deep Q-Network)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=JyWunaoZpQmc5J3rzhhaQ%2BQww4c%3D)\r\n\r\n#### 1. 从 Q 表到神经网络\r\n- **Q 表的局限**：状态\u002F动作空间大或连续时无法枚举（如游戏画面的每个像素变化）\r\n- **DQN 核心思想**：用神经网络近似 Q 函数，输入当前状态，输出各动作对应的 Q 值向量\r\n\r\n#### 2. 目标网络 (Target Network)\r\n- **问题**：TD 目标依赖 Q 网络自身输出，直接用同一网络会导致训练目标频繁变动、训练不稳定\r\n- **解决方案**：使用两套网络\r\n  - **主网络**：用于预测 Q 值并持续更新\r\n  - **目标网络**：用于计算 Target Q 值，参数暂时固定，定期同步\r\n\r\n#### 3. 应用实例：Flappy Bird\r\n- 使用 PyTorch 实现\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SXySEIP6Zs5jVlcByMzJgflGNKM%3D)\r\n\r\n### 基于策略的方法——策略梯度\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2BvEhkPrQp12DKU0%2FoVAfKOErz2o%3D)\r\n\r\n**1. 参数化策略**：策略表示为带参数 θ 的函数，输入状态，输出各动作概率\r\n**2. 轨迹 (Trajectory) τ**：从初始状态开始，经历一系列状态和动作形成的序列\r\n**3. 轨迹概率**：由初始状态分布、策略选择的动作、环境状态转移三部分决定\r\n**4. 优化目标**：调整参数 θ，使模型更容易生成高回报的轨迹\r\n**5. 核心思想**：不学习 Q 值再决定动作，而是直接参数化策略，通过优化 θ 提高高回报轨迹出现的概率\r\n\r\n### Actor-Critic（演员-评论家算法）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0c7gP5nQdFM2ZFQEe5hwr26REVg%3D)\r\n\r\n#### 1. 整体框架\r\n- 本质仍属于基于策略的方法，但同时学习策略函数和价值函数\r\n- **Actor（演员）**：做决策、选动作、输出策略 π_θ\r\n- **Critic（评论家）**：评价决策好不好，学习状态价值函数 V(s)\r\n\r\n#### 2. 优势函数\r\n- **定义**：A(s, a) = Q(s, a) - V(s)\r\n- 衡量在当前状态下选择某个动作相比平均表现好多少\r\n  - A > 0：该动作优于平均水平 → 提高选择概率\r\n  - A \u003C 0：该动作低于平均水平 → 降低选择概率\r\n\r\n#### 3. 用 TD Error 近似优势函数\r\n- 实际中无法直接计算准确的 Q 值，用 **TD Error** 近似\r\n- TD Error = 用于衡量实际获得结果与 Critic 当前估计之间的差异\r\n  - TD Error > 0：实际结果比预期好\r\n  - TD Error \u003C 0：实际结果比预期差\r\n- **双重作用**：\r\n  1. Critic 利用 TD Error 修正价值估计\r\n  2. 作为 Actor 更新策略的优势信号\r\n\r\n### PPO（近端策略优化）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=hCb9r5AWPWMw2vR4zLCX190vjd8%3D)\r\n\r\n#### 1.核心思想：\r\n- 结合**优势函数**（告诉策略往哪个方向更新）和**裁剪机制**（限制更新幅度）\r\n- 通过多次小幅度稳定更新，逐步提升策略性能\r\n\r\n#### 2. 在大语言模型训练中的应用\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=25HFK0dsJ6CLPVlGFDkrmnNVmXo%3D)\r\n\r\n\r\n#### 3. 优化阶段的两大约束机制\r\n- **参考模型 (Reference Model)**：通常为冻结的 SFT 模型，用于约束当前策略模型不要偏离原始语言能力，通过 KL 散度控制策略变化幅\r\n- **KL 散度约束**：衡量当前模型与参考模型的差别，差别太大则减少更新幅度\r\n   - 目的：让模型进步，但不能一次变化太多\r\n\r\n## DeepSeek 架构演进\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8%2FWQ7ZDH803RCfUdhIbUScw7%2BPc%3D)\r\n\r\n### DeepSeek V3\r\n#### 1. MoE（混合专家模型）\r\n- **超大规模参数 + 稀疏激活**\r\n- 总参数量 **671B**，每个 token 仅激活 **37B** 参数\r\n- 在保持超大模型容量的同时控制单 token 的实际计算成本\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=hnUOBOC3AkISmuHULO2i52alAT0%3D)\r\n\r\n#### 2. MLA（多头潜在注意力）\r\n- 将 Key 和 Value 压缩到更低维的潜在表示再存入 KV Cache\r\n- 使用时通过投影恢复\r\n- **核心作用**：显著降低推理过程中 KV Cache 的显存占用\r\n\r\n### DeepSeek R1\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3O2CVk2TtcdqjDwN2KltJgGZxg8%3D)\r\n\r\n- 对于数学、代码等具有明确验证标准的任务，可以通过规则获得可验证奖励，从而减少对人工评分的依赖\r\n- 与强化学习理论的对应：模型生成推理过程和答案 → 环境给出可验证奖励 → 强化学习调整策略\r\n\r\n### DeepSeek V3.2\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw21.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SxwMmrUjbiR4XFILrPLhYQfb%2BG0%3D)\r\n\r\n#### 1. DSA（稀疏注意力 - DeepSeek Sparse Attention）\r\n\r\n**（1）背景问题**：\r\n- 常规 Attention 中当前 token 关注所有历史 token，计算复杂度关于序列长度呈平方增长\r\n- 序列越长，计算和显存成本飞速增长，KV Cache 压力巨大\r\n\r\n**（2）经典方法——滑动窗口注意力**：\r\n- 当前 token 只关注最近 W 个 token，复杂度降至 O(L×W)\r\n- 局限：仅按位置固定选择，不知道哪些历史信息真正重要\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw22.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=U6ig1xG%2FEfAEOt4rPYEk%2FcGes8o%3D)\r\n\r\n**（3）DSA 的创新**：\r\n- 与滑动窗口的区别：根据**内容相关性动态选择**（而非按位置固定选择）\r\n- **两大组件**：\r\n  1. **Lightning Indexer（索引器）**：根据当前 Query 和历史 Token 的表示计算相关性分数\r\n  2. **Token Selector（选择器）**：根据分数挑选相关 Token，仅在选中的 Token 上执行 Attention 计算\r\n- 若选中 K 个历史 Token（K ≪ L），复杂度降至 O(L×K)\r\n- **核心思想**：让模型学习哪些历史 Token 相关度最高、最值得计算\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw23.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Yxn033CYTiG91A8hc6FHoNQRtzs%3D)\r\n\r\n\r\n### DeepSeek V4\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_99_zw24.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Yw%2FkbYvp6lNrl5zOXy%2BE89XHotI%3D)\r\n\r\n\r\n- 面向**百万级长上下文**的整体计算和存储效率\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)",11,"\u002Fstudy-material\u002Fstudy-99","study-99",{"img":205,"keywords":206,"treeType":44,"description":207,"showStatus":44,"updateTime":111,"type":112,"title":208,"content":209,"createTime":111,"sortOrder":210,"canonicalPath":211,"id":212,"contentType":117},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_fm.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=SmR41CpbvTTejisjtE%2BL1JNQOBo%3D","CUDA,模型量化,PTX 汇编,算子调优,Tensor Core","2026 夏季 InfiniTensor 训练营《量化与工业级算子调优部署》讲解 FP 16 \u002F BF 16 等全系列低精度数据类型；完整拆解量化四大分类与 INT 8 量化落地流程；深入 PTX 底层汇编、编译器修饰符、L1 缓存控制、Warp 线程发散优化；介绍 ILP \u002F TLP 并行平衡、SOA 数据排布，最后梳理 cuDNN \u002F cuBLAS \u002F CUB 官方加速库。","2026 夏季 InfiniTensor 训练营 CUDA 编程 9：《量化与工业级算子调优部署》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw01.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5exYRuXdv639dZiroPQU541O9ZY%3D)\r\n\r\n\u003Cspan style=\"font-size:12px;color:#555;\">8 月 10 日，2026 夏季 InfiniTensor 训练营 CUDA 编程方向第九课《量化与工业级算子调优部署》开讲。\r\n上节课《异步并行、底层控制与系统优化》聚焦系统层面性能优化，讲解 NCU 瓶颈诊断、双缓冲存算重叠、异步流与统一内存、CUDA Graph、NCCL 多卡通信及阿姆达尔\u002F古斯塔夫优化定律等内容。\u003C\u002Fspan>\r\n\r\n本节课作为 CUDA 编程系列收尾课程，介绍各类浮点\u002F整数低精度类型、量化全体系、PTX 底层指令、编译器调优、分支发散优化与官方加速库落地部署等相关内容。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=DuK0eDA3MhER9UNGcu1b6L2sXkg%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw03.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=wNrXZ0ANvuO%2F3sHtZ9ibfZDC%2BVE%3D)\r\n\r\n## 低精度浮点数据类型完整解析\r\n### 主流低精度类型特性对比\r\n1.**FP 16（Half）**\r\n- 5 bit 指数 + 10 bit 尾数，精度更高、动态范围偏小，通用推理基础类型。\r\n\r\n2.**BF 16（Brain Floating Point）**\r\n- 8 bit 指数 + 7 bit 尾数，与 FP 32 动态范围完全对齐，训练场景首选。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw04.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=CggfLrECSrQlGuuoUPVcg%2BorzMo%3D)\r\n\r\n3.**TF 32**\r\n- 保持 FP32 的 8 bit 指数位；\r\n- 尾数缩减至 10 bit，提高 Tensor Core 矩阵计算性能；\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw05.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=f5CyTzMY99E3rmxiPxbZtKqTF7k%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw06.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=c9gMGdo43ZBT9vEcmG74iXAUBKM%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw07.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=K9fmgqw9JUpd83KYiPjnBG54ut8%3D)\r\n\r\n4.**FP 8 双变体**\r\n- E4M3：4 bit 指数 + 3 bit 尾数，精度高，推理权重常用；\r\n- E5M2：5 bit 指数 + 2 bit 尾数，动态范围更大，超大数值场景适配；\r\n- Hopper 架构原生硬件支持 FP 8 混合乘加。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw08.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=uYpP9eTsNwDUWxyqVxPTpO8JAGw%3D)\r\n\r\n5.**INT 8 整数类型**\r\n- 不包含指数和尾数，通过整数编码表示数值；\r\n- 通常通过 scale \u002F zero point 将 FP32 映射到 INT8；\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw09.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=so7WkLVWjRkNBCTieeXSxDq7kbc%3D)\r\n\r\n6.拓展高精度 FP 128\r\n- 金融、科学计算等高敏感精度场景使用。\r\n\r\n\r\n## 深度学习量化完整技术体系\r\n### 量化基础定义\r\n- 量化 = 将高精度 FP 32 数值映射至低位宽整数\u002F浮点区间；\r\n- 正向映射为量化，反向恢复数值为反量化，核心权衡显存占用与任务精度损失。\r\n\r\n### 量化四大分类维度\r\n#### 1. 线性 vs 非线性量化\r\n- 线性：通过 scale \u002F zero 线性缩放，计算简单、推理开销低；\r\n- 非线性：对数、聚类等映射，数值分布拟合更好，但运行时计算开销更高。\r\n\r\n#### 2. 对称 vs 非对称量化\r\n- 对称：无零点偏移，正负数值区间完全对称，计算逻辑极简；\r\n- 非对称：增加 zero 偏移适配非均匀数据分布，精度上限更高。\r\n\r\n#### 3. 静态 vs 动态量化\r\n- 静态：离线标定固定 scale，推理无额外计算开销；\r\n- 动态：每批数据实时计算缩放因子，精度更优但增加运行时计算。\r\n\r\n#### 4. 量化粒度（逐层\u002F通道\u002F分组）\r\n1. 张量级：整张张量共用一组 scale，实现最简单；\r\n2. 通道级：每个通道独立缩放，精度提升；\r\n3. 组级（MXFP4 等方案）：多个连续元素共享一个缩放因子，兼顾显存与精度。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw10.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Sj4pw3zv7Tr958l9klz5TJzhJDw%3D)\r\n\r\n### INT 8 量化完整执行流程\r\n1. 推理前：FP 32 权重经标定计算 scale \u002F zero，量化存储为 INT 8；\r\n2. 推理前向：根据硬件和算子实现，可采用 INT8 输入直接进行整数计算，或者在计算前转换为低精度浮点执行；\r\n3. 进阶优化：全程 INT 8 向量化访存与计算，减少 HBM 读写次数；\r\n4. 性能收益：同等硬件下吞吐相比 FP 16 可提升近一倍，代价为有限精度损耗。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw11.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=28eTk8T3zqJitBhHy4dtFAhjurw%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw12.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=aRPNuRRG%2FIeChLRzQYvvp6MxYD8%3D)\r\n\r\n### 量化取舍原则\r\n- 量化依靠牺牲部分数值精度换取显存、算力收益；\r\n- 文本、图像生成任务可适度采用，金融、仿真等强精度场景不建议无限制低位宽量化。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw13.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=85GX070zRtdZ657gMyCzCt%2FwBlI%3D)\r\n\r\n## 性能优化——PTX\r\n### PTX 核心价值\r\n介于 C++ 与硬件指令之间的虚拟汇编层：\r\n1. 提供上层代码未暴露的细粒度硬件操作；\r\n2. 规避编译器保守优化，手动调度 MMA、异步拷贝等专用指令；\r\n3. 跨 GPU 架构向前兼容，提高代码迁移灵活性。\r\n\r\n### 典型 PTX 落地项目案例\r\n1. DeepSeek MoE 通信库：自定义分组门控 PTX 汇编优化通信开销；\r\n2. DeepGEMM FP 8 矩阵乘：利用 PTX 中的矩阵加载\u002F存储指令优化 Tensor Core 数据搬运；\r\n3. Flash LLM：Load\u002FStore 专用内存指令优化长上下文访存。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw14.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=z3NbpzoKlQQgCiNljIiKeWA%2BNPs%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw15.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZY%2FyF8ZvqlXC%2Beji7ZkiKWYvOFk%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw16.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2B7c3YoOA7T0cEdiY6VA8ptXqpSs%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw17.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=FzWNnIKG%2BevmnYnWiSjuniArTc4%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw18.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=NH%2FElGwaOP5jSH%2BiqJLH7pP5vC8%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw19.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=p8BH0lk0J50asDSky6RUEY60Log%3D)\r\n\r\n### Runtime vs Driver API\r\n- Runtime API：高层封装，开发效率高，通用场景首选；\r\n- Driver API：底层管控，支持动态加载、硬件精细调优，算子极致优化场景使用。\r\n\r\n## 微指令调优\r\n### 循环优化指令\r\n`#pragma unroll` 循环展开：消除循环分支开销、提升 ILP 指令并行；\r\n注意过度展开会造成代码膨胀、寄存器溢出，需控制展开倍数。\r\n\r\n### 断言与约束修饰符\r\n1. `__builtin_assume(cond)`：向编译器提供条件约束信息，帮助优化代码路径；\r\n2. `__align__`：指定数据对齐要求，提高满足硬件访存对齐条件的可能性。\r\n\r\n### 缓存控制编译选项\r\n1. CA（默认）：完整启用 L1 缓存；\r\n2. CG：绕过 L1，全部资源分配给共享内存；\r\n3. CS：流式内存标记，缓存数据使用后立即丢弃，减少缓存污染。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw20.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=5mHelsjzV5bTqH3asRuho9n7N1w%3D)\r\n\r\n### 浮点与计算编译开关\r\n1. `--use_fast_math`：近似三角函数，提速小幅损失精度；\r\n2. `--ftz=true`：刷新非规格浮点数为 0，简化计算；\r\n3 寄存器上限限制：防止寄存器溢出至本地内存拖慢速度。\r\n\r\n## Warp 线程发散问题与优化\r\n### 发散成因\r\n同一 Warp（32 线程）内执行不同分支路径，GPU 串行执行所有分支，硬件利用率暴跌，NCU 可观测长 Stall 指标。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw21.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=xTBImoz9MyquEMt4AK%2Fe2knir34%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw22.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=fErWvPOu4aKl9Q1GTLdWvgeqKLU%3D)\r\n\r\n### 主流规避方案\r\n1. Mask 掩码计算：所有线程完整执行计算，通过掩码控制写入，消除分支跳转；\r\n2. 算法重构：拆分条件逻辑，对齐线程执行路径；\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw23.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=2w7q87EoRyJ2r8gBm5mhS1fSssQ%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw24.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=PC6HhKwdBsHaKajxO9zthSkgvBw%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw25.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=G1vuMFFc3CPXMW8EagmEe1gDXvQ%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw26.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=COn%2BuK3f9fndZv8fdBgFckuDDOg%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw27.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=fRg202MV6xBv7cj9n1U6zjB9d9A%3D)\r\n\r\n### 指标观测\r\nNCU 查看 `average predicate thread` 平均激活线程数，数值越低发散越严重。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw28.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=BRHH1W8QBUwp9pgGy0SrE3Iiowo%3D)\r\n\r\n## 并行平衡与数据排布调优\r\n### ILP 指令级并行\r\n无依赖指令重叠执行，利用访存等待周期同步计算；手写 PTX 可手动调度指令顺序放大 ILP 收益。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw29.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=BgmTYNX0vLWHgXQpb7YuZfoFO6A%3D)\r\n\r\n### TLP 线程级并行\r\n多线程分摊计算负载；ILP 与 TLP 需要平衡，单一维度拉满会占用过多寄存器\u002F共享内存。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw30.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=UPByM4wj4rX5jME6KjDjTY6ZLqc%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw31.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=JSm%2F%2F%2Fk%2FtxM7OtJJaZx5c7sxiF8%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw32.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=esfgrJTly79ttG%2FD5ZLUx8Djb4A%3D)\r\n\r\n### AOS \u002F SOA 数据结构选择\r\n- AOS：结构体数组，随机访存友好，批量连续读取效率差；\r\n- SOA：数组结构体，同字段连续排布，向量化加载、矩阵乘场景性能显著优于 AOS。\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw33.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zG1Ax6%2FRMEks1I56mYKg9tGJkcg%3D)\r\n\r\n### Block Size 调优\r\n默认 256 非最优，不同算子、硬件架构适配最优 Block 尺寸，需结合寄存器占用、共享内存上限测试。\r\n\r\n## CUDA 官方库\r\n#### 1. cuDNN\r\n深度神经网络专用库，卷积、归一化、激活高度优化，原生支持 Tensor Core 混合精度、算子融合。\r\n#### 2. cuBLAS\r\n标准线性代数库，向量\u002F矩阵乘全精度实现。\r\n#### 3. CUB\r\nCUDA 高性能并行原语库，提供 Block、Warp、Device 级别的扫描、归约、排序等基础操作。\r\n#### 4. CUTLASS\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw34.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=28YETgfpDM3vb7OEianAjfv3POE%3D)\r\n\r\n#### 5.cuSPARSE\r\n稀疏矩阵专用运算库，支持多种稀疏存储格式与分解求解。\r\n\r\n\r\n## CUDA 全系列课程完整复盘\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_98_zw35.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0H%2Bb37RVeX%2FnbaY%2FJtoR8c63Zjs%3D)\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iSMWTjR51d%2FBBB3qQmr1dBgyqTU%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792747381&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j7ARa6Hbk2N4cHelXuAywUOyOLU%3D)",12,"\u002Fstudy-material\u002Fstudy-98","study-98",[44,112,9,140,45,157,166,47]]