[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-28":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=uiV9kOffa9Xq8DT%2BbErZU0JyQ98%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8u%2BaQaeliN4QzF6MZWiB4jHYDCE%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=8pXXbnSlNEtVJCJ1e4RzUlqmRn8%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":125},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":117,"canonicalPath":118,"id":119,"contentType":120,"prevArticle":121},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_fm.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=4zjTblLHoy3zKzakTI8E6jovJuU%3D","InfiniTensor,冬季训练营,大模型推理,AI对话,工程实践","从大模型推理到 AI 对话应用，讲解推理链路、会话构建与工程化接入实践。","2026-10-22 20:38:11",2,"InfiniTensor 冬季训练营推理引擎第三课《从大模型推理到 AI 对话》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw01.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=MQV%2BSNN4j4eROY2mHH5D53RKP9Y%3D)\r\n\r\n\r\n\r\n2026 年 1 月 21 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营推理引擎系列第三课《从大模型推理到 AI 对话》开讲。\r\n\r\n本节课将深入解析大模型推理的核心流程，从 token 概率分布到文本生成，从 KV Cache 优化到采样策略。前置课程为《[大模型原理与结构](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fm97b0_v16o9l0P5ocIVzkA)》，感兴趣的同学可以先行预习。\r\n\r\n### 大模型推理的基本流程\r\n\r\n#### 1. 输入到输出的完整路径\r\n大模型推理的核心任务是**文本生成**，其基本流程如下：\r\n\r\n- **Tokenizer**：将输入文本转换为 token 序列\r\n- **Embedding**：将 token 转换为向量表示\r\n- **Transformer 计算**：通过多层注意力机制和前馈网络进行计算\r\n- **概率分布输出**：模型输出下一个 token 的概率分布\r\n- **采样选择**：根据概率分布选择下一个 token\r\n- **循环生成**：将新 token 加入输入，重复上述过程直至结束\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw02.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=sfs5ATaLnbIp1iBml%2BhXJMBjrJ4%3D)\r\n\r\n\r\n#### 2. 关键洞察：概率分布的本质\r\n大模型并不会直接输出确定的文本，而是输出下一个 token 的概率分布。这种概率化的输出方式使得模型能够保持一定的创造性和多样性。\r\n\r\n### 推理优化：KV Cache技术\r\n\r\n#### 1. 重复计算的问题\r\n在基础的自回归生成过程中，每生成一个新 token 都需要重新计算所有历史 token 的注意力权重，这导致了大量的重复计算。\r\n\r\n#### 2. KV Cache 解决方案\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw03.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1NuTtL9SDwKHxLzuahrCdQW1hO0%3D)\r\n\r\nKV Cache（键值缓存）是大模型推理中的关键技术：\r\n- **核心思想**：缓存历史 token 的 Key 和 Value 向量\r\n- **工作原理**：生成新 token 时，只需计算当前 token 的 Q、K、V，然后与缓存的历史 K、V 进行注意力计算\r\n- **性能优势**：显著减少重复计算，提升推理速度\r\n\r\n### 推理阶段划分：Prefill vs Decode\r\n\r\n#### 1. Prefill 阶段（预填充）\r\n- **触发时机**：接收到用户输入时\r\n- **计算特点**：一次性处理所有输入 token\r\n- **资源消耗**：计算密集型 (Compute-bound)\r\n- **类比**：老师阅读学生提出的问题\r\n\r\n#### 2. Decode 阶段（解码）\r\n- **触发时机**：开始生成回复后\r\n- **计算特点**：逐个生成 token，利用 KV Cache\r\n- **资源消耗**：访存密集型 (Memory-bound)\r\n- **类比**：老师基于问题逐步组织回答\r\n\r\n#### 3. PD 分离优化\r\n由于 Prefill 和 Decode 阶段的计算特性不同，现代推理引擎常采用 **PD分离**（Prefill-Decode Separation）策略：\r\n- 使用不同的硬件资源处理两个阶段\r\n- 针对各自特点进行专门优化\r\n- 提升整体推理效率\r\n\r\n### AI 对话的实现机制\r\n\r\n#### 1. 角色标记（Role Tagging）\r\nAI 对话系统的核心是带身份信息的文本生成：\r\n```\r\n\u003C|user|>请给我讲一个故事\r\n\u003C|assistant|>从前有一个小女孩...\r\n```\r\n\r\n通过角色标记符合训练时的 Prompt Template（提示词模板），引导模型激活对应的生成模式\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw04.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ADwc%2FG%2Bpd5uo%2Bx8hnU%2BjLY%2FQgYk%3D)\r\n\r\n#### 2. 模板引擎的应用\r\n为了正确处理对话格式，现代 AI 系统广泛使用 **Jinja2 模板引擎**：\r\n- 定义对话模板格式\r\n- 自动插入角色标记\r\n- 构造符合模型预期的输入文本格式\r\n\r\n这种设计使得前端能够清晰区分用户输入和 AI 回复，提供更好的用户体验。\r\n\r\n### 文本生成的采样策略\r\n\r\n#### 1. Argmax 采样\r\n- **策略**：始终选择概率最高的 token\r\n- **特点**：结果确定但缺乏多样性\r\n- **问题**：生成内容过于死板，缺乏创意\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw05.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2FGSWk473uLl9xhKzAtuauZT9GPs%3D)\r\n\r\n#### 2. 随机采样\r\n- **策略**：根据概率分布随机选择 token\r\n- **特点**：保持多样性但可能产生不合理内容\r\n- **风险**：小概率事件累积可能导致语义错误\r\n- **改进策略：**\r\n\r\n**①Top-K 采样：** 从概率最高的 K 个 token 中随机选择，平衡多样性和合理性\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw06.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=wM1viemU2bbMO9c9BRl4kfQwNRE%3D)\r\n\r\n**②Top-P采样：** 从累积概率达到 P 的最小 token 集合中随机选择，动态调整候选集大小，适应不同上下文\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw07.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bp5S5OWFEx8qS6PZ6EnR6563Q9o%3D)\r\n\r\n#### 3. Temperature 调节\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw08.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Ev7MAELVmwK9HJw7LI%2BPMq7Nw5c%3D)\r\n\r\n#### 4. Beam Search\r\n- 更适用于翻译、摘要等确定性较强的任务\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw09.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZXK01BRRpeAiY5t27zQafii3klY%3D)\r\n\r\n### 基于Transformer的开源大语言模型——DeepSeek\r\n- DeepSeek-V3\r\n- DeepSeek-R1\r\n- DeepSeek-VL2\r\n\r\n\r\n\r\n![2025冬季训练营课程表](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw6.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=DEth0OhERyx68xufLNiv%2BIt7foE%3D)\r\n\r\n### 💡 学习贴士\r\n更多细节及完整课程内容，请观看直播或查看课程回放。\r\n\r\n链接：https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\r\n\r\n### 📚 训练营报名持续进行中\r\n扫码报名与加入群聊，或点击 **「阅读原文」** 直达官网报名\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw7.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OXZH4IYHRMHbFPG7EYCBYHhSMto%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-27","study-27","InfiniTensor 冬季训练营 AI 编译器第三课《PyTorch 中图优化》",81,"\u002Fstudy-material\u002Fstudy-28","study-28","markdown",{"publishTime":7,"createTime":109,"canonicalPath":122,"id":123,"title":124},"\u002Fstudy-material\u002Fstudy-29","study-29","InfiniTensor 冬季训练营前沿模型第三课《检索增强的语言模型》",{"htmlContent":126,"headings":127},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw01.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=MQV%2BSNN4j4eROY2mHH5D53RKP9Y%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>2026 年 1 月 21 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营推理引擎系列第三课《从大模型推理到 AI 对话》开讲。\u003C\u002Fp>\n\u003Cp>本节课将深入解析大模型推理的核心流程，从 token 概率分布到文本生成，从 KV Cache 优化到采样策略。前置课程为《\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fm97b0_v16o9l0P5ocIVzkA\">大模型原理与结构\u003C\u002Fa>》，感兴趣的同学可以先行预习。\u003C\u002Fp>\n\u003Ch3 id=\"大模型推理的基本流程\">\u003Ca class=\"anchor\" href=\"#大模型推理的基本流程\" aria-label=\"跳转到标题：大模型推理的基本流程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>大模型推理的基本流程\u003C\u002Fh3>\u003Ch4 id=\"1-输入到输出的完整路径\">\u003Ca class=\"anchor\" href=\"#1-输入到输出的完整路径\" aria-label=\"跳转到标题：1. 输入到输出的完整路径\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 输入到输出的完整路径\u003C\u002Fh4>\u003Cp>大模型推理的核心任务是\u003Cstrong>文本生成\u003C\u002Fstrong>，其基本流程如下：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Tokenizer\u003C\u002Fstrong>：将输入文本转换为 token 序列\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Embedding\u003C\u002Fstrong>：将 token 转换为向量表示\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Transformer 计算\u003C\u002Fstrong>：通过多层注意力机制和前馈网络进行计算\u003C\u002Fli>\n\u003Cli>\u003Cstrong>概率分布输出\u003C\u002Fstrong>：模型输出下一个 token 的概率分布\u003C\u002Fli>\n\u003Cli>\u003Cstrong>采样选择\u003C\u002Fstrong>：根据概率分布选择下一个 token\u003C\u002Fli>\n\u003Cli>\u003Cstrong>循环生成\u003C\u002Fstrong>：将新 token 加入输入，重复上述过程直至结束\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw02.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=sfs5ATaLnbIp1iBml%2BhXJMBjrJ4%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-关键洞察-概率分布的本质\">\u003Ca class=\"anchor\" href=\"#2-关键洞察-概率分布的本质\" aria-label=\"跳转到标题：2. 关键洞察：概率分布的本质\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 关键洞察：概率分布的本质\u003C\u002Fh4>\u003Cp>大模型并不会直接输出确定的文本，而是输出下一个 token 的概率分布。这种概率化的输出方式使得模型能够保持一定的创造性和多样性。\u003C\u002Fp>\n\u003Ch3 id=\"推理优化-kv-cache技术\">\u003Ca class=\"anchor\" href=\"#推理优化-kv-cache技术\" aria-label=\"跳转到标题：推理优化：KV Cache技术\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>推理优化：KV Cache技术\u003C\u002Fh3>\u003Ch4 id=\"1-重复计算的问题\">\u003Ca class=\"anchor\" href=\"#1-重复计算的问题\" aria-label=\"跳转到标题：1. 重复计算的问题\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 重复计算的问题\u003C\u002Fh4>\u003Cp>在基础的自回归生成过程中，每生成一个新 token 都需要重新计算所有历史 token 的注意力权重，这导致了大量的重复计算。\u003C\u002Fp>\n\u003Ch4 id=\"2-kv-cache-解决方案\">\u003Ca class=\"anchor\" href=\"#2-kv-cache-解决方案\" aria-label=\"跳转到标题：2. KV Cache 解决方案\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. KV Cache 解决方案\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw03.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1NuTtL9SDwKHxLzuahrCdQW1hO0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>KV Cache（键值缓存）是大模型推理中的关键技术：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>核心思想\u003C\u002Fstrong>：缓存历史 token 的 Key 和 Value 向量\u003C\u002Fli>\n\u003Cli>\u003Cstrong>工作原理\u003C\u002Fstrong>：生成新 token 时，只需计算当前 token 的 Q、K、V，然后与缓存的历史 K、V 进行注意力计算\u003C\u002Fli>\n\u003Cli>\u003Cstrong>性能优势\u003C\u002Fstrong>：显著减少重复计算，提升推理速度\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"推理阶段划分-prefill-vs-decode\">\u003Ca class=\"anchor\" href=\"#推理阶段划分-prefill-vs-decode\" aria-label=\"跳转到标题：推理阶段划分：Prefill vs Decode\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>推理阶段划分：Prefill vs Decode\u003C\u002Fh3>\u003Ch4 id=\"1-prefill-阶段-预填充\">\u003Ca class=\"anchor\" href=\"#1-prefill-阶段-预填充\" aria-label=\"跳转到标题：1. Prefill 阶段（预填充）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. Prefill 阶段（预填充）\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>触发时机\u003C\u002Fstrong>：接收到用户输入时\u003C\u002Fli>\n\u003Cli>\u003Cstrong>计算特点\u003C\u002Fstrong>：一次性处理所有输入 token\u003C\u002Fli>\n\u003Cli>\u003Cstrong>资源消耗\u003C\u002Fstrong>：计算密集型 (Compute-bound)\u003C\u002Fli>\n\u003Cli>\u003Cstrong>类比\u003C\u002Fstrong>：老师阅读学生提出的问题\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-decode-阶段-解码\">\u003Ca class=\"anchor\" href=\"#2-decode-阶段-解码\" aria-label=\"跳转到标题：2. Decode 阶段（解码）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. Decode 阶段（解码）\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>触发时机\u003C\u002Fstrong>：开始生成回复后\u003C\u002Fli>\n\u003Cli>\u003Cstrong>计算特点\u003C\u002Fstrong>：逐个生成 token，利用 KV Cache\u003C\u002Fli>\n\u003Cli>\u003Cstrong>资源消耗\u003C\u002Fstrong>：访存密集型 (Memory-bound)\u003C\u002Fli>\n\u003Cli>\u003Cstrong>类比\u003C\u002Fstrong>：老师基于问题逐步组织回答\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-pd-分离优化\">\u003Ca class=\"anchor\" href=\"#3-pd-分离优化\" aria-label=\"跳转到标题：3. PD 分离优化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. PD 分离优化\u003C\u002Fh4>\u003Cp>由于 Prefill 和 Decode 阶段的计算特性不同，现代推理引擎常采用 \u003Cstrong>PD分离\u003C\u002Fstrong>（Prefill-Decode Separation）策略：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>使用不同的硬件资源处理两个阶段\u003C\u002Fli>\n\u003Cli>针对各自特点进行专门优化\u003C\u002Fli>\n\u003Cli>提升整体推理效率\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"ai-对话的实现机制\">\u003Ca class=\"anchor\" href=\"#ai-对话的实现机制\" aria-label=\"跳转到标题：AI 对话的实现机制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>AI 对话的实现机制\u003C\u002Fh3>\u003Ch4 id=\"1-角色标记-role-tagging\">\u003Ca class=\"anchor\" href=\"#1-角色标记-role-tagging\" aria-label=\"跳转到标题：1. 角色标记（Role Tagging）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 角色标记（Role Tagging）\u003C\u002Fh4>\u003Cp>AI 对话系统的核心是带身份信息的文本生成：\u003C\u002Fp>\n\u003Cpre>\u003Ccode><|user|>请给我讲一个故事\n<|assistant|>从前有一个小女孩...\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>通过角色标记符合训练时的 Prompt Template（提示词模板），引导模型激活对应的生成模式\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw04.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ADwc%2FG%2Bpd5uo%2Bx8hnU%2BjLY%2FQgYk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-模板引擎的应用\">\u003Ca class=\"anchor\" href=\"#2-模板引擎的应用\" aria-label=\"跳转到标题：2. 模板引擎的应用\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 模板引擎的应用\u003C\u002Fh4>\u003Cp>为了正确处理对话格式，现代 AI 系统广泛使用 \u003Cstrong>Jinja2 模板引擎\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>定义对话模板格式\u003C\u002Fli>\n\u003Cli>自动插入角色标记\u003C\u002Fli>\n\u003Cli>构造符合模型预期的输入文本格式\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>这种设计使得前端能够清晰区分用户输入和 AI 回复，提供更好的用户体验。\u003C\u002Fp>\n\u003Ch3 id=\"文本生成的采样策略\">\u003Ca class=\"anchor\" href=\"#文本生成的采样策略\" aria-label=\"跳转到标题：文本生成的采样策略\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>文本生成的采样策略\u003C\u002Fh3>\u003Ch4 id=\"1-argmax-采样\">\u003Ca class=\"anchor\" href=\"#1-argmax-采样\" aria-label=\"跳转到标题：1. Argmax 采样\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. Argmax 采样\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>策略\u003C\u002Fstrong>：始终选择概率最高的 token\u003C\u002Fli>\n\u003Cli>\u003Cstrong>特点\u003C\u002Fstrong>：结果确定但缺乏多样性\u003C\u002Fli>\n\u003Cli>\u003Cstrong>问题\u003C\u002Fstrong>：生成内容过于死板，缺乏创意\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw05.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=%2FGSWk473uLl9xhKzAtuauZT9GPs%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-随机采样\">\u003Ca class=\"anchor\" href=\"#2-随机采样\" aria-label=\"跳转到标题：2. 随机采样\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 随机采样\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>策略\u003C\u002Fstrong>：根据概率分布随机选择 token\u003C\u002Fli>\n\u003Cli>\u003Cstrong>特点\u003C\u002Fstrong>：保持多样性但可能产生不合理内容\u003C\u002Fli>\n\u003Cli>\u003Cstrong>风险\u003C\u002Fstrong>：小概率事件累积可能导致语义错误\u003C\u002Fli>\n\u003Cli>\u003Cstrong>改进策略：\u003C\u002Fstrong>\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cstrong>①Top-K 采样：\u003C\u002Fstrong> 从概率最高的 K 个 token 中随机选择，平衡多样性和合理性\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw06.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=wM1viemU2bbMO9c9BRl4kfQwNRE%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cstrong>②Top-P采样：\u003C\u002Fstrong> 从累积概率达到 P 的最小 token 集合中随机选择，动态调整候选集大小，适应不同上下文\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw07.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bp5S5OWFEx8qS6PZ6EnR6563Q9o%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"3-temperature-调节\">\u003Ca class=\"anchor\" href=\"#3-temperature-调节\" aria-label=\"跳转到标题：3. Temperature 调节\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. Temperature 调节\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw08.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Ev7MAELVmwK9HJw7LI%2BPMq7Nw5c%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"4-beam-search\">\u003Ca class=\"anchor\" href=\"#4-beam-search\" aria-label=\"跳转到标题：4. Beam Search\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>4. Beam Search\u003C\u002Fh4>\u003Cul>\n\u003Cli>更适用于翻译、摘要等确定性较强的任务\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_28_zw09.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ZXK01BRRpeAiY5t27zQafii3klY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"基于transformer的开源大语言模型-deepseek\">\u003Ca class=\"anchor\" href=\"#基于transformer的开源大语言模型-deepseek\" aria-label=\"跳转到标题：基于Transformer的开源大语言模型——DeepSeek\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>基于Transformer的开源大语言模型——DeepSeek\u003C\u002Fh3>\u003Cul>\n\u003Cli>DeepSeek-V3\u003C\u002Fli>\n\u003Cli>DeepSeek-R1\u003C\u002Fli>\n\u003Cli>DeepSeek-VL2\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw6.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=DEth0OhERyx68xufLNiv%2BIt7foE%3D\" alt=\"2025冬季训练营课程表\">\u003C\u002Fp>\n\u003Ch3 id=\"学习贴士\">\u003Ca class=\"anchor\" href=\"#学习贴士\" aria-label=\"跳转到标题：💡 学习贴士\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>💡 学习贴士\u003C\u002Fh3>\u003Cp>更多细节及完整课程内容，请观看直播或查看课程回放。\u003C\u002Fp>\n\u003Cp>链接：\u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\">https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\u003C\u002Fa>\u003C\u002Fp>\n\u003Ch3 id=\"训练营报名持续进行中\">\u003Ca class=\"anchor\" href=\"#训练营报名持续进行中\" aria-label=\"跳转到标题：📚 训练营报名持续进行中\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📚 训练营报名持续进行中\u003C\u002Fh3>\u003Cp>扫码报名与加入群聊，或点击 \u003Cstrong>「阅读原文」\u003C\u002Fstrong> 直达官网报名\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw7.jpg?Expires=1792752557&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OXZH4IYHRMHbFPG7EYCBYHhSMto%3D\" alt=\"\">\u003C\u002Fp>\n",[128,130,134,137,140,143,146,149,152,155,158,161,164,167,169,172,175,178,181,184,187],{"id":129,"text":129,"level":9},"大模型推理的基本流程",{"id":131,"text":132,"level":133},"1-输入到输出的完整路径","1. 输入到输出的完整路径",4,{"id":135,"text":136,"level":133},"2-关键洞察-概率分布的本质","2. 关键洞察：概率分布的本质",{"id":138,"text":139,"level":9},"推理优化-kv-cache技术","推理优化：KV Cache技术",{"id":141,"text":142,"level":133},"1-重复计算的问题","1. 重复计算的问题",{"id":144,"text":145,"level":133},"2-kv-cache-解决方案","2. KV Cache 解决方案",{"id":147,"text":148,"level":9},"推理阶段划分-prefill-vs-decode","推理阶段划分：Prefill vs Decode",{"id":150,"text":151,"level":133},"1-prefill-阶段-预填充","1. Prefill 阶段（预填充）",{"id":153,"text":154,"level":133},"2-decode-阶段-解码","2. Decode 阶段（解码）",{"id":156,"text":157,"level":133},"3-pd-分离优化","3. PD 分离优化",{"id":159,"text":160,"level":9},"ai-对话的实现机制","AI 对话的实现机制",{"id":162,"text":163,"level":133},"1-角色标记-role-tagging","1. 角色标记（Role Tagging）",{"id":165,"text":166,"level":133},"2-模板引擎的应用","2. 模板引擎的应用",{"id":168,"text":168,"level":9},"文本生成的采样策略",{"id":170,"text":171,"level":133},"1-argmax-采样","1. Argmax 采样",{"id":173,"text":174,"level":133},"2-随机采样","2. 随机采样",{"id":176,"text":177,"level":133},"3-temperature-调节","3. Temperature 调节",{"id":179,"text":180,"level":133},"4-beam-search","4. Beam Search",{"id":182,"text":183,"level":9},"基于transformer的开源大语言模型-deepseek","基于Transformer的开源大语言模型——DeepSeek",{"id":185,"text":186,"level":9},"学习贴士","💡 学习贴士",{"id":188,"text":189,"level":9},"训练营报名持续进行中","📚 训练营报名持续进行中"]