[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-52":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=YuOgm%2FgmD4nuySjwNMl5nm0fmKI%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Kxv2UTqtU0%2FwvYQCDERqdg0W6E4%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=nIij3MTYWjwdhBM00gMTqmyLnUM%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":125},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":117,"canonicalPath":118,"id":119,"contentType":120,"prevArticle":121},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_fm.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=TjewxnENXImrH0liZidKx6oHqTI%3D","InfiniTensor,冬季训练营,InfiniLM,推理引擎,大模型推理","系统介绍 InfiniLM 推理引擎能力，聚焦大模型推理流程、性能优化与工程部署。","2026-10-22 20:38:11",2,"InfiniTensor 冬季训练营推理引擎第七课《InfiniLM》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw01.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zP3b%2BE%2B7iMc%2FwwgyJ8zTWeO6wM0%3D)\r\n\r\n\r\n\r\n2026 年 2 月 3 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营推理引擎系列第七课《InfiniLM》开讲。\r\n\r\n本节课将深入讲解 InfiniLM 的技术架构、作业项目要求、国产化部署策略以及实际工程案例。\r\n\r\n## InfiniLM 技术架构演进\r\n\r\n### 框架版本迭代\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw02.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=trohsJToOBI4AAOMi4Yy6Bj714c%3D)\r\n\r\n\r\nInfiniLM 经历了重要的架构演进：\r\n\r\n- **Infra IM Rust**：早期基于 Rust 的推理框架\r\n- **Infra Infer**：新一代 C++ 推理框架，替代 Rust 版本\r\n- **Infra Core**：底层算子库，保持稳定\r\n\r\n选择 C++ 而非 Rust 的主要考虑是生态落地的便利性——尽管 Rust 在安全性和性能上有优势，但 C++ 在 AI 领域的工具链和社区支持更为成熟。\r\n\r\n### 整体架构设计\r\n\r\nInfiniLM 采用分层架构设计：\r\n\r\n- Python 层：提供用户友好的 API 接口\r\n- ctypes 层：C++ 与 Python 的桥梁\r\n- C++ 核心层：包含内存管理、算子实现、模型适配等\r\n- 设备运行时层：抽象不同硬件平台的差异\r\n\r\n### 核心组件解析\r\n\r\n#### 1. 内存管理器（Allocator）\r\n\r\n内存分配策略对推理性能影响巨大：\r\n- 频繁分配\u002F释放：带来不可忽略的开销\r\n- 内存池设计：通过复用内存减少分配开销\r\n- 优化建议：实现高效的内存池系统是性能优化的关键\r\n\r\n#### 2. 上下文管理（Context）\r\n\r\n上下文管理负责设备类型的识别：\r\n- 设备检测：自动识别 CPU、NVIDIA GPU、国产 GPU 等\r\n- 运行时切换：根据设备类型动态选择最优实现\r\n\r\n#### 3. 张量操作（Tensor）\r\n\r\n张量是大模型推理的核心数据结构：\r\n- **生命周期管理**：创建、销毁、引用计数\r\n- **元信息操作**：形状、步长、连续性判断\r\n- **视图变换**：narrow、permute、view 等操作\r\n\r\n## 作业项目实战指南\r\n\r\n### 环境配置要求\r\n\r\n作业项目的环境配置包括：\r\n\r\n- **编译工具**：xmake、GCC\u002FClang、NVCC（GPU 平台）\r\n- **Python 依赖**：PyTorch、Transformers\r\n- **构建流程**：`xmake build` → `xmake install` → `pip install`\r\n\r\n### 核心模块实现\r\n\r\n#### 1. 张量模块\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw03.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EsBAvZvFAoMa6he3Fht%2FWfVlR0c%3D)\r\n\r\n\r\n#### 2. 算子模块\r\n\r\n作业要求实现的核心算子包括：\r\n\r\n- **Argmax**：用于确定性采样，选择概率最大的 token\r\n- **Embedding**：将 token ID 转换为向量表示\r\n- **Linear**：线性变换（矩阵乘法），大模型的核心算子\r\n- **RMS_Norm**：归一化操作，提升训练稳定性\r\n- **RoPE**：旋转位置编码，保持位置关系\r\n- **Self_Attention**：注意力机制，可选择 Flash Attention 实现\r\n- **SwiGLU**：激活函数，element-wise 计算\r\n- **Rearrange**：张量重排，改变内存布局\r\n\r\n#### 3. 适配 Qwen-1.5B 文本生成\r\n- Python 前端：实现 Qwen 模型的 Python 接口\r\n- 主要实现：src\u002F\r\n- ctypes 封装：python\u002Fllaisys\u002Flibllaisys\u002F\r\n- KV Cache：必须实现，避免重复计算\r\n\r\n调试工具：\r\n\r\n- debug 函数：打印张量信息，辅助精度调试\r\n\r\n- 推理测试：`test\u002Ftest_infer.py` 验证推理正确性\r\n\r\n## 项目进阶方向\r\n\r\n### 选项 1：CPU 加速\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw04.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=GlFrbaO%2F5Bi%2FMSEC9SeJoeyyVPY%3D)\r\n\r\n虽然作业要求在 CPU 上实现，但 CPU 推理性能较差，可通过以下方式优化：\r\n\r\n- **SIMD 指令**：使用向量化指令并行处理多个数据\r\n- **OpenMP 并行**：通过`#pragma omp parallel for`实现循环并行\r\n- **第三方库**：Eigen、OpenBLAS、MKL 等数学库\r\n\r\n### 选项 2：CUDA、类 CUDA 加速\r\n\r\n项目要求至少两个硬件平台：\r\n\r\n- **天数 GPU**：类 CUDA 架构，接口命名差异较低\r\n- **沐曦 GPU**：类 CUDA 架构，接口命名略有差异\r\n- **摩尔 GPU**：类 CUDA 架构，接口命名略有差异\r\n\r\n**国产平台优势**：\r\n- **战略意义**：算力是重要的战略资源\r\n- **技术兼容**：类 CUDA 架构降低适配成本\r\n- **生态支持**：多家厂商已上市，生态日趋成熟\r\n\r\n### 选项 3：实现聊天机器人\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw05.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ofMmLjhCm1PAbcTVweQdVElu%2BrA%3D)\r\n\r\n实现一个功能完整的聊天机器人：\r\n\r\n- **随机采样**：支持 Top-K 和 Top-P 采样策略\r\n- **HTTP 服务器**：支持 OpenAI Chat-Completion API\r\n- **流式输出**：实现实时响应\r\n- **会话管理**：支持 KV Cache 缓存和历史对话编辑\r\n\r\n### 选项 4、5、6\r\n\r\n- **多用户推理**：需要先完成 3，算子需要支持 batch\r\n- **分布式推理**：引入张量并行，使用 nccl、mccl、hccl 等通信库\r\n- **支持新模型**：适配架构差异较大的新模型\r\n\r\n## 实际工程案例\r\n\r\n### 基础库\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw06.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qOOGIPdWfVFFllF176egslpF7OU%3D)\r\n\r\n- 运行时：infinirt\r\n- 通信库：infiniccl\r\n- 算子库：infiniop\r\n\r\n### 运行时库\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw07.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=T9KX6pWfOmtdJEJ56qYoL%2FxLqxo%3D)\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw08.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=NXPGRmqVInYZwS5dxA4XhLcBZdk%3D)\r\n\r\n### 推理框架\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw09.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zkD3lBknfQRB4JfJRxWewKW7ePY%3D)\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw10.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=aELMTz5pZE%2FChqDhfoO0d8ei%2Ff8%3D)\r\n\r\n\r\n\r\n\r\n## 总结\r\n\r\nInfiniLM 不仅是一个学习大模型推理系统的优秀项目，更是推动国产 AI 芯片生态建设的重要工具。通过完整的工程实践，可以深入理解大模型推理的各个环节，同时为国产化部署积累宝贵经验。\r\n\r\n\r\n\r\n\r\n![2025冬季训练营课程表](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_kcb.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=WE6ZvjevfVWwBzWNiOLG517R7Kc%3D)\r\n\r\n### 💡 学习贴士\r\n更多细节及完整课程内容，请观看直播或查看课程回放。\r\n\r\n链接：https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\r\n\r\n### 📚 训练营报名持续进行中\r\n扫码报名与加入群聊，或点击 **「阅读原文」** 直达官网报名\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_ewm.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7X9%2Bd0L8rZJpZVU8z9o6IgBjCBo%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-51","study-51","InfiniTensor 冬季训练营训练系统第五课《强化学习及 DeepSeek》",57,"\u002Fstudy-material\u002Fstudy-52","study-52","markdown",{"publishTime":7,"createTime":109,"canonicalPath":122,"id":123,"title":124},"\u002Fstudy-material\u002Fstudy-53","study-53","InfiniTensor 冬季训练营前沿模型第五课《多模态智能及其应用》",{"htmlContent":126,"headings":127},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw01.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zP3b%2BE%2B7iMc%2FwwgyJ8zTWeO6wM0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>2026 年 2 月 3 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营推理引擎系列第七课《InfiniLM》开讲。\u003C\u002Fp>\n\u003Cp>本节课将深入讲解 InfiniLM 的技术架构、作业项目要求、国产化部署策略以及实际工程案例。\u003C\u002Fp>\n\u003Ch2 id=\"infinilm-技术架构演进\">\u003Ca class=\"anchor\" href=\"#infinilm-技术架构演进\" aria-label=\"跳转到标题：InfiniLM 技术架构演进\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>InfiniLM 技术架构演进\u003C\u002Fh2>\u003Ch3 id=\"框架版本迭代\">\u003Ca class=\"anchor\" href=\"#框架版本迭代\" aria-label=\"跳转到标题：框架版本迭代\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>框架版本迭代\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw02.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=trohsJToOBI4AAOMi4Yy6Bj714c%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>InfiniLM 经历了重要的架构演进：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Infra IM Rust\u003C\u002Fstrong>：早期基于 Rust 的推理框架\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Infra Infer\u003C\u002Fstrong>：新一代 C++ 推理框架，替代 Rust 版本\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Infra Core\u003C\u002Fstrong>：底层算子库，保持稳定\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>选择 C++ 而非 Rust 的主要考虑是生态落地的便利性——尽管 Rust 在安全性和性能上有优势，但 C++ 在 AI 领域的工具链和社区支持更为成熟。\u003C\u002Fp>\n\u003Ch3 id=\"整体架构设计\">\u003Ca class=\"anchor\" href=\"#整体架构设计\" aria-label=\"跳转到标题：整体架构设计\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>整体架构设计\u003C\u002Fh3>\u003Cp>InfiniLM 采用分层架构设计：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>Python 层：提供用户友好的 API 接口\u003C\u002Fli>\n\u003Cli>ctypes 层：C++ 与 Python 的桥梁\u003C\u002Fli>\n\u003Cli>C++ 核心层：包含内存管理、算子实现、模型适配等\u003C\u002Fli>\n\u003Cli>设备运行时层：抽象不同硬件平台的差异\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"核心组件解析\">\u003Ca class=\"anchor\" href=\"#核心组件解析\" aria-label=\"跳转到标题：核心组件解析\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>核心组件解析\u003C\u002Fh3>\u003Ch4 id=\"1-内存管理器-allocator\">\u003Ca class=\"anchor\" href=\"#1-内存管理器-allocator\" aria-label=\"跳转到标题：1. 内存管理器（Allocator）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 内存管理器（Allocator）\u003C\u002Fh4>\u003Cp>内存分配策略对推理性能影响巨大：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>频繁分配\u002F释放：带来不可忽略的开销\u003C\u002Fli>\n\u003Cli>内存池设计：通过复用内存减少分配开销\u003C\u002Fli>\n\u003Cli>优化建议：实现高效的内存池系统是性能优化的关键\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-上下文管理-context\">\u003Ca class=\"anchor\" href=\"#2-上下文管理-context\" aria-label=\"跳转到标题：2. 上下文管理（Context）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 上下文管理（Context）\u003C\u002Fh4>\u003Cp>上下文管理负责设备类型的识别：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>设备检测：自动识别 CPU、NVIDIA GPU、国产 GPU 等\u003C\u002Fli>\n\u003Cli>运行时切换：根据设备类型动态选择最优实现\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-张量操作-tensor\">\u003Ca class=\"anchor\" href=\"#3-张量操作-tensor\" aria-label=\"跳转到标题：3. 张量操作（Tensor）\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 张量操作（Tensor）\u003C\u002Fh4>\u003Cp>张量是大模型推理的核心数据结构：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>生命周期管理\u003C\u002Fstrong>：创建、销毁、引用计数\u003C\u002Fli>\n\u003Cli>\u003Cstrong>元信息操作\u003C\u002Fstrong>：形状、步长、连续性判断\u003C\u002Fli>\n\u003Cli>\u003Cstrong>视图变换\u003C\u002Fstrong>：narrow、permute、view 等操作\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"作业项目实战指南\">\u003Ca class=\"anchor\" href=\"#作业项目实战指南\" aria-label=\"跳转到标题：作业项目实战指南\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>作业项目实战指南\u003C\u002Fh2>\u003Ch3 id=\"环境配置要求\">\u003Ca class=\"anchor\" href=\"#环境配置要求\" aria-label=\"跳转到标题：环境配置要求\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>环境配置要求\u003C\u002Fh3>\u003Cp>作业项目的环境配置包括：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>编译工具\u003C\u002Fstrong>：xmake、GCC\u002FClang、NVCC（GPU 平台）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Python 依赖\u003C\u002Fstrong>：PyTorch、Transformers\u003C\u002Fli>\n\u003Cli>\u003Cstrong>构建流程\u003C\u002Fstrong>：\u003Ccode>xmake build\u003C\u002Fcode> → \u003Ccode>xmake install\u003C\u002Fcode> → \u003Ccode>pip install\u003C\u002Fcode>\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"核心模块实现\">\u003Ca class=\"anchor\" href=\"#核心模块实现\" aria-label=\"跳转到标题：核心模块实现\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>核心模块实现\u003C\u002Fh3>\u003Ch4 id=\"1-张量模块\">\u003Ca class=\"anchor\" href=\"#1-张量模块\" aria-label=\"跳转到标题：1. 张量模块\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 张量模块\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw03.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EsBAvZvFAoMa6he3Fht%2FWfVlR0c%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch4 id=\"2-算子模块\">\u003Ca class=\"anchor\" href=\"#2-算子模块\" aria-label=\"跳转到标题：2. 算子模块\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 算子模块\u003C\u002Fh4>\u003Cp>作业要求实现的核心算子包括：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Argmax\u003C\u002Fstrong>：用于确定性采样，选择概率最大的 token\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Embedding\u003C\u002Fstrong>：将 token ID 转换为向量表示\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Linear\u003C\u002Fstrong>：线性变换（矩阵乘法），大模型的核心算子\u003C\u002Fli>\n\u003Cli>\u003Cstrong>RMS_Norm\u003C\u002Fstrong>：归一化操作，提升训练稳定性\u003C\u002Fli>\n\u003Cli>\u003Cstrong>RoPE\u003C\u002Fstrong>：旋转位置编码，保持位置关系\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Self_Attention\u003C\u002Fstrong>：注意力机制，可选择 Flash Attention 实现\u003C\u002Fli>\n\u003Cli>\u003Cstrong>SwiGLU\u003C\u002Fstrong>：激活函数，element-wise 计算\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Rearrange\u003C\u002Fstrong>：张量重排，改变内存布局\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-适配-qwen-1-5b-文本生成\">\u003Ca class=\"anchor\" href=\"#3-适配-qwen-1-5b-文本生成\" aria-label=\"跳转到标题：3. 适配 Qwen-1.5B 文本生成\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 适配 Qwen-1.5B 文本生成\u003C\u002Fh4>\u003Cul>\n\u003Cli>Python 前端：实现 Qwen 模型的 Python 接口\u003C\u002Fli>\n\u003Cli>主要实现：src\u002F\u003C\u002Fli>\n\u003Cli>ctypes 封装：python\u002Fllaisys\u002Flibllaisys\u002F\u003C\u002Fli>\n\u003Cli>KV Cache：必须实现，避免重复计算\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>调试工具：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cp>debug 函数：打印张量信息，辅助精度调试\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>推理测试：\u003Ccode>test\u002Ftest_infer.py\u003C\u002Fcode> 验证推理正确性\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"项目进阶方向\">\u003Ca class=\"anchor\" href=\"#项目进阶方向\" aria-label=\"跳转到标题：项目进阶方向\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>项目进阶方向\u003C\u002Fh2>\u003Ch3 id=\"选项-1-cpu-加速\">\u003Ca class=\"anchor\" href=\"#选项-1-cpu-加速\" aria-label=\"跳转到标题：选项 1：CPU 加速\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>选项 1：CPU 加速\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw04.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=GlFrbaO%2F5Bi%2FMSEC9SeJoeyyVPY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>虽然作业要求在 CPU 上实现，但 CPU 推理性能较差，可通过以下方式优化：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>SIMD 指令\u003C\u002Fstrong>：使用向量化指令并行处理多个数据\u003C\u002Fli>\n\u003Cli>\u003Cstrong>OpenMP 并行\u003C\u002Fstrong>：通过\u003Ccode>#pragma omp parallel for\u003C\u002Fcode>实现循环并行\u003C\u002Fli>\n\u003Cli>\u003Cstrong>第三方库\u003C\u002Fstrong>：Eigen、OpenBLAS、MKL 等数学库\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"选项-2-cuda-类-cuda-加速\">\u003Ca class=\"anchor\" href=\"#选项-2-cuda-类-cuda-加速\" aria-label=\"跳转到标题：选项 2：CUDA、类 CUDA 加速\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>选项 2：CUDA、类 CUDA 加速\u003C\u002Fh3>\u003Cp>项目要求至少两个硬件平台：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>天数 GPU\u003C\u002Fstrong>：类 CUDA 架构，接口命名差异较低\u003C\u002Fli>\n\u003Cli>\u003Cstrong>沐曦 GPU\u003C\u002Fstrong>：类 CUDA 架构，接口命名略有差异\u003C\u002Fli>\n\u003Cli>\u003Cstrong>摩尔 GPU\u003C\u002Fstrong>：类 CUDA 架构，接口命名略有差异\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cstrong>国产平台优势\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>战略意义\u003C\u002Fstrong>：算力是重要的战略资源\u003C\u002Fli>\n\u003Cli>\u003Cstrong>技术兼容\u003C\u002Fstrong>：类 CUDA 架构降低适配成本\u003C\u002Fli>\n\u003Cli>\u003Cstrong>生态支持\u003C\u002Fstrong>：多家厂商已上市，生态日趋成熟\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"选项-3-实现聊天机器人\">\u003Ca class=\"anchor\" href=\"#选项-3-实现聊天机器人\" aria-label=\"跳转到标题：选项 3：实现聊天机器人\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>选项 3：实现聊天机器人\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw05.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ofMmLjhCm1PAbcTVweQdVElu%2BrA%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>实现一个功能完整的聊天机器人：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>随机采样\u003C\u002Fstrong>：支持 Top-K 和 Top-P 采样策略\u003C\u002Fli>\n\u003Cli>\u003Cstrong>HTTP 服务器\u003C\u002Fstrong>：支持 OpenAI Chat-Completion API\u003C\u002Fli>\n\u003Cli>\u003Cstrong>流式输出\u003C\u002Fstrong>：实现实时响应\u003C\u002Fli>\n\u003Cli>\u003Cstrong>会话管理\u003C\u002Fstrong>：支持 KV Cache 缓存和历史对话编辑\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"选项-4-5-6\">\u003Ca class=\"anchor\" href=\"#选项-4-5-6\" aria-label=\"跳转到标题：选项 4、5、6\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>选项 4、5、6\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>多用户推理\u003C\u002Fstrong>：需要先完成 3，算子需要支持 batch\u003C\u002Fli>\n\u003Cli>\u003Cstrong>分布式推理\u003C\u002Fstrong>：引入张量并行，使用 nccl、mccl、hccl 等通信库\u003C\u002Fli>\n\u003Cli>\u003Cstrong>支持新模型\u003C\u002Fstrong>：适配架构差异较大的新模型\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"实际工程案例\">\u003Ca class=\"anchor\" href=\"#实际工程案例\" aria-label=\"跳转到标题：实际工程案例\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>实际工程案例\u003C\u002Fh2>\u003Ch3 id=\"基础库\">\u003Ca class=\"anchor\" href=\"#基础库\" aria-label=\"跳转到标题：基础库\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>基础库\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw06.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qOOGIPdWfVFFllF176egslpF7OU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>运行时：infinirt\u003C\u002Fli>\n\u003Cli>通信库：infiniccl\u003C\u002Fli>\n\u003Cli>算子库：infiniop\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"运行时库\">\u003Ca class=\"anchor\" href=\"#运行时库\" aria-label=\"跳转到标题：运行时库\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>运行时库\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw07.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=T9KX6pWfOmtdJEJ56qYoL%2FxLqxo%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw08.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=NXPGRmqVInYZwS5dxA4XhLcBZdk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"推理框架\">\u003Ca class=\"anchor\" href=\"#推理框架\" aria-label=\"跳转到标题：推理框架\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>推理框架\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw09.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=zkD3lBknfQRB4JfJRxWewKW7ePY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_52_zw10.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=aELMTz5pZE%2FChqDhfoO0d8ei%2Ff8%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"总结\">\u003Ca class=\"anchor\" href=\"#总结\" aria-label=\"跳转到标题：总结\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>总结\u003C\u002Fh2>\u003Cp>InfiniLM 不仅是一个学习大模型推理系统的优秀项目，更是推动国产 AI 芯片生态建设的重要工具。通过完整的工程实践，可以深入理解大模型推理的各个环节，同时为国产化部署积累宝贵经验。\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_kcb.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=WE6ZvjevfVWwBzWNiOLG517R7Kc%3D\" alt=\"2025冬季训练营课程表\">\u003C\u002Fp>\n\u003Ch3 id=\"学习贴士\">\u003Ca class=\"anchor\" href=\"#学习贴士\" aria-label=\"跳转到标题：💡 学习贴士\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>💡 学习贴士\u003C\u002Fh3>\u003Cp>更多细节及完整课程内容，请观看直播或查看课程回放。\u003C\u002Fp>\n\u003Cp>链接：\u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\">https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\u003C\u002Fa>\u003C\u002Fp>\n\u003Ch3 id=\"训练营报名持续进行中\">\u003Ca class=\"anchor\" href=\"#训练营报名持续进行中\" aria-label=\"跳转到标题：📚 训练营报名持续进行中\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📚 训练营报名持续进行中\u003C\u002Fh3>\u003Cp>扫码报名与加入群聊，或点击 \u003Cstrong>「阅读原文」\u003C\u002Fstrong> 直达官网报名\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_ewm.jpg?Expires=1792752821&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=7X9%2Bd0L8rZJpZVU8z9o6IgBjCBo%3D\" alt=\"\">\u003C\u002Fp>\n",[128,131,133,135,137,141,144,147,149,151,153,156,159,162,164,167,170,173,176,178,180,182,184,186,189],{"id":129,"text":130,"level":110},"infinilm-技术架构演进","InfiniLM 技术架构演进",{"id":132,"text":132,"level":9},"框架版本迭代",{"id":134,"text":134,"level":9},"整体架构设计",{"id":136,"text":136,"level":9},"核心组件解析",{"id":138,"text":139,"level":140},"1-内存管理器-allocator","1. 内存管理器（Allocator）",4,{"id":142,"text":143,"level":140},"2-上下文管理-context","2. 上下文管理（Context）",{"id":145,"text":146,"level":140},"3-张量操作-tensor","3. 张量操作（Tensor）",{"id":148,"text":148,"level":110},"作业项目实战指南",{"id":150,"text":150,"level":9},"环境配置要求",{"id":152,"text":152,"level":9},"核心模块实现",{"id":154,"text":155,"level":140},"1-张量模块","1. 张量模块",{"id":157,"text":158,"level":140},"2-算子模块","2. 算子模块",{"id":160,"text":161,"level":140},"3-适配-qwen-1-5b-文本生成","3. 适配 Qwen-1.5B 文本生成",{"id":163,"text":163,"level":110},"项目进阶方向",{"id":165,"text":166,"level":9},"选项-1-cpu-加速","选项 1：CPU 加速",{"id":168,"text":169,"level":9},"选项-2-cuda-类-cuda-加速","选项 2：CUDA、类 CUDA 加速",{"id":171,"text":172,"level":9},"选项-3-实现聊天机器人","选项 3：实现聊天机器人",{"id":174,"text":175,"level":9},"选项-4-5-6","选项 4、5、6",{"id":177,"text":177,"level":110},"实际工程案例",{"id":179,"text":179,"level":9},"基础库",{"id":181,"text":181,"level":9},"运行时库",{"id":183,"text":183,"level":9},"推理框架",{"id":185,"text":185,"level":110},"总结",{"id":187,"text":188,"level":9},"学习贴士","💡 学习贴士",{"id":190,"text":191,"level":9},"训练营报名持续进行中","📚 训练营报名持续进行中"]