[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-10":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tqXtkjDVEuQBnsL07LARCfQJvdE%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=tM28gi%2FKPywJvel7AqVcxFGnKTg%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=RSwSsL0Rw0AFxM%2Bz65pGHzs2YLw%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":125},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":117,"canonicalPath":118,"id":119,"contentType":120,"prevArticle":121},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_10_fm.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lX4rp0gHfXeek9z%2FvkFPopZJCfU%3D","InfiniTensor,冬季训练营,CPU并行编程,性能优化,入门导论","面向 CPU 并行编程入门，介绍 CPU 性能优化导论与常见优化策略。","2026-10-22 20:38:11",2,"InfiniTensor冬季训练营CPU并行编程第一课《CPU性能优化导论》","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_10_zw01.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=S9aCH6DO7lAG863b1vA8NBKxKaU%3D)\r\n\r\n2026 年 1 月 13 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营 CPU 并行编程系列第一课《CPU 性能优化导论》正式开讲。\r\n\r\n本节课从 CPU 性能瓶颈出发，系统介绍缓存优化、并行计算、量化技术等核心优化策略，为大模型的 CPU 端部署提供实用指导。\r\n\r\n### 为什么需要 CPU 推理？\r\n\r\n#### 1. 硬件资源限制\r\n- **GPU 部署成本高**：不仅硬件价格昂贵，功耗也很大\r\n- **基础设施现状**：大量现有服务器集群仍以 CPU 架构为主\r\n- **资源利旧需求**：不能因 AI 应用而废弃现有 CPU 基础设施\r\n\r\n#### 2. 应用场景需求\r\n- **私有化部署**：政企单位对数据安全和保密要求高\r\n- **边缘计算**：端侧 AI 设备往往没有专用 GPU\r\n- **成本敏感场景**：个人用户和中小企业难以承担 GPU 成本\r\n\r\n💡CPU 推理不是要替代 GPU ，而是作为重要的补充方案，特别适用于对延迟要求不高但对私有化定制要求较高的场景。\r\n\r\n### CPU 性能瓶颈：计算密集 vs I\u002FO密集\r\n\r\n理解性能瓶颈是优化的前提。CPU 任务通常分为两类：\r\n\r\n#### 1. 计算密集型\r\n- **瓶颈**：计算单元的最大计算能力\r\n- **影响因素**：CPU 频率、核心数量、指令集支持\r\n- **典型任务**：大规模矩阵乘法\r\n\r\n#### 2. I\u002FO 密集型\r\n- **瓶颈**：内存系统的理论最大带宽\r\n- **影响因素**：内存类型 (DDR 4\u002FDDR 5)、通道数 (单\u002F双通道)\r\n- **典型表现**：内存带宽成为性能天花板\r\n\r\n### CPU架构特性：速度差异的巨大鸿沟\r\n\r\n#### 1. 速度层级\r\n- **CPU 执行速度**：极快（纳秒级）\r\n- **内存访问速度**：相对较慢\r\n\r\n#### 2. 缓存架构\r\n为弥合速度差距，现代 CPU 采用多级缓存架构：\r\n- **L1 缓存**：最快，容量最小（几十 KB）\r\n- **L2 缓存**：中等速度，中等容量（几百 KB 到几 MB）\r\n- **L3 缓存**：相对较慢，容量最大（几十 MB）\r\n\r\n💡**CPU 很快，内存很慢**。优化的关键在于减少内存直接访问，充分利用缓存。\r\n\r\n### 缓存优化：局部性原理的应用\r\n\r\n#### 1. 局部性原理\r\nCPU 在读取数据时，会预取相邻的数据块到缓存中。这意味着：\r\n- **时间局部性**：刚访问的数据很可能再次被访问\r\n- **空间局部性**：相邻的数据很可能被连续访问\r\n\r\n#### 2. 内存存储格式\r\n矩阵在内存中的存储方式直接影响缓存命中率：\r\n- **行主序 (Row-major)**：同一行的元素在内存中连续存储\r\n- **列主序 (Column-major)**：同一列的元素在内存中连续存储\r\n\r\n#### 3. 循环优化示例\r\n通过简单的循环顺序调整，可获得数倍的性能提升。考虑矩阵乘法 `C = A × B` 的三层循环：\r\n\r\n**缓存不友好版本**：\r\n```cpp\r\nfor (int i = 0; i \u003C M; i++) {\r\n    for (int j = 0; j \u003C N; j++) {\r\n        for (int k = 0; k \u003C K; k++) {\r\n            C[i][j] += A[i][k] * B[k][j]; \u002F\u002F B[k][j]访问不连续\r\n        }\r\n    }\r\n}\r\n```\r\n\r\n**缓存友好版本**：\r\n```cpp\r\nfor (int i = 0; i \u003C M; i++) {\r\n    for (int k = 0; k \u003C K; k++) {\r\n        for (int j = 0; j \u003C N; j++) {\r\n            C[i][j] += A[i][k] * B[k][j]; \u002F\u002F B[k][j]和C[i][j]访问连续\r\n        }\r\n    }\r\n}\r\n```\r\n\r\n### 并行计算：从 SISD 到 SIMD\r\n\r\n#### 1. Flynn 分类法\r\n根据指令和数据维度，计算架构可分为四类：\r\n- **SISD**：单指令单数据（传统串行）\r\n- **SIMD**：单指令多数据（向量化）\r\n- **MIMD**：多指令多数据（多线程）\r\n- **MISD**：多指令单数据（很少使用）\r\n\r\n#### 2. SIMD向量化\r\n现代 CPU 支持 SIMD 指令集，可同时处理多个数据：\r\n- **x86 架构**：AVX 2(256位)、AVX-512(512位)\r\n- **ARM 架构**：Neon 指令集\r\n\r\n**向量化示例**：\r\n```cpp\r\n\u002F\u002F 传统串行：4次加法指令\r\nfor (int i = 0; i \u003C 4; i++) {\r\n    c[i] = a[i] + b[i];\r\n}\r\n\r\n\u002F\u002F SIMD向量化：1次加法指令\r\n__m128 va = _mm_load_ps(a);\r\n__m128 vb = _mm_load_ps(b);\r\n__m128 vc = _mm_add_ps(va, vb);\r\n_mm_store_ps(c, vc);\r\n```\r\n\r\n#### 3. 多线程并行\r\n利用 CPU 多核特性，将任务分配给多个线程：\r\n- **任务划分**：矩阵乘法可按行\u002F列划分\r\n- **线程数量**：通常设置为物理核心数\r\n\r\n### 同步与锁：并行编程的挑战\r\n\r\n#### 1. 互斥锁机制\r\n当多个线程访问共享数据时，需要同步机制：\r\n```cpp\r\nstd::mutex mtx;\r\nmtx.lock();\r\n\u002F\u002F 访问共享数据\r\nmtx.unlock();\r\n```\r\n\r\n#### 2. 性能开销\r\n- **锁操作开销**：加锁\u002F解锁本身消耗 CPU 周期\r\n- **线程阻塞**：等待锁的线程处于空转状态\r\n- **适用场景**：仅适用于大块数据保护，不适合细粒度操作\r\n\r\n#### 3.优化策略：异步线程池\r\n- **预创建线程**：避免频繁创建\u002F销毁线程的开销\r\n- **任务队列**：将计算任务放入队列，线程从队列取任务\r\n- **无锁设计**：通过任务划分避免共享数据竞争\r\n\r\n### 分块优化\u003Cbr>(Blocked Matrix Multiplication)\r\n\r\n针对大矩阵乘法，采用分块策略充分利用多级缓存：\r\n\r\n#### 1. 分块原理\r\n- 将大矩阵划分为小块\r\n- 每个小块的大小匹配 L1\u002FL2\u002FL3 缓存容量\r\n- 按层次逐级加载数据到各级缓存\r\n\r\n#### 2. 执行流程\r\n1. 将大块数据加载到 L3 缓存\r\n2. 将中等块数据加载到 L2 缓存\r\n3. 将小块数据加载到 L1 缓存\r\n4. 在 L1 缓存中完成内层循环计算\r\n5. 逐级向上更新结果\r\n\r\n💡大幅减少内存访问次数，提高缓存命中率。\r\n\r\n### 模型量化：精度与效率的平衡\r\n####  1. 量化原理\r\n用低精度数值表示高精度权重，减少存储和计算开销：\r\n- **FP32 → INT8**：存储空间减少 75%\r\n- **精度损失可控**：大模型对中间精度要求不高\r\n\r\n#### 2. 常见量化格式\r\n- **FP16\u002FBF16**：16位浮点数\r\n- **INT8\u002FINT4**：8位\u002F4位整数\r\n- **混合精度**：权重和激活值采用不同精度\r\n\r\n#### 3. 静态量化 vs 动态量化\r\n- **静态量化**：推理前预先量化权重\r\n- **动态量化**：推理时实时量化（增加计算开销）\r\n\r\n### 系统级优化：NUMA 与内存对齐\r\n\r\n#### 1. NUMA 优化\r\n在多 CPU 插槽的服务器上：\r\n- **问题**：跨 CPU 访问内存延迟高\r\n- **解决方案**：将数据和计算任务绑定到同一 CPU 核心\r\n\r\n#### 2. 内存对齐\r\n- **原理**：CPU 按固定大小块读取内存\r\n- **问题**：未对齐的数据跨越内存块边界，需要多次读取\r\n- **解决方案**：确保数据结构按内存块边界对齐\r\n\r\n### 工程实践建议\r\n\r\n#### 1. 使用优化库\r\n不要重复造轮子，优先使用成熟的优化库：\r\n- **Intel oneDNN**：针对 Intel CPU 优化的深度学习库\r\n- **OpenBLAS**：高性能 BLAS 库\r\n- **TVM**：端到端深度学习编译器\r\n\r\n#### 2. 性能分析工具\r\n- **perf**：Linux 性能分析工具\r\n- **VTune**：Intel 性能分析工具\r\n- **自定义计时**：精确测量各阶段耗时\r\n\r\n### 总结\r\n\r\nCPU 性能优化是一个系统工程，需要从算法、数据结构、并行策略、硬件特性等多个维度综合考虑。本节课系统介绍了缓存优化、并行计算、量化技术等核心优化策略，为后续 CPU 并行编程课程奠定理论基础。\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw6.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=epXM94790JRyVZK5KPiIf95EZZQ%3D)\r\n\r\n\r\n### 💡 学习贴士\r\n更多细节及完整课程内容，请观看直播或查看课程回放。\r\n\r\n链接：https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\r\n\r\n### 📚 训练营报名持续进行中\r\n扫码报名与加入群聊，或点击 **「阅读原文」** 直达官网报名\r\n\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw7.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=T6W1BlHdoBa2bd0P%2B0OABUI5sTc%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-9","study-9","InfiniTensor冬季训练营AI编译器方向第一课《AI编译器概述》",99,"\u002Fstudy-material\u002Fstudy-10","study-10","markdown",{"publishTime":7,"createTime":109,"canonicalPath":122,"id":123,"title":124},"\u002Fstudy-material\u002Fstudy-11","study-11","InfiniTensor 冬季训练营训练系统第一课《训练基础介绍》",{"htmlContent":126,"headings":127},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_10_zw01.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=S9aCH6DO7lAG863b1vA8NBKxKaU%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>2026 年 1 月 13 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营 CPU 并行编程系列第一课《CPU 性能优化导论》正式开讲。\u003C\u002Fp>\n\u003Cp>本节课从 CPU 性能瓶颈出发，系统介绍缓存优化、并行计算、量化技术等核心优化策略，为大模型的 CPU 端部署提供实用指导。\u003C\u002Fp>\n\u003Ch3 id=\"为什么需要-cpu-推理\">\u003Ca class=\"anchor\" href=\"#为什么需要-cpu-推理\" aria-label=\"跳转到标题：为什么需要 CPU 推理？\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>为什么需要 CPU 推理？\u003C\u002Fh3>\u003Ch4 id=\"1-硬件资源限制\">\u003Ca class=\"anchor\" href=\"#1-硬件资源限制\" aria-label=\"跳转到标题：1. 硬件资源限制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 硬件资源限制\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>GPU 部署成本高\u003C\u002Fstrong>：不仅硬件价格昂贵，功耗也很大\u003C\u002Fli>\n\u003Cli>\u003Cstrong>基础设施现状\u003C\u002Fstrong>：大量现有服务器集群仍以 CPU 架构为主\u003C\u002Fli>\n\u003Cli>\u003Cstrong>资源利旧需求\u003C\u002Fstrong>：不能因 AI 应用而废弃现有 CPU 基础设施\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-应用场景需求\">\u003Ca class=\"anchor\" href=\"#2-应用场景需求\" aria-label=\"跳转到标题：2. 应用场景需求\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 应用场景需求\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>私有化部署\u003C\u002Fstrong>：政企单位对数据安全和保密要求高\u003C\u002Fli>\n\u003Cli>\u003Cstrong>边缘计算\u003C\u002Fstrong>：端侧 AI 设备往往没有专用 GPU\u003C\u002Fli>\n\u003Cli>\u003Cstrong>成本敏感场景\u003C\u002Fstrong>：个人用户和中小企业难以承担 GPU 成本\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>💡CPU 推理不是要替代 GPU ，而是作为重要的补充方案，特别适用于对延迟要求不高但对私有化定制要求较高的场景。\u003C\u002Fp>\n\u003Ch3 id=\"cpu-性能瓶颈-计算密集-vs-i-o密集\">\u003Ca class=\"anchor\" href=\"#cpu-性能瓶颈-计算密集-vs-i-o密集\" aria-label=\"跳转到标题：CPU 性能瓶颈：计算密集 vs I\u002FO密集\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>CPU 性能瓶颈：计算密集 vs I\u002FO密集\u003C\u002Fh3>\u003Cp>理解性能瓶颈是优化的前提。CPU 任务通常分为两类：\u003C\u002Fp>\n\u003Ch4 id=\"1-计算密集型\">\u003Ca class=\"anchor\" href=\"#1-计算密集型\" aria-label=\"跳转到标题：1. 计算密集型\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 计算密集型\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>瓶颈\u003C\u002Fstrong>：计算单元的最大计算能力\u003C\u002Fli>\n\u003Cli>\u003Cstrong>影响因素\u003C\u002Fstrong>：CPU 频率、核心数量、指令集支持\u003C\u002Fli>\n\u003Cli>\u003Cstrong>典型任务\u003C\u002Fstrong>：大规模矩阵乘法\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-i-o-密集型\">\u003Ca class=\"anchor\" href=\"#2-i-o-密集型\" aria-label=\"跳转到标题：2. I\u002FO 密集型\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. I\u002FO 密集型\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>瓶颈\u003C\u002Fstrong>：内存系统的理论最大带宽\u003C\u002Fli>\n\u003Cli>\u003Cstrong>影响因素\u003C\u002Fstrong>：内存类型 (DDR 4\u002FDDR 5)、通道数 (单\u002F双通道)\u003C\u002Fli>\n\u003Cli>\u003Cstrong>典型表现\u003C\u002Fstrong>：内存带宽成为性能天花板\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"cpu架构特性-速度差异的巨大鸿沟\">\u003Ca class=\"anchor\" href=\"#cpu架构特性-速度差异的巨大鸿沟\" aria-label=\"跳转到标题：CPU架构特性：速度差异的巨大鸿沟\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>CPU架构特性：速度差异的巨大鸿沟\u003C\u002Fh3>\u003Ch4 id=\"1-速度层级\">\u003Ca class=\"anchor\" href=\"#1-速度层级\" aria-label=\"跳转到标题：1. 速度层级\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 速度层级\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>CPU 执行速度\u003C\u002Fstrong>：极快（纳秒级）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>内存访问速度\u003C\u002Fstrong>：相对较慢\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-缓存架构\">\u003Ca class=\"anchor\" href=\"#2-缓存架构\" aria-label=\"跳转到标题：2. 缓存架构\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 缓存架构\u003C\u002Fh4>\u003Cp>为弥合速度差距，现代 CPU 采用多级缓存架构：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>L1 缓存\u003C\u002Fstrong>：最快，容量最小（几十 KB）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>L2 缓存\u003C\u002Fstrong>：中等速度，中等容量（几百 KB 到几 MB）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>L3 缓存\u003C\u002Fstrong>：相对较慢，容量最大（几十 MB）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>💡\u003Cstrong>CPU 很快，内存很慢\u003C\u002Fstrong>。优化的关键在于减少内存直接访问，充分利用缓存。\u003C\u002Fp>\n\u003Ch3 id=\"缓存优化-局部性原理的应用\">\u003Ca class=\"anchor\" href=\"#缓存优化-局部性原理的应用\" aria-label=\"跳转到标题：缓存优化：局部性原理的应用\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>缓存优化：局部性原理的应用\u003C\u002Fh3>\u003Ch4 id=\"1-局部性原理\">\u003Ca class=\"anchor\" href=\"#1-局部性原理\" aria-label=\"跳转到标题：1. 局部性原理\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 局部性原理\u003C\u002Fh4>\u003Cp>CPU 在读取数据时，会预取相邻的数据块到缓存中。这意味着：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>时间局部性\u003C\u002Fstrong>：刚访问的数据很可能再次被访问\u003C\u002Fli>\n\u003Cli>\u003Cstrong>空间局部性\u003C\u002Fstrong>：相邻的数据很可能被连续访问\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-内存存储格式\">\u003Ca class=\"anchor\" href=\"#2-内存存储格式\" aria-label=\"跳转到标题：2. 内存存储格式\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 内存存储格式\u003C\u002Fh4>\u003Cp>矩阵在内存中的存储方式直接影响缓存命中率：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>行主序 (Row-major)\u003C\u002Fstrong>：同一行的元素在内存中连续存储\u003C\u002Fli>\n\u003Cli>\u003Cstrong>列主序 (Column-major)\u003C\u002Fstrong>：同一列的元素在内存中连续存储\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-循环优化示例\">\u003Ca class=\"anchor\" href=\"#3-循环优化示例\" aria-label=\"跳转到标题：3. 循环优化示例\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 循环优化示例\u003C\u002Fh4>\u003Cp>通过简单的循环顺序调整，可获得数倍的性能提升。考虑矩阵乘法 \u003Ccode>C = A × B\u003C\u002Fcode> 的三层循环：\u003C\u002Fp>\n\u003Cp>\u003Cstrong>缓存不友好版本\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-cpp\">for (int i = 0; i < M; i++) {\n    for (int j = 0; j < N; j++) {\n        for (int k = 0; k < K; k++) {\n            C[i][j] += A[i][k] * B[k][j]; \u002F\u002F B[k][j]访问不连续\n        }\n    }\n}\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>\u003Cstrong>缓存友好版本\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-cpp\">for (int i = 0; i < M; i++) {\n    for (int k = 0; k < K; k++) {\n        for (int j = 0; j < N; j++) {\n            C[i][j] += A[i][k] * B[k][j]; \u002F\u002F B[k][j]和C[i][j]访问连续\n        }\n    }\n}\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch3 id=\"并行计算-从-sisd-到-simd\">\u003Ca class=\"anchor\" href=\"#并行计算-从-sisd-到-simd\" aria-label=\"跳转到标题：并行计算：从 SISD 到 SIMD\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>并行计算：从 SISD 到 SIMD\u003C\u002Fh3>\u003Ch4 id=\"1-flynn-分类法\">\u003Ca class=\"anchor\" href=\"#1-flynn-分类法\" aria-label=\"跳转到标题：1. Flynn 分类法\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. Flynn 分类法\u003C\u002Fh4>\u003Cp>根据指令和数据维度，计算架构可分为四类：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>SISD\u003C\u002Fstrong>：单指令单数据（传统串行）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>SIMD\u003C\u002Fstrong>：单指令多数据（向量化）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>MIMD\u003C\u002Fstrong>：多指令多数据（多线程）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>MISD\u003C\u002Fstrong>：多指令单数据（很少使用）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-simd向量化\">\u003Ca class=\"anchor\" href=\"#2-simd向量化\" aria-label=\"跳转到标题：2. SIMD向量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. SIMD向量化\u003C\u002Fh4>\u003Cp>现代 CPU 支持 SIMD 指令集，可同时处理多个数据：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>x86 架构\u003C\u002Fstrong>：AVX 2(256位)、AVX-512(512位)\u003C\u002Fli>\n\u003Cli>\u003Cstrong>ARM 架构\u003C\u002Fstrong>：Neon 指令集\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cstrong>向量化示例\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-cpp\">\u002F\u002F 传统串行：4次加法指令\nfor (int i = 0; i < 4; i++) {\n    c[i] = a[i] + b[i];\n}\n\n\u002F\u002F SIMD向量化：1次加法指令\n__m128 va = _mm_load_ps(a);\n__m128 vb = _mm_load_ps(b);\n__m128 vc = _mm_add_ps(va, vb);\n_mm_store_ps(c, vc);\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch4 id=\"3-多线程并行\">\u003Ca class=\"anchor\" href=\"#3-多线程并行\" aria-label=\"跳转到标题：3. 多线程并行\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 多线程并行\u003C\u002Fh4>\u003Cp>利用 CPU 多核特性，将任务分配给多个线程：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>任务划分\u003C\u002Fstrong>：矩阵乘法可按行\u002F列划分\u003C\u002Fli>\n\u003Cli>\u003Cstrong>线程数量\u003C\u002Fstrong>：通常设置为物理核心数\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"同步与锁-并行编程的挑战\">\u003Ca class=\"anchor\" href=\"#同步与锁-并行编程的挑战\" aria-label=\"跳转到标题：同步与锁：并行编程的挑战\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>同步与锁：并行编程的挑战\u003C\u002Fh3>\u003Ch4 id=\"1-互斥锁机制\">\u003Ca class=\"anchor\" href=\"#1-互斥锁机制\" aria-label=\"跳转到标题：1. 互斥锁机制\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 互斥锁机制\u003C\u002Fh4>\u003Cp>当多个线程访问共享数据时，需要同步机制：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-cpp\">std::mutex mtx;\nmtx.lock();\n\u002F\u002F 访问共享数据\nmtx.unlock();\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Ch4 id=\"2-性能开销\">\u003Ca class=\"anchor\" href=\"#2-性能开销\" aria-label=\"跳转到标题：2. 性能开销\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 性能开销\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>锁操作开销\u003C\u002Fstrong>：加锁\u002F解锁本身消耗 CPU 周期\u003C\u002Fli>\n\u003Cli>\u003Cstrong>线程阻塞\u003C\u002Fstrong>：等待锁的线程处于空转状态\u003C\u002Fli>\n\u003Cli>\u003Cstrong>适用场景\u003C\u002Fstrong>：仅适用于大块数据保护，不适合细粒度操作\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-优化策略-异步线程池\">\u003Ca class=\"anchor\" href=\"#3-优化策略-异步线程池\" aria-label=\"跳转到标题：3.优化策略：异步线程池\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3.优化策略：异步线程池\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>预创建线程\u003C\u002Fstrong>：避免频繁创建\u002F销毁线程的开销\u003C\u002Fli>\n\u003Cli>\u003Cstrong>任务队列\u003C\u002Fstrong>：将计算任务放入队列，线程从队列取任务\u003C\u002Fli>\n\u003Cli>\u003Cstrong>无锁设计\u003C\u002Fstrong>：通过任务划分避免共享数据竞争\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"分块优化-blocked-matrix-multiplication\">\u003Ca class=\"anchor\" href=\"#分块优化-blocked-matrix-multiplication\" aria-label=\"跳转到标题：分块优化(Blocked Matrix Multiplication)\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>分块优化\u003Cbr>(Blocked Matrix Multiplication)\u003C\u002Fh3>\u003Cp>针对大矩阵乘法，采用分块策略充分利用多级缓存：\u003C\u002Fp>\n\u003Ch4 id=\"1-分块原理\">\u003Ca class=\"anchor\" href=\"#1-分块原理\" aria-label=\"跳转到标题：1. 分块原理\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 分块原理\u003C\u002Fh4>\u003Cul>\n\u003Cli>将大矩阵划分为小块\u003C\u002Fli>\n\u003Cli>每个小块的大小匹配 L1\u002FL2\u002FL3 缓存容量\u003C\u002Fli>\n\u003Cli>按层次逐级加载数据到各级缓存\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-执行流程\">\u003Ca class=\"anchor\" href=\"#2-执行流程\" aria-label=\"跳转到标题：2. 执行流程\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 执行流程\u003C\u002Fh4>\u003Col>\n\u003Cli>将大块数据加载到 L3 缓存\u003C\u002Fli>\n\u003Cli>将中等块数据加载到 L2 缓存\u003C\u002Fli>\n\u003Cli>将小块数据加载到 L1 缓存\u003C\u002Fli>\n\u003Cli>在 L1 缓存中完成内层循环计算\u003C\u002Fli>\n\u003Cli>逐级向上更新结果\u003C\u002Fli>\n\u003C\u002Fol>\n\u003Cp>💡大幅减少内存访问次数，提高缓存命中率。\u003C\u002Fp>\n\u003Ch3 id=\"模型量化-精度与效率的平衡\">\u003Ca class=\"anchor\" href=\"#模型量化-精度与效率的平衡\" aria-label=\"跳转到标题：模型量化：精度与效率的平衡\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>模型量化：精度与效率的平衡\u003C\u002Fh3>\u003Ch4 id=\"1-量化原理\">\u003Ca class=\"anchor\" href=\"#1-量化原理\" aria-label=\"跳转到标题：1. 量化原理\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 量化原理\u003C\u002Fh4>\u003Cp>用低精度数值表示高精度权重，减少存储和计算开销：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>FP32 → INT8\u003C\u002Fstrong>：存储空间减少 75%\u003C\u002Fli>\n\u003Cli>\u003Cstrong>精度损失可控\u003C\u002Fstrong>：大模型对中间精度要求不高\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-常见量化格式\">\u003Ca class=\"anchor\" href=\"#2-常见量化格式\" aria-label=\"跳转到标题：2. 常见量化格式\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 常见量化格式\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>FP16\u002FBF16\u003C\u002Fstrong>：16位浮点数\u003C\u002Fli>\n\u003Cli>\u003Cstrong>INT8\u002FINT4\u003C\u002Fstrong>：8位\u002F4位整数\u003C\u002Fli>\n\u003Cli>\u003Cstrong>混合精度\u003C\u002Fstrong>：权重和激活值采用不同精度\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"3-静态量化-vs-动态量化\">\u003Ca class=\"anchor\" href=\"#3-静态量化-vs-动态量化\" aria-label=\"跳转到标题：3. 静态量化 vs 动态量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>3. 静态量化 vs 动态量化\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>静态量化\u003C\u002Fstrong>：推理前预先量化权重\u003C\u002Fli>\n\u003Cli>\u003Cstrong>动态量化\u003C\u002Fstrong>：推理时实时量化（增加计算开销）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"系统级优化-numa-与内存对齐\">\u003Ca class=\"anchor\" href=\"#系统级优化-numa-与内存对齐\" aria-label=\"跳转到标题：系统级优化：NUMA 与内存对齐\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>系统级优化：NUMA 与内存对齐\u003C\u002Fh3>\u003Ch4 id=\"1-numa-优化\">\u003Ca class=\"anchor\" href=\"#1-numa-优化\" aria-label=\"跳转到标题：1. NUMA 优化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. NUMA 优化\u003C\u002Fh4>\u003Cp>在多 CPU 插槽的服务器上：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>问题\u003C\u002Fstrong>：跨 CPU 访问内存延迟高\u003C\u002Fli>\n\u003Cli>\u003Cstrong>解决方案\u003C\u002Fstrong>：将数据和计算任务绑定到同一 CPU 核心\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-内存对齐\">\u003Ca class=\"anchor\" href=\"#2-内存对齐\" aria-label=\"跳转到标题：2. 内存对齐\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 内存对齐\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>原理\u003C\u002Fstrong>：CPU 按固定大小块读取内存\u003C\u002Fli>\n\u003Cli>\u003Cstrong>问题\u003C\u002Fstrong>：未对齐的数据跨越内存块边界，需要多次读取\u003C\u002Fli>\n\u003Cli>\u003Cstrong>解决方案\u003C\u002Fstrong>：确保数据结构按内存块边界对齐\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"工程实践建议\">\u003Ca class=\"anchor\" href=\"#工程实践建议\" aria-label=\"跳转到标题：工程实践建议\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>工程实践建议\u003C\u002Fh3>\u003Ch4 id=\"1-使用优化库\">\u003Ca class=\"anchor\" href=\"#1-使用优化库\" aria-label=\"跳转到标题：1. 使用优化库\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1. 使用优化库\u003C\u002Fh4>\u003Cp>不要重复造轮子，优先使用成熟的优化库：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Intel oneDNN\u003C\u002Fstrong>：针对 Intel CPU 优化的深度学习库\u003C\u002Fli>\n\u003Cli>\u003Cstrong>OpenBLAS\u003C\u002Fstrong>：高性能 BLAS 库\u003C\u002Fli>\n\u003Cli>\u003Cstrong>TVM\u003C\u002Fstrong>：端到端深度学习编译器\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"2-性能分析工具\">\u003Ca class=\"anchor\" href=\"#2-性能分析工具\" aria-label=\"跳转到标题：2. 性能分析工具\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 性能分析工具\u003C\u002Fh4>\u003Cul>\n\u003Cli>\u003Cstrong>perf\u003C\u002Fstrong>：Linux 性能分析工具\u003C\u002Fli>\n\u003Cli>\u003Cstrong>VTune\u003C\u002Fstrong>：Intel 性能分析工具\u003C\u002Fli>\n\u003Cli>\u003Cstrong>自定义计时\u003C\u002Fstrong>：精确测量各阶段耗时\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"总结\">\u003Ca class=\"anchor\" href=\"#总结\" aria-label=\"跳转到标题：总结\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>总结\u003C\u002Fh3>\u003Cp>CPU 性能优化是一个系统工程，需要从算法、数据结构、并行策略、硬件特性等多个维度综合考虑。本节课系统介绍了缓存优化、并行计算、量化技术等核心优化策略，为后续 CPU 并行编程课程奠定理论基础。\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw6.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=epXM94790JRyVZK5KPiIf95EZZQ%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"学习贴士\">\u003Ca class=\"anchor\" href=\"#学习贴士\" aria-label=\"跳转到标题：💡 学习贴士\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>💡 学习贴士\u003C\u002Fh3>\u003Cp>更多细节及完整课程内容，请观看直播或查看课程回放。\u003C\u002Fp>\n\u003Cp>链接：\u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\">https:\u002F\u002Fwww.infinitensor.com\u002Fcamp\u002Fwinter2025\u003C\u002Fa>\u003C\u002Fp>\n\u003Ch3 id=\"训练营报名持续进行中\">\u003Ca class=\"anchor\" href=\"#训练营报名持续进行中\" aria-label=\"跳转到标题：📚 训练营报名持续进行中\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📚 训练营报名持续进行中\u003C\u002Fh3>\u003Cp>扫码报名与加入群聊，或点击 \u003Cstrong>「阅读原文」\u003C\u002Fstrong> 直达官网报名\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_01_zw7.jpg?Expires=1792752826&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=T6W1BlHdoBa2bd0P%2B0OABUI5sTc%3D\" alt=\"\">\u003C\u002Fp>\n",[128,131,135,138,141,144,147,150,153,156,159,162,165,168,171,174,177,180,183,186,189,192,195,198,201,204,207,210,213,216,219,222,224,227,230,232,235],{"id":129,"text":130,"level":9},"为什么需要-cpu-推理","为什么需要 CPU 推理？",{"id":132,"text":133,"level":134},"1-硬件资源限制","1. 硬件资源限制",4,{"id":136,"text":137,"level":134},"2-应用场景需求","2. 应用场景需求",{"id":139,"text":140,"level":9},"cpu-性能瓶颈-计算密集-vs-i-o密集","CPU 性能瓶颈：计算密集 vs I\u002FO密集",{"id":142,"text":143,"level":134},"1-计算密集型","1. 计算密集型",{"id":145,"text":146,"level":134},"2-i-o-密集型","2. I\u002FO 密集型",{"id":148,"text":149,"level":9},"cpu架构特性-速度差异的巨大鸿沟","CPU架构特性：速度差异的巨大鸿沟",{"id":151,"text":152,"level":134},"1-速度层级","1. 速度层级",{"id":154,"text":155,"level":134},"2-缓存架构","2. 缓存架构",{"id":157,"text":158,"level":9},"缓存优化-局部性原理的应用","缓存优化：局部性原理的应用",{"id":160,"text":161,"level":134},"1-局部性原理","1. 局部性原理",{"id":163,"text":164,"level":134},"2-内存存储格式","2. 内存存储格式",{"id":166,"text":167,"level":134},"3-循环优化示例","3. 循环优化示例",{"id":169,"text":170,"level":9},"并行计算-从-sisd-到-simd","并行计算：从 SISD 到 SIMD",{"id":172,"text":173,"level":134},"1-flynn-分类法","1. Flynn 分类法",{"id":175,"text":176,"level":134},"2-simd向量化","2. SIMD向量化",{"id":178,"text":179,"level":134},"3-多线程并行","3. 多线程并行",{"id":181,"text":182,"level":9},"同步与锁-并行编程的挑战","同步与锁：并行编程的挑战",{"id":184,"text":185,"level":134},"1-互斥锁机制","1. 互斥锁机制",{"id":187,"text":188,"level":134},"2-性能开销","2. 性能开销",{"id":190,"text":191,"level":134},"3-优化策略-异步线程池","3.优化策略：异步线程池",{"id":193,"text":194,"level":9},"分块优化-blocked-matrix-multiplication","分块优化(Blocked Matrix Multiplication)",{"id":196,"text":197,"level":134},"1-分块原理","1. 分块原理",{"id":199,"text":200,"level":134},"2-执行流程","2. 执行流程",{"id":202,"text":203,"level":9},"模型量化-精度与效率的平衡","模型量化：精度与效率的平衡",{"id":205,"text":206,"level":134},"1-量化原理","1. 量化原理",{"id":208,"text":209,"level":134},"2-常见量化格式","2. 常见量化格式",{"id":211,"text":212,"level":134},"3-静态量化-vs-动态量化","3. 静态量化 vs 动态量化",{"id":214,"text":215,"level":9},"系统级优化-numa-与内存对齐","系统级优化：NUMA 与内存对齐",{"id":217,"text":218,"level":134},"1-numa-优化","1. NUMA 优化",{"id":220,"text":221,"level":134},"2-内存对齐","2. 内存对齐",{"id":223,"text":223,"level":9},"工程实践建议",{"id":225,"text":226,"level":134},"1-使用优化库","1. 使用优化库",{"id":228,"text":229,"level":134},"2-性能分析工具","2. 性能分析工具",{"id":231,"text":231,"level":9},"总结",{"id":233,"text":234,"level":9},"学习贴士","💡 学习贴士",{"id":236,"text":237,"level":9},"训练营报名持续进行中","📚 训练营报名持续进行中"]