[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"study-material-detail-study-105":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=hdwJslB9xKvXwblUCm6K%2F7WK08M%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=vmbFibCaeUQuhUDAqtxiz1%2BuTFA%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ljT2mPGQ2zRQVWPDQ3GbYn4x6Rw%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"currentItem":105,"processedData":124},{"img":106,"keywords":107,"treeType":44,"description":108,"showStatus":44,"updateTime":109,"type":110,"title":111,"content":112,"nextArticle":113,"createTime":109,"sortOrder":45,"canonicalPath":117,"id":118,"contentType":119,"prevArticle":120},"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_fm.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=OIn%2FCIklW%2BlxAFECO2Jb7n68M3Y%3D","大模型量化,FP8,量化感知训练,SageAttention,低精度计算","2026 夏季 InfiniTensor 训练营第四节大咖课由清华大学陈键飞教授带来《大模型量化》，详解低精度计算加速深度学习核心技术，涵盖 FP8\u002FFP4 量化原理、Microscaling 微缩放、SageAttention 及量化感知训练（QAT）等前沿方法。课程深入解析仅权重量化、KV Cache 压缩与低精度训练等实战场景。","2026-10-22 20:38:11",2,"2026 夏季 InfiniTensor 训练营大咖课 4：清华大学陈键飞副教授——《大模型量化》 ","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw01.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=6pABS51qTr1GOVIpKJp14QdYrvA%3D)\r\n\r\n随着大模型参数规模与应用需求持续增长，计算成本、显存占用与推理效率逐渐成为制约模型落地的重要因素。如何在有限的硬件资源下，实现更高效的计算，同时尽可能保持模型性能，成为大模型系统优化的重要课题。量化通过降低模型参数与计算的数值精度，在精度、效率与资源消耗之间寻找新的平衡，为大模型降本增效提供了重要技术路径。\r\n\r\n8 月 12 日晚，2026 夏季 InfiniTensor 大模型与人工智能系统训练营邀请**清华大学计算机系陈键飞副教授**，带来第四期大咖课 ——《大模型量化》。本次课程聚焦大模型量化技术，从基础理论、核心方法到前沿算法，解析低位宽计算如何助力大模型降本增效，为训练与推理带来新的技术路径。\r\n\r\n### 讲师介绍\r\n**陈键飞 | 清华大学计算机科学与技术系 副教授**\r\n- 2014 年获清华大学计算机学士学位，2019 年获博士学位。入选 2022 年度 CCF 青年人才发展计划，曾获中国计算机学会优秀博士学位论文奖、清华大学水木学者等荣誉。\r\n- 主要从事高效机器学习研究，重点关注低位宽与量化神经网络、深度学习优化、概率推理及大模型高效计算。近年来在训练后量化、量化感知训练、全量化训练以及 NVFP4 等低精度计算技术开展理论与算法研究。\r\n- 相关成果发表于 ICML、NeurIPS、ICLR 等国际会议，发布了 ActNN、WarpLDA、ZhuSuan、SageAttention 等多个开源软件。\r\n\r\n### 为什么要做低精度计算？\r\n#### 1.硬件算力的「精度天花板」\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw02.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EmEfq%2FgJQaiRVrq27Yi9ryITpn0%3D)\r\n\r\n**（1）MFU 瓶颈**：随着系统层面的并行、通信和算子融合等优化不断深入，进一步提升实际计算效率仍面临一定挑战\r\n**（2）位宽决定峰值算力**：同一款 GPU 上，不同精度对应的峰值算力差异巨大\r\n**（3）底层原理**：低位宽运算所需芯片面积更小，硬件厂商在同样面积内塞入了更多低精度计算单元\r\n\r\n#### 2. 存储层面的收益\r\n- 降低数值精度（如 FP16 → 1-bit），显著节省模型存储空间\r\n- 对推理速度和显存占用均有正面影响\r\n\r\n## 低精度数值格式基础\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw03.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=IaMUo2Gj7RS3w76sPzVbN%2Boav0w%3D)\r\n\r\n### IEEE 754 浮点数表示\r\n- 三部分构成：**符号位 + 指数位 + 尾数位**\r\n- 常见格式对比：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw04.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1kzRWaKBVQnB6PDLr%2BeUprY7kE8%3D)\r\n\r\n- 指数位与尾数位的分配决定了数值表示范围\r\n- 不同格式适用于不同数值分布的张量\r\n\r\n\r\n## 低精度张量\r\n### 直接类型转换的失败\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw05.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=LWuQYtUfeXHxjhxWqTUuJR3NugQ%3D)\r\n\r\n- **矩阵 A**（权重矩阵）：数值范围 ±0.001 → 强制转换后**全零**（下溢）\r\n- **矩阵 B**（激活矩阵）：数值范围 ±10000 → 强制转换后**严重溢出**（上溢）\r\n- **根本原因**：数值格式表示范围固定，而深度学习张量数值范围不固定\r\n\r\n### 缩放（Scaling）与量化\r\n\r\n- **缩放因子（Scale）**：以对称 INT8 量化为例，常可根据张量最大绝对值确定缩放因子，例如 scale = max(|x|) \u002F 127；实际量化方案还包括非对称量化以及 per-channel、per-group、per-token 等不同粒度的缩放方式。\r\n- **量化（Quantization）**：高精度 ÷ 缩放因子 → 归一化到 [-127, 127] → 取整\r\n- **反量化（Dequantization）**：低精度 × 缩放因子 → 恢复高精度\r\n- **本质**：低精度表示通常由低精度数值与 Scale 共同构成\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw06.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j%2Fe43NLiuq5D8gagPHYJcFlPk3Y%3D)\r\n\r\n### 低精度矩阵乘法\r\n- 原始：高精度矩阵 A × 高精度矩阵 B（慢）\r\n- 量化后：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw07.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=JTrbbFOcfE919JuhSh3d1zgX1aw%3D)\r\n\r\n\r\n## 大模型中的量化\r\n- 场景不同→瓶颈不同→量化不同\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw08.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qW4gfeAa74vlkdfXfm6iGUzxFoY%3D)\r\n\r\n### 训练后量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw09.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lZdlkj6ZPWQ6PCKUR%2FDTuk6I38o%3D)\r\n\r\n- 对于部分模型和场景，8-bit PTQ（如 FP8 或 INT8）通常能够在较小精度损失下实现部署，但具体效果需要结合模型、量化粒度、校准数据和目标硬件进行验证。\r\n- 量化误差可能在网络层间传播，并在部分模型和任务中造成累积或放大，因此需要通过逐层分析和端到端评测验证量化后的精度影响。\r\n\r\n### 离群值（Outlier）问题\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw10.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=f2bL2VIZFVZpcHP9PbuCAuHQ6Zw%3D)\r\n\r\n- 部分 LLM 激活中存在幅值显著高于其他元素的离群值。\r\n- 若采用由最大值决定的统一缩放因子，可能导致大量普通元素的量化分辨率不足，从而造成较大的量化误差。\r\n\r\n#### 解决方案 1.非均匀量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw11.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=WKLaQNQ4VjLO3gcGwjHLB%2FurGlY%3D)\r\n\r\n- 在小数值区域密集分布量化点，大数值区域稀疏分布\r\n- 浮点格式的可表示数值在不同数量级上的间隔并不均匀，因此对动态范围较大的张量通常具有一定优势；具体效果仍取决于张量分布和量化方案\r\n- 整数量化在硬件支持成熟、计算效率高的场景具有优势\r\n- **信息熵视角**：最优量化应使每种取值的元素数量相当，打满信息熵\r\n\r\n#### 解决方案 2. 细粒度缩放\r\n**（1）分块缩放**\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw12.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=N1heDVKLL5knSDQxF3MuoLRIzyA%3D)\r\n\r\n- 将矩阵切分为小块，每块独立计算缩放因子\r\n- 类比：航母的密闭舱设计，一块\"进水\"不影响全局\r\n\r\n**（2）微缩放**：\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw13.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Iiy%2BMRHcwuynQ0GtPfAITWgDwLk%3D)\r\n\r\n- 每 16～32 个元素组成一个量化块，并共享缩放因子，可显著降低局部离群值对量化精度的影响，在精度和额外 Scale 开销之间取得较好的平衡。\r\n\r\n#### 解决方案 3. 旋转\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw14.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=mli5W13hDdRRTDVDAuZYsybY580%3D)\r\n\r\n- 在矩阵乘法中插入正交矩阵\r\n- 使原本难量化的矩阵变得更容易量化\r\n- **代表方法**：\r\n  - **SmoothQuant**：P 取对角阵，平衡 Activation 和 Weight 的量化难度\r\n  - **哈达玛变换**：通过正交旋转重新分布不同维度上的数值，使异常值更加均匀地分散，从而降低量化难度\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw15.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iUuyuAa10BwZCd%2BB8eFRhbFvZDM%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw16.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=N6g2UpM7UUeNLrUPmfIzDjdrEAA%3D)\r\n\r\n\r\n## 典型应用场景\r\n### 仅权重量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw17.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=XzKcyScALQhJPyylizooruF2tyo%3D)\r\n\r\n- 将权重从 BF16 转为 NVFP4 \u002F INT4\r\n- 存储空间大幅缩减（如 1.6T 参数模型：BF16 需 3.2TB → FP4 仅需 800GB）\r\n- **加速解码（Decode）**：减少权重读取带来的 HBM 带宽压力，通常能够降低 Decode 阶段的计算\u002F访存开销并提升生成吞吐；对 TTFT 的改善则取决于具体模型、输入长度和硬件实现\r\n\r\n### 权重 + 激活量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw18.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=z0dpFXC7a4UAVVVgrPbi9ICF3R8%3D)\r\n\r\n- 权重和激活均量化为 FP8 \u002F FP4\r\n- 不仅加速 Decode，还能加速 **Prefill** 阶段\r\n\r\n### Attention 量化\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw19.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=hDiUPPw2SmlerFqp%2BRgV1GLZHzk%3D)\r\n\r\n- Attention = Q×K（矩阵乘）→ Softmax → P×V（矩阵乘）\r\n- **难点**：Softmax 对精度敏感\r\n- **解决方案**：SageAttention 系列（最新 SageAttention 3）\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw20.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Y%2BKztEe2Z20a00qq7z%2BQGDEySNc%3D)\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw21.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=J4l5JZlbA4oxJ3GiCOtozL1IA3I%3D)\r\n\r\n\r\n### KV Cache 量化\r\n- 随序列长度增长，KV Cache 显存需求成倍增加\r\n- 降低 KV Cache 比特数 → 成倍降低推理系统显存需求\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw22.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=P2WafokgnlmXg%2FBTIW5JHAZDISw%3D)\r\n\r\n\r\n## 低精度训练\r\n\r\n### 量化感知训练\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw23.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=cfuVIi6RMpfHDQnnaFfis%2BK5oSA%3D)\r\n\r\n- **核心思想**：训练时就让网络\"知道\"自己会被量化\r\n- 前向传播使用量化后的网络，优化量化网络的 Loss\r\n- 消除训推不一致\r\n\r\n### 训练加速：全量化训练 \u002F 混合精度训练\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw24.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0CMDL781OGDYlFjCgeljxevGREM%3D)\r\n\r\n- 前向传播 1 个矩阵乘法 + 反向传播 2 个矩阵乘法，全部低精度\r\n- **当前效果**：\r\n  - **FP8 训练**：验证了超大规模 FP8 混合精度训练的可行性和有效性，在合理的数值格式、量化策略和训练方案下能够保持良好的模型性能\r\n  - **FP4 全量化训练**：FP4 全量化训练对数值稳定性和训练精度要求更高，具体精度损失高度依赖模型、量化格式及训练策略；近年来基于 Microscaling 等技术的 FP4 训练已取得接近 FP8\u002FBF16 的结果。\r\n- 挑战：三个矩阵乘法均为低精度，精度控制难度显著提升\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw25.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=T%2FmF6ITOhqAXdxxUsOLV9%2B5oy%2FY%3D)\r\n\r\n\r\n\r\n## QA 精选答疑\r\n\r\n**Q1：大模型量化落地中，哪种位宽综合性价比最高？**\r\n**A：** 8-bit 基本在所有场景下都是安全且成熟的选择。4-bit 需分场景看待：权重量化可行（严肃应用建议配合量化感知训练）；Attention 量化在视频生成等特定场景可行；激活量化与 KV Cache 量化存在风险，需具体验证；训练中直接使用 4-bit 会有精度损失。\r\n\r\n**Q2：选择 FP8 还是 INT8，是否取决于硬件支持？**\r\n**A：** 是的。优先确认硬件是否支持 Microscaling，若不支持 Microscaling 通过其他技术弥补；若仅支持 INT8，同样可用上述技术，但需更精细地控制精度损失。\r\n\r\n**Q3：训练后量化和量化感知训练如何选择？**\r\n**A：** 二者是递进关系。始终先尝试训练后量化，它至少可作为 Baseline；若精度不满足需求，再考虑量化感知训练。注意量化感知训练门槛较高，需要额外的算力、数据，更适合有研发资源的大模型团队，学术研究者通常难以对大语言模型执行量化感知训练。\r\n\r\n**Q4：ActNN 这类开源量化工具上手门槛高吗？**\r\n**A：** ActNN 代码较老，直接套用意义不大，但其核心思想仍具参考价值。若确认瓶颈确实是激活显存占用且无法通过 Activation Checkpointing 或流水线并行解决，可借鉴其思路，借助 AI Coding Agent 快速实现适配当前负载的量化 Kernel。\r\n\r\n**Q5：低位宽计算未来有哪些潜力研究方向？**\r\n**A：** 两大分支：一是工程落地，弥合理论无精度损失与实际仍用高精度之间的 Gap，研究 4-bit 训练动力学及精度保持技术；二是算子-硬件协同设计（Co-Design），低精度矩阵乘法速度极快后，其他部分会成为新瓶颈的问题。\r\n\r\n**Q6：新格式（如 NVFP4）的硬件适配难点在哪？**\r\n**A：** 核心难点在于算力失衡。以 B300 为例，Tensor Core（NVFP4）算力是 CUDA Core 的约 200 倍，任何微小的地址计算、Scale 计算或类型转换指令都会成为瓶颈，抵消 Tensor Core 带来的性能收益，对 Kernel 编写提出极高要求。\r\n\r\n**Q7：量化压缩会影响模型的幻觉问题吗？**\r\n**A：** 会有影响，尤其是未经过全链路严格 QAT 的后训练量化模型。在复杂推理、长轨迹任务中，量化模型的性能下降会更明显。但使用 8-bit 量化通常不会出现此类问题。\r\n\r\n\r\n\r\n## 加入训练营\r\n📺**完整课程内容，请观看直播或查看课程回放：**\r\n\r\n**InfiniTensor 官网**： https:\u002F\u002Fwww.infinitensor.com\r\n\r\n**B站直播**： InfiniTensor 官方直播间\r\n\r\n**视频号直播**： InfiniTensor 视频号预约\r\n\r\n**答疑交流**： 训练营官方社群⬇️\r\n\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=anIksUJ0plIZy%2BhC0i7pz0T2%2FA4%3D)\r\n\r\n## 关注与交流\r\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j9Vsow07F8OgirV3VkJ4Rty6k7Q%3D)",{"publishTime":7,"createTime":109,"canonicalPath":114,"id":115,"title":116},"\u002Fstudy-material\u002Fstudy-104","study-104","2026 夏季 InfiniTensor 训练营大咖课 3：国防科技大学余杰老师 ——《人工智能时代操作系统的机遇与挑战》","\u002Fstudy-material\u002Fstudy-105","study-105","markdown",{"publishTime":7,"createTime":109,"canonicalPath":121,"id":122,"title":123},"\u002Fstudy-material\u002Fstudy-106","study-106","「多范式算子开发实战营」开营首讲：《九源软件栈核心技术与开源生态》 课程回顾",{"htmlContent":125,"headings":126},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw01.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=6pABS51qTr1GOVIpKJp14QdYrvA%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>随着大模型参数规模与应用需求持续增长，计算成本、显存占用与推理效率逐渐成为制约模型落地的重要因素。如何在有限的硬件资源下，实现更高效的计算，同时尽可能保持模型性能，成为大模型系统优化的重要课题。量化通过降低模型参数与计算的数值精度，在精度、效率与资源消耗之间寻找新的平衡，为大模型降本增效提供了重要技术路径。\u003C\u002Fp>\n\u003Cp>8 月 12 日晚，2026 夏季 InfiniTensor 大模型与人工智能系统训练营邀请\u003Cstrong>清华大学计算机系陈键飞副教授\u003C\u002Fstrong>，带来第四期大咖课 ——《大模型量化》。本次课程聚焦大模型量化技术，从基础理论、核心方法到前沿算法，解析低位宽计算如何助力大模型降本增效，为训练与推理带来新的技术路径。\u003C\u002Fp>\n\u003Ch3 id=\"讲师介绍\">\u003Ca class=\"anchor\" href=\"#讲师介绍\" aria-label=\"跳转到标题：讲师介绍\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>讲师介绍\u003C\u002Fh3>\u003Cp>\u003Cstrong>陈键飞 | 清华大学计算机科学与技术系 副教授\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cul>\n\u003Cli>2014 年获清华大学计算机学士学位，2019 年获博士学位。入选 2022 年度 CCF 青年人才发展计划，曾获中国计算机学会优秀博士学位论文奖、清华大学水木学者等荣誉。\u003C\u002Fli>\n\u003Cli>主要从事高效机器学习研究，重点关注低位宽与量化神经网络、深度学习优化、概率推理及大模型高效计算。近年来在训练后量化、量化感知训练、全量化训练以及 NVFP4 等低精度计算技术开展理论与算法研究。\u003C\u002Fli>\n\u003Cli>相关成果发表于 ICML、NeurIPS、ICLR 等国际会议，发布了 ActNN、WarpLDA、ZhuSuan、SageAttention 等多个开源软件。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"为什么要做低精度计算\">\u003Ca class=\"anchor\" href=\"#为什么要做低精度计算\" aria-label=\"跳转到标题：为什么要做低精度计算？\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>为什么要做低精度计算？\u003C\u002Fh3>\u003Ch4 id=\"1-硬件算力的-精度天花板\">\u003Ca class=\"anchor\" href=\"#1-硬件算力的-精度天花板\" aria-label=\"跳转到标题：1.硬件算力的「精度天花板」\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>1.硬件算力的「精度天花板」\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw02.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=EmEfq%2FgJQaiRVrq27Yi9ryITpn0%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cstrong>（1）MFU 瓶颈\u003C\u002Fstrong>：随着系统层面的并行、通信和算子融合等优化不断深入，进一步提升实际计算效率仍面临一定挑战\u003Cbr>\u003Cstrong>（2）位宽决定峰值算力\u003C\u002Fstrong>：同一款 GPU 上，不同精度对应的峰值算力差异巨大\u003Cbr>\u003Cstrong>（3）底层原理\u003C\u002Fstrong>：低位宽运算所需芯片面积更小，硬件厂商在同样面积内塞入了更多低精度计算单元\u003C\u002Fp>\n\u003Ch4 id=\"2-存储层面的收益\">\u003Ca class=\"anchor\" href=\"#2-存储层面的收益\" aria-label=\"跳转到标题：2. 存储层面的收益\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>2. 存储层面的收益\u003C\u002Fh4>\u003Cul>\n\u003Cli>降低数值精度（如 FP16 → 1-bit），显著节省模型存储空间\u003C\u002Fli>\n\u003Cli>对推理速度和显存占用均有正面影响\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"低精度数值格式基础\">\u003Ca class=\"anchor\" href=\"#低精度数值格式基础\" aria-label=\"跳转到标题：低精度数值格式基础\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>低精度数值格式基础\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw03.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=IaMUo2Gj7RS3w76sPzVbN%2Boav0w%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"ieee-754-浮点数表示\">\u003Ca class=\"anchor\" href=\"#ieee-754-浮点数表示\" aria-label=\"跳转到标题：IEEE 754 浮点数表示\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>IEEE 754 浮点数表示\u003C\u002Fh3>\u003Cul>\n\u003Cli>三部分构成：\u003Cstrong>符号位 + 指数位 + 尾数位\u003C\u002Fstrong>\u003C\u002Fli>\n\u003Cli>常见格式对比：\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw04.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=1kzRWaKBVQnB6PDLr%2BeUprY7kE8%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>指数位与尾数位的分配决定了数值表示范围\u003C\u002Fli>\n\u003Cli>不同格式适用于不同数值分布的张量\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"低精度张量\">\u003Ca class=\"anchor\" href=\"#低精度张量\" aria-label=\"跳转到标题：低精度张量\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>低精度张量\u003C\u002Fh2>\u003Ch3 id=\"直接类型转换的失败\">\u003Ca class=\"anchor\" href=\"#直接类型转换的失败\" aria-label=\"跳转到标题：直接类型转换的失败\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>直接类型转换的失败\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw05.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=LWuQYtUfeXHxjhxWqTUuJR3NugQ%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>矩阵 A\u003C\u002Fstrong>（权重矩阵）：数值范围 ±0.001 → 强制转换后\u003Cstrong>全零\u003C\u002Fstrong>（下溢）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>矩阵 B\u003C\u002Fstrong>（激活矩阵）：数值范围 ±10000 → 强制转换后\u003Cstrong>严重溢出\u003C\u002Fstrong>（上溢）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>根本原因\u003C\u002Fstrong>：数值格式表示范围固定，而深度学习张量数值范围不固定\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"缩放-scaling-与量化\">\u003Ca class=\"anchor\" href=\"#缩放-scaling-与量化\" aria-label=\"跳转到标题：缩放（Scaling）与量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>缩放（Scaling）与量化\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cstrong>缩放因子（Scale）\u003C\u002Fstrong>：以对称 INT8 量化为例，常可根据张量最大绝对值确定缩放因子，例如 scale = max(|x|) \u002F 127；实际量化方案还包括非对称量化以及 per-channel、per-group、per-token 等不同粒度的缩放方式。\u003C\u002Fli>\n\u003Cli>\u003Cstrong>量化（Quantization）\u003C\u002Fstrong>：高精度 ÷ 缩放因子 → 归一化到 [-127, 127] → 取整\u003C\u002Fli>\n\u003Cli>\u003Cstrong>反量化（Dequantization）\u003C\u002Fstrong>：低精度 × 缩放因子 → 恢复高精度\u003C\u002Fli>\n\u003Cli>\u003Cstrong>本质\u003C\u002Fstrong>：低精度表示通常由低精度数值与 Scale 共同构成\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw06.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j%2Fe43NLiuq5D8gagPHYJcFlPk3Y%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"低精度矩阵乘法\">\u003Ca class=\"anchor\" href=\"#低精度矩阵乘法\" aria-label=\"跳转到标题：低精度矩阵乘法\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>低精度矩阵乘法\u003C\u002Fh3>\u003Cul>\n\u003Cli>原始：高精度矩阵 A × 高精度矩阵 B（慢）\u003C\u002Fli>\n\u003Cli>量化后：\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw07.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=JTrbbFOcfE919JuhSh3d1zgX1aw%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"大模型中的量化\">\u003Ca class=\"anchor\" href=\"#大模型中的量化\" aria-label=\"跳转到标题：大模型中的量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>大模型中的量化\u003C\u002Fh2>\u003Cul>\n\u003Cli>场景不同→瓶颈不同→量化不同\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw08.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=qW4gfeAa74vlkdfXfm6iGUzxFoY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"训练后量化\">\u003Ca class=\"anchor\" href=\"#训练后量化\" aria-label=\"跳转到标题：训练后量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>训练后量化\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw09.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=lZdlkj6ZPWQ6PCKUR%2FDTuk6I38o%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>对于部分模型和场景，8-bit PTQ（如 FP8 或 INT8）通常能够在较小精度损失下实现部署，但具体效果需要结合模型、量化粒度、校准数据和目标硬件进行验证。\u003C\u002Fli>\n\u003Cli>量化误差可能在网络层间传播，并在部分模型和任务中造成累积或放大，因此需要通过逐层分析和端到端评测验证量化后的精度影响。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"离群值-outlier-问题\">\u003Ca class=\"anchor\" href=\"#离群值-outlier-问题\" aria-label=\"跳转到标题：离群值（Outlier）问题\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>离群值（Outlier）问题\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw10.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=f2bL2VIZFVZpcHP9PbuCAuHQ6Zw%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>部分 LLM 激活中存在幅值显著高于其他元素的离群值。\u003C\u002Fli>\n\u003Cli>若采用由最大值决定的统一缩放因子，可能导致大量普通元素的量化分辨率不足，从而造成较大的量化误差。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"解决方案-1-非均匀量化\">\u003Ca class=\"anchor\" href=\"#解决方案-1-非均匀量化\" aria-label=\"跳转到标题：解决方案 1.非均匀量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>解决方案 1.非均匀量化\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw11.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=WKLaQNQ4VjLO3gcGwjHLB%2FurGlY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>在小数值区域密集分布量化点，大数值区域稀疏分布\u003C\u002Fli>\n\u003Cli>浮点格式的可表示数值在不同数量级上的间隔并不均匀，因此对动态范围较大的张量通常具有一定优势；具体效果仍取决于张量分布和量化方案\u003C\u002Fli>\n\u003Cli>整数量化在硬件支持成熟、计算效率高的场景具有优势\u003C\u002Fli>\n\u003Cli>\u003Cstrong>信息熵视角\u003C\u002Fstrong>：最优量化应使每种取值的元素数量相当，打满信息熵\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"解决方案-2-细粒度缩放\">\u003Ca class=\"anchor\" href=\"#解决方案-2-细粒度缩放\" aria-label=\"跳转到标题：解决方案 2. 细粒度缩放\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>解决方案 2. 细粒度缩放\u003C\u002Fh4>\u003Cp>\u003Cstrong>（1）分块缩放\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw12.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=N1heDVKLL5knSDQxF3MuoLRIzyA%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>将矩阵切分为小块，每块独立计算缩放因子\u003C\u002Fli>\n\u003Cli>类比：航母的密闭舱设计，一块"进水"不影响全局\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cstrong>（2）微缩放\u003C\u002Fstrong>：\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw13.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Iiy%2BMRHcwuynQ0GtPfAITWgDwLk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>每 16～32 个元素组成一个量化块，并共享缩放因子，可显著降低局部离群值对量化精度的影响，在精度和额外 Scale 开销之间取得较好的平衡。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch4 id=\"解决方案-3-旋转\">\u003Ca class=\"anchor\" href=\"#解决方案-3-旋转\" aria-label=\"跳转到标题：解决方案 3. 旋转\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>解决方案 3. 旋转\u003C\u002Fh4>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw14.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=mli5W13hDdRRTDVDAuZYsybY580%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>在矩阵乘法中插入正交矩阵\u003C\u002Fli>\n\u003Cli>使原本难量化的矩阵变得更容易量化\u003C\u002Fli>\n\u003Cli>\u003Cstrong>代表方法\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>\u003Cstrong>SmoothQuant\u003C\u002Fstrong>：P 取对角阵，平衡 Activation 和 Weight 的量化难度\u003C\u002Fli>\n\u003Cli>\u003Cstrong>哈达玛变换\u003C\u002Fstrong>：通过正交旋转重新分布不同维度上的数值，使异常值更加均匀地分散，从而降低量化难度\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw15.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=iUuyuAa10BwZCd%2BB8eFRhbFvZDM%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw16.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=N6g2UpM7UUeNLrUPmfIzDjdrEAA%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"典型应用场景\">\u003Ca class=\"anchor\" href=\"#典型应用场景\" aria-label=\"跳转到标题：典型应用场景\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>典型应用场景\u003C\u002Fh2>\u003Ch3 id=\"仅权重量化\">\u003Ca class=\"anchor\" href=\"#仅权重量化\" aria-label=\"跳转到标题：仅权重量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>仅权重量化\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw17.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=XzKcyScALQhJPyylizooruF2tyo%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>将权重从 BF16 转为 NVFP4 \u002F INT4\u003C\u002Fli>\n\u003Cli>存储空间大幅缩减（如 1.6T 参数模型：BF16 需 3.2TB → FP4 仅需 800GB）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>加速解码（Decode）\u003C\u002Fstrong>：减少权重读取带来的 HBM 带宽压力，通常能够降低 Decode 阶段的计算\u002F访存开销并提升生成吞吐；对 TTFT 的改善则取决于具体模型、输入长度和硬件实现\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"权重-激活量化\">\u003Ca class=\"anchor\" href=\"#权重-激活量化\" aria-label=\"跳转到标题：权重 + 激活量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>权重 + 激活量化\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw18.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=z0dpFXC7a4UAVVVgrPbi9ICF3R8%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>权重和激活均量化为 FP8 \u002F FP4\u003C\u002Fli>\n\u003Cli>不仅加速 Decode，还能加速 \u003Cstrong>Prefill\u003C\u002Fstrong> 阶段\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"attention-量化\">\u003Ca class=\"anchor\" href=\"#attention-量化\" aria-label=\"跳转到标题：Attention 量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>Attention 量化\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw19.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=hDiUPPw2SmlerFqp%2BRgV1GLZHzk%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>Attention = Q×K（矩阵乘）→ Softmax → P×V（矩阵乘）\u003C\u002Fli>\n\u003Cli>\u003Cstrong>难点\u003C\u002Fstrong>：Softmax 对精度敏感\u003C\u002Fli>\n\u003Cli>\u003Cstrong>解决方案\u003C\u002Fstrong>：SageAttention 系列（最新 SageAttention 3）\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw20.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Y%2BKztEe2Z20a00qq7z%2BQGDEySNc%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw21.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=J4l5JZlbA4oxJ3GiCOtozL1IA3I%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch3 id=\"kv-cache-量化\">\u003Ca class=\"anchor\" href=\"#kv-cache-量化\" aria-label=\"跳转到标题：KV Cache 量化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>KV Cache 量化\u003C\u002Fh3>\u003Cul>\n\u003Cli>随序列长度增长，KV Cache 显存需求成倍增加\u003C\u002Fli>\n\u003Cli>降低 KV Cache 比特数 → 成倍降低推理系统显存需求\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw22.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=P2WafokgnlmXg%2FBTIW5JHAZDISw%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"低精度训练\">\u003Ca class=\"anchor\" href=\"#低精度训练\" aria-label=\"跳转到标题：低精度训练\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>低精度训练\u003C\u002Fh2>\u003Ch3 id=\"量化感知训练\">\u003Ca class=\"anchor\" href=\"#量化感知训练\" aria-label=\"跳转到标题：量化感知训练\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>量化感知训练\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw23.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=cfuVIi6RMpfHDQnnaFfis%2BK5oSA%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>核心思想\u003C\u002Fstrong>：训练时就让网络"知道"自己会被量化\u003C\u002Fli>\n\u003Cli>前向传播使用量化后的网络，优化量化网络的 Loss\u003C\u002Fli>\n\u003Cli>消除训推不一致\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"训练加速-全量化训练-混合精度训练\">\u003Ca class=\"anchor\" href=\"#训练加速-全量化训练-混合精度训练\" aria-label=\"跳转到标题：训练加速：全量化训练 \u002F 混合精度训练\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>训练加速：全量化训练 \u002F 混合精度训练\u003C\u002Fh3>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw24.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0CMDL781OGDYlFjCgeljxevGREM%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cul>\n\u003Cli>前向传播 1 个矩阵乘法 + 反向传播 2 个矩阵乘法，全部低精度\u003C\u002Fli>\n\u003Cli>\u003Cstrong>当前效果\u003C\u002Fstrong>：\u003Cul>\n\u003Cli>\u003Cstrong>FP8 训练\u003C\u002Fstrong>：验证了超大规模 FP8 混合精度训练的可行性和有效性，在合理的数值格式、量化策略和训练方案下能够保持良好的模型性能\u003C\u002Fli>\n\u003Cli>\u003Cstrong>FP4 全量化训练\u003C\u002Fstrong>：FP4 全量化训练对数值稳定性和训练精度要求更高，具体精度损失高度依赖模型、量化格式及训练策略；近年来基于 Microscaling 等技术的 FP4 训练已取得接近 FP8\u002FBF16 的结果。\u003C\u002Fli>\n\u003C\u002Ful>\n\u003C\u002Fli>\n\u003Cli>挑战：三个矩阵乘法均为低精度，精度控制难度显著提升\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002FKB_105_zw25.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=T%2FmF6ITOhqAXdxxUsOLV9%2B5oy%2FY%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"qa-精选答疑\">\u003Ca class=\"anchor\" href=\"#qa-精选答疑\" aria-label=\"跳转到标题：QA 精选答疑\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>QA 精选答疑\u003C\u002Fh2>\u003Cp>\u003Cstrong>Q1：大模型量化落地中，哪种位宽综合性价比最高？\u003C\u002Fstrong>\u003Cbr>\u003Cstrong>A：\u003C\u002Fstrong> 8-bit 基本在所有场景下都是安全且成熟的选择。4-bit 需分场景看待：权重量化可行（严肃应用建议配合量化感知训练）；Attention 量化在视频生成等特定场景可行；激活量化与 KV Cache 量化存在风险，需具体验证；训练中直接使用 4-bit 会有精度损失。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Q2：选择 FP8 还是 INT8，是否取决于硬件支持？\u003C\u002Fstrong>\u003Cbr>\u003Cstrong>A：\u003C\u002Fstrong> 是的。优先确认硬件是否支持 Microscaling，若不支持 Microscaling 通过其他技术弥补；若仅支持 INT8，同样可用上述技术，但需更精细地控制精度损失。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Q3：训练后量化和量化感知训练如何选择？\u003C\u002Fstrong>\u003Cbr>\u003Cstrong>A：\u003C\u002Fstrong> 二者是递进关系。始终先尝试训练后量化，它至少可作为 Baseline；若精度不满足需求，再考虑量化感知训练。注意量化感知训练门槛较高，需要额外的算力、数据，更适合有研发资源的大模型团队，学术研究者通常难以对大语言模型执行量化感知训练。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Q4：ActNN 这类开源量化工具上手门槛高吗？\u003C\u002Fstrong>\u003Cbr>\u003Cstrong>A：\u003C\u002Fstrong> ActNN 代码较老，直接套用意义不大，但其核心思想仍具参考价值。若确认瓶颈确实是激活显存占用且无法通过 Activation Checkpointing 或流水线并行解决，可借鉴其思路，借助 AI Coding Agent 快速实现适配当前负载的量化 Kernel。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Q5：低位宽计算未来有哪些潜力研究方向？\u003C\u002Fstrong>\u003Cbr>\u003Cstrong>A：\u003C\u002Fstrong> 两大分支：一是工程落地，弥合理论无精度损失与实际仍用高精度之间的 Gap，研究 4-bit 训练动力学及精度保持技术；二是算子-硬件协同设计（Co-Design），低精度矩阵乘法速度极快后，其他部分会成为新瓶颈的问题。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Q6：新格式（如 NVFP4）的硬件适配难点在哪？\u003C\u002Fstrong>\u003Cbr>\u003Cstrong>A：\u003C\u002Fstrong> 核心难点在于算力失衡。以 B300 为例，Tensor Core（NVFP4）算力是 CUDA Core 的约 200 倍，任何微小的地址计算、Scale 计算或类型转换指令都会成为瓶颈，抵消 Tensor Core 带来的性能收益，对 Kernel 编写提出极高要求。\u003C\u002Fp>\n\u003Cp>\u003Cstrong>Q7：量化压缩会影响模型的幻觉问题吗？\u003C\u002Fstrong>\u003Cbr>\u003Cstrong>A：\u003C\u002Fstrong> 会有影响，尤其是未经过全链路严格 QAT 的后训练量化模型。在复杂推理、长轨迹任务中，量化模型的性能下降会更明显。但使用 8-bit 量化通常不会出现此类问题。\u003C\u002Fp>\n\u003Ch2 id=\"加入训练营\">\u003Ca class=\"anchor\" href=\"#加入训练营\" aria-label=\"跳转到标题：加入训练营\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>加入训练营\u003C\u002Fh2>\u003Cp>📺\u003Cstrong>完整课程内容，请观看直播或查看课程回放：\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>InfiniTensor 官网\u003C\u002Fstrong>： \u003Ca href=\"https:\u002F\u002Fwww.infinitensor.com\">https:\u002F\u002Fwww.infinitensor.com\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>B站直播\u003C\u002Fstrong>： InfiniTensor 官方直播间\u003C\u002Fp>\n\u003Cp>\u003Cstrong>视频号直播\u003C\u002Fstrong>： InfiniTensor 视频号预约\u003C\u002Fp>\n\u003Cp>\u003Cstrong>答疑交流\u003C\u002Fstrong>： 训练营官方社群⬇️\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002FKnowledge_Base\u002Fqun_1072.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=anIksUJ0plIZy%2BhC0i7pz0T2%2FA4%3D\" alt=\"\">\u003C\u002Fp>\n\u003Ch2 id=\"关注与交流\">\u003Ca class=\"anchor\" href=\"#关注与交流\" aria-label=\"跳转到标题：关注与交流\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>关注与交流\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_ewm02.jpg?Expires=1792750072&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=j9Vsow07F8OgirV3VkJ4Rty6k7Q%3D\" alt=\"\">\u003C\u002Fp>\n",[127,129,132,136,139,141,144,146,148,151,153,155,157,160,163,166,169,171,173,176,179,182,184,186,189,192,194],{"id":128,"text":128,"level":9},"讲师介绍",{"id":130,"text":131,"level":9},"为什么要做低精度计算","为什么要做低精度计算？",{"id":133,"text":134,"level":135},"1-硬件算力的-精度天花板","1.硬件算力的「精度天花板」",4,{"id":137,"text":138,"level":135},"2-存储层面的收益","2. 存储层面的收益",{"id":140,"text":140,"level":110},"低精度数值格式基础",{"id":142,"text":143,"level":9},"ieee-754-浮点数表示","IEEE 754 浮点数表示",{"id":145,"text":145,"level":110},"低精度张量",{"id":147,"text":147,"level":9},"直接类型转换的失败",{"id":149,"text":150,"level":9},"缩放-scaling-与量化","缩放（Scaling）与量化",{"id":152,"text":152,"level":9},"低精度矩阵乘法",{"id":154,"text":154,"level":110},"大模型中的量化",{"id":156,"text":156,"level":9},"训练后量化",{"id":158,"text":159,"level":9},"离群值-outlier-问题","离群值（Outlier）问题",{"id":161,"text":162,"level":135},"解决方案-1-非均匀量化","解决方案 1.非均匀量化",{"id":164,"text":165,"level":135},"解决方案-2-细粒度缩放","解决方案 2. 细粒度缩放",{"id":167,"text":168,"level":135},"解决方案-3-旋转","解决方案 3. 旋转",{"id":170,"text":170,"level":110},"典型应用场景",{"id":172,"text":172,"level":9},"仅权重量化",{"id":174,"text":175,"level":9},"权重-激活量化","权重 + 激活量化",{"id":177,"text":178,"level":9},"attention-量化","Attention 量化",{"id":180,"text":181,"level":9},"kv-cache-量化","KV Cache 量化",{"id":183,"text":183,"level":110},"低精度训练",{"id":185,"text":185,"level":9},"量化感知训练",{"id":187,"text":188,"level":9},"训练加速-全量化训练-混合精度训练","训练加速：全量化训练 \u002F 混合精度训练",{"id":190,"text":191,"level":110},"qa-精选答疑","QA 精选答疑",{"id":193,"text":193,"level":110},"加入训练营",{"id":195,"text":195,"level":110},"关注与交流"]