[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"news-detail-news-5":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=LJ0ZuxNgIJ4RyVgczKT23b4nC1U%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=QAVpGIqmRmM53c0O1pqgr%2F6rmnc%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Ax3dDPChIYk86aZzWXZANpD9s%2BY%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"newsDetail":105,"processedData":127},{"publishTime":106,"img":107,"keywords":108,"treeType":44,"description":109,"showStatus":44,"updateTime":110,"type":44,"title":111,"content":112,"nextArticle":113,"createTime":110,"sortOrder":118,"canonicalPath":119,"id":120,"contentType":121,"prevArticle":122},"2025-11-18 08:00:00","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fnews_04.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=We3VARJyOWweMm2UB32047lenak%3D","CNCC2025,异构计算,部署实践,算力效率,工程优化","文章聚焦异构计算与部署实践，讨论算力调度、资源利用率与工程效率优化的关键方法与实施经验。","2026-10-22 20:38:11","【CNCC2025分享系列】异构计算与部署：迈向AI算力效率的新高度","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fcn_01.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3xsWwFEoq33aMlMl2YmtZGEdxOg%3D)\r\n\r\n在云计算与AI技术深度融合的今天，异构计算已成为突破算力瓶颈、满足多样化应用需求的核心驱动力。从云端复杂负载的优化到AI私有化部署的落地，再到编译技术与AI的深度协同，异构计算正通过深刻的技术革新重塑计算范式——其关键挑战与创新路径，可从架构设计、部署实践、编译优化三个层面予以解析。\r\n\r\n\r\n## 异构计算平台架构：从资源池化到结构感知\r\n### 🔁资源池化的破局之道\r\n在云环境中，负载的多样性与复杂性对计算架构提出了严苛要求。传统基于RPC的加速器池化推理面临两大挑战：📤**通信开销大**（中间张量序列化带来多次数据冗余拷贝，时延占比高）与🧠**内存卸载策略低效**（CPI\u002FPSI指标失效，冷页卸载效果不佳）。解决方案需聚焦两大方向：\r\n\r\n- 加速器协同优化：通过推理RPC与内存空间共享，消除额外拷贝；引入0拷贝序列化协议与动态数据合并，降低小数据块传输开销。\r\n\r\n- 内存池智能管理：建立新指标体系，动态评估本地带宽瓶颈，优先卸载热页；结合短期Serverless特征感知技术，提升池化访问效率。\r\n\r\n### 👥多租户隔离与算力精准分配\r\n简单的时间\u002F空间共享易导致资源碎片化，需通过用户态拦截与离线性能建模实现精准控制：\r\n\r\n- 用户态拦截：解析算子发射时机，动态平衡不同用户的算子组进度，避免气泡效应。\r\n\r\n- 内核态拦截：支持CUDA及多版本兼容，通过容器级时空分实现算力\u002F显存的细粒度隔离。\r\n\r\n### 🚀结构感知的冷启动加速\r\n模型加载延迟是异构计算的另一瓶颈。通过动态函数追踪与静态模板加载结合：\r\n\r\n- 静态部分：将通用函数打包为模板，预加载至显存。\r\n\r\n- 动态部分：仅临时加载差异数据，结合Kernel主动加载机制，显著缩短冷启动时间。\r\n\r\n## AI私有化部署：异构算力的挑战与实践\r\n### 🧩核心挑战\r\n- ⚖️算力异构化：NVIDIA GPU与国产NPU、AI加速卡共存，性能与接口差异明显。\r\n\r\n- 📉P\u002FD比例失衡：Prefill（P）与Decode（D）比例直接影响吞吐，需建立模型指导比例优化。\r\n\r\n- 📏长上下文瓶颈：长文本场景下内存与通信压力大，Batch Size受限。\r\n\r\n- 💰成本高企：低请求量导致批处理效率低下，单位算力成本攀升。\r\n\r\n### 🛠️系统层优化：动态分离与资源匹配\r\n- E\u002FP\u002FD动态分离架构：将Encoder（E）、Prefill、Decode三阶段解耦，按特性动态绑定算力，抽象底层硬件差异。\r\n\r\n- SM级资源划分：在GPU内按Streaming Multiprocessor粒度分配计算单元，实现多阶段共享。\r\n\r\n- 带宽-算力匹配调度：依据阶段计算与带宽需求差异进行配对组合（如 E 与 D 的互补结合），优化资源利用率。\r\n\r\n- JIT动态机制：通过Encoder动态编译与运行时空间划分，实现资源自适应调整。\r\n\r\n### 📡并行与通信优化：Chunked Prefill与DP+EP\r\n- Chunked Prefill Pipeline并行：在Prefill阶段结合Tensor Parallelism（TP）减少通信量，同时控制KV Cache开销。\r\n\r\n- Decode并行模式：针对Attention采用Data Parallelism（DP），针对MoE采用Expert Parallelism（EP），灵活适配不同硬件。\r\n\r\n### 🌐算子与编译优化：全图视角与跨平台生成\r\n- 多层次算子融合：从全图视角进行Top-down融合与切分，结合Tensor Expression依赖分析，复用中间结果。\r\n\r\n- 跨平台算子生成：在LLVM IR层、张量表达层、微算子层构建优化体系，结合Cutlass模板库实现高效代码生成。\r\n\r\n### 🤖AI辅助编译：从代码生成到语义优化\r\n- 自动后端代码生成：利用大模型生成芯片描述与TD文件，准确率约60-70%；函数级翻译模型在人工校验辅助下，语义正确率可达99%。\r\n\r\n- 超越传统优化：部分场景下，AI生成的代码性能甚至优于传统O3编译优化，这揭示了AI在超启发式规则、进行深度语义优化方面的巨大潜力。\r\n\r\n## 异构编译技术与AI的深度融合\r\n### 🤝SigInfer异步推理框架：全硬件支持与长上下文优化\r\n- 统一硬件抽象：支持NVIDIA、AMD及四款国产加速卡，屏蔽硬件差异。\r\n\r\n- 长上下文优化：通过细粒度内存管理与KV Cache动态复用，显著提升上下文长度支持与显存利用率。\r\n\r\n- P\u002FD配比模型：建立Cost Model自动决策资源分配，提升跨芯片适应性。\r\n\r\n- 多模态加速：E\u002FP\u002FD分离机制结合SM动态划分，文本+图像混合推理速度大大提升。\r\n\r\n### 🗂️VEGA：AI驱动的编译数据集构建\r\n- Compiler Backend Dataset：覆盖LLVM等后端代码，用于生成式任务微调。\r\n\r\n- IR-Optimization Dataset：基于不同Pass\u002F参数的IR转换样本，用于性能优化任务。\r\n\r\n## 未来展望：全系统能效与端云协同\r\n🔭未来，异构计算的发展将呈现关键性转变：优化焦点将从单芯片性能转向**全系统能效**；计算模式将依赖**端云协同**以优化延迟与成本；AI软件栈则朝着**智能体导向**的自主化方向演进。\r\n这些趋势的实现，有赖于以MLIR等统一中间表示为核心的技术路径，从而打通系统各层，实现彻底的垂直整合。\r\n\r\n📘异构计算正以“架构创新-部署实践-编译优化”的闭环，推动AI技术向更高效、更普惠的方向演进。未来，随着端云协同与智能编译技术的成熟，异构计算将成为AI基础设施的核心引擎，为多个行业注入算力新动能。\r\n\r\n### 📰 信息来源\r\n本文整理的技术内容摘自 CNCC 2025（中国计算机大会）现场报告与论坛分享。CNCC 是国内外知名学者和企业专家汇聚的年度盛会，关注前沿技术趋势与创新成果。\r\n\r\n### 📚 知识充电站\r\n如果你希望持续获取 AI 系统优化、大模型、CUDA 编程等方向的前沿解析与技术干货，欢迎关注我们的公众号 **「InfiniTensor」**。在这里，我们不仅分享知识，更致力于构建一个共同成长的学习社区。",{"publishTime":114,"createTime":110,"canonicalPath":115,"id":116,"title":117},"2025-11-14 08:00:00","\u002Fnews\u002Fnews-1","news-1","九源智能计算系统生态联合体正式 成立，推动智能计算生态协同发展",69,"\u002Fnews\u002Fnews-5","news-5","markdown",{"publishTime":123,"createTime":110,"canonicalPath":124,"id":125,"title":126},"2025-11-19 08:00:00","\u002Fnews\u002Fnews-2","news-2","【CNCC2025分享系列】大模型训练系统与设计：多层次协同与算力效率优化",{"htmlContent":128,"headings":129},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fimages\u002Fportal_news\u002Fcn_01.jpg?Expires=1792752919&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=3xsWwFEoq33aMlMl2YmtZGEdxOg%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>在云计算与AI技术深度融合的今天，异构计算已成为突破算力瓶颈、满足多样化应用需求的核心驱动力。从云端复杂负载的优化到AI私有化部署的落地，再到编译技术与AI的深度协同，异构计算正通过深刻的技术革新重塑计算范式——其关键挑战与创新路径，可从架构设计、部署实践、编译优化三个层面予以解析。\u003C\u002Fp>\n\u003Ch2 id=\"异构计算平台架构-从资源池化到结构感知\">\u003Ca class=\"anchor\" href=\"#异构计算平台架构-从资源池化到结构感知\" aria-label=\"跳转到标题：异构计算平台架构：从资源池化到结构感知\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>异构计算平台架构：从资源池化到结构感知\u003C\u002Fh2>\u003Ch3 id=\"资源池化的破局之道\">\u003Ca class=\"anchor\" href=\"#资源池化的破局之道\" aria-label=\"跳转到标题：🔁资源池化的破局之道\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🔁资源池化的破局之道\u003C\u002Fh3>\u003Cp>在云环境中，负载的多样性与复杂性对计算架构提出了严苛要求。传统基于RPC的加速器池化推理面临两大挑战：📤\u003Cstrong>通信开销大\u003C\u002Fstrong>（中间张量序列化带来多次数据冗余拷贝，时延占比高）与🧠\u003Cstrong>内存卸载策略低效\u003C\u002Fstrong>（CPI\u002FPSI指标失效，冷页卸载效果不佳）。解决方案需聚焦两大方向：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cp>加速器协同优化：通过推理RPC与内存空间共享，消除额外拷贝；引入0拷贝序列化协议与动态数据合并，降低小数据块传输开销。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>内存池智能管理：建立新指标体系，动态评估本地带宽瓶颈，优先卸载热页；结合短期Serverless特征感知技术，提升池化访问效率。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"多租户隔离与算力精准分配\">\u003Ca class=\"anchor\" href=\"#多租户隔离与算力精准分配\" aria-label=\"跳转到标题：👥多租户隔离与算力精准分配\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>👥多租户隔离与算力精准分配\u003C\u002Fh3>\u003Cp>简单的时间\u002F空间共享易导致资源碎片化，需通过用户态拦截与离线性能建模实现精准控制：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cp>用户态拦截：解析算子发射时机，动态平衡不同用户的算子组进度，避免气泡效应。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>内核态拦截：支持CUDA及多版本兼容，通过容器级时空分实现算力\u002F显存的细粒度隔离。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"结构感知的冷启动加速\">\u003Ca class=\"anchor\" href=\"#结构感知的冷启动加速\" aria-label=\"跳转到标题：🚀结构感知的冷启动加速\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🚀结构感知的冷启动加速\u003C\u002Fh3>\u003Cp>模型加载延迟是异构计算的另一瓶颈。通过动态函数追踪与静态模板加载结合：\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cp>静态部分：将通用函数打包为模板，预加载至显存。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>动态部分：仅临时加载差异数据，结合Kernel主动加载机制，显著缩短冷启动时间。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"ai私有化部署-异构算力的挑战与实践\">\u003Ca class=\"anchor\" href=\"#ai私有化部署-异构算力的挑战与实践\" aria-label=\"跳转到标题：AI私有化部署：异构算力的挑战与实践\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>AI私有化部署：异构算力的挑战与实践\u003C\u002Fh2>\u003Ch3 id=\"核心挑战\">\u003Ca class=\"anchor\" href=\"#核心挑战\" aria-label=\"跳转到标题：🧩核心挑战\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🧩核心挑战\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cp>⚖️算力异构化：NVIDIA GPU与国产NPU、AI加速卡共存，性能与接口差异明显。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>📉P\u002FD比例失衡：Prefill（P）与Decode（D）比例直接影响吞吐，需建立模型指导比例优化。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>📏长上下文瓶颈：长文本场景下内存与通信压力大，Batch Size受限。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>💰成本高企：低请求量导致批处理效率低下，单位算力成本攀升。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"系统层优化-动态分离与资源匹配\">\u003Ca class=\"anchor\" href=\"#系统层优化-动态分离与资源匹配\" aria-label=\"跳转到标题：🛠️系统层优化：动态分离与资源匹配\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🛠️系统层优化：动态分离与资源匹配\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cp>E\u002FP\u002FD动态分离架构：将Encoder（E）、Prefill、Decode三阶段解耦，按特性动态绑定算力，抽象底层硬件差异。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>SM级资源划分：在GPU内按Streaming Multiprocessor粒度分配计算单元，实现多阶段共享。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>带宽-算力匹配调度：依据阶段计算与带宽需求差异进行配对组合（如 E 与 D 的互补结合），优化资源利用率。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>JIT动态机制：通过Encoder动态编译与运行时空间划分，实现资源自适应调整。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"并行与通信优化-chunked-prefill与dp-ep\">\u003Ca class=\"anchor\" href=\"#并行与通信优化-chunked-prefill与dp-ep\" aria-label=\"跳转到标题：📡并行与通信优化：Chunked Prefill与DP+EP\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📡并行与通信优化：Chunked Prefill与DP+EP\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cp>Chunked Prefill Pipeline并行：在Prefill阶段结合Tensor Parallelism（TP）减少通信量，同时控制KV Cache开销。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>Decode并行模式：针对Attention采用Data Parallelism（DP），针对MoE采用Expert Parallelism（EP），灵活适配不同硬件。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"算子与编译优化-全图视角与跨平台生成\">\u003Ca class=\"anchor\" href=\"#算子与编译优化-全图视角与跨平台生成\" aria-label=\"跳转到标题：🌐算子与编译优化：全图视角与跨平台生成\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🌐算子与编译优化：全图视角与跨平台生成\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cp>多层次算子融合：从全图视角进行Top-down融合与切分，结合Tensor Expression依赖分析，复用中间结果。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>跨平台算子生成：在LLVM IR层、张量表达层、微算子层构建优化体系，结合Cutlass模板库实现高效代码生成。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"ai辅助编译-从代码生成到语义优化\">\u003Ca class=\"anchor\" href=\"#ai辅助编译-从代码生成到语义优化\" aria-label=\"跳转到标题：🤖AI辅助编译：从代码生成到语义优化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🤖AI辅助编译：从代码生成到语义优化\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cp>自动后端代码生成：利用大模型生成芯片描述与TD文件，准确率约60-70%；函数级翻译模型在人工校验辅助下，语义正确率可达99%。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>超越传统优化：部分场景下，AI生成的代码性能甚至优于传统O3编译优化，这揭示了AI在超启发式规则、进行深度语义优化方面的巨大潜力。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"异构编译技术与ai的深度融合\">\u003Ca class=\"anchor\" href=\"#异构编译技术与ai的深度融合\" aria-label=\"跳转到标题：异构编译技术与AI的深度融合\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>异构编译技术与AI的深度融合\u003C\u002Fh2>\u003Ch3 id=\"siginfer异步推理框架-全硬件支持与长上下文优化\">\u003Ca class=\"anchor\" href=\"#siginfer异步推理框架-全硬件支持与长上下文优化\" aria-label=\"跳转到标题：🤝SigInfer异步推理框架：全硬件支持与长上下文优化\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🤝SigInfer异步推理框架：全硬件支持与长上下文优化\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cp>统一硬件抽象：支持NVIDIA、AMD及四款国产加速卡，屏蔽硬件差异。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>长上下文优化：通过细粒度内存管理与KV Cache动态复用，显著提升上下文长度支持与显存利用率。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>P\u002FD配比模型：建立Cost Model自动决策资源分配，提升跨芯片适应性。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>多模态加速：E\u002FP\u002FD分离机制结合SM动态划分，文本+图像混合推理速度大大提升。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch3 id=\"vega-ai驱动的编译数据集构建\">\u003Ca class=\"anchor\" href=\"#vega-ai驱动的编译数据集构建\" aria-label=\"跳转到标题：🗂️VEGA：AI驱动的编译数据集构建\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🗂️VEGA：AI驱动的编译数据集构建\u003C\u002Fh3>\u003Cul>\n\u003Cli>\u003Cp>Compiler Backend Dataset：覆盖LLVM等后端代码，用于生成式任务微调。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003Cli>\u003Cp>IR-Optimization Dataset：基于不同Pass\u002F参数的IR转换样本，用于性能优化任务。\u003C\u002Fp>\n\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"未来展望-全系统能效与端云协同\">\u003Ca class=\"anchor\" href=\"#未来展望-全系统能效与端云协同\" aria-label=\"跳转到标题：未来展望：全系统能效与端云协同\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>未来展望：全系统能效与端云协同\u003C\u002Fh2>\u003Cp>🔭未来，异构计算的发展将呈现关键性转变：优化焦点将从单芯片性能转向\u003Cstrong>全系统能效\u003C\u002Fstrong>；计算模式将依赖\u003Cstrong>端云协同\u003C\u002Fstrong>以优化延迟与成本；AI软件栈则朝着\u003Cstrong>智能体导向\u003C\u002Fstrong>的自主化方向演进。\u003Cbr>这些趋势的实现，有赖于以MLIR等统一中间表示为核心的技术路径，从而打通系统各层，实现彻底的垂直整合。\u003C\u002Fp>\n\u003Cp>📘异构计算正以“架构创新-部署实践-编译优化”的闭环，推动AI技术向更高效、更普惠的方向演进。未来，随着端云协同与智能编译技术的成熟，异构计算将成为AI基础设施的核心引擎，为多个行业注入算力新动能。\u003C\u002Fp>\n\u003Ch3 id=\"信息来源\">\u003Ca class=\"anchor\" href=\"#信息来源\" aria-label=\"跳转到标题：📰 信息来源\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📰 信息来源\u003C\u002Fh3>\u003Cp>本文整理的技术内容摘自 CNCC 2025（中国计算机大会）现场报告与论坛分享。CNCC 是国内外知名学者和企业专家汇聚的年度盛会，关注前沿技术趋势与创新成果。\u003C\u002Fp>\n\u003Ch3 id=\"知识充电站\">\u003Ca class=\"anchor\" href=\"#知识充电站\" aria-label=\"跳转到标题：📚 知识充电站\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>📚 知识充电站\u003C\u002Fh3>\u003Cp>如果你希望持续获取 AI 系统优化、大模型、CUDA 编程等方向的前沿解析与技术干货，欢迎关注我们的公众号 \u003Cstrong>「InfiniTensor」\u003C\u002Fstrong>。在这里，我们不仅分享知识，更致力于构建一个共同成长的学习社区。\u003C\u002Fp>\n",[130,134,137,140,143,146,149,152,155,158,161,164,167,170,173,176],{"id":131,"text":132,"level":133},"异构计算平台架构-从资源池化到结构感知","异构计算平台架构：从资源池化到结构感知",2,{"id":135,"text":136,"level":9},"资源池化的破局之道","🔁资源池化的破局之道",{"id":138,"text":139,"level":9},"多租户隔离与算力精准分配","👥多租户隔离与算力精准分配",{"id":141,"text":142,"level":9},"结构感知的冷启动加速","🚀结构感知的冷启动加速",{"id":144,"text":145,"level":133},"ai私有化部署-异构算力的挑战与实践","AI私有化部署：异构算力的挑战与实践",{"id":147,"text":148,"level":9},"核心挑战","🧩核心挑战",{"id":150,"text":151,"level":9},"系统层优化-动态分离与资源匹配","🛠️系统层优化：动态分离与资源匹配",{"id":153,"text":154,"level":9},"并行与通信优化-chunked-prefill与dp-ep","📡并行与通信优化：Chunked Prefill与DP+EP",{"id":156,"text":157,"level":9},"算子与编译优化-全图视角与跨平台生成","🌐算子与编译优化：全图视角与跨平台生成",{"id":159,"text":160,"level":9},"ai辅助编译-从代码生成到语义优化","🤖AI辅助编译：从代码生成到语义优化",{"id":162,"text":163,"level":133},"异构编译技术与ai的深度融合","异构编译技术与AI的深度融合",{"id":165,"text":166,"level":9},"siginfer异步推理框架-全硬件支持与长上下文优化","🤝SigInfer异步推理框架：全硬件支持与长上下文优化",{"id":168,"text":169,"level":9},"vega-ai驱动的编译数据集构建","🗂️VEGA：AI驱动的编译数据集构建",{"id":171,"text":172,"level":133},"未来展望-全系统能效与端云协同","未来展望：全系统能效与端云协同",{"id":174,"text":175,"level":9},"信息来源","📰 信息来源",{"id":177,"text":178,"level":9},"知识充电站","📚 知识充电站"]