CPU大模型推理加速技术 (CPU Acceleration for LLM Inference)
2025年夏季InfiniTensor大模型与人工智能系统训练营
专业阶段
主要介绍基于CPU的GEMM加速技术,对性能优化有一个初步的认知,并引申出在端侧的应用。
讲师: 田聂豪
课程内容简介
主要介绍基于CPU的GEMM加速技术,对性能优化有一个初步的认知,并引申出在端侧的应用。
课程预期目标
通过本课程的学习,学员将学会CPU的GEMM加速技术,对性能优化有一个初步的认知,并了解其在端侧的应用。
学时
共 1 小时
课程依赖
CUDA 编程
预备知识
C++,计算机基础
授课方式
- 讲课
课程详情
第一课时. “CPU大模型推理加速技术”
课时:1小时
前置依赖:CUDA 编程 - 并行编程导论与 CUDA 入门