CPU大模型推理加速技术 (CPU Acceleration for LLM Inference)
2025年夏季InfiniTensor大模型与人工智能系统训练营
专业阶段
主要介绍基于CPU的GEMM加速技术,对性能优化有一个初步的认知,并引申出在端侧的应用。
讲师: 田聂豪

  课程内容简介

主要介绍基于CPU的GEMM加速技术,对性能优化有一个初步的认知,并引申出在端侧的应用。


  课程预期目标

通过本课程的学习,学员将学会CPU的GEMM加速技术,对性能优化有一个初步的认知,并了解其在端侧的应用。


  学时

1 小时


  课程依赖

CUDA 编程


  预备知识

C++,计算机基础


  授课方式

  • 讲课


  课程详情


第一课时. “CPU大模型推理加速技术”

课时:1小时

前置依赖:CUDA 编程 - 并行编程导论与 CUDA 入门