课程内容简介

Triton 和九齿的入门与进阶。介绍什么是 Triton 以及 Triton 的基本用法，矩阵乘法的 Triton 实现以及 Triton 的原理。随后介绍什么是九齿，矩阵乘法的九齿实现并用九齿与 Triton 进行对比。最好介绍 Triton 与九齿在大模型推理中的应用。

  课程预期目标

通过本课程，学员将学会如何使用 Triton 和九齿进行 GPU 并行编程，并通过实践进行一些计算内核的开发，以此了解定制化计算内核的效果与必要性。

  学时

共 4 小时

  课程依赖

CUDA 编程， AI 编译器，大模型推理服务系统

  预备知识

Python

  授课方式

• 讲课
• 实验/实践

  课程详情

第一课时. “Triton 练气术”

课时：1小时

前置依赖：

• AI 编译器 - AI编译器概述
• CUDA 编程 - 第一课时. “众人拾柴火焰高” —— 并行编程导论与 CUDA 入门

第二课时. “Triton 筑基法”

课时：1小时

前置依赖：无

第三课时. “Triton 之上的奇技 —— 九齿”

课时：1小时

前置依赖：无

第四课时. “Triton 与九齿 —— 实战”

课时：1小时

前置依赖：大模型推理服务系统 - 从大模型推理到AI对话