AI 基础设施
AI 底层基础设施相关笔记。覆盖 CUDA 编程、模型推理部署、算子计算和性能分析工具。
内容
| 目录 | 说明 |
|---|---|
| CUDA | CUDA 编程入门、现代 CMake 配置、内存合并访问优化 |
| Deployment | 模型部署工具链：ncnn 部署、PNNX 模型导出、ONNX Runtime、TensorRT INT8 量化 |
| Computation | 深度学习算子计算笔记 |
| TensorRT | TensorRT 优化与 Hack 实践 |
| Triton-Server | NVIDIA Triton 推理服务器从零开始教程 |
| Nsight | Nsight Systems/Compute 性能分析笔记 |
| optimum | HuggingFace Optimum（ONNX Runtime 包装）介绍 |