CANN训练营第三季_基于昇腾PyTorch框架的模型训练调优 _读书笔记

PyTorch 框架 全景介绍：

性能分析工具 pytorch profiling

性能分析工具 cann profiling

pytorch 模型参数迁移 ( 三种方法 ) ：

方法一：将原来预训练好的模型参数迁移到新的resnet18网络架构中，只有迁移两者相同的模型参数，不同的参数还是随机初始化。

方法二：修改网络名称并迁移学习

方法三：去除原模型的某些模块

在npu上训练，必须使用混合精度

一般来说，衡量模型性能的数据是看单step单位时间内的数据吞吐量

查看模型算子耗时的工具是cann profiling

宏观查看模型性能的工具是pytorch profiling

cann profiling的模型性能数据比pytorch profiling的更准确。

以下方法可以提升模型性能 ：

arm 架构下绑核启动程序

使用融合优化器

使用 npu 亲和算子

有动态 shape 的模型，可以使用 如下 方法进行训练：

固定 shape

模糊编译

分档

arm 架构下，使用绑核的方式启动模型训练，性能会得到一定的提升。

第一次训练模型启动比较慢，是因为模型在编译，第二次启动训练，速度会明显提升。

ITPub博客

CANN训练营第三季_基于昇腾PyTorch框架的模型训练调优_读书笔记