BigCloud 系统使用8卡昇腾910B单机部署Qwen/Qwen2.5-72B-Instruct 大模型

一、引言

本文介绍基于华为BigCloud系统+CANN+MINDIE+DOCKER部署大模型。

二、初始环境准备

2.0 环境摸底

"CPU:4*Kunpeng920-5250(48core,2.6GHz)

内存:32*32GB DDR4

系统盘:2*480GB SATA SSD

数据盘:2*3.84T NVMe

NPU:8*Ascend 910B2-64G-HCCS

网络:2*10GE(管理)+2*25GE(业务)+2*25GE(存储)+2*25GE ROCE(存储PFS）+8*200GE"

2.1 安装和检查驱动（CANN）

1、输入命令检查 npu-smi info 

2、如果没有结果，从如下链接获取驱动安装：https://www.hiascend.com/cann/download?version=680&filter=802501606702

3.下载驱动一定要注意看是什么序列，我这里是A2系列，查出来结果是d802

[root@bms-84102582 ~/one_key_deploy]
#  lspci -n -D | grep -o '19e5:d[0-9a-f]\{3\}' | head -n1 | cut -d: -f2

d802



配置用户属组

sudo groupadd HwHiAiUser

sudo useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash

安装依赖&配源

sudo yum makecache

sudo yum install -y gcc python3 python3-pip kernel-headers-$(uname -r) kernel-devel-$(uname -r) 

sudo curl https://repo.oepkgs.net/ascend/cann/ascend.repo -o /etc/yum.repos.d/ascend.repo && yum makecache

安装NPU驱动

sudo yum install -y Ascend910B-driver-25.5.0

安装Toolkit

sudo yum install -y Ascend-cann-toolkit-8.5.0

sudo yum install -y Ascend-cann-910b-ops-8.5.0

安装后验证


# 配置环境变量(如下命令以root用户为例，请以实际安装路径为准)


source /usr/
local/Ascend/cann/set_env.sh



python3 -c 
"import acl;print(acl.get_soc_name())"



[root@bms-84102582 ~/one_key_deploy]
#  python3 -c "import acl;print(acl.get_soc_name())"

Ascend910B2



若返回芯片型号，则安装成功

2.2 更新内核和重启

yum update

reboot

2.3 更新python

1.当前系统自带的版本是3.9.9，需要更新。

2.更新地址：https://www.python.org/ftp/python/3.10.16/  (根据实际需要安装，我这里安装的是3.10.16)



[root@bms-84102582 ~]
#  tar -zxvf Python-3.10.16.tgz


cd  Python-3.10.16

./configure

make && make install




which python3.10



/usr/
local/bin/python3.10

2.4 下载模型（基于modelscope下载，其它git、或者hf都行）

地址：

https://modelscope.cn/models

https://github.com/deepseek-ai/DeepSeek-R1

我这里下载了DeepSeek-R1-Distill-Llama-70B、Qwen/Qwen2.5-72B-Instruct 都能跑起来；



1、安装modescope

pip install modelscope

2、拉去模型（这里有坑，由于文件较大，很多时候都会出现超时，部分文件拉去不下来，好在该工具具有断点续传功能，下次再次执行会校验当前文件判断拉去，直到拉去完成，也就是说可以反复执行）

modelscope download --model Qwen/Qwen2.5-72B-Instruct --local_dir /data/Qwen2.5-72B-Instruct

2.5 docker部署

1、下载的是aarch64源码包

2、解压和拷贝

tar -zxvf xxx

cp * /usr/
local/bin

3、配置docker服务



接下来一步，配置docker服务，创建/usr/lib/systemd/system/docker.service文件，内容如下：



[Unit]

Description=Docker Application Container Engine

Documentation=https://docs.docker.com

After=network-online.target firewalld.service time-set.target

Wants=network-online.target



[Service]

Type=notify

ExecStart=/usr/
local/bin/dockerd

ExecReload=/bin/
kill -s HUP 
$MAINPID

TimeoutStartSec=0

RestartSec=2

Restart=always

StartLimitBurst=3

StartLimitInterval=60s

LimitNOFILE=infinity

LimitNPROC=infinity

LimitCORE=infinity

TasksMax=infinity

Delegate=yes

KillMode=process

OOMScoreAdjust=-500



[Install]

WantedBy=multi-user.target



systemctl daemon-reload    
#重新加载服务

systemctl 
enable docker     
#设置开机自动启动docker

systemctl start docker       
#启动docker

docker -v   
#版本验证

docker info --查看docker配置信息

2.6 华为推理镜像下载

1、拉去命令：docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.3.1-800I-A2-py311-openeuler24.03-lts

2、地址：

https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f

3、这里拉去也要注意，也有坑，原则是能用新的就用新的镜像，如果拉去失败就换其它镜像，反复尝试。实在不行，用其他方式下载镜像，再上传到服务器load下。

4、运行容器

docker run --name Qwen2.5-72B-Instruct \

--net=host --shm-size=500g \

--device /dev/davinci0 \

--device /dev/davinci1 \

--device /dev/davinci2 \

--device /dev/davinci3 \

--device /dev/davinci4 \

--device /dev/davinci5 \

--device /dev/davinci6 \

--device /dev/davinci7 \

--device /dev/davinci_manager \

--device /dev/devmm_svm \

--device /dev/hisi_hdc \

-v /usr/
local/dcmi:/usr/
local/dcmi \

-v /usr/
local/bin/npu-smi:/usr/
local/bin/npu-smi \

-v /usr/
local/Ascend/driver/lib64/:/usr/
local/Ascend/driver/lib64/ \

-v /usr/
local/Ascend/driver/version.info:/usr/
local/Ascend/driver/version.info \

-v /etc/ascend_install.info:/etc/ascend_install.info \

-v /root/.cache:/root/.cache \

-v /data/Qwen2.5-72B-Instruct:/Qwen2.5-72B-Instruct \

--privileged=
true \

-e ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \

-itd \

swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.3.1-800I-A2-py311-openeuler24.03-lts \

bash

2.7 进入容器执行容器服务启动

docker 
exec -it 65e1ddcc87d5 bash




source /usr/
local/Ascend/ascend-toolkit/set_env.sh


source /usr/
local/Ascend/nnal/atb/set_env.sh


source /usr/
local/Ascend/atb-models/set_env.sh


source /usr/
local/Ascend//mindie/set_env.sh


source /usr/
local/Ascend/mindie/2.3.1/mindie-service/set_env.sh



vim  /usr/
local/Ascend/mindie/2.3.1/mindie-service/conf/config.json






cd /usr/
local/Ascend/mindie/2.3.1/mindie-service


export LD_LIBRARY_PATH=
$LD_LIBRARY_PATH:/usr/
local/lib64/python3.11/site-packages/torch/lib 

 ./bin/mindieservice_daemon 

2.8 调用api测试

curl http://192.168.0.10:1025/v1/chat/completions \

  -H 
"Authorization: Bearer sk-mindie-default-key" \

  -H 
"Content-Type: application/json" \

  -d 
'{

    "model": "Qwen2.5-72B-Instruct",

    "messages": [{"role":"user","content":"你好"}]

  }'

三、参考

https://www.hiascend.com/document/detail/zh/mindie/230/quickstart/mindie_quickstart_0006.html

https://fk.shzq.edu.cn/f/csdn/N4LJp8MRn30hiwy63H.html

【点关注不迷路】