ITPub博客

首页 > 云计算 > > Ubuntu16.04下从无到有:Docker上的深度学习环境deepo搭建

Ubuntu16.04下从无到有:Docker上的深度学习环境deepo搭建

作者:浪花小雨滴 时间:2020-05-09 14:47:31 0 删除 编辑

Author:袁丰

Time:2019-05-07

这篇文章将讲解如何在ubuntu16.04上从无到有搭建docker上的深度学习环境deepo,让你的机器学习与深度学习之路无所畏惧。(TITAN V + NVIDIA 418.56 + CUDA 10.1 + cuDNN 7.5 + docker-ce + nvidia-docker + deepo)其它不同的GPU硬件配置,请务必阅读各小章的软件配置建议。

一、NVIDIA的GPU驱动安装

推荐参考博客:
https://blog.csdn.net/max_loo/article/details/81304949​blog.csdn.net

首先你需要知道你的显卡型号!我的显卡型号为TITAN V;

NVIDIA驱动下载传送门
Download Drivers​图标

通过型号查找最新可用驱动程序版本,一定要装最新或者比较新的,旧版本的deepo很有可能跑不起来,NVIDIA-384和CUDA9.0就跑不起来;查询结果:

点击下载即可得到驱动安装包;

安装之前先清除可能存在的旧版本NVIDIA驱动(对没有安装过 NVIDIA驱动的主机,这步可以省略):

$sudo apt-get remove --purge nvidia*

安装驱动可能需要的依赖(可选)

$sudo apt-get update

把 nouveau 驱动加入黑名单

$sudo vim /etc/modprobe.d/blacklist-nouveau.conf

在文件 blacklist-nouveau.conf 中加入如下内容:

blacklist nouveau
options nouveau modeset=

禁用 nouveau 内核模块

$sudo update-initramfs -u

禁用nouveau不成功可以参考这篇博客方法:

https://blog.csdn.net/max_loo/article/details/81304949​blog.csdn.net

重启

$sudo reboot

重启后再次进入命令行

lsmod | grep nouveau  #没有输出,即说明安装成

关闭图形界面

$sudo service lightdm stop

然后在驱动安装包的同目录下安装;

$sudo chmod u+x NVIDIA-Linux-x86_64-418.56.run

得到结果:

然后继续安装:

$sudo ./NVIDIA-Linux-x86_64-418.56.run –no-x-check –no-nouveau-check  –no-opengl-files
–no-opengl-files 只安装驱动文件,不安装OpenGL文件。这个参数最重要,如果不加会出现登录界面循环重启!!!

循环登录解决传送门

–no-x-check 安装驱动时不检查X服务
–no-nouveau-check 安装驱动时不检查nouveau

检查你是否安装成功:

nvidia-smi

若出现下图则成功:

打开图形界面

$sudo service lightdm start

二、安装CUDA10.1和cuDNN7.5

CUDA卸载(我之前安装的CUDA 9.0)

终端cd到 /usr/local/cuda-9.0/bin 目录下:

$sudo ./uninstall_cuda_9.0.pl

将残留文件删除干净

$sudo rm -rf /usr/local/cuda-9.0
cuDNN卸(这步不做也没事,因为卸载CUDA的时候这个文件夹已经没有了)
sudo rm -rf /usr/local/cuda/include/cudnn.h
sudo rm -rf /usr/local/cuda/lib64/libcudnn*

安装CUDA 10.1

然后开始安装CUDA 10.1,记得先去官网下载:

CUDA Toolkit 10.1 Download​developer.nvidia.com图标

下载在Downloads目录执行:

$sudo chmod +x cuda_10.1.105_418.39_linux.run

得到runfile文件:

执行安装包:

./cuda_10.1.105_418.39_linux.run

条例输入accept同意即可,如图(CUDA 10.1好像换了炫酷的安装界面):

选择安装组件时,千万注意不要再装驱动了,装上就完蛋,选择如图:

安装的界面也有可能是这样的:

https://blog.csdn.net/qq_33200967/article/details/80689543#_54​blog.csdn.net
accept/decline/quit: accept
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 410.48? (不要再安装一次驱动!)
(y)es/(n)o/(q)uit: n
Install the CUDA 10.0 Toolkit?(是否安装CUDA 10 ,这里必须要安装)
(y)es/(n)o/(q)uit: y
Enter Toolkit Location(安装路径,使用默认,直接回车就行)
[ default is /usr/local/cuda-10.0 ]:
Do you want to install a symbolic link at /usr/local/cuda?(同意创建软链接)
(y)es/(n)o/(q)uit: y
Install the CUDA 10.0 Samples?(不用安装测试,本身就有)
(y)es/(n)o/(q)uit: n
Installing the CUDA Toolkit in /usr/local/cuda-10.0 ...(开始安装)

安装完成后,设置环境变量。打开主目录下的 .bashrc文件:

vim ~/.bashrc

在文件中添加如下路径

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.1/lib64
export PATH=$PATH:/usr/local/cuda-10.1/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-10.1

终端运行:

source ~/.bashrc

检查安装是否成功(在主目录下):

nvcc --version

如果成功了就会如下显示:

测试安装是否成功,执行以下几条命令:

cd /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery
make
./deviceQuery

正常情况下输出:

./deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "GeForce RTX 2070"
CUDA Driver Version / Runtime Version 10.0 / 10.0
CUDA Capability Major/Minor version number: 7.5
Total amount of global memory: 7950 MBytes (8335982592 bytes)
(36) Multiprocessors, ( 64) CUDA Cores/MP: 2304 CUDA Cores
GPU Max Clock rate: 1620 MHz (1.62 GHz)
Memory Clock rate: 7001 Mhz
Memory Bus Width: 256-bit
L2 Cache Size: 4194304 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
Maximum Layered 1D Texture Size, (num) layers 1D=(32768), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(32768, 32768), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 1024
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 3 copy engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device supports Compute Preemption: Yes
Supports Cooperative Kernel Launch: Yes
Supports MultiDevice Co-op Kernel Launch: Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.0, CUDA Runtime Version = 10.0, NumDevs = 1
Result = PASS

安装cuDNN7.5

进入到CUDNN的下载官网:

https://developer.nvidia.com/rdp/cudnn-download​developer.nvidia.com
  • 点击Download开始选择下载版本,当然在下载之前还有登录:

选择版本界面如下,我们选择cuDNN Library for Linux:

我把四个都下载安装了,其实只下载安装cuDNN Library for Linux就行,随便都行:

然后对它进行解压,命令如下:

tar -zxvf cudnn-10.1-linux-x64-v7.5.1.10.tgz
$sudo dpkg -i 安装包名称.deb

解压之后可以得到以下文件:

cuda/include/cudnn.h
cuda/NVIDIA_SLA_cuDNN_Support.txt
cuda/lib64/libcudnn.so
cuda/lib64/libcudnn.so.7
cuda/lib64/libcudnn.so.7.4.2
cuda/lib64/libcudnn_static.a

使用以下两条命令复制这些文件到CUDA目录下:

cp cuda/lib64/* /usr/local/cuda-10.0/lib64/
cp cuda/include/* /usr/local/cuda-10.0/include/

拷贝完成之后,可以使用以下命令查看CUDNN的版本信息:

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

结果出现下图所示版本信息,说明安装成功:

三、docker-CE和NVIDIA-docker安装

参考知乎大佬的攻略:
蝈蝈:Docker,救你于「深度学习环境配置」的苦海​zhuanlan.zhihu.com图标

Docker的安装

链接:

https://docs.docker.com/install/linux/docker-ce/ubuntu/​docs.docker.com

跟着教程的命令复制粘贴回车即可。 唯一比较难的地方就是看懂英文的安装教程:

千万注意看清楚段落层次结构。

最后如果你运行:

$sudo docker run hello-world 

正确的结果如下:

Nvidia-docker的安装

我们知道docker不支持GPU加速,所以NVIDIA单独做了一个docker,来让docker镜像可以使用NVIDIA的GPU。 传送门:

https://github.com/NVIDIA/nvidia-docker​github.com

也是直接找对应的操作系统的命令,一行行复制粘贴回车就搞定了。要注意你的驱动等版本能不能支持你使用nvidia-docker2!

最后当你运行,如果成功就能使Deepo能够在Docker容器内使用GPU。

$sudo docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi

如果可以看到:

那么你就成功辣!

深度学习镜像deepo的安装

我这里使用镜像是deepo一款咱们中国人做出来的深度学习镜像,包含了现在多数流行的深度学习框架,而且版本也很新。 链接:

https://hub.docker.com/r/ufoym/deepo​hub.docker.com

只有安装好了前面的docker和nvidia-docker后直接通过命令

$sudo docker pull ufoym/deepo # 安装完全版本的deepo
$sudo docker pull ufoym/deepo:all-jupyter-py36-cu100 # 安装deepo里python3.6以及jupyter工具

就可以把各种框架都下载下来。但是这样比较大,费时较长。运行命令:

$sudo docker images

可以看到具体的结果:

到此为止,该装的东西就都完成了,但是有可能会以为NVIDIA驱动版本和CUDA的版本太低,导致ufoym/deepo容器跑不起来,报错:

docker: Error response from daemon unsatisfied condition: brand = tesla\\\\n\\\"\"": unknown. · Issue #861 · NVIDIA/nvidia-docker​github.com图标

我们的错误大同小异:

其实这位老哥说的非常清楚,是有效的解决途径:

我的小老弟,你应该更新你的驱动了,我更新驱动之后,海阔天空!

深度学习镜像deepo的使用

运行命令(千万记住是nvidia-docker而不是docker):

$sudo nvidia-docker run -it --ipc=host -v /home/yuanfeng/Test_docker/data:/data -v /home/yuanfeng/Test_docker/config:/config --name test_deepo ufoym/deepo bash

这样就会对Deepo镜像拉出容器:

/home/yuanfeng/Test_docker/data : /data

冒号左面的地址是本地项目和数据地址/home/yuanfeng/Test_docker/data:

这个本地地址映射到容器虚拟的bash里/data目录下:

--ipc=host 就是让容器和宿主机之间完全共享内存。如果不加它则默认状态是容器和宿主机之间只共享64MB内存,这样的话训练过程中data_loader的num_workers只能设置为0,但是完全共享内存就不会有限制;

--name test_deepo 给生成的容器命名,方便操作;

这样就可以在容器的虚拟环境中中对本机项目数据进行训练,而完全不影响本机环境。这个图就是对我的某个DCGAN项目的训练:

进入容器的bash中可以通过命令退出:

exit

结果如下:

退出后通过命令查看全部容器:

$sudo docker ps -a 

也可以通过命令重启某个容器:

$sudo docker restart NAMES

进入重启容器的bsh使用命令为:

$sudo docker attach NAMES

这篇本章随着作者对docker工具的熟悉和使用还会更新,希望大家关注!多多点赞!

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3145167/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    46332