docker挂载NVIDIA显卡运行pytorch的方法

写在前面:

  请参考之前的文章安装好CentOS、NVIDIA相关驱动及软件、docker及加速镜像。

  主机运行环境

$ uname -a
Linux CentOS 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
$ cat /usr/local/cuda/version.txt
CUDA Version 8.0.61
$ cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
#define CUDNN_MAJOR   6
#define CUDNN_MINOR   0
#define CUDNN_PATCHLEVEL 21
#define CUDNN_VERSION  (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)
#include "driver_types.h"
# NVIDIA 1080ti 

一、关于GPU的挂载

1. 在docker运行时指定device挂载

  先查看一下有哪些相关设备

$ ls -la /dev | grep nvidia
crw-rw-rw-  1 root root  195,  0 Nov 15 13:41 nvidia0
crw-rw-rw-  1 root root  195,  1 Nov 15 13:41 nvidia1
crw-rw-rw-  1 root root  195, 255 Nov 15 13:41 nvidiactl
crw-rw-rw-  1 root root  242,  0 Nov 15 13:41 nvidia-uvm
crw-rw-rw-  1 root root  242,  1 Nov 15 13:41 nvidia-uvm-tools

  电脑上装了两个显卡。我需要运行pytorch,dockerhub中pytorch官方镜像没有gpu支持,所以只能先pull一个anaconda镜像试试,后面可以编排成Dockerfile。

$ docker run -it -d --rm --name pytorch -v /home/qiyafei/pytorch:/mnt/home --privileged=true --device /dev/nvidia-uvm:/dev/nvidia-uvm --device /dev/nvidia1:/dev/nvidia1 --device /dev/nvidiactl:/dev/nvidiactl okwrtdsh/anaconda3 bash

  okwrtdsh的镜像似乎是针对他们实验室GPU环境的,有点过大了,不过勉强运行一下还是可以的。在容器内部还需要

安装pytorch:

$ conda install pytorch torchvision -c pytorch

  这里运行torch成功,但是加载显卡失败了,可能还是因为驱动不匹配的原因吧,需要重新安装驱动,暂时不做此尝试;

二、通过nvidia-docker在docker内使用显卡

详细信息:https://github.com/NVIDIA/nvidia-docker

(1)安装nvidia-docker

  nvidia-docker其实是docker引擎的一个应用插件,专门面向NVIDIA GPU,因为docker引擎是不支持NVIDIA驱动的,安装插件后可以在用户层上直接使用cuda。具体看上图。这个图很形象,docker引擎的运行机制也表现出来了,就是在系统内核之上通过cgroup和namespace虚拟出一个容器OS的用户空间,我不清楚这是否运行在ring0上,但是cuda和应用确实可以使用了(虚拟化的问题,如果关心此类问题可以了解一些关于docker、kvm等等虚拟化的实现方式,目前是系统类比较火热的话题)

  下载rpm包:https://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.1/nvidia-docker-1.0.1-1.x86_64.rpm

  这里也可以通过添加apt或者yum sourcelist的方式进行安装,但是我没有root权限,而且update容易引起docker重启,如果不是实验室的个人环境不推荐这么做,防止破坏别人正在运行的程序(之前公司一个小伙子就是在阿里云上进行了yum update,结果导致公司部分业务停了一个上午)。

$ sudo rpm -i nvidia-docker-1.0.1-1.x86_64.rpm && rm nvidia-docker-1.0.1-1.x86_64.rpm
$ sudo systemctl start nvidia-docker

(2)容器测试

  我们还需要NVIDIA官方提供的docker容器nvidia/cuda,里面已经编译安装了CUDA和CUDNN,或者直接run,缺少image的会自动pull。

$ docker pull nvidia/cuda
$ nvidia-docker run --rm nvidia/cuda nvidia-smi

  在容器内测试是可以成功使用nvidia显卡的:

(3)合适的镜像或者自制dockerfile

合适的镜像:这里推荐Floydhub的pytorch,注意对应的cuda和cudnn版本。

docker pull floydhub/pytorch:0.3.0-gpu.cuda8cudnn6-py3.22
nvidia-docker run -ti -d --rm floydhub/pytorch:0.3.0-gpu.cuda8cudnn6-py3.22 bash

自制dockerfile

  首先,我们需要把要装的东西想清楚:

  1. 基础镜像肯定是NVIDIA官方提供的啦,最省事,不用装cuda和cudnn了;

  2. vim、git、lrzsz、ssh这些肯定要啦;

  3. anaconda、pytorch肯定要啦;

  所以需要准备好国内源source.list,否则安装速度很慢。

deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties
deb http://archive.canonical.com/ubuntu xenial partner
deb-src http://archive.canonical.com/ubuntu xenial partner
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse

  下载anaconda的地址:https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh,这里直接在Dockerfile里下了,具体如下:

$ vim Dockerfile
FROM nvidia/cuda
LABEL author="qyf"
ENV PYTHONIOENCODING=utf-8
RUN mv /etc/apt/sources.list /etc/apt/sources.list.bak
ADD $PWD/sources.list /etc/apt/sources.list
RUN apt-get update --fix-missing && \
  apt-get install -y vim net-tools curl wget git bzip2 ca-certificates libglib2.0-0 libxext6 libsm6 libxrender1 mercurial subversion apt-transport-https software-properties-common
RUN apt-get install -y openssh-server -y
RUN echo 'root:passwd' | chpasswd
RUN sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed -i 's/#PasswordAuthentication yes/PasswordAuthentication yes/' /etc/ssh/sshd_config
RUN echo 'export PATH=/opt/conda/bin:$PATH' > /etc/profile.d/conda.sh && wget --quiet https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh -O ~/anaconda.sh && /bin/bash ~/anaconda.sh -b -p /opt/conda && rm ~/anaconda.sh
RUN apt-get install -y grep sed dpkg && \
  TINI_VERSION=`curl https://github.com/krallin/tini/releases/latest | grep -o "/v.*\"" | sed 's:^..\(.*\).$:\1:'` && \
  curl -L "https://github.com/krallin/tini/releases/download/v${TINI_VERSION}/tini_${TINI_VERSION}.deb"; > tini.deb && \
  dpkg -i tini.deb && \
  rm tini.deb && \
  apt-get clean
ENV PATH /opt/conda/bin:$PATH
RUN conda install pytorch torchvision -c pytorch -y
ENTRYPOINT [ "/usr/bin/tini", "--" ]
CMD [ "/bin/bash" ]

  通过docker build构造镜像:

docker build -t pytorch/cuda8 ./

  运行成功调用cuda。 

  

三、关于一些bug

  这里有部分debian的配置,我照着dockerhub上anaconda镜像抄的,这里就不再配置了,反正跑起来后有镜像也可以用。系统随后可能会出现错误:

kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1

  

  这是一个Ubuntu的内核错误,截止到到目前为止似乎还没完全解决。

  

  这个小哥给出了一个解决方案,至少他给出的错误原因我是相信的:是由内核的TCP套接字错误引发的。这里我给出一些思考,关于上面的结构图,在显卡上,通过nvidia-docker,docker之上的容器可以使用到底层显卡(驱动显然是在docker之下的),而TCP套接字,我猜测也是这种使用方法,而虚拟出来的dockerOS,应该是没有权限来访问宿主机内核的,至少内核限制了部分权限。这位小哥给出了测试内核,如果有兴趣可以去帮他测试一下:https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1711407/comments/46

总结

以上所述是小编给大家介绍的docker挂载NVIDIA显卡运行pytorch的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对我们网站的支持!

(0)

相关推荐

  • docker挂载NVIDIA显卡运行pytorch的方法

    写在前面: 请参考之前的文章安装好CentOS.NVIDIA相关驱动及软件.docker及加速镜像. 主机运行环境 $ uname -a Linux CentOS 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux $ cat /usr/local/cuda/version.txt CUDA Version 8.0.61 $ cat /usr/local/cuda

  • Docker 搭建 Tomcat 运行环境的方法

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.容器是完全使用沙箱机制,相互之间不会有任何接口. 1 Docker与虚拟机   2 搭建过程 2.1 准备宿主系统 准备一个 CentOS 7操作系统,具体要求如下: 必须是 64 位操作系统 建议内核在 3.8 以上 通过以下命令查看您的 CentOS 内核: # uname -r 2.2 安装Docker # yum install d

  • 详解Docker挂载本地目录及实现文件共享的方法

    docker挂载本地目录的方法总结: Docker容器启动的时候,如果要挂载宿主机的一个目录,可以用-v参数指定. 譬如我要启动一个centos容器,宿主机的/test目录挂载到容器的/soft目录,可通过以下方式指定: # docker run -it -v /test:/soft centos /bin/bash 这样在容器启动后,容器内会自动创建/soft的目录.通过这种方式,我们可以明确一点,即-v参数中,冒号":"前面的目录是宿主机目录,后面的目录是容器内目录. 貌似简单,其

  • Ubuntu18.04.2下安装 RTX2080 Nvidia显卡驱动的方法

    不久前入手了蓝天P870TM1G准系统,配置如下: 1. Z370主板 2. i9-9900k桌面处理器 3. RTX2080移动版 由于显卡太新的缘故,安装Ubuntu16.04时,试了好多版本,只有16.04.6能顺利安装,可是继续安装Nvidia显卡驱动时各种失败,最后重装了18.04.2版本.接着尝试安装显卡驱动. 通常情况下在使用命令 sudo apt-get update, sudo apt-get upgrade 后,就可以在 Software & Updates 里面的Addit

  • docker运行项目的方法

    1.进入存放自己项目war的目录 编辑Dockerfile文件 vim Dockerfile 内容如下: rom registry.docker-cn.com/library/tomcat MAINTAINER heihezi heihezi@foxmail.com COPY myproject.war /usr/local/tomcat/webapps 2.build自己的镜像 docker build -t myproject:latest . 不出意外的会显示build镜像的步骤,最后一行

  • 用docker运行postgreSQL的方法步骤

    1. 安装docker: 参考网址: Docker入门安装教程(小白篇) linux上安装Docker(非常简单的安装方法) 2. 拉取postgreSQL的docker镜像文件:docker pull postgres:12.1 3. 创建 docker volume,名字为"dv_pgdata"(其实可以省略手动创建,直接跑下一步,docker也会自动创建的):docker volume create dv_pgdata 4. 启动容器,用-v来指定把postgres的数据目录映射

  • 使用Docker将容器目录挂载到主机上的实现方法

    目录 一.基本介绍 二.将容器目录挂载到主机 一.基本介绍 这里我们主要介绍 Docker 里的一个命令,叫做 --mount,其本质上来说和 --volume 命令并没有太大区别,因为这两个命令都是用来给容器提供一个挂载目录.唯一的区别便是,容器的挂载类型不同,那么效果也会有所不同. 容器的挂载类型: bind:将宿主机的指定目录挂载到容器的指定目录,以覆盖的形式挂载(这也就意味着,容器指定目录下的内容也会随着消失) volume:在宿主机的 Docker 存储目录下创建一个目录,并挂载到容器

  • Docker下搭建一个JAVA Tomcat运行环境的方法

    前言 Docker旨在提供一种应用程序的自动化部署解决方案,在 Linux 系统上迅速创建一个容器(轻量级虚拟机)并部署和运行应用程序,并通过配置文件可以轻松实现应用程序的自动化安装.部署和升级,非常方便.因为使用了容器,所以可以很方便的把生产环境和开发环境分开,互不影响,这是 docker 最普遍的一个玩法.更多的玩法还有大规模 web 应用.数据库部署.持续部署.集群.测试环境.面向服务的云计算.虚拟桌面 VDI 等等. 主观的印象:Docker 使用 Go 语言编写,用 cgroup 实现

  • 深度学习环境搭建anaconda+pycharm+pytorch的方法步骤

    目录 显卡 驱动 cuda anaconda 1. 下载安装 2. 安装pytorch虚拟环境 3. conda常用指令 pycahrm / jupyter 下载安装 如何建好的虚拟环境的解释器找出来指派给代码? 本文将详细介绍一下如何搭建深度学习所需要的实验环境. 这个框架分为以下六个模块 显卡 简单理解这个就是我们常说的GPU,显卡的功能是一个专门做矩阵运算的部件,用于显示方面的运算,现在神经网络中绝大操作都是对矩阵的运算,所以我们当然可以将显卡的矩阵运算功能应用起来,来提高计算速度. 驱动

  • 讲解使用Docker搭建Java Web运行环境

    Docker 是一种"轻量级"容器技术,它几乎动摇了传统虚拟化技术的地位,现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了.作为一名 Java 程序员,我们是时候一起把 Docker 学起来了! 本文会对虚拟化技术与 Docker 容器技术做一个对比,然后引出一些 Docker 的名词术语,比如:容器.镜像等,随后将使用 Docker 搭建一个 Java Web 运行环境,最后将对本文做一个总结. 我们先来回顾一下传统虚拟化技术的体系架构: 可见,我们

随机推荐