docker容器下配置jupyter notebook的操作

docker容器下配置jupyter notebook,主要是为了编写python代码,更具体点是做深度学习的开发。

jupyter web形式最高效的使用方式就是部署在云上,不管是cpu云服务器还是gpu的云服务器,都能快速启动使用。

而docker的出现又方便了很多在部署使用上。

- 安装 docker

docker分为docker CE和docker EE,一般使用docker CE(社区版本)。

docker可以在Linux(ubuntu、centos)、MacOS、Windows或者树莓派上安装。一般主要在linux下使用,我个人喜欢ubuntu系统。所以介绍在ubutnu下安装docker。

首先移除本机上可能存在的旧版本:

$sudo apt-get remove docker docker-engine docker.io

安装可选内核模块

减少内核软件包的安装体积,从 Ubuntu 14.04 开始,一部分内核模块移到了可选内核模块包 (linux-image-extra-*)。正常安装的系统应该会包含可选内核模块包,而一些裁剪后的系统可能会将其精简掉。AUFS 内核驱动属于可选内核模块的一部分,作为推荐的 Docker 存储层驱动,一般建议安装可选内核模块包以使用 AUFS。

$sudo apt-get update
$ sudo apt-get install linux-image-extra-$(uname -r) linux-image-extra-virtual

ubuntu 16.04 以上的系统版本上的 docker CE 默认使用 overlay2 存储层驱动,无需手动配置。

证书及密钥准备

由于 apt 源使用 HTTPS 以确保软件下载过程中不被篡改。因此,我们首先需要添加使用 HTTPS 传输的软件包以及 CA 证书。

$ sudo apt-get update
$ sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

鉴于国内网络问题,强烈建议使用国内源,官方源请在注释中查看。

$ curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 官方源
# $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

最后添加Docker软件源:

$ sudo add-apt-repository \
 "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
 $(lsb_release -cs) \
 stable"
# 官方源
# $ sudo add-apt-repository \
# "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
# $(lsb_release -cs) \
# stable"

以上命令会添加稳定版本的 Docker CE APT 镜像源,如果需要测试或每日构建版本的 Docker CE 请将 stable 改为 test 或者 nightly。

安装 Docker CE

$ sudo apt-get update
$ sudo apt-get install docker-ce

启动 Docker CE

$ sudo systemctl enable docker
$ sudo systemctl start docker

Ubuntu 14.04 请使用以下命令启动:

$ sudo service docker start

建立 docker 用户组

出于安全考虑,一般 Linux 系统上不会直接使用 root 用户。因此,更好地做法是将需要使用 docker 的用户加入 docker 用户组。

$ sudo groupadd docker
$ sudo usermod -aG docker $USER

测试 Docker 是否安装正确

$ docker run hello-world

拉取hello-world镜像进行测试,

Unable to find image 'hello-world:latest' locally
latest: Pulling from library/hello-world
d1725b59e92d: Pull complete
Digest: sha256:0add3ace90ecb4adbf7777e9aacf18357296e799f81cabc9fde470971e499788
Status: Downloaded newer image for hello-world:latest

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
 (amd64)
 3. The Docker daemon created a new container from that image which runs the
 executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
 to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

若能正常输出以上信息,则说明安装成功。

镜像加速器

国内从 Docker Hub 拉取镜像有时会遇到困难,此时可以配置镜像加速器。Docker 官方和国内很多云服务商都提供了国内加速器服务如阿里云、七牛云等。

ubuntu 14.04系统:

编辑 /etc/default/docker 在其中的 DOCKER_OPTS 中配置加速器地址:

DOCKER_OPTS="--registry-mirror=https://registry.docker-cn.com"

然后重新启动服务:

$ sudo service docker restart

ubuntu 16.04+系统:

请在 /etc/docker/daemon.json 中写入如下内容(如果文件不存在请新建该文件):

{
 "registry-mirrors": [
 "https://registry.docker-cn.com"
 ]
}

之后重新启动服务:

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

检查加速器是否生效

命令行执行 docker info,如果从结果中看到了如下内容,说明配置成功。

Registry Mirrors:
 https://registry.docker-cn.com/

- 常见docker命令

首先在使用docker命令之前需要区分镜像和容器的概念。建议参考连接

同一个镜像启动多个Docker容器,这些容器启动后都是活动的,彼此还是相互隔离的,在某个容器上进行操作后想保留现有系统环境的下需要进行提交保存。

启动命令:docker run

例如,下面的命令输出一个 “Hello World”,之后终止容器。

$ docker run ubuntu:18.04 /bin/echo 'Hello world'
Hello world

这跟在本地直接执行 /bin/echo ‘hello world' 几乎感觉不出任何区别。

下面的命令则启动一个 bash 终端,允许用户进行交互。

$ docker run -it ubuntu:16.04 /bin/bash
root@af8bae53bdd3:/#

其中-i 则让容器的标准输入保持打开,-t 选项让Docker分配一个伪终端(pseudo-tty)并绑定到容器的标准输入。

容器的状态主要有:

created:已经被创建 (使用 docker ps -a 命令可以列出)但是还没有被启动 (使用 docker ps 命令还无法列出)

running:运行中

paused:容器的进程被暂停了

restarting:容器的进程正在重启过程中

exited:上图中的 stopped 状态,表示容器之前运行过但是现在处于停止状态(要区别于 created 状态,它是指一个新创出的尚未运行过的容器)。可以通过 start 命令使其重新进入 running 状态

destroyed:容器被删除了,再也不存在了

查看当前系统拉取的镜像:

$docker images

查看当前系统下所有启动(Up状态)的容器

$docker container ls

或者

$docker ps

查看当前系统下所有容器

$ docker container ls -a

或者

$docker ps -a

终止某个容器:

$ docker container stop (id or name)

或者通过exit命令或 Ctrl+d 来退出终端,来停止容器。

进入容器:

$docker attach (id or name)

或者

$docker exec (id or name)

$docker attach从这个 stdin 中 exit,会导致容器的停止.

$docker exec从这个 stdin 中 exit,不会导致容器的停止.

推荐使用$docker exec

删除容器:$docker container rm (id or name)

清理所有处于终止状态的容器$ docker container prune

- 安装jupyter

首先进入容器:

$docker run -i -t ubuntu:16.04 /bin/bash

这个过程基本和在ubuntu系统上安装jupyter的过程是一样的,但容器中的ubuntu是个最简环境,没有安装python-dev包。

#更新apt-get环境
apt-get update

#安装python dev包
apt-get install python-dev

#安装jupyter
pip install jupyter

jupyter 默认只能通过本地地址访问,要放开配置,允许jupyter远程访问。在放开远程访问时,需要设置密码,jupyter的配置文件只支持加密后的密文密码。

#生成jupyter配置文件,这个会生成配置文件.jupyter/jupyter_notebook_config.py
jupyter notebook --generate-config

#使用ipython生成密码
In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password:
Verify password:
Out[2]: 'sha1:******'

#去配置文件.jupyter/jupyter_notebook_config.py中修改以下参数
c.NotebookApp.ip='*'       #绑定所有地址
c.NotebookApp.password = u'刚才生成的密码'
c.NotebookApp.open_browser = False   #启动后是否在浏览器中自动打开
c.NotebookApp.port =8888      #指定一个访问端口,默认8888,注意和映射的docker端口对应

配置完成以后,就可以用 jupyter notebook命令把jupyter启动起来了,如果在容器中直接使用的root用户,启动jupyter的命令为jupyter notebook --allow-root。

最终的命令为:

docker run -it --name jupytertest -p 8888:8888 -v ~/mnt:/mnt jupyter-ubuntu:v1 su root -c 'jupyter notebook --allow-root'

-p为端口映射,-v为路径挂载映射。

启动成功后使用http://ubuntu-ip:8888访问。

补充:在docker上创建远程jupyter

在远程服务器上的docker容器内使用命令

jupyter notebook --port=8888 --allow-root

即可运行jupyter。

需要注意的一点是,如果当前docker容器的端口是8888的话,即可省略--port=8888,若当前docker容器的端口不是8888的话,需在运行jupyter的时候指定端口和当前docker容器的端口一致。

如果忘了当前docker容器的端口,可在docker外使用命令

docker ps

查看。

运行了jupyter之后,界面上会输出一堆类似log的东西。如下:

保留当前界面,并且记录其中的token(用红线框出部分)。

运行之后在本地的浏览器输入远程服务器的ip:运行jupyter的docker容器的端口号。例如:192.168.0.101:8888。

登录界面如下:

如果不想设置密码的话,直接使用token登录即可。

如果要设置密码的话,使用token设置密码也行。下次进入就可以直接使用密码而不用token了。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

(0)

相关推荐

  • 解决docker run后容器出现Exited (0)情况的问题

    自己做了个centos7的openresty的Dockerfile,build之后 docker run -d -p 801:80 openresty:1.19 /usr/local/openresty/nginx/sbin/nginx 之后docker ps -a出现如下情况 CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 9dee2d04b3b5 openresty:1.19 "/usr/local/openrest-"

  • docker run -v 挂载数据卷异常,容器状态一直是restarting的解决

    出现的问题: docker run 加上 -v 参数之后,容器就一直是 restarting 状态,去掉 -v 参数就可以正常运行 查找问题: 使用 docker logs 'containerId' 这个containerId,就是docker run之后返回的containerId 可以看到,是权限拒绝的问题 解决问题: docker run时加上参数 :加上--privileged=true 例如: docker run -dit -e MYSQL_ROOT_PASSWORD=123456

  • Docker容器无法停止删除的解决方案

    查找运行的容器id docker ps 查找上面容器的物理位置 cd /var/lib/docker/container ls -a #此处会显示所有容器的id,找出上面那个无法停止删除的id(8位) 先停止docker服务 service docker stop 删除物理容器 rm -rf /var/lib/docker/container/{上面找到的id} 重启docker服务 service docker start 补充:Docker 退出容器不停止容器运行 并重新进入正在运行的容器

  • Docker多个容器不能有相同端口号的处理方案

    问题背景 在docker里用同一份镜像创建4个容器,网络选择bridge模式,A服务在四个容器中都使用了同一个端口号(6000):为了减少对外暴露的端口数,另外使用了nginx对这4个服务实例做代理,4个服务实例分属4个upstream,使用了类似/service1./service2的路径来访问4个实例. 此时从本地访问任一服务,则会报502错误,百思不得其解. connect() failed (111: Connection refused) while connecting to ups

  • Docker 实现容器端口绑定本地端口

    今天遇到启动镜像之后,通过HTTP请求的的方式访问不了的一个小问题,下面来记录并分享下解决办法: 常用的docker启动命令和解决办法如下所示: 一.启动docker 众所周知,启动容器的命令如下: docker run 镜像名称 二.绑定容器端口与本地端口 由于启动容器之后,本地无法直接访问容器内的端口,故而需要将本地的端口与容器的端口做一个绑定操作,从而可以通过本地端口去访问容器,设置如下: docker run -p 本地端口:容器端口 镜像名称 然后就可以通过本地的浏览器通过本地的端口访

  • Docker容器开jupyter不能访问到的解决方法

    在本项目中使用了docker容器搭建环境,Dockerfile 如下: FROM tensorflow/tensorflow:1.14.0-gpu-py3 RUN pip install scipy==1.3.3 RUN pip install requests RUN pip install Pillow RUN pip install matplotlib RUN pip install pandas RUN pip install keras==2.2.4 RUN pip install

  • docker容器下配置jupyter notebook的操作

    docker容器下配置jupyter notebook,主要是为了编写python代码,更具体点是做深度学习的开发. jupyter web形式最高效的使用方式就是部署在云上,不管是cpu云服务器还是gpu的云服务器,都能快速启动使用. 而docker的出现又方便了很多在部署使用上. - 安装 docker docker分为docker CE和docker EE,一般使用docker CE(社区版本). docker可以在Linux(ubuntu.centos).MacOS.Windows或者树

  • java实现Linux(centos) 中docker容器下命令交互的代码(配置向导)

    开发需求: 因系统程序部署时,经常是拆分部署(多台机器) ,手工部署费时费力,且每次都要手工配置系统参数(系统提供配置向导). 如下图所示: 1)进行main容器 -> 2)执行系统配置向导 -> 3)选择服务器模式 -> 4) 选择web控制台....然后进行具体的服务器IP设置. 为了解放双手,用java实现了Linux(centos) 下docker 应用程序的命令交互. 具体代码如下: import java.io.*; /** * @author by dujiajun * @

  • Windows下的Jupyter Notebook 安装与自定义启动(图文详解)

    我们小编注:如果不是特殊需要建议安装 Anaconda3 即可,自带Jupyter Notebook . 手动安装之前建议查看这篇文章:http://www.jb51.net/article/135171.htm 这是我自定义的Python 的安装目录 (D:\SoftWare\Python\Python36\Scripts) 1.Jupyter Notebook 和 pip 为了更加方便地写 Python 代码,还需要安装 Jupyter notebook. 利用 pip 安装 Jupyter

  • Docker容器下运行Nginx并实现反向代理

    目录 一.前言 二.运行Nginx容器 1.获取Nginx镜像 2.运行Nginx容器 三.运行ASP.NET Core应用程序 1.构建ASP.NET Core应用程序镜像 2.运行应用容器 三.设置反向代理 一.前言 我们知道,为了安全考虑,我们一般会设置反向代理,用来屏蔽应用程序真实的IP和端口号.在Linux系统上最常用的反向代理就是Nginx.本篇文章中,我们会通过Docker容器分别运行一个Nginx容器和一个ASP.NET Core应用程序的容器,然后设置反向代理. 二.运行Ngi

  • Pycharm安装并配置jupyter notebook的实现

    一: 安装命令jupyter: pip install jupyter 如果缺少依赖,缺啥装啥 二: 运行 jupyter notebook 首先,查看一下自己是否已经安装成功,在终端输入: jupyter notebook 如果运行成功,结果如下: [I 09:03:15.177 NotebookApp] JupyterLab beta preview extension loaded from /home/winddy/anaconda3/lib/python3.6/site-package

  • 离线状态下在jupyter notebook中使用plotly实例

    首先创建一个新的python3记录,之后在开始位置输入以下语句并执行: import plotly import plotly.offline as py py.init_notebook_mode(connected=False) import plotly.graph_objs as go 注意此时实际上是将plotly的库文件写在了ipynb文件内部,因此保存后的ipynb文件会比较大,一般在5M以上. 补充知识:plotly 绘制离线图例(折线) 我就废话不多说了,还是直接看代码吧! #

  • docker容器访问宿主机的MySQL操作

    背景: 有一个flask项目提供接口,使用docker容器构建并且运行,MySQL在宿主机运行,需要在容器中可以让flask连接上宿主机的mysql 使用ifconfig命令可以看到,有一个docker0和eth0,在docker容器中可以通过eth0的IP地址加上端口号(3306)这样就可以连接上宿主机的MySQL了:另外,nginx可以通过docker0的IP地址加上构建容器时指定的端口号进行访问容器. 补充:docker的mysql容器运行正常,但是宿主机却连不上数据库,解决方法来啦 do

  • 解决Docker容器下不能使用vim命令的问题

    在使用docker容器时,有时候里边没有安装vim,敲vim命令时提示说:vim: command not found,如图所示: 这时候就需要安装vim. 可是当你敲apt-get install vim命令时,提示: Reading package lists... Done        Building dependency tree               Reading state information... Done        E: Unable to locate pa

  • Docker容器从镜像恢复代码的操作步骤

    有时候代码丢失了需要从容器运行的镜像中恢复出所需代码,此时仅需在容器运行的服务器进行简单的几步操作,就能提取出打包镜像时使用的代码 查看所有容器: docker container ls -a 根据容器id进入到指定容器: docker exec -ti id /bin/bash 拷贝容器内目录到服务指定文件夹: docker container cp id:/usr/local/tomcat/webapps/province-admin /home/test/province-admin 经过

  • Jupyter Notebook远程登录及密码设置操作

    操作所涉及的文件都在当前用户下面的隐藏文件: 1. 打开Anaconda Prompt(如果之前生成过Config配置文件则不需要第一步) 终端输入: jupyter notebook --generate-config 注 :root用户请用:jupyter notebook --generate-config --allow-config 操作成功会提示已写入文件 2. 生成密码 jupyter notebook password Enter password: Verify passwor

随机推荐