Anaconda+Pycharm环境下的PyTorch配置方法

写给新手的话

pycharm是什么,为什么让我指定interpreter

记事本

最开始写C语言代码的时候,人们使用vi记事本等软件写代码,写完了之后用GCC编译,然后运行编译结果,就是二进制文件。python也可以这样做,用记事本写完代码,保存成如test.py的文件后,通过命令python test.py可以运行这一文件。最初的C语言代码都是通过这种方式写的。但是人们很快发现了一个问题,就是这么弄太麻烦了,编写用vi,运行得切出去用shell,出错了再切回vi改代码。这要是编写、运行、调试都能在同一个窗口里进行,再来点语法检查,高亮,颜色,代码提示,那写代码的效率不就高多了吗?所以就有了Microsoft Visual C++等写代码工具,这些工具除了提供方便的文本编辑功能,还能够连接到编译器(C/C++)、解释器(javapythonR),把编译器和解释器的运行结果显示在自己的界面上,这些工具被称为IDE(集成开发环境)。正因为编译器,解释器不是它的组成部分,pycharm中每个项目都要指定一个interpreter才能运行。即某个路径下的python.exe。其他的IDE也都要指定运行环境。

pip又是什么

应用商店 pythonjava一样,运行起来需要各种包的支持。java兴起的最开始,开源jar包作者在各自的网站上面发布自己的包,需要用的开发者就去他们的网站上下载,然而很快就出现了一个问题,如果一个大型工程需要用到几十个,甚至几百个jar包,一个个翻网站下载显然是非常劳累的。所以就有了mavengradle,他们自己建了maven仓库和gradle仓库,就像IOS应用商店一样,开源jar包的作者会把各种版本的jar包统一上传到仓库,开发者统一下载,非常方便。 python问世的时候,javamavengradle早已流行多年,python官方也吸取了经验,直接官方内置pip工具,官方经营pip仓库。正式的名称叫做包管理工具conda的功能之一也是包管理工具。

condavitualenvpipenv 又是什么

照片管理系统 python版本繁多,版本之间的区别较大。这种不兼容激化了矛盾,当一台机器上存在多个python项目,而这些项目又各自依赖于不同的python版本以及各个不同版本的包,这些包对于python版本又非常敏感。即使有pip,配置环境也变成了一件令人绝望的事。以往java等语言没有这么激烈的矛盾,是因为它们没有这么多版本,而且版本之间也能大体兼容。所以人们就想,如果能把pip配置出来的结果“照”下来。不同项目用不同的“照片”,这问题不就解决了吗。这类任务通常都是靠虚拟化技术。

  • 传统的虚拟机可以胜任这个任务,但是运行效率有损失,消耗资源多,管理不灵活。
  • 新晋的docker容器比虚拟机更加轻量,更加灵活,但对于这个任务来说,还是同样的缺点。

于是conda等软件应运而生,它不是虚拟机,没有使用虚拟化技术,自然就没有运行效率损失。它只是一个物理机上的管理软件,可以把它想象成一个照片管理系统,只不过它管理的照片有点特殊,叫做虚拟环境,它是某个python运行环境,里面已经装好了一些特定版本的特定包。 注意:pippipenv是两个东西,不可混为一谈。

anaconda是什么,anacondaconda是什么关系,为什么要装anaconda

XX照片管理系统+XX全家桶 anacondaminiconda同为conda官方推荐的conda工具。anacondaconda的关系,就像githubgit的关系,anaconda不光包含了conda命令行软件,还包含了多如牛毛的预装python包,以及令人瞠目结舌的黑科技全家桶。我们装anaconda主要是冲着conda管理python运行环境比较方便的原因,以及它那一大堆预装包。虽然其他的我们用不到,但是大树底下好乘凉嘛。

下文所述两种配置方法异同

下面有两种pytorch环境配置方法,推荐使用第一种,即使用condapytorch环境配置方法。第二种费时费力。这是亲测的结果。不禁慨叹还是conda好用,手动撸环境犹如小米加步枪啊。

使用condapytorch环境配置方法安装anaconda下载anaconda

在https://www.anaconda.com/distribution/ 找到合适的安装包,得到下载链接后进行下载

https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh

安装anaconda

所有步骤参照官方文档 https://docs.anaconda.com/anaconda/install/linux/

bash Anaconda3-2019.03-Linux-x86_64.sh

使用conda组装pytorch虚拟环境安装pytorch到本地conda仓库中

pytorch官方网站找到合适的安装命令 https://pytorch.org/get-started/locally/ 注意:CUDA是使用GPU进行计算的组件。

conda install pytorch-cpu torchvision-cpu -c pytorch

使用下面的命令可以看到conda仓库中的torch

conda list |grep torch

创建新的conda虚拟环境

官方文档

https://conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html

conda create --name pytorch-py36 --channel pytorch python=3.6 pytorch-cpu torchvision-cpu

使用conda虚拟环境

activate pytorch-py36python

在打开的python命令行里输入

import torchimport torchvisionimport numpy

不报错则说明构建conda虚拟环境pytorch-py36成功。 注意:pytorch-py36默认在anaconda目录下的envs文件夹中。

pycharm中使用conda虚拟环境将自己创建的conda虚拟环境pytorch-py36添加到pycharminterpreter可选列表中

pycharm新建工程,或在files->settings->project:<xxx>->project interpreter界面,可以设定project interpreter

新建工程界面,选择Existing enviroment,点击...按钮,会弹出添加界面。settings界面,点击齿轮按钮,选择Add,会弹出添加界面。在添加界面左侧选择Conda Environment,右边选择Existing environment,再点击...按钮添加一个已经存在的conda虚拟环境,即刚刚构建的pytorch-py36

使用已经添加进来的虚拟环境pytorch-py36

interpreter列表中选择刚刚添加的interpreter。如果需要对刚添加的interpreter改名,比如把python 3.6 (3)改成pytorch-py36,则点击齿轮按钮,点击show all,里面可以改名。

大功告成!

试着使用import torchimport torchvision这样的语句,不会报错则成功。

pytorch手动配置方法源码安装python3.6.7下载python3.6.7

cd ~wget https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz

创建目录,改名

mkdir ~/pythonmkdir ~/python/python367mv ~/Python-3.6.7.tgz ~/python/python367.tgz

解压缩

cd ~/pythontar xvf python367.tgz

源码安装zlib

zlibpython需要的依赖库,必须提前安装。如果有管理员权限,只需用包工具即可安装,如sudo apt-get install zlib1g-dev;因为没有管理员权限,所以采用源码安装。可以用以下两条命令确认zlib是否存在。

ls /usr/include |grep zlibls /usr/lib |grep zlib

如果任意一条输出为空,则说明zlib不存在,需要安装。 注意:|grep可以跟在任意命令之后,对该命令的输出结果进行搜索,只显示跟搜索内容有关的部分。

cd ~/python/Python-3.6.7/Modules/zlibmkdir
~/python/zlib./configure --
prefix=/home4/grad4/wzhao1/python/zlibmake install

然后将zlib加入到GCCincludelib路径中。

export C_INCLUDE_PATH=~/python/zlib/includeexport CPLUS_INCLUDE_PATH=~/python/zlib/includeexport LD_LIBRARY_PATH=~/python/zlib/libexport LIBRARY_PATH=~/python/zlib/lib

注意:此处的路径修改仅对当前shell有效,关闭shell或断开重连都会导致路径失效。因为我们只需要编译一次,所以采用这种方式。想查看这两个路径的当前值使用echo命令,即echo $C_INCLUDE_PATH。如果想要每次都生效,可以将export命令写入.bashrc中。 注意:GCC编译时搜索的路径远比这些变量多,这些变量只是其中的一部分,且通常默认为空,也不是最优先的。比如最常见的,也是一般情况下最优先的搜索路径是/usr/include/usr/lib,也就是刚才判断zlib是否存在的命令中搜索的路径。 注意:四个变量含义:C头文件路径(.h),C++头文件路径(.hpp),动态链接库路径(.so),静态链接库路径(.a)。

编译安装

cd ~/python/Python-3.6.7/./configure --

prefix=/home4/grad4/wzhao1/python/python367makemake install

如有报错,必须停下来解决问题。如果一直没有报错,则会安装成功。 注意:--prefix后面的参数必须是绝对路径,不能出现~...这样的相对路径。echo ~可以显示处当前用户~目录的绝对路径,如/home4/grad4/wzhao1--prefix后面的参数简单理解,就是windows下的安装路径。 注意:以上过程是自动化编译,./configure这种可运行文件一般显示为绿色,它的作用是根据当前环境,制定编译策略,即MakefileC/C++语言与javapythonscalaR等高度现代化的编程语言不同,它的部分语言特性是根据编译时环境而定的,这一点颇受诟病。如longint型的数据类型长度竟然取决于编译时环境。

验证安装1

cd ~/python/python367/bin./python3.6

如果python命令行正常启动,且显示版本也是正确的3.6.7,则安装成功。

备份编译包

同一环境,尤其是同一服务器下通常不需要重新编译,只要有人编译出一份并备份保存,所有人都能直接下载使用。为了这个目的,以及备份的目的,我们要把编译结果保存成压缩包。

cd ~/pythontar cvf python367.tgz python367

建立软连接

软连接可以简单理解为windows下的快捷方式,建立软连接的目的是为了更方便地使用我们安装的python。从这个步骤开始都不做,python也能正常使用。进入~/python/python367/bin下查看目前的情况。

ls -lh

可以看到,软连接是浅蓝色,并标注了它指向的目标。如python3 -> python3.6,而且可以看到python3.6的文件大小是12M,而python3的大小是9(字节)。我们建立名为pythonpip的软连接。

ln -s python3.6 pythonln -s pip3.6 pip

配置环境变量

修改文件~/.bashrc,添加python3.6.7环境变量。 注意:这个文件内的变量是用户变量。系统变量在/etc/profile

cd ~vim .bashrc

注意:用vim进行编辑时,不可使用鼠标。屏幕下端是状态栏。打开文件时,默认为浏览状态。输入ai可以进入编辑状态。按ESC回到浏览状态,在浏览状态下,输入:q!强制退出不保存,输入:wq保存退出。

export PYTHON_HOME="~/python/python367"export
PATH="$PYTHON_HOME/bin:$PATH"

修改完环境变量后,不会立即生效。用这个命令让环境变量立即生效。

source .bashrc

验证安装2

python --versionpip --version

显示下列结果即安装成功

Python 3.6.7pip 10.0.1

今后该用户的shell里只要输入pythonpip,默认就是使用刚才安装的pythonpip

python3.6.7中安装pytorch下载pytorch

在 https://pytorch.org 找到合适的安装包,得到下载链接后进行下载

wget https://download.pytorch.org/whl/cpu/torch-
1.0.1.post2-cp36-cp36m-linux_x86_64.whl

使用pip安装pytorch

pip install torch-1.0.1.post2-cp36-cp36m-
linux_x86_64.whlpip install torchvision

注意:torch-1.0.1.post2-cp36-cp36m-linux_x86_64.whl不能改名,因为pip会严格检查文件名是否符合当前python版本,不符合则拒绝安装。

验证安装

pythonimport torchimport torchvision

不报错则安装成功。

Pycharm下使用pytorch

在新建工程的时候选择existing interpreter,指定之前安装的python.exe即可。(即~/python/python367)对于已经存在的工程,可以按如下步骤操作(如果project interpreter里面有我们要的python.exe,就不需要再add了)

总结

到此这篇关于Anaconda+Pycharm环境下的PyTorch配置方法的文章就介绍到这了,更多相关Anaconda Pycharm PyTorch配置内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Pycharm中切换pytorch的环境和配置的教程详解

    pytorch安装 注:在训练模型的时候,有时候可能需要不同版本的 torch和torchvision,所以需要配置不同的环境.anconda和pycharm自行安装,接下来在pycharm终端pip安装. 1. torch和torchvision下载 进入pytorch官网,[https://pytorch.org] 进入右下角的网站下载,找到需要的版本,我的版本如下 1.3.0-版本 cp37-python版本3.7 win-Windows系统 2. pycharm终端安装 (1)首先创建一

  • Python 、Pycharm、Anaconda三者的区别与联系、安装过程及注意事项

    1.致欢迎词 我将详细讲述在学Python初期的各种手忙脚乱的问题的解决,通过这些步骤的操作,让你的注意力集中在Python的语法上以及后面利用Python所解决的项目问题上.而我自己作为小白,很不幸的没有错过任何的坑,都跳了进去,所以在这里写下经验贴,一方面希望能给后来的学者能够高效的避开这些坑,另一方面也算是自己的总结与警告. 2.内容大纲 2.1 安装顺序 能够使用Python的安装过程我建议这样:Anaconda-Pycharm Anaconda我建议安装Anaconda3 原因后面会解

  • Python入门Anaconda和Pycharm的安装和配置详解

    子曰:"工欲善其事,必先利其器."学习Python就需要有编译Python程序的软件,一般情况下,我们选择在Python官网下载对应版本的Python然后用记事本编写,再在终端进行编译运行即可,但是对于我这样懒的小白,我喜欢装一些方便的软件来辅助我编写程序.在学习Java时,正常情况选择安装JDK然后配置环境变量后,用记事本编写程序再在终端编译运行即可,而我一般选择安装JDK+MyEclipse.将Python和Java进行类比的话,在Python中使用Python+Pycharm好比

  • 详解PyCharm配置Anaconda的艰难心路历程

    在安装好pycharm后,想着anaconda中的类库会比较全,就想着将anaconda配置到pycharm中,这样可以避免以后下载各种类库. 第一步就是要下载并安装anaconda,在安装的过程中历经困难,每次都在最后一步安装失败,报错信息为failed to create anacoda menue?网上也给出了各种解决方案,但是上天好像没有那么眷顾我,每种解决方案都不适用于我,方法如下: (1)使用默认安装路径,不适用自定义路径 (2)安装路径中不能包含中文字符 (3)系统相对路径过长,修

  • Linux下Pycharm、Anaconda环境配置及使用踩坑

    配置环境花了我一下午的时间,简单记录一下,希望能帮到一些新手. 1.下载PyCharm:https://www.jetbrains.com/pycharm/download/#section=linux 下载完成后将压缩文件解压,然后打开终端执行: cd downloads/pycharm-2018.1/bin bash pycharm.sh 启动pycharm后需要注册,选择License server激活,然后填入:http://artemis.my.to,然后点Activate激活即可 2

  • Anaconda+Pycharm环境下的PyTorch配置方法

    写给新手的话 pycharm是什么,为什么让我指定interpreter 记事本 最开始写C语言代码的时候,人们使用vi,记事本等软件写代码,写完了之后用GCC编译,然后运行编译结果,就是二进制文件.python也可以这样做,用记事本写完代码,保存成如test.py的文件后,通过命令python test.py可以运行这一文件.最初的C语言代码都是通过这种方式写的.但是人们很快发现了一个问题,就是这么弄太麻烦了,编写用vi,运行得切出去用shell,出错了再切回vi改代码.这要是编写.运行.调试

  • php在apache环境下实现gzip配置方法

    本文实例讲述了php在apache环境下实现gzip配置方法.分享给大家供大家参考.具体如下: 1.conf/httpd.conf 1) 去掉#LoadModule headers_module modules/mod_headers.so前面的注释#, 2) 添加LoadModule deflate_module modules/mod_deflate.so, 3) 去掉#Include conf/extra/httpd-vhosts.conf前面的注释#.   2.conf/extra/ht

  • Anaconda多环境多版本python配置操作方法

    conda测试指南 在开始这个conda测试之前,你应该已经下载并安装好了Anaconda或者Miniconda 注意:在安装之后,你应该关闭并重新打开windows命令行. 一.Conda测试过程: 使用conda.首先我们将要确认你已经安装好了conda 配置环境.下一步我们将通过创建几个环境来展示conda的环境管理功能.使你更加轻松的了解关于环境的一切.我们将学习如何确认你在哪个环境中,以及如何做复制一个环境作为备份. 测试python.然后我们将检查哪一个版本的python可以被安装,

  • Nginx下ThinkPHP5的配置方法详解

    本文主要给大家介绍了关于Nginx下ThinkPHP5的配置方法,分享出来供大家参考学习,下面话不多说,来一起看看详细的介绍: url里public目录的隐藏 出于安全的考虑,TP5的入口文件改成放在public下了,因为这样的话能防止被恶意用户访问到"/thinkphp/"."/vendor/"等等这些目录下的文件.所以当你以之前的习惯将网站documentroot配置为项目根目录的时候就会需要在url后面加上/public/来访问.当然可能也会有童鞋把入口文件放

  • Windows下MySQL安装配置方法图文教程

    Windows下的安装与配置MySQL详细步骤思路,分享给大家,供大家参考,具体内容如下 本文介绍Windows XP下的安装与配置. 要想在Windows中运行MySQL,需要: Ø 32位Windows操作系统,例如9x.Me.NT.2000.XP或Windows Server 2003. 基于Windows NT的操作系统(NT,2000,XP,2003),将MySQL服务器做为服务来运行.强烈建议使用基于Windows NT的操作系统. Ø TCP/IP协议支持(也许是所有数据库系统的基

  • 基于Spring Boot不同的环境使用不同的配置方法

    spring 多文件配置: 1.properties文件 2.YAML文件 一.properties文件 在 Spring Boot 中, 多环境配置的文件名需要满足 application-{profile}. properties的格式, 其中{profile}对应你的环境标识, 如下所示. • application-dev.properties: 开发环境. • application-test.properties: 测试环境. • application-prod.propertie

  • ubuntu服务器环境下安装python的方法

    本文实例讲述了ubuntu服务器环境下安装python的方法.分享给大家供大家参考,具体如下: ubuntu 14.04 --16.04 版本默认是安装的是python 2.7 1.查看当前python版本 $python --version 2.升级到python3.X版本 $sudo add-apt-repository ppa:fkrull/deadsnakes#添加一个源 $sudo apt-get update#更新源列表,以获取最新的版本 $sudo apt-get install

  • LNMP环境下搭建yum的方法分析

    本文实例讲述了LNMP环境下搭建yum的方法.分享给大家供大家参考,具体如下: 今天弄了下socket扩展,把我原来的环境搞坏掉了 posix这个扩展被我搞坏掉了 唉 所以从新装一下 首先yum先看下lnmp环境 检查nginx php mysql 是否存在 命令:which php 如果存在就先卸载掉 yum remove mysql yum remove php yum remove nginx 然后查看 rpm -qa|grep -i php 用命令:rpm -e (刚刚查出来的数据) -

  • vue-cli3.0 环境变量与模式配置方法

    vue-cli3.0移除了配置文件目录: config和build文件夹.可以说是非常的精简了,那移除了配置文件目录后如何自定义配置环境变量和模式呢? 为什么需要配置环境变量和模式呢? 所有方法肯定是来源于现实的需求.在一个产品的前端开发过程中,一般来说会经历本地开发.测试脚本.开发自测.测试环境.预上线环境,然后才能正式的发布.对应每一个环境可能都会有所差异,比如说服务器地址.接口地址.websorket地址-- 等等.在各个环境切换的时候,就需要不同的配置参数,所以就可以用环境变量和模式,来

  • python 环境安装及编辑器配置方法小结

    第一步:python解释器,到网上下载安装下就行. 网址:https://www.python.org/downloads/windows/ 值得注意的是,你需要关注python的版本号,因为3和2版本已经不兼容了,如果你要学习的话就学3吧. 我的是安装在c盘. 配置环境 在安装的时候当然可以选择自动配置,但是也可能是电脑的一些问题冲突了,就可能没有配置好,这时候需要我们手动去配置. 配置到达指定路径: 选择path,然后把python安装目录放下去,我的是C:\Program Files\Py

随机推荐