pycharm编写spark程序，导入pyspark包的3中实现方法

一种方法：

File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选择more-->选择刚才选中的那个python版本-->点击最下方编辑(也就是增加到这个python版本下)-->点击➕-->选中spark安装目录下的python目录-->一路OK。

再次在python文件中写入如下

from pyspark import SparkConf

如果上一种不管用，则采用下一种。

With PySpark package (Spark 2.2.0 and later)

另一种操作方法：

1.Go to File -> Settings -> Project Interpreter

2.Click on install button and search for PySpark

第三种方法（需要先下载spark安装包）：

下载spark安装包，将spark主目录中python目录中的pyspark目录拷贝到

/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages

目录中，在pycharm中

from pyspark import SparkContext

成功，可以愉快的用python编写spark程序了。。。。

赞 (0)

相关推荐

  • PyCharm+PySpark远程调试的环境配置的方法

    前言:前两天准备用 Python 在 Spark 上处理量几十G的数据,熟料在利用PyCharm进行PySpark远程调试时掉入深坑,特写此博文以帮助同样深处坑中的bigdata&machine learning fans早日出坑. Version :Spark 1.5.0.Python 2.7.14 1. 远程Spark集群环境 首先Spark集群要配置好且能正常启动,版本号可以在Spark对应版本的官方网站查到,注意:Spark 1.5.0作为一个比较古老的版本,不支持Python 3.6+

  • 通过pycharm使用git的步骤(图文详解)

    前言 使用git+pycharm有一段时间了,算是稍有点心得,这边整理一下,可能有的方法不是最优,欢迎交流,可能还是习惯敲命令去使用git,不过其实pycharm已经帮忙做了很多了,我们可以不用记住那么多的命令的. 通过pycharm初始化git环境 因为之前内网搭建了gitlab,参考此文章centos6搭建gitlab,所以可以通过gitlab很方便的创建一个project,我这边从无到有,先从gitlab上checkout一个仓库,这个项目之前已经从gitlab上创建了 checkout之

  • PyCharm搭建Spark开发环境实现第一个pyspark程序

    一, PyCharm搭建Spark开发环境 Windows7, Java1.8.0_74, Scala 2.12.6, Spark 2.2.1, Hadoop2.7.6 通常情况下,Spark开发是基于Linux集群的,但这里作为初学者并且囊中羞涩,还是在windows环境下先学习吧. 参照这个配置本地的Spark环境. 之后就是配置PyCharm用来开发Spark.本人在这里浪费了不少时间,因为百度出来的无非就以下两种方式: 1.在程序中设置环境变量 import os import sys

  • Python3+Pycharm+PyQt5环境搭建步骤图文详解

    搭建环境: 操作系统:Win10 64bit Python版本:3.7 Pycharm:社区免费版 一.Python3.7安装 下载链接:官网https://www.python.org/downloads/windows/或腾讯软件中心下载https://pc.qq.com/detail/5/detail_24685.html或其他站点下载.我下载的是python-3.7.0-amd64. 下载到安装包后打开,如果想安装到默认路径(C盘)的话一直点下一步就可以了,或者自定义安装到其他分区,我的

  • PyCharm-错误-找不到指定文件python.exe的解决方法

    1.现象 系统提示找不到指定的文件: Error running 'hello': Cannot run program "B:\pystudy\venv\Scripts\python.exe" (in directory "\python-study"): CreateProcess error=2, 系统找不到指定的文件. 2.原因 原来的工程目录(B盘)下,保存了python的编译环境,包括python.exe文件.工程目录移动到F盘以后,工程设置中找不到py

  • Pycharm简单使用教程(入门小结)

    1.下载pycharm pycharm是一种Python IDE,能够帮助我们在编写代码时提高效率. 网上提供的有专业版和教育版之分. 专业版是收费的,功能更全面点. 教育版或社区版是阉割版本,但它是免费的. 2.pycharm的安装 比较简单,官网下载 备注: 刚下载好的pycharm无法运行程序" Cannot start process, the working directory-", 两种解决方法 1.选择Run-Edit configurations.然后点击Environ

  • pycharm编写spark程序，导入pyspark包的3中实现方法

    一种方法: File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选择more-->选择刚才选中的那个python版本-->点击最下方编辑(也就是增加到这个python版本下)-->点击➕-->选中spark安装目录下的python目录-->一路OK. 再次在python文件中写入如下 from pyspark import SparkConf

  • eclipse导入jquery包后报错的解决方法

    eclipse导入jquery包后报错,处理步骤如下: 1.打开项目.project文件,去掉如下内容: 复制代码 代码如下: <buildCommand> <name>org.eclipse.wst.jsdt.core.javascriptValidator</name> <arguments> </arguments> </buildCommand> 2.删除原来的js,重启重新复制一份,因为原来的文件已被eclipse项目标记为

  • 把CSV文件导入到SQL Server表中的方法

    把CSV文件导入到SQL Server表中的方法

    有时候我们可能会把CSV中的数据导入到某个数据库的表中,比如做报表分析的时候. 对于这个问题,我想一点也难不倒程序人员吧!但是要是SQL Server能够完成这个任务,岂不是更好! 对,SQL Server确实有这个功能. 首先先让我们看一下CSV文件,该文件保存在我的D:盘下,名为csv.txt,内容是: 现在就是SQL Server的关键部分了: 我们使用的是SQL Server的BULK INSERT命令,关于该命令的详细解释,请点击此处: 我们先在SQL Server中建立用于保存该信息

  • Eclipse下编写java程序突然不会自动生成R.java文件和包的解决办法

    下面给大家介绍几种比较常见的解决办法,具体内容如下: 1.有时候eclipse不自动编译,把project clean一下,让R.java重新生成 2.选择菜单 Project >> Clean ,前提是勾选上 Bulid Automatically(自动构建部署) , 点Clean后会重新构建项目,因为一般情况下,R.java文件在这个时候会重新更新生成一边,如果工程有错,就不会自动生成. 3.选择工程,右键 Android Tools >> Fix Project Proper

  • Pycharm导入Python包,模块的图文教程

    1.点击File->settings 2.选择Project Interpreter,点击右边绿色的加号添加包 3.输入你想添加的包名,点击Install Package 4.可以在Pycharm保存项目的目录下查看已经安装的包,路径D:\PycharmProjects\untitled\venv\Lib\site-packages 以上这篇Pycharm导入Python包,模块的图文教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

  • 浅谈pycharm导入pandas包遇到的问题及解决

    python刚入门的小白,不定时更新自己在做实验的遇到的问题及解决方案. 最近受疫情影响,每天呆在家里上网课,三点一线地过着生活,不过在家跟在学校都是一样的,一样要上课听老师读PPT,一样要在电脑上敲自己也不是很懂的代码.这个学期我们开展了数据预处理这门课,老师在第一周要求我们用python处理csv文件里的数据,所以我就在官网上下载了pycharm community进行实验. 下载可以直接在搜索pycharm官网点击下载community版本 因为实验的之前需要用到Pandas来进行处理,而

  • 解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题

    解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题

    标题用pycharm导入numpy包的和使用时报错:RuntimeError: The current Numpy installation ('D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+(建议用pychon3.6版本,我之前用3.8版本安装不上numpy), 2.搜索numpy,注意把下面对号点上 3.现在简单用numpy还是会报错:RuntimeError: The cu

  • windows下pycharm搭建spark环境并成功运行 附源码

    windows下pycharm搭建spark环境并成功运行 附源码

    windows下spark的安装和运行 建议看到这篇文章(描述非常详细) Spark在Win10下的环境搭建 一.创建项目和.py文件 二.在pycharm中添加spark环境 若是左侧的python中没有,可点击''+''号进行添加 配置spark环境:总共3个(SPARK_HOME.HADOOP_HOME.PYTHONPATH) (注:SPARK_HOME和HADOOP_HOME已在系统的环境变量添加,故这里不再添加) 在编写代码时,建议添加如下代码,保证程序能够运行成功: import o

  • 在IntelliJ IDEA中创建和运行java/scala/spark程序的方法

    本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序: 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介绍 IntelliJ IDEA 本文使用版本为: ideaIC-2020.1 IDEA 全称 IntelliJ IDEA,是java编程语言开发的集成环境.IntelliJ在业界被公认为最好的java开发工具,它的旗舰版本还支持HTML,CSS,PHP,MySQL,Python等,免费版只支持Jav

随机推荐