如何使用pycharm连接Databricks的步骤详解

在本地使用pycharm连接databricks,大致步骤如下:

首先,为了让本地环境能够识别远端的databricks集群环境,需要收集databricks的基本信息和自己databricks的token,这些信息能够让本地环境识别databricks;接着,需要使用到工具 anaconda创建一个虚拟环境,连接databricks;最后,将虚拟环境导入pycharm。

(下面的图渣渣,因为直接拖进来的)

第0步:检查

检查java版本,需要时1.8开头的版本,如果不是,请到这里下载:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

第1步:收集databricks的信息

查看python版本 (还不知道怎么看,这里cluster的python版本为3.7)
查看Runtime Version

查看cluster ulr,解析出下面信息

生成token,点击这个小人-user setting



最后,这是我们收集到的所有信息

第2步:安装anaconda

如果已经安装anaconda,请略过这一步
没有安装,可以看这个教程
https://www.jb51.net/article/196286.htm

第3步:使用anaconda创建虚拟环境

下面的参数信息,使用第一步收集的信息
打开anaconda的命令行

创建一个3.7版本的虚拟隔离环境

conda create -n dbconnect python=3.7

使用环境

conda activate dbconnect

卸载pyspark,如果是新创建的环境,可以不用执行这步(这是为了确保,创建的环境不能有pyspark的包,因为会产生包的问题)

pip uninstall pyspark

下面开始安装包,但是为了让安装速度快一些,使用清华镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/
conda config --set show_channel_urls yes

查看是否切换到镜像

conda config --show channels

可以看到已经切换

安装connect包,第一步中确定的run的版本为6.4,故选择6.4.* (用公司的网络,下载很慢,我用自己的热点)

pip install -U databricks-connect==6.4.*

连接远端databricks,并输入第一步收集的相关信息

databricks-connect configure

测试是否已经连接上:

databricks-connect test

已经在启动节点了

查看databricks,可以看到

第4步:pycharm导入虚拟环境

打开pycahrm,点击setting

选择解释器,点击小齿轮的add'

选择刚才我们创建好的dbconnect

点击ok,可以看到已经选好了环境

不知道为啥连接不到远端的包,我的项目还需要在本地安装一些用的包

conda install scikit-learn==0.22.1
conda install pandas==0.24.2
conda install pyarrow==0.15.1

在pycharm测试运行一下:

import pandas as pd
import numpy as np

# Generate a pandas DataFrame
pdf = pd.DataFrame(np.random.rand(100, 3))

from pyspark.sql import *
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame(pdf)

print(df.head(5))

去databrick的cluster log看一下,已经启动了节点,正在运行

到此这篇关于如何使用pycharm连接Databricks的步骤详解的文章就介绍到这了,更多相关pycharm连接Databricks内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • pycharm2017实现python3.6与mysql的连接

    本文为大家分享了pycharm2017上实现python3.6与mysql的连接方法,供大家参考,具体内容如下 与其他的IDE不同,pycharm不需要额外下载mydqldb包等,pycharm里可以自动安装pymysql,功能与下载的mydqldb是一样的. 一.安装pycharm自带的pymysql 1.首先打开pycharm里的设置 settings->protect->protect Interpreter->双击击右面的pip-->在搜索框里输入pymysql-->

  • pycharm中连接mysql数据库的步骤详解

    前言 最近在新的环境配置pycharm的项目时候,发现pycharm不能连接到mysql数据库.由于安了java环境但是还没配置相关的库,并且jetbrains家的IDE一般都是java写的,于是猜想可能是java缺少mysql的驱动.所以就动手起来,总算是成功了,所以将过程分享出来给大家,需要的朋友们一起来学习学习. 一.先确保python能正常连接到数据库 可以如下图测试,如果无报错,说明正常连接到了数据库 如果有报错,可能是缺少MySQLdb包 先去下载MYSQLdb 官方下载:MySQL

  • Pycharm连接远程服务器并实现远程调试的实现

    当需要远程办公时,使用pycharm远程连接服务器时必要的. PyCharm提供两种远程调试(Remote Debugging)的方式: 配置远程的解释器(remote interpreter) 配置Python调试服务器(Python Debug Server) 本篇文章主要介绍配置远程解释器,关于配置 python调试服务器,文末也会简单介绍. 1. Pycharm连接远程服务器 1.1 进入配置页面 Pycharm菜单栏,如下图所示,依次点击 Tools -> Deployment ->

  • 图文详解Django使用Pycharm连接MySQL数据库

    在 Pycharm 的右上方找到 Database 点击 依次点击,选择 MySQL 数据库 点击 Download 下载驱动文件 下载完成后对数据库的相关信息进行填写 填写完成后点击"Test Connection",如果出现 Successful 就说明连接成功 然后点击"应用",再点击"确定" 左边这个窗口是写 SQL 语句的地方 例如查询 app01_admin 表 点击这个绿色三角形执行 如果要添加数据的话 点这个加号 填写内容,填写完

  • 如何使用pycharm连接Databricks的步骤详解

    在本地使用pycharm连接databricks,大致步骤如下: 首先,为了让本地环境能够识别远端的databricks集群环境,需要收集databricks的基本信息和自己databricks的token,这些信息能够让本地环境识别databricks:接着,需要使用到工具 anaconda创建一个虚拟环境,连接databricks:最后,将虚拟环境导入pycharm. (下面的图渣渣,因为直接拖进来的) 第0步:检查 检查java版本,需要时1.8开头的版本,如果不是,请到这里下载:http

  • 关于win10在tensorflow的安装及在pycharm中运行步骤详解

    本文介绍在win10中安装tensorflow的步骤: 1.安装anaconda3 2.新建conda环境变量,可建多个环境在内部安装多个tensorflow版本,1.x和2.x版本功能差别太大,代码也很大区别 3.环境中安装python和fensorflow 4.用tensorflow运行一段测试程序 安装anaconda下载地址(清华镜像): https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/选择最新版本 开始安装anaconda 选

  • Java之jdbc连接mysql数据库的方法步骤详解

    Java:jdbc连接mysql数据库 安装eclipse和mysql的步骤这里不赘述了. 1.一定要下jar包 要想实现连接数据库,要先下载mysql-connector-java-5.1.47(或者其他版本)的jar包.低版本的jar包不会出现时差问题的异常. 建议在下载界面点右边的"Looking for previous GA versions?"下载低版本的. https://www.jb51.net/article/190860.htm我看的是这个教程. 2.mysql前期

  • PyCharm配置anaconda环境的步骤详解

    PyCharm是一款很好用很流行的python编辑器.Anaconda是专注于数据分析的Python发行版本,包含了conda.Python等190多个科学包及其依赖项.Anaconda通过管理工具包.开发环境.Python版本,大大简化了你的工作流程. 不仅可以方便地安装.更新.卸载工具包,而且安装时能自动安装相应的依赖包,同时还能使用不同的虚拟环境隔离不同要求的项目.anaconda自带集成开发环境spyder.有些人不喜欢spyder的风格. 个人感觉其提示功能也不及PyCharm.如果能

  • Pycharm操作Git及GitHub的步骤详解

    项目开发中,代码管理肯定离不开git操作,Pycharm中没有复杂的命令操作,只需要进行一些简单的菜单操作就可以方便的实现版本管理,下面分别介绍下载pycharm中git的简单操作,以及在Pycharm中进行github项目的下载和上传. Pycharm操作Git 1.pycharm配置git Windows: Mac: 完成配置后,点击Test可以看到本地的git版本信息. 2.git项目clone到本地 按照如下路径,输入git仓库地址以及本地项目目录,点击clone 在弹出的密码框中输入g

  • Pycharm创建python文件自动添加日期作者等信息(步骤详解)

    第一步 找到 Preferences,点击进入.进入后找到 Editor – File and Code Templates – Python Script . 第二步 添加自己所需要的信息 第三步 添加完成后,点击 OK 键进行保存. 新建python文件就会看到已添加的默认信息. 常用配置 #-- coding: utf-8 -- #@Time : ${DATE} ${TIME} #@Author : XXXX #@Email : XXXX@qq.com #@File : ${NAME}.p

  • mysql 5.7.20解压版安装方法步骤详解(两种方法)

    我来讲解下window64位下MySQL的安装,MySQL是在5.7开始安装版就只有32位下载服务了,这里我讲解解压版的MySQL如何安装,在安装MySQL解压版时对于新手的小编来说也是头疼得很,各种问题各种来没有安装版的一键轻松搞定的方便,安装时需要注意三点:1.路径配置,2.安装时MySQL端口被占用这时需要关闭被占用端口,3.cmd必须是在管理员环境下设置MySQL信息. MySQL官网: https://www.mysql.com/downloads/ http://www.jb51.n

  • redhat7.1 安装mysql 5.7.10步骤详解(图文详解)

    在redhat下安装MySQL,步骤如下 Mysql目录安装位置:/usr/local/mysql 数据库保存位置:/data/mysql 日志保存位置:/data/log/mysql 下载安装包 http://downloads.mysql.com/archives/community/ 1. 获取mysql安装包,mysql-5.7.10-Linux-glibc2.5-x86_64.tar解压后目录如下. 2. 解压mysql-5.7.10-linux-glibc2.5-x86_64.tar

  • java 中JDBC连接数据库代码和步骤详解及实例代码

    java 中JDBC连接数据库代码和步骤详解 JDBC连接数据库 •创建一个以JDBC连接数据库的程序,包含7个步骤:  1.加载JDBC驱动程序:  在连接数据库之前,首先要加载想要连接的数据库的驱动到JVM(Java虚拟机),这通过java.lang.Class类的静态方法forName(String  className)实现. 例如: try{ //加载MySql的驱动类 Class.forName("com.mysql.jdbc.Driver") ; }catch(Class

  • win10下完全卸载+重装MySQL步骤详解

    相信大家因为各种各样的原因,需要重新安装MySQL.笔者就因为连接MySQL和Qt时出现问题,迫不得已选择把64bitMySQL换成了32bitMySQL.由于卸载不干净,安装会出现各种问题.现在把笔者卸载+重新安装的过程记录下来,供需要的人参考. 第一步:停止服务 启动cmd->输入services.msc->找到mySQL->停止SQL服务 第二步:删除文件 找到你的安装目录,将文件全部删除 第三步:删除注册表 启动cmd->输入regedit->搜索mySQL,右键全部

随机推荐