Python连接Impala实现步骤解析

Impyla是用于分布式查询引擎的HiveServer2实现(如Impala、Hive)的python客户端

1)安装impyla

pip install impyla

安装报错

解决办法：

根据提示下载对应的工具

https://visualstudio.microsoft.com/zh-hans/downloads/

直接下载安装即可

工具安装完成后，继续pip install impyla

安装成功

代码测试：

from impala.dbapi import connect
conn = connect(host='xxx.xxx.xxx.xxx', port=21050)
cur = conn.cursor()
cur.execute('show databases;')
database_list=cur.fetchall()
for data in database_list:
  print(data)

OK 正常连接

参照以前的Mysql连接工具类，写了个连接Impala的工具类：

from impala.dbapi import connect

class IMPALA:
  def __init__(self,host,port,user,pwd,db):
    self.host = host
    self.port = port
    self.user = user
    self.pwd = pwd
    self.db = db

  def __GetConnect(self):
    if not self.db:
      raise(NameError,"没有设置数据库信息")
    self.conn = connect(host=self.host,port=self.port,user=self.user,password=self.pwd,database=self.db)

    cur = self.conn.cursor()
    if not cur:
      raise(NameError,"连接数据库失败")
    else:
      return cur

  def ExecQuery(self,sql):
    cur = self.__GetConnect()
    cur.execute(sql)
    resList = cur.fetchall()

    #查询完毕后必须关闭连接
    self.conn.close()
    return resList

  def ExecNonQuery(self,sql):
    cur = self.__GetConnect()
    cur.execute(sql)
    self.conn.commit()
    self.conn.close()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • mac 上配置Pycharm连接远程服务器并实现使用远程服务器Python解释器的方法

    本文将介绍如何使用公司运行服务器进行开发调试,以及使用远程服务器python解释器,整理了对应的配置流程. 进入配置页面 Pycharm菜单栏,如下图所示,依次点击 Tools -> Deployment -> Configration- 开始配置连接服务器 1. Connection 选项设置: 具体参数说明: name 代码服务器配置名称 Type 协议类型,协议最好选择 SFTP Host.User name.Password 服务器配置相关信息 Root Path 为服务器项目运行的上

  • yum安装CDH5.5 hive、impala的过程详解

    一.安装hive 组件安排如下: 172.16.57.75 bd-ops-test-75 mysql-server 172.16.57.77 bd-ops-test-77 Hiveserver2 HiveMetaStore 1.安装hive 在77上安装hive: # yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y 在其他节点上可以安装客户端: # yum install hive hive-server2

  • 通过python连接Linux命令行代码实例

    这篇文章主要介绍了通过python连接Linux命令行代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 代码如下 #!/usr/bin/python # -*- coding: utf-8 -*- '''https://www.ibm.com/developerworks/cn/linux/l-cn-pexpect2/index.html''' import pexpect import types username = "root&qu

  • Python连接Hadoop数据中遇到的各种坑(汇总)

    最近准备使用Python+Hadoop+Pandas进行一些深度的分析与机器学习相关工作.(当然随着学习过程的进展,现在准备使用Python+Spark+Hadoop这样一套体系来搭建后续的工作环境),当然这是后话. 但是这项工作首要条件就是将Python与Hadoop进行打通,本来认为很容易的一项工作,没有想到竟然遇到各种坑,花费了整整半天时间.后来也在网上看到大家在咨询相同的问题,但是真正解决这个问题的帖子又几乎没有,所以现在将Python连接Hadoop数据库过程中遇到的各种坑进行一个汇总

  • Python 操作 PostgreSQL 数据库示例【连接、增删改查等】

    本文实例讲述了Python 操作 PostgreSQL 数据库.分享给大家供大家参考,具体如下: 我使用的是 Python 3.7.0 PostgreSQL可以使用psycopg2模块与Python集成. sycopg2是用于Python编程语言的PostgreSQL数据库适配器. psycopg2是非常小,快速,稳定的. 您不需要单独安装此模块,因为默认情况下它会随着Python 2.5.x版本一起发布. pip3 install python-psycopg2 pip3 install ps

  • 使用python客户端访问impala的操作方式

    因需要将impala仅仅作为数据源使用,而python有较好的数据分析函数,所以需要使用python客户端来获取impala中的表数据,这里的测试环境是: 操作系统:win7 (linux下也可行) python 2.7 大数据环境:centos6.6 CDH版本:CDH5.4.1 impala 2.1.2 port:21050 1.安装Python package pip install impyla 2.python客户端与impala交互 2.1 连接impala >>> from

  • Windows下Pycharm远程连接虚拟机中Centos下的Python环境(图文教程详解)

    由于最近学习tensorflow的需要,tensorflow是在Linux环境下,使用的是Python.为了方便程序的调试,尝试在Windows下的Pycharm远程连接到虚拟机中Centos下的Python环境.(这里我采用的是ssh的远程连接) 1.准备工作: 固定centos的IP,这里我的固定IP为 192.168.254.128 . centos中安装ssh.(这里我采用的是ssh的远程连接) centos中Python环境已安装. 2.打开Pycharm,File->Settings

  • Python3开发实例之非关系型图数据库Neo4j安装方法及Python3连接操作Neo4j方法实例

    非关系型图数据库Neo4j简介 Neo4j是现今最火爆的图数据.在2010年发布,产品的发展势头还算不错. 作为图数据库,Neo4j最大的特点是关系数据的存储. 图数据库除了能够像普通的数据库一样存储一行一行的数据之外,还可以很方便的看出存储数据之间的关系信息. 适合存储"修改较少,查询较多,没有超大节点"的图数据. 图数据库Neo4j应用场景 社交网络 根据用户与其他用户的关系为用户推荐新的朋友.例如,在QQ中给你推荐朋友的朋友 . 智能推荐引擎 通过分析用户有哪些朋友.用户朋友喜好

  • python 安装impala包步骤

    直接pip install impala 是不行滴,按照以下步骤安装就会成功! 一路安装就可以 1.pip install six 2.pip install bit_array 3.pip install thriftpy 4.pip install thrift_sasl 5.pip install impyla 测试: >>> from impala.dbapi import connect >>> 不报错则表示安装成功! 补充知识:python3 安装impal

  • Python连接Impala实现步骤解析

    Impyla是用于分布式查询引擎的HiveServer2实现(如Impala.Hive)的python客户端 1)安装impyla pip install impyla 安装报错 解决办法: 根据提示下载对应的工具 https://visualstudio.microsoft.com/zh-hans/downloads/ 直接下载安装即可 工具安装完成后,继续pip install impyla 安装成功 代码测试: from impala.dbapi import connect conn =

  • python安装scipy的步骤解析

    1.由于国外网站太慢,所以这里使用的是阿里的镜像 https://mirrors.aliyun.com/pypi/simple/ 2.去官网查看,官方给出的安装方法如下:[pip安装和apt的方式两种] python -m pip install --user numpy scipy matplotlib ipython jupyter pandas sympy nose sudo apt-get install python-numpy python-scipy python-matplotl

  • Navicat 远程连接 MySQL实现步骤解析

    Navicat 远程连接 MySQL实现步骤解析

    前言 相信大家都有在远程服务器上进行开发吧,其中 MySQL 的使用率应该也会挺高,如果使用 Navicat 等可视化工具来操作远程数据库不失为一种很好的选择,避免了在命令行写 SQL 语句的操作.下面简单介绍一下 Navicat 连接远程数据库的操作. 1 首先我们需要更改 3306端口,查看3306 端口是否对外开放,MySQL 默认情况下是不开放对外访问功能的.语句如下: netstat -an | grep 3306 如果查询结果如下,需要我们更改 MySQL 配置文件. 可以看出,my

  • 总结Python连接CS2000的详细步骤

    总结Python连接CS2000的详细步骤

    前言 记录CS2000设备使用串口连接以及相关控制. CS2000是一台分光辐射亮度计,也就是可以测量光源的亮度.详细的规格网址参考CS2000/CS-2000A,所有信息以柯尼卡美能达官网的参数以及使用手册为主. 使用目的及环境 当前的使用目的是使用PC端控制CS2000,测量屏幕的亮度数据. PC端使用Python,在Win10环境下开发: 需要额外安装的模块:pySerial: 设备连接方法 这台设备是支持USB1.1 Full-Speed和RS-232C的.其配套的软件CS-S10是使用

  • python连接PostgreSQL过程解析

    这篇文章主要介绍了python连接PostgreSQL过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 1. 常用模块 # 连接数据库 connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象 PG_CONF_123 = { 'user':'emma', 'port':123, 'host':'192.168.1.123', 'password':'emma', 'database':'dbname'} conn = p

  • Python连接Redis的基本配置方法

    在Linux系统下Python连接Redis的基本配置方法具体操作步骤 系统环境: OS:Oracle Linux Enterprise 5.6 Redis:redis-2.6.8 Python:Python-2.7.3 redis的python包版本:redis-2.7.2.tar 前提条件: 1.确保Redis已成功安装并且正确配置,参考文档 主从配置文档: //www.jb51.net/article/147397.htm 2.确保Python环境已成功配置,参考文档 https://ww

  • opencv python Canny边缘提取实现过程解析

    这篇文章主要介绍了opencv python Canny边缘提取实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 Canny是边缘提取算法,在1986年提出的是一个很好的边缘检测器Canny算法介绍 非最大信号抑制: 高低阈值连接: example import cv2 as cv import numpy as np # canny运算步骤:5步 # 1. 高斯模糊 - GaussianBlur # 2. 灰度转换 - cvtCol

  • 如何使用pycharm连接Databricks的步骤详解

    在本地使用pycharm连接databricks,大致步骤如下: 首先,为了让本地环境能够识别远端的databricks集群环境,需要收集databricks的基本信息和自己databricks的token,这些信息能够让本地环境识别databricks:接着,需要使用到工具 anaconda创建一个虚拟环境,连接databricks:最后,将虚拟环境导入pycharm. (下面的图渣渣,因为直接拖进来的) 第0步:检查 检查java版本,需要时1.8开头的版本,如果不是,请到这里下载:http

随机推荐