ITPub博客

首页 > 数据库 > > Greenplum通过JDBC进行连接、Python连接Greenplum、copy装载大量数据

Greenplum通过JDBC进行连接、Python连接Greenplum、copy装载大量数据

作者:AI中国 时间:2023-03-21 17:12:17 0 删除 编辑

目录
1. Greenplum通过JDBC进行连接
2. python连接greenplum
3. 使用copy
1. Greenplum通过JDBC进行连接
和其它的JDBC类似,只是连接的URL、driver、jar包不一样而已

URL:jdbc:pivotal:greenplum://192.168.8.111:5432;DatabaseName=dataqualitysystem
driver:com.pivotal.jdbc.GreenplumDriver
jar包的下载方式如下:
从greenplum的jdbc连接器进行下载,下载如下文件
2. 下载需要join创建账号、sign in进行登录。下载的是一个zip压缩文件
将zip压缩文件解压,得到最终的PROGRESS_DATADIRECT_JDBC_DRIVER_PIVOTAL_GREENPLUM_6.0.0.000181.jar文件
2. python连接greenplum
安装
如果是centos,则需要安装如下依赖:
[root@bigdata001 opt]#
[root@bigdata001 opt]# yum install postgresql-devel
[root@bigdata001 opt]#
1
2
3
然后再安装python包

pip install psycopg2
1
示例代码如下:
import psycopg2
import psycopg2.extras

if __name__ == '__main__':

conn = psycopg2.connect(dbname="dataqualitysystem",
user="gpadmin",
password="gpadmin123",
host="192.168.8.111",
port="5432")

cursor = conn.cursor(cursor_factory=psycopg2.extras.RealDictCursor)
cursor.execute("select id, name from public.test")
print(cursor.fetchall())

cursor.close()
conn.close()


执行结果如下:

[RealDictRow([('id', 2), ('name', 'er')]), RealDictRow([('id', 3), ('name', 'san')]), RealDictRow([('id', 1), ('name', 'yi')])]

3. 使用copy
采用JDBC insert的方式,效率很低,测试时5W数据执行了差不多15分钟

copy的数据文件必须在greenplum master所在的服务器,因为master用单个进程加载数据,所以数据文件也不能太大。但是执行SQL命令copy的客户端可以在其它服务器上

SQL命令copy示例如下:

copy public.test(id, name) from '/home/gpadmin/test.txt' with (format csv, delimiter '|');

format可以是csv和text

csv:默认逗号分隔符
text:默认制表符tab分隔符

本文来源:https://blog.csdn.net/yy8623977/article/details/121244890

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31560284/viewspace-3141031/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-12-23

  • 博文量
    212
  • 访问量
    2471