ITPub博客

首页 > 数据库 > 国内数据库 > 【YashanDB 知识库】多 csv 文件一键式导入 yashandb

【YashanDB 知识库】多 csv 文件一键式导入 yashandb

原创 国内数据库 作者:崖山数据库系统YashanDB 时间:2025-01-21 17:49:58 0 删除 编辑

本文内容来自 YashanDB 官网,原文内容请见: https:///newsinfo/7253738.html?templateId=1718516

背景:

csv 文件导入 yashandb 存在以下两个痛点:

1、导入通过 yasboot 或者 yasldr 导入 csv 文件均需要配置表的字段名,如果表比较多,字段也很多的情况下比较费力;

2、一些大表需要导入多个 csv 文件,一个个手工导入效率也比较低;

解决方案:

通过编写 python 脚本来解决以上痛点:

1、针对痛点 1,通过连接到数据库,通过 desc 获取目标表的字段,保存到本地列表变量;

2、针对痛点 2,通过扫描 csv 文件所在目录,获取文件列表,循环进行导入;

效果:

导入 csv 一个或者多个文件到 yashandb 只需一条命令即可,无需再配置繁琐的字段名,也无需执行多次命令;

导入命令样例:

python3 import_csv_data_2.py -d /opt/data/example_tbl_agg1 -c yashandb -u example_db -p Cod-2024 -a 127.0.0.1:1688 -t example_tbl_agg1

参数说明:

-d:csv 所在目录

-c:库名

-u:用户名

-p:密码

-a:数据库地址和端口

-t:表名

导入脚本:

import_csv_data_2.py


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70028812/viewspace-3070157/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
崖山数据库系统YashanDB是深圳计算科学研究院完全自主研发设计的新型数据库系统,融入原创理论,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景,为客户提供一站式的企业级融合数据管理解决方案。

注册时间:2023-04-11

  • 博文量
    722
  • 访问量
    639933