基于Hadoop的分布式数据库—EsgynDB
大数据时代,需要什么样的数据库技术支撑?EsgynDB是一款基于Hadoop大数据平台的企业级分布式数据库,可支持所有大数据使用场景(OLTP-交易类、ODS-交互类、BI-报表类、OLAP-分析类)。云组件项目中用户可以在资源创建的页面选择“DRDS”类型的资源池,该类型的资源池,需要在生产环境搭
ESGYNDB及HADOOP重启步骤
鉴于有EsgynDB使用者询问到如何重启EsgynDB的问题,这里特别写一篇博客来阐述一下,供读者参考。前提条件1EsgynDB是基于Hadoop架构,目前主流的Hadoop版本主要是CDH和HDP,本文我们以底层是CDH为例。2EsgynDB因为只能安装在Hadoop的DataNode节点或者是D
EsgynDB 清理不一致对象
EsgynDB中每个对象主要由于底层的HBase对象和上层的元数据组合,把一个Key-Value格式的HBase对象可以映射成为二维的关系型的表。目前EsgynDB是可能会有某些异常场景下会导致底层的HBase对象和上层的元数据之间匹配异常,这可能主要有以下几种情况,1、HBase对象存在,元数据坏
EsgynDB 简单步骤测试JDBC能否连通数据库
有时候我们会发现某个应用通过JDBC接口无法连通数据库,但从其他环境中是可以正常连接目标数据库的,为了排除是应用本身的问题,我们可以构建一个简单的JDBC测试程序来验证机器到数据库的连通性。主要步骤为:编写简单的Java测试程序TestConnEsg.java,内容如下importjava.sql.
dbisam数据库主从表结构的使用方法
要使用DBISAM数据库主从表结构,需用到下列控件:一个TDBISAMTable或者TDBISAMQuery控件,命名为tblMaster或者qryMaster,一个(或多个)TDBISAMTable控件,名字为tblDetail,一个TDataSource控件,命名为dsMaster使用主从表结构
访问远程 DBISAM 数据库的方法
摘要DBISAM是简单易用的桌面型数据库,适用于开发小型的桌面程序,大部分情况下数据库是位于本机的,但是,在某些情况下也需要访问位于其他机器的数据库,本文就是介绍访问位于其他机器上的数据库的方法。二、方法1:通过文件共享方式DBISAM不是单文件数据库,没有独立的数据库文件,而是每个表都有自己的数据
盘点Salesforce Big Object
【背景介绍】:为了拓展sf标准字段历史跟踪18个月的保质期(从标准页面访问),和超期后额外6个月的API/DataLoader访问的限制(共计2年),同时为扩展标准Tracking20个字段的限制以及满足客户对部分长文本值变更监控的需求,在节省费用的前提下,选用了使用BigObject来存储Chan
salesforce零基础学习(九十七)Big Object
本篇参考:https://developer.salesforce.com/docs/atlas.en-us.224.0.bigobjects.meta/bigobjects/async_query_overview.htmhttps://trailhead.salesforce.com/conte
【2022/3/30】ITPUB新闻早报
今日热点:1.豆瓣私密小组将于6月30日全部停用,此前网信办督导组已进驻;2.央视曝光:部分浏览器App后台读取剪贴板用户信息,甚至包括银行卡账号密码明文;3.微软:元宇宙也会充斥黑客和犯罪集团需提前制定“治安框架”。
DolphinDB集群间数据库同步教程
DolphinDB提供离线方式和在线方式实现不同集群间数据库的同步。离线方式:通过数据库备份和恢复功能实现数据同步。在线方式:通过建立在线连接,把数据从一个库读取再写入到另一个库中。数据库指的是DFS分布式的数据库,而非内存表或流数据表等。1.离线方式离线方式先把数据库中数据,通过DolphinDB
DolphinDB数据库日志与CacheEngine教程
这篇教程介绍DolphinDB中的RedoLog和CacheEngine,它们相互之间的关系以及对整体性能的影响。需要注意的是,它们只对DFS数据库起作用,对磁盘表和流表不起作用。另外,启用了RedoLog之后必须启用CacheEngine。1RedoLog1.1什么是RedoLog在关系型数据库系
DolphinDB客户端软件教程
DolphinDB提供了从基于Java的GUI,VSCodeExtension,Web界面,到命令行等各种灵活友好的交互界面,具体包括以下6种客户端交互方式。1.DolphinDBGUIDolphinDBGUI是基于Java的功能最齐全的图形化编程以及数据浏览界面。DolphinDBGUI可以在任何
使用DolphinDB进行机器学习
DolphinDB实现了一系列常用的机器学习算法,例如最小二乘回归、随机森林、K-平均等,使用户能够方便地完成回归、分类、聚类等任务。这篇教程会通过具体的例子,介绍用DolphinDB脚本语言进行机器学习的流程。本文的所有例子都基于DolphinDB1.10.9。1.第一个例子:对小样本数据进行分类
DolphinDB数据导入教程
DolphinDB提供了多种灵活的数据导入方法,来帮助用户方便的把海量数据从多个数据源导入。具体有如下4种途径:通过文本文件导入通过二进制文件导入通过HDF5接口导入通过ODBC接口导入1.DolphinDB数据库基本概念和特点本章中多处使用到DolphinDB的数据库和表的概念,所以这里首先做一个
DolphinDB高可用集群部署教程
1.概述DolphinDB提供数据、元数据以及客户端的高可用方案,即使数据库节点发生故障,数据库依然可以正常运作,保证业务不会中断。DolphinDB采用多副本机制,相同数据块的多个副本存储在不同的数据节点(datanode)上。即使集群中某个或多个数据节点宕机,只要集群中还有至少1个副本可用,那么
【2022/3/29】ITPUB新闻早报
今日热点:1.传苹果6月6日举办全球开发者大会,或回归现场;2.中国婚姻家庭报告出炉:结婚率迎20年来最低;3.华为:已累计签署3000多个5G行业应用商用合同。
kdb+、RDBMS、MongoDB、Spark等速度大PK
kdb+有关开发人员曾对几个常见数据库进行测试,测试结果显示,在同等条件下,kdb+查询速度比传统关系数据库、PostgreSQL、Cloudera、MongoDB等快上百倍,甚至比Spark快上千倍,而所需要的磁盘、内存空间却少很多。有关情况如下:一、测试方法测试数据库:三大传统关系数据库之一(以
开创实时数据处理新未来:EMQ 流数据库 HStreamDB 正式开源!
引言随着计算机和网络技术的迅猛发展以及向各行业的不断渗透,如今数据的产生方式和产生来源相比以前都有了极大的丰富,比如:来自传感器的数据、网站上的用户活动数据、来自移动终端和智能设备的数据、金融市场的实时交易数据,各种监控程序产生的数据等等。这些数据大多都是以连续的数据流的形式,从多种外部数据源持续不
DolphinDB集群如何扩展节点和存储
1.概述当系统准备上线前,我们会评估和规划硬件平台的容量,并且尽可能的留出余量。可是现实往往是不能预料的,随着业务的扩张,系统的数据容量和计算能力都会变得不堪重负,我们就不得不面对一个问题:如何为现有系统增加数据容量和计算能力?由于DolphinDB的节点是集计算和存储于一体的,所以要增加计算能力和
DolphinDB 内存分区表的加载和操作
DolphinDB的内存数据表可以是非分区的,也可以是分区的。除了组合分区以外的所有分区方式都适用于内存数据表。使用分区内存表进行运算能充分发挥多核CPU并行计算的优势。1.创建内存数据表1.1创建非分区内存表使用table函数可以创建非分区内存表。table函数的用法非常灵活:第一种用法:tabl