• 博客访问: 341436
  • 博文数量: 18
  • 用 户 组: 普通用户
  • 注册时间: 2012-04-30 15:36
个人简介

大数据资深顾问。国内顶尖数据专家,出版数据专著多部,发表数据论文多篇,近年参与多项金融、国防、电信等大型数据工程。 http://www.china-pub.com/main/sale/renwu/luminary.asp?id=9608

文章分类
文章存档

2015年(4)

2013年(12)

2012年(2)

我的朋友

分类: 国内数据库

2015-10-05 11:10:03



 非结构化数据&结构化处理方案


一、 非结构化数据处理需求
   企业拥有的非结构化数据增长迅速。非结构化数据是计算机或人生成的信息,其中的数据并不一定遵循标准的数据结构(如模式定义规范的行和列),若没有人或计算机的翻译,则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像,还有 Web 内容,如 HTML。
   根据数据的创建方式和使用方式的不同,非结构化数据的管理方法大不相同。 
1. 大量数据分布于桌面办公系统(如文档、电子表格和演示文稿)、专门的工作站和设备 (如地理空间分析系统和医学捕获和分析系统)上。
2. 政府、学术界和企业中数 TB 的文档存档和数字库。
3. 生命科学和制药研究中使用的影像数据银行和库。
4. 公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。
5. 集成的运营系统,包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记录、位置和项目数据以及相关音频、视频和图像信息。


二、 KingbaseES 数据库在处理非结构化数据的优势
2.1 全文索引与检索
虽然数据库中早已支持全文检索操作符,如LIKE操作符,但目前这类操作符很难满足现代信息系统的全文检索需求。它的不足主要体现在以下方面:
? 缺乏语言支撑
例如,通过LIKE操作检索satisfy时不能把和它具有相同词根的satisfies也一并检索出来。
? 不支持结果集rank操作
在实际应用中,全文检索的结果集通常很大。若不对这些结果进行rank操作,则用户很难从中快速挑选出所需的结果。
? 检索性能较差
这些操作符一般缺乏有效的索引支撑,因此它的检索速度用户通常难以接受。
针对上述情况,KingbaseES在文本类型数据上提供了高效的全文索引和检索功能。
KingbaseES的全文检索主要具有以下特征:
? 支持丰富的数据类型
支持CHAR、VARCHAR、TEXT或CLOB类型字段的全文检索。
? 良好的可扩展性
允许用户依据自身应用需求,创建新的数据字典、分词器或rank函数。
? 内置rank函数
除允许用户创建rank函数外,系统内部还提供基于词语相似性、共现性和重要性的通用rank函数。
? 检索文本预处理
在检索前对检索文本进行了如下处理:文本的词语标注、规范化处理(如大小写转换、词根处理)、rank计算、剔除stopword等。
? 高效的全文索引
为优化检索性能,在检索文本上创建了广义倒排索引。
目前,KingbaseES提供了两种检索方式,即传统的数据库SQL检索和全新的全文检索。二者的区别是:前者获得的是精确匹配结果,而后者获得的是非精确匹配结果。因此,在实际应用中,用户可把二者配合使用,即首先可利用全文检索的模糊匹配功能,缩小检索范围,然后在该范围内再使用传统SQL检索的精确匹配功能快速获取所需结果。
2.2 大对象类型
通常,现代信息系统的大量数据是以半结构化或非结构化的数据形式存在。数据库系统若仅能存储和管理表等结构化信息的话,则远远不能满足如今的应用需求。因此,它还应能存储和管理图片、报表、图像、音频和视频等各种半结构化或非结构化的多媒体信息。针对这种情况,KingbaseES内部提供了专门的数据类型(即大对象类型),用于存储和管理这些多媒体数据。
目前,KingbaseES支持两种大对象类型,即二进制大对象(BLOB)和字符大对象(CLOB)类型,单个大对象大小可达到2G。并在这些类型上还提供了包括大对象创建、关闭、删除、读取、写入、截断、导入、导出等操作在内的对外函数接口。
与普通字符串类型相比,KingbaseES大对象类型重点从数据存储、锁资源使用优化、事务管理和逻辑备份与还原等方面进行了特殊处理。


三、 综上所述,根据目前所了解到的信息,我们可以将非结构化数据(文档、多媒体内容、地图和地理信息、人造卫星和医学影像,还有 Web 内容)通过KingbaseES支持的两种大对象类型,即二进制大对象(BLOB)和字符大对象(CLOB)类型,单个大对象大小可达到2G。并在这些类型上还提供了包括大对象创建、关闭、删除、读取、写入、截断、导入、导出等操作在内的对外函数接口。


阅读(11123) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册