大数据项目可能出错的五种方式
我的大数据项目没有按照我想要的方式进行?提出这个疑问的绝对不止你一个人。大数据项目的低成功率是过去10年中一个持续存在的问题,与之类似的是:人工智能项目中也出现了相同类型的问题。虽然100%的成功率不是一个可以实现的目标,但用户可以进行一些调整以从数据投资中获得更多收益。随着世界产生更多数据,它也越
大厂企业级数仓建设规划(耗时一周整理,建议收藏~)
大家好,推荐一下老兵抽空整理了企业级数仓建设方案。整体内容包括:数仓架构数仓分层规划数据流向规划数据同步策略数仓命名规范通篇内容紧贴企业级建设主题,参考了一些数仓架构师的数仓建设方法论和企业落地实践方案,希望大家耐心看完。1企业级数仓架构ODS层:贴源层。旨在集团、子公司、互联网及三方外部数据输入层
数据仓库指标体系搭建实战!
作者:曹雷来源:滴滴技术01指标体系1.痛点分析主要从业务、技术、产品三个视角来看:业务视角业务分析场景指标、维度不明确;频繁的需求变更和反复迭代,数据报表臃肿,数据参差不齐;用户分析具体业务问题找数据、核对确认数据成本较高。技术视角指标定义,指标命名混乱,指标不唯一,指标维护口径不一致;指标生产,
到底什么样的数据才有资格成为资产?
维克托·迈尔·舍恩伯格在《大数据时代》中曾经提到:“虽然数据还没有被列入企业的资产负债表,但这只是一个时间问题”。现在很多企业开始提数据是资产甚至是资本,说明了数据蕴含的巨大价值,但如果企业不明觉厉,在未理解清楚数据资源和数据资产本质区别之前,就把企业的所有数据资源都列入企业的数据资产目录,那对于企
数据开放的本质到底是什么?
以下文章来源于公众号-大鱼的数据人生,作者讨厌的大鱼先生有好友负责企业数据治理的工作,最近制定了一部企业内的数据开放管理办法,初稿出来后,就发给各个部门征求意见了,然后各种意见纷至沓来,令他惊讶的是,大家似乎对数据开放这个概念的理解并不一致,比如:A部门建议:“公司内部的数据流通不能叫数据开放,应该
数据指标体系建设方法
01数据数据是指未经过处理的原始记录。数据的本质是利用数学观察、记录、理解世界;数据分析的过程就是人类从定性到定量、模糊到精准过程。大家都喜欢看数据,而不是通过一堆的文字、现象进行决策判断。02指标指标=数据+业务场景,
2022年大数据的五个主要发展趋势
2021年,我们看到围绕现代数据栈的兴起出现了相当大的加速效应。我们现在有一个海啸般的通讯、影响者、投资者、专门的网站、会议和活动来宣扬它。围绕现代数据栈的概念(尽管仍处于早期阶段)与云中数据工具的爆炸性增长紧密相连。云计算带来了一种新的基础设施模式,它将帮助我们快速地、程序化地、按需地建立这些数据
数据标准在网易的实践
在生活中,标准与我们息息相关,吃的食品需要满足国家标准才能食用,汽车排放达标才能够上路行驶,电脑接口得满足统一的标准才能够与外设对接等等。而在数据的世界,数据标准也同等重要。我们期望将数据标准真正应用到实践中去,帮助客户解决资产化不足、数据质量难以提升、数据开发效率低等问题,于是网易开始了数据标准的
关于数据中心的最强科普,一篇给你整明白啦!
数据中心,英文缩写叫IDC,也就是InternetDataCenter(互联网数据中心)。之所以不太直接称之为“DC”,主要是为了避免和直流电(DirectCurrent)混淆。而且,现在的数据中心普遍都接入互联网,以互联网业务为主,所以,叫“IDC”也更准确。从作用上来看,数据中心就是一个超大号的
我的数据人才观
自己从事数据工作多年,干过大多的数据岗位,成为管理者后,也带过很多的人,关于各类数据岗位人才的关键素质,自己也形成了一套看法。正如智商是多基因作用的结果一样,要成为某类数据岗位的人才,肯定也是多因素决定的结果。但每类数据岗位还是有其特定要求,而能适配这些特点的人更能在这些岗位脱颖而出,我这里就结合自
一文彻底搞懂数据资产、数据资源、数据管理、数据治理等概念的区别
数据成为生产要素后,各种跟数据相关的概念就出来了,其实很多概念没有权威定义,大家各有各的理解,这导致了理解上的歧义。数据管理、数据治理、数据资源管理、数据资产管理这四个概念现在出现的频次很高,但我仍然无法有效区隔,连续看了几位老师的解释文章后,虽然有所领悟,但还是觉得有不清晰的地方,于是有了这篇辨析
100个数据分析常用指标和术语
有个朋友是金融行业产品经理,最近在对已有的站内用户做分层与标签分类,需要对用户进行聚类分析。一般从事数据分析行业的朋友对这类词并不陌生,但是像市场运营人员就会把这类些名词概念搞混,导致结果不准确。数据分析相关概念多且杂,容易搞混。为了便于大家区分,今天小编就来盘点一下数据分析常用的
大数据平台架构设计探究
近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致
如何进行数据分析?数据分析有什么套路吗?
数据分析,有没有套路?不仅有,还很深,自己品。小到业务执行、大到企业决策,数据分析都在持续发挥着价值。但是很多同学只闻其名、未见其道,到底如何进行数据分析?数据分析有什么套路吗?今天就带大家认识下数据分析的那些套路。首先给大家个选择题,大家觉得数据分析的第一步应该是?找分析方法确定问题看数据有木有感
9张图,看懂数据分析如何由浅入深
很多淑芬同学被嫌弃:做的数据分析,没深度。到底啥是分析深度?怎么才能做出深度?话不多说,直接上场景。问题场景:某物流企业,负责管司机的调度中心,会给每个未上线司机标注原因,标注格式如下:备注:实际原因还有很多,这里仅做举例现领导要求:分析司机未上线情况
2022年数据管理五大趋势
傅一平评语:这篇文章讲了2022年数据管理的五个趋势,可能是翻译的原因,理解起来有点别扭,我就简单解读下,当然自己水平有限,大家可以延伸阅读:趋势一:多云和跨云管理企业上云后,很自然的想法就是能够基于一个元数据管理系统管理多云的数据,比如数据工程师可以通过运行在AWS上的数据目录来查找数据,也可以使
从 "垃圾 "数据到数据完整性的转变
数据产生的速度越来越快,这已经不是什么秘密。根据IDC的数据,由于在家里工作、学习和做事的人数突然增加,2020年产生和复制了更多的数据。此外,据预测,未来5年创造的数字数据量将是数字存储出现以来所创造数据量的两倍以上。但这引出了一个问题,这些数据有用吗?还是只是“垃圾”?答案在于组织如何管理他们的
如果通过流数据实现实时分析?
了解业务上周发生了什么,还是了解现在发生了什么,哪个更重要?好吧,两者都可以提供有用的见解,你可能会用它来改善你的客户体验,制造更好的产品,推出更好的服务,或在业务流程中提高效率。不过,没有什么比了解现在正在发生的事情更重要。实时分析是指在信息发生时捕捉并采取行动--或尽可能地接近。这涉及到流数据,
数据标准和数据规范到底有什么区别???
彭友们好,我是老彭呀。前两天有个彭友问我:到底数据标准和数据规范有啥区别?这哥们可不是小白,他是十几年的老数据人了,最近在做集团数据管理体系设计,写文档都写到使劲揪头发。原本乌黑浓密的秀发,现在快揪成秃子了。还是斑秃规范,数据规范规范,
记一次大数据量后台服务的性能优化
背景最近被分配到的一个需求,数据量每周新增上千万,预计两个月就会破亿,这里记录一下对这个服务的性能优化的过程。#需求介绍首先大致介绍一下这个需