数据清洗工具OpenRefine
数据清洗工具OpenRefine数据经常被称为一座金矿,尤其是在当今数据驱动的经济环境下更是如此。怎样把数据集在OpenRefine中进行转换,优化数据的质量以便于在真实场景下重用它们。一、介绍OpenRefine我们来看一个残酷的现实:你的数据是杂乱无章的。错误会散步到你的大数据集中,无论你有多么
《我不是潘金莲,聊相似性推荐》
1分钟了解相似性推荐前几天聊的“协同过滤(CollaborativeFiltering)”和“基于内容的推荐(Content-basedRecommendation)”,都必须分析用户的历史行为数据(例如电影点击数据,职位查看数据等),针对不同的用户进行个性化推荐。如果系统没有用户的历史行为数据积累
《从啤酒与尿布,聊关联规则推荐》
3分钟了解“关联规则”推荐“把啤酒放在尿布旁,有助于提升啤酒销售量”是关联规则推荐的经典案例,今天,和大家聊聊“关联规则推荐”,正文不含任何公式,保证PM弄懂。一、概念什么是关联规则(AssociationRules)?答:关联规则是数据挖掘中的概念,通过分析数据,找到数据之间的关联。电商中经常用来
可自动生成代码,5款基于AI的顶级开发工具
如今,对机器学习潜力感兴趣的程序员都在讨论,如何使用人工智能和基于人工智能的软件开发工具构建应用程序。例如PyTorch和TensorFlow之类的解决方案。除此之外,机器学习技术正以另一种有趣的方式影响着编程世界,就是那些采用机器学习算法来简化开发人员工作的最新软件开发解决方案。在本文中,我们将重
腾讯林晓斌:数据库的高易用性如何实现?
腾讯云基于QQ、微信、腾讯游戏等海量业务的技术锤炼,从基础架构到精细化运营,从平台实力到生态能力建设,腾讯云将之整合并面向市场,使之能够为企业和创业者提供集云计算、云数据、云运营于一体的云端服务体验。10月31日,在第十一届中国系统架构师大会(SACC2019)现场,腾讯云数据库负责人林晓斌进行了以
合理建立Hadoop数据库的7个步骤
数据湖的概念起源于大数据的出现——且数据已成为企业的核心资产,Hadoop则是作为存储和管理数据的平台而出现。但是,盲目地投入Hadoop数据湖建设并不一定会使您的企业进入大数据时代——至少不是以一种成功的方式。在将各种形状和大小的数据资产以非统一方式汇入Hadoop环境或另一个大数据存储库的情况下
数据科学在市场营销领域的8个最佳用例
在这篇文章中,我们将介绍一些数据科学在营销领域的关键用例。就数据科学的关键目标是将数据转化为可操作的洞察而言,为了获得更高的盈利,营销领域不能忽略这些洞察的应用。大数据技术,为在营销中更好地了解目标受众提供了机会。数据科学主要应用于分析、搜索引擎优化、客户参与、响应性、实时营销活动等细分营销领域。此
数据科学家的高级能力:“讲故事”
在不算太遥远的过去,业界对数据科学家的评判主要依据于他们发现、理解、管理和综合信息的能力。随着数据环境的不断发展和计算能力的不断提高,编码技能变得越来越重要。随着时间的推移,又出现了更加细致入微的技能要求,包括人工智能方法的专业知识、判断数据真实性以及许多其他的能力。最近,随着许多组织开始认识到某些
2019值得关注的数据可视化工具TOP5
数据可视化在数据分析过程中的扮演着非常重要的角色。对于数据科学家或数据分析师来说,以更直观、便于查看、甚至更吸引人的视觉效果来呈现数据是很重要的。数据可视化是一个有效的市场工具,通过这种方式,从海量数据中挖掘的知识与信息就可以一种简单的方式直观地进行展示,目前数据分析师或数据科学家们以图形格式来进行
2019值得关注的数据可视化工具TOP5
数据可视化在数据分析过程中的扮演着非常重要的角色。对于数据科学家或数据分析师来说,以更直观、便于查看、甚至更吸引人的视觉效果来呈现数据是很重要的。数据可视化是一个有效的市场工具,通过这种方式,从海量数据中挖掘的知识与信息就可以一种简单的方式直观地进行展示,目前数据分析师或数据科学家们以图形格式来进行
2019值得关注的数据可视化工具TOP5
数据可视化在数据分析过程中的扮演着非常重要的角色。对于数据科学家或数据分析师来说,以更直观、便于查看、甚至更吸引人的视觉效果来呈现数据是很重要的。数据可视化是一个有效的市场工具,通过这种方式,从海量数据中挖掘的知识与信息就可以一种简单的方式直观地进行展示,目前数据分析师或数据科学家们以图形格式来进行
强化学习在小桔车服用户运营中的实践
桔妹导读:小桔车服为滴滴旗下品牌,围绕车主及汽车生命周期,整合运营多项汽车服务,更加智能更加用心地为车主提供适合的一站式用车服务,致力于让每一个人拥有轻松车生活。本次分享的主题为强化学习在小桔车服用户运营中的实践。在互联网场景下,面向用户的营销是每个业务所对的共同问题,而如何帮助小桔车服运营提升营销
滴滴从KV存储到NewSQL实战
桔妹导读:本文讲诉滴滴在分布式Nosql存储Fusion之上构建NewSQL的实践之路。详细描述Fusion-NewSQL的特性,应用场景,设计方案。1.背景Fusion-NewSQL是由滴滴自研的在分布式KV存储基础上构建的NewSQL存储系统。Fusion-NewSQ兼容了MySQL协议,支持二
滴滴海量离线数据的在线化 — FastLoad
桔妹导读:滴滴自成立以来,有海量的数据存储在离线平台,离线数据虽然存储便宜,压缩比高,但不适用于线上使用。为此,我们提供了一键式DTS平台——FastLoad,帮助业务往在线存储系统搬运离线数据,目前主要针对滴滴自研分布式存储Fusion,Fusion以RocksDB为存储引擎,服务线上集群500+
滴滴大数据在汽车金融风控场景中的应用
桔妹导读:滴滴独有的出行场景大数据在金融领域有着非常广泛的应用前景,未来可与银行,保险,支付和理财等机构深入合作,帮助传统金融机构提升资源配置效率,降低获客和风险管理成本。出行场景大数据在交易欺诈识别、风险定价、精准营销、全生命周期风险管理、增长运营等方面都有着重要商业价值。对于大数据的应用分析能力
PB级数据实时查询,滴滴Elasticsearch多集群架构实践
PB级数据实时查询,Elasticsearch是基于Lucene实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic公司开源的一系列产品组成的ElasticStack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴Elasticsearch简介滴滴2016年初开
HDFS 源码解读:HadoopRPC 实现细节的探究
桔妹导读:HDSF作为分布式文件系统,常常涉及DataNode、NameNode、Client之间的配合、相互调用才能完成完整的流程。为了降低节点之间的耦合性,HDFS将节点间的调用抽象成不同的接口,其接口主要分为两类:HadoopRPC接口和基于TCP或HTTP的流式接口。流式接口主要用于数据传输
滴滴 曾奇:谈谈我所认识的分布式锁
桔妹导读:随着计算机技术和工程架构的发展,微服务变得越来越热。如今,绝大多数服务都处于分布式环境中,其中,数据一致性是我们一直关注的重点。分布式锁到底是什么?经过了哪些发展演进?工程上有哪些实现方案?各种方案的利弊权衡又有哪些?希望这篇文章能够对你有一些帮助。▍阅读索引0.名词定义1.问题引入2.分
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。判断问题SQL判断SQL是否有问题时可以通过两个表象进行判断:系统级别表象CPU消耗严重IO等待严重页面响应
我的 Input框 不可能这么可爱
<input/>标签是我们日常开发中非常常见的替换元素了,但是最近在刷whattwg跟MDN的时候发现跟<input/>有很多相关的属性,选择器都没怎么用过,所以就开篇文章来整理一下一些比较有趣或者实用的知识点。本篇文章默认大家已经知道<input/>标签的基本用