ITPub博客

DevOps如何以及为什么适合数据库开发?Quest Software信息管理系统顾问Eero Mattila对此有着自己的想法。在柏林的DevOpsCon 2018采访中，Mattila解释了这一领域需要注意的事项以及哪些工具对数据库开发和DevOps流程是有必要的。

MBT(Model based testing)中文名称为基于模型的测试, 基于模型的测试属于软件测试领域的一种测试方法。通常MBT的方法是需要搭配工具使用的，这样在模型画好的同时，可以自动生成对应的测试用例以及自动化脚本。MBT的测试设计理念，是基于需求的功能流程，然后进行建模，基于这个模型，才称得上是测试需求。也就是说做MBT测试设计的前提是对需求和业务有深刻的认识。

　猎聘网业务规模的高速发展，线上产品与线下销售、客服业务的高度融合，猎头、企业、经理人多角色的招聘生态闭环，多元化与多组织层次的数据统计与运营分析需求......在这些复杂业务环境下如何做好数据治理实践的?猎聘DIG数据平台中MySql、GreenPlum、Hive多源数据库共存，整合了结构化和半结构化的数据，为实时统计、T+N的企业管理报表、机器学习提供更适合的基础设施，同时以数据生命周期和数据血缘的管理作为数据治理的两大核心脉络。线上、线下不同业务形态的数据，在时间、地域、组织等不同维度上，在数据产生、成长、下线、归档不同的生命阶段，设置不同的数据监测和管理策略，保证数据仓库中数据的及时性和有效性。通过制定数据标准、规范协作流程、自研监测与预警工具，保证业务数据、数仓明细数据，核心指标等各个数据加工链条节点上的数据一致性和质量可靠性。

　Apache Spark是处理和使用大数据最广泛的框架之一，Python是数据分析、机器学习等领域最广泛使用的编程语言之一。如果想要获得更棒的机器学习能力，为什么不将Spark和Python一起使用呢?

随着“Hadoop是否已失宠”的选题调研进程过半，国内外企业以及厂商的观点确实存在很大分歧，有人认为是国外Hadoop厂商所提供的服务以及架构不如国内厂商完善，也有观点表明国外大部分企业的数据量根本达不到使用Hadoop的层级，因此对Hadoop比较冷漠。那么，事实到底是什么样的呢?

本文主要是学习BP神经网络的一个总结，其本身也是机器学习中比较基础、适合入门的模型。 目前本人对于机器学习也还只是入门状态，对于很多名词仍然是一知半解(感觉机器学习中的很多术语本身也是模棱两可的)，对于很多公式也是不求甚解，因此这篇文章是尝试用自己的语言和理解来复述所学习到的知识，如果有错误之处还望大牛们不吝斧正。

使用 puppeteer 结合函数计算，可以快速的构建弹性的服务完成各种功能，包括：生成网页截图或者 PDF，高级爬虫，可以爬取大量异步渲染内容的网页，模拟键盘输入、表单自动提交、登录网页等，实现 UI 自动化测试，捕获站点的时间线，以便追踪你的网站，帮助分析网站性能问题。接下来，将基于一个脚手架项目开发我们自己 puppeteer 项目。

??Crash率是衡量一个App好坏的重要指标之一。如果你忽略了它的存在，它就会得寸进尺，愈演愈烈，最后造成大量用户的流失，进而给公司带来无法估量的损失。本文讲述美团外卖Android客户端团队在将App的Crash率从千分之三做到万分之二过程中所做的大量实践工作，抛砖引玉，希望能够为其他团队提供一些经验和启发。

技术人如果经常线上操作DB，河边走久了，难免出现纰漏：update错数据了、delete错数据了、drop错数据了咋办?找DBA恢复数据呗，即使恢复不了，锅总得有人背呀。画外音：把数据全删了，怎么办，怎么办?

在“Hadoop是否已失宠?”的选题调研中，笔者调查了银行、Hadoop发行商、Hadoop企业用户以及部分工程师的意见，所处环境、业务需求以及看问题角度的不同让这些组织或个人有着不同的意见。如果你的数据量和增长速度还未达到使用Hadoop的级别，你一定会认为Hadoop是十分不明智的选择;相反，当你已经从Hadoop生态受益良久时，你一定会认为这是大数据时代最佳解决方案之一，比如那些从PostgreSQL迁移至Hadoop的企业。

数十年来，由于可从数据库提取信息、重新格式化转换数据，并将数据加载到数据仓库，ETL一直是企业基础架构的关键组件。随着云、SaaS和大数据的出现，新数据源和数据流的急剧增加，迫切需要更强大和更复杂的数据集成工具出现。新一代ETL工具可以实时获取数据，处理数十亿交易以及支持任何来源的结构化或非结构化数据(无论是内部部署还是云中);同时，这些工具还具备可扩展性、灵活性、容错性和安全性，具备传统内部部署解决方案无法实现的所有功能。

Redis是一个使用ANSI C编写的开源、基于内存、可选持久性的键值对存储数据库，被广泛应用于大型电商网站、视频网站和游戏应用等场景，能够有效减少数据库磁盘IO，提高数据查询效率，减轻管理维护工作量，降低数据库存储成本。对传统磁盘数据库是一个重要的补充，成为了互联网应用，尤其是支持高并发访问的互联网应用必不可少的基础服务之一。它的主要优势有以下几方面：

　在银行业中使用数据科学不仅仅是一种趋势，它已成为保持竞争的必要条件。 银行必须认识到，大数据技术可以帮助他们有效地集中资源，做出更明智的决策并提高绩效。

开源ETL工具俨然成为商用解决方案的低成本替代品。就像商业解决方案一样，它们也有其优点和缺点。如果没有时间或资源自定义ETL解决方案或者不能接受商用方案的购买成本，开源解决方案将是一个实用选择。

模型训练是机器学习最主要的实践场景，尤其以使用机器学习框架TensorFlow进行模型训练最为流行，但是随着机器学习的平台由单机变成集群，这个问题变得复杂了。GPU的调度和绑定，涉及到分布式训练的编排和集群规约属性的配置(cluster spec)也成了数据科学家们巨大的负担。

因为近段时间在一个系统，后端代码使用的技术栈是spring boot (版本1.5.12.RELEASE)、alibaba-spring-boot (版本1.5.12.0-SNAPSHOT)、pandora-boot (版本2018-05-release)，写好各种mapper、service、controller层的代码之后免不了要进行测试，最高效的测试方法还是写单元测试，如果自己在本地把服务起来，页面上点点点，那是极其low极力不推荐的!

在笔者持续调研国内Hadoop生态系统生存现状的同时，KDnuggets发布的2018年数据科学和机器学习工具调查报告再次将“Hadoop失宠”言论复活。报告一出，“Hadoop被抛弃”几个字瞬时成为各大标题党的最爱，充斥在不同的新闻平台。这些报告和数据是否足以动摇Hadoop在国内大数据领域的事实标准地位？本身并不擅长处理OLAP计算和ms级延迟要求的流计算，这是否会成为企业弃用Hadoop的重要原因？对于繁多的组件和搭配，企业倾向于哪种组合方式呢？

　这是HBase入门系列的第1篇文章，介绍HBase的数据模型、适用场景、集群关键角色、建表流程以及所涉及的HBase基础概念，本文内容基于HBase 2.0 beta2版本。本文既适用于HBase新手，也适用于已有一定经验的HBase开发人员。

　DFSMN模型是语音识别中一种先进的声学模型，语音识别中的声学模型是语音识别技术中的核心所在。具体来说，声学模型是根据输入语音进行发音可能性的识别，结合语言模型、解码器，就构成了完整的语音识别系统。本次开源的DFSMN模型，是阿里巴巴的高效工业级实现，相对于传统的LSTM、BLSTM等声学模型，该模型具备训练速度更快、识别更高效、识别准确率更高和模型大小压缩等效果。

近日，著名数据科学网站 KDnuggets 发布了 2018 年数据科学和机器学习工具调查结果。超过 2000 人对自己「过去 12 个月内在项目开发中使用过的数据挖掘/机器学习工具和编程语言」进行了投票。该统计还对过去三年来的排名进行了对比分析。