-
数据治理那点事」系列之三：不忘初心方得始终，数据质量管理要稳住！
作者 | 蒋珍波 本文是数据治理系列文章的第三篇，主要讲数据治理中的重要工作：数据质量管理。 我将从数据质量管理的目标，质量问题产生的根源，讲到如何评估数据质量，如何贯彻数据质量管理流程，最后从取与舍两个角度谈谈我对质量问题的一些个人观点。 一、数据质量管理的目标数据质量管理主要解决「数据质量现状如何，谁来改进，如何提高，怎样考核」的问题。 为什么这篇文章的标题中有“不忘初心方得始终”这几
-
大数据测试与 传统数据库测试
在进一步学习一下大数据测试相关知识之前，我们一定要了解ta和传统数据库测试的差异，这有助于我们更好的认识大数据测试。下表只是粗略的对比，很多点还需要在以后的学习中慢慢来完善，欲速则不达，慢慢来吧！对比项大数据测试传统数据库测试量太TMD多多存储结构化+非结构化存储结构化存储算法要求更高还可以环境对环境要求高（HDFS）无太特殊的要求方法需要验证的环节多，数据大，较为复杂（后面说）抽取数据验证对比工
-
大数据测试之揭秘大数据的背景与发展
大数据是个什么根据麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。简单点说就是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。大数据市场前景阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Tech
-
学大数据需要什么语言基础?,学前必知
首先，学大数据是需要有java，python和R语言的基础。1) Java学习到什么样的程度才可以学大数据呢?java需要学会javaSE即可。javaweb，javaee对于大数据用不到。学会了javase就可以看懂hadoop框架。2) python是最容易学习的，难易程度：python java Scala 。python不是比java更直观好理解么，因为会了Python 还是要学习java
-
学云计算与大数据前景如何？就业又该何去何从？
学云计算与大数据前景如何？就业又该何去何从？
-
一篇搞懂TCP、HTTP、Socket、Socket连接池
前言：作为一名开发人员我们经常会听到HTTP协议、TCP/IP协议、UDP协议、Socket、Socket长连接、Socket连接池等字眼，然而它们之间的关系、区别及原理并不是所有人都能理解清楚，这篇文章就从网络协议基础开始到Socket连接池，一步一步解释他们之间的关系。七层网络模型首先从网络通信的分层模型讲起：七层模型，亦称OSI(Open System Interconnection)模型。
-
你最不能接受iPhone的哪些问题？小编先吐为快，如有雷同，概不负责
iPhone作为曾经在国内手机业内叱咤风云的存在，随着国内手机品牌的崛起，给苹果公司在国内手机市场带来了不小的冲击，并且随着苹果的设备的价格昂贵等其他方面原因，导致iPhone在国内的销量一直下滑，作为一名曾经十分喜爱苹果的用户来说，苹果的系统方面真的是让小编爱不释手，但是苹果手机也是存在一些问题的，小编今天就先吐未快，如有雷同，欢迎评论！第一点：红外遥控在这个两个相互不认识的人，一起出门，两分钟
-
Hadoop测试常见问题和测试方法
随着分布式计算技术的推广，越来越多的大数据计算任务迁移到hadoop平台上进行，模型类的hadoop应用也越来越多。经过这一段时间在hadoop上的测试项目，在此简单分享下hadoop上项目测试的经验。本文主要介绍项目测试过程中一些常见的现象以及问题的说明和一些常见的测试方法一、测试常见问题1、reduce输出文件，上传文件，下载文件等操作的目的文件的删除。【现象】程序第一次运行还是成功的，数据和
-
大数据开发需要学哪些项目 从哪里入手比较好
大数据开发需要学哪些项目？从哪里入手比较好？大数据时代的兴起，带起了批量先进技术的发展，于大数据技术而言，核心就是数据，包括我们的个人信息、浏览记录和购买详单等等，都是庞大的数据库中的一个数据。而大数据程序员在学习过程中，就会跟这些数据打交道，接触到不同的项目，从而不断升级自己的技术库。大数据一般有哪些项目?大数据项目有很多，所用到的技术也是不同的，下面先给大家介绍一个在大数据中的典型项目。1、项
-
究竟多大才算是大数据，大数据怎么学习？
大数据，什么是大数据呢？多大的数据叫大数据？红火一时的数据分析走向了我们，纷纷称不分析数据企业将长久不了，可是究竟什么样的数据才是大数据呢，什么样的数据才是最大的呢？如果你没有接触过大数据，那么你就不知道大数据究竟有多大，大到什么样的数据才能称之为大数据。那么，根据数据收集的端口，企业端与个人端之间，大数据的数量级别是不同的。大数据开发学习有一定难度，零基础入门首先要学习Java语言打基础，一般而
-
大数据平台最常用的30款开源工具
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术。本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
-
人工智能和大数据到底有什么关系？是如何联系在一起的？
大数据和人工智能是当今最流行和最有用的两项技术。人工智能诞生于十多年前，大数据诞生于几年前。计算机可以用来存储数百万条记录和数据，但分析这些数据的能力是由大数据提供的。可以说，大数据和人工智能是两大令人惊叹的现代技术集合，为机器学习注入动能，不断重复和更新数据库，同时借助人类的干预和递归实验进行优化。本文将讲解如何通过人工智能和大数据解决与数据相关的所有可能问题。01 大数据与人工智能大数据和人工
-
Resolving archive.cloudera.com... failed: Temporary failure in name
阿里云云主机无法下载资源，Resolving archive.cloudera.com... failed: Temporary failure in name resolution.
-
大数据时代已来，开发者该如何出击？
人工智能、大数据、物联网、区块链作为当今信息化发展的新兴技术，离我们的生活越来越近，他们之间也存在着本质的联系，如果将它们看做是我们身体，大数据则是这些触觉到外部信息的存储集合，而数据库则好比人的大脑的记忆系统，没有了数据库就没有了记忆系统。数据指数级增长时代已经来临易安信公布的第三期全球数据保护指数调查结果显示，数据量呈现爆炸式增长，增幅达569%。权威数据显示，预计2020年，我国大数据市场规
-
学大数据需要具备四种条件？你具备几种？
现在学大数据的越来越多了，可是你知道学大数据需要什么条件吗？我来说说四个必备条件。大数据现已成为年代开展的趋势，很多人纷纷挑选学大数据，想要进入大数据职业。大数据技术体系巨大，包含的常识较多，体系的学大数据能够让你全面把握大数据技术。学大数据需求把握哪些常识？1、学大数据首先要学习Java根底怎样进行大数据学习的快速入门？学大数据课程之前要先学习一种核算机编程言语。Java是大数据学习需求的编程言
-
过来人的大数据学习经验
随着大数据越来越火热，薪资越来越高，开始吸引着越来越多的人开始想要投身这个行业。其中有许多朋友的都是大数据零基础，以前并没有接触过大数据相关知识。零基础学大数据难吗？这主要取决于你所学习培训机构的硬性实力，如：大数据师资、大数据课程、大数据项目等等。现在市面上的培训机构基本上都开设有自己的大数据零基础班，专门为大数据零基础的学员提供服务。但是这些班的教学效果参差不齐，如果有的朋友在刚开始学大数据的
-
零基础学大数据编程需要哪些基础?
零基础学大数据编程需要哪些基础?程序员薪酬高、工作环境好，是很多同学向往的职业，让很多非计算机专业的同学羡慕不已。非计算机专业难道就不能成为程序员了吗?一、零基础学大数据编程需要基础：1、数学基础从计算机发展和应用的历史来看计算机的数学模型和体系结构等都是有数学家提出的，最早的计算机也是为数值计算而设计的。因此，要学好计算机就要有一定的数学基础，出学者有高中水平就差不多了。2、逻辑思维能力的培养学
-
大数据解决方案-（基础篇）
学大数据分析与应用课程的首要任务，是先了解统计与建模方法和数据挖掘方法所呈现出来的效果，然后依次学习Excel数据处理及编程、MySQL数据库的简单操作及Hadoop的基础知识。从而为进阶、提高打好基础。基础统计与建模方法演示探索性数据分析演示常用概率分布和渐进性演示置信区间和假设检验演示线性回归模型演示广义线性回归模型演示数据挖掘方法演示分类预测基本流程演示数据预处理演示分类方法演示聚类分析演示
-
大数据工程师职业到底有多吃香？
众所周知，当下大数据开发工程师是一个很吃香的职业，现在大数据技术人才短缺，在互联网圈里越久，资历越老，就越受欢迎。但最近小骇发现了一个“大数据工程师干不过35岁”的话题引人注目。大数据工程师真的这么神奇吗？听起来这么恐怖的大数据工程师究竟是个啥职位？？谈大数据工程师职位之前我们先来聊聊互联网的职位发展，2018年是互联网低迷成为大数据开发工程师，别墅靠大海的一年。近来阿里巴巴、陌陌、知乎等大厂都纷
-
Hadoop 气数已尽？
我先从一个悲观的观点说起：Hadoop 正在迅速失去市场，我们可以从 Google 趋势走向看出这个现象
