ITPub博客

一、相关概念1、大数据大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。 2、HadoopHadoop是一个开源的大数据框架，是一个分布式计算的解决方案。 Hadoop的两个核心解决了数据存储问题（H

常见的Web安全漏洞及测试方法介绍背景介绍Web应用一般是指B/S架构的通过HTTP/HTTPS协议提供服务的统称。随着互联网的发展，Web应用已经融入了我们的日常生活的各个方面。在目前的Web应用中，大多数应用不都是静态的网页浏览，而是涉及到服务器的动态处理。如果开发者的安全意识不强，就会导致Web应用安全问题层出不穷。 我们一般说的Web应用攻击，是指攻击者通过浏览器或者其他的攻击工具，在U

作者|白松 关于Giraph 共有九个章节，本文第五个章节。 环境：在单机上（机器名：giraphx）启动了2个workers。 输入：SSSP文件夹，里面有1.txt和2.txt两个文件。 1、在Worker向Master汇报健康状况后，就开始等待Master创建InputSplit。 方法：每个Worker通过检某个Znode节点是否存在，同时在此Znode上设置Watcher。若不

作者 | 蒋珍波 本文是数据治理系列文章的第三篇，主要讲数据治理中的重要工作：数据质量管理。 我将从数据质量管理的目标，质量问题产生的根源，讲到如何评估数据质量，如何贯彻数据质量管理流程，最后从取与舍两个角度谈谈我对质量问题的一些个人观点。 一、数据质量管理的目标数据质量管理主要解决「数据质量现状如何，谁来改进，如何提高，怎样考核」的问题。 为什么这篇文章的标题中有“不忘初心方得始终”这几

不管是B端产品还是C端产品，权限基本都会出现。常见的比如说知乎、简书等内容类产品，你只有登录才能评论、点赞，不登录你只能浏览；再比如知识付费或视频类产品中，你只有付费了才能完整查看专栏里的内容，不付费你只能试看几分钟；再复杂一点的，就是企业级产品中，各部门，各岗位，不同用户能操作的权限都不尽相同。

从 IT 时代到 DT 时代，每个企业无一不被「大数据」、「数字化转型」这样陌生又熟悉的词汇环绕着。似乎一夜之间，这条通往未来的数据之路旁早已挤满了拿着车票却不知该如何上车的企业主们，特别是一些传统行业的巨头们，更是早早挤在了队伍的前头。 他们往往凭借着多年的深耕和积累，积累了海量的、价值难以衡量的数据，在传统行业增量市场急剧减少的今天，这些数据如何指导企业对已有的存量市场进行更加精细化运营，则

前言：作为一名开发人员我们经常会听到HTTP协议、TCP/IP协议、UDP协议、Socket、Socket长连接、Socket连接池等字眼，然而它们之间的关系、区别及原理并不是所有人都能理解清楚，这篇文章就从网络协议基础开始到Socket连接池，一步一步解释他们之间的关系。七层网络模型首先从网络通信的分层模型讲起：七层模型，亦称OSI(Open System Interconnection)模型。

这篇文章主要从数据治理的基础和核心之一：元数据入手，从以下几个角度展开具体讲解： 元数据概念 元数据的分布和采集 元数据的一些实际应用场景 一、元数据到底是个啥？如果我说：元数据（Meta Data），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会浮现这样的想法： 简单点，其实元数据相当于数据的户口本。 户口本是什么？它除了包含个人姓名、年龄、性

大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。 但大家都知道，数据治理是一项长期而繁杂的工作，可以说是大数据领域中的脏活累活，很多时候数据治理厂商做了很多工作，客户却认为没有看到什么成果。大部分数据治理咨询项目都能交上一份让

本文的目的说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。 环境在单机上（机器名：giraphx）启动了2个workers。 Giraph遵从单Master多Workers结构，BSPServiceMaster使用MasterThread线程来进行全局的同步。每个Worker启动成功后，会向Master汇报自身的健康状况，那么Master是如何

一、自动化测试框架在大部分测试人员眼中只要沾上“框架”，就感觉非常神秘，非常遥远。大家之所以觉得复杂，是因为落地运用起来很复杂；每个公司，每个业务及产品线的业务流程都不一样，所以就导致了“自动化测试框架”去完成自动化测试的时候产生很多不稳定因素，这样就很难定位成一个固定的框架。其实不然，真正的自动化测试框架不是一个模式，而是一种思想和方法的集合，通俗的讲就是一个架构。 二、自动化测试框架思想为了

作者 | 咪咪 wiremock-pywiremock-py 是基于WireMock实现的, 使用Python批量生成不同 测试场景 下不同HTTP API的 mock 数据, 然后作为mock server快速全面地对 API 进行测试。 背景在数澜地产应用的前端测试中, 前端一般依赖于后端的数据, 前端通过后端在网关上发布的 HTTP API 获取数据. 要对前端进行充分的测试, 理想的做

由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageStore、currentMessageStore、聚集值等。其中incomingMessageStore对象为Messa

作者 | 白松 注：本文为原创，引用转载需与数澜联系。 1、org.apache.giraph.bsp.CentralizedService 接口功能：Basic service interface shared by both CentralizedServiceMaster and CentralizedServiceWorker. 2、org.apache.giraph.bsp.C

作者 | 白松 【注：本文为原创，引用转载需与博主联系。】 Giraph介绍：Apache Giraph is an iterative graph processing system built for high scalability. For example, it is currently used at Facebook to analyze the social graph for

作者：铁叫兽 一、如何理解数据中台在解决你是否需要数据中台这个问题之前，让我们先理理它究竟是什么。 它是工具？是方法？还是组织架构？我的回答是：都不仅仅是。 数据中台包括平台、工具、数据、组织、流程、规范等一切与企业数据资产如何用起来所相关的。 企业所属行业不同，经营策略不同，从而数据场景也千差万别。再加上企业人员运用数据的能力参差不齐，这就导致了每一家企业的数据中台都是独一无二的，不是购

hdfs是hadoop的分布式文件系统，即Hadoop Distributed Filesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是hadoop 3.0的官方文档。