ITPub博客

大数据测试之hadoop单机环境搭建(超级详细版)这个基础上，我们来运行一个官网的MapReduce demo程序来看看效果和处理过程。大致步骤如下：新建一个文件test.txt，内容为Hello HadoopHello xiaoqiangHello testingbangHello http://xqtesting.sxl.cn将test.txt上传到hdfs的根目录/usr/lib/hadoo

之前发布过一篇关于ETL的文章，无奈被人说太简单。。。。唉，小编也是刚接触啊，自然不能那么高深，所以只是对学习的过程做了记录转换为文章分享给大家，如果对你有帮助，不要吝啬点赞+转发，如果对你没有帮助，那就请转身离开。。。。或者你写一篇更详细的给我，我申请红包给你（邪恶的笑~）好啦，回归正题，这次作为补充在详细介绍下。ETL是什么？其实ta指的是一个过程，就是大数据中对数据处理的过程（抓取>转

引子虽然通过《大数据测试之hadoop初探》以及把hadoop的基本核心说明白了，但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看大数据粗暴理解大数据甭管什么，简单粗暴的理解为大！大！大！对，你没看错，不管什么都是大就对了，哈哈哈哈大数据应用的功能抽象出来基本就是：数据采集、数据存储、数据处理（过滤、拆分、聚合）、数据分析、数据应用。说白了就是对从各处采集的数据经过一系列的处理后给

Hadoop的历史这里就不多说了，网上很多资料，总而言之对于hadoop谷歌和雅虎对于ta的贡献功不可没。更多介绍请自行查看这里：https://baike.baidu.com/item/Hadoop/3526507?fr=aladdinHadoop的应用场景数据分析，如日志系统、推荐系统离线计算海量数据存储Hadoop的核心Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDF

在进一步学习一下大数据测试相关知识之前，我们一定要了解ta和传统数据库测试的差异，这有助于我们更好的认识大数据测试。下表只是粗略的对比，很多点还需要在以后的学习中慢慢来完善，欲速则不达，慢慢来吧！对比项大数据测试传统数据库测试量太TMD多多存储结构化+非结构化存储结构化存储算法要求更高还可以环境对环境要求高（HDFS）无太特殊的要求方法需要验证的环节多，数据大，较为复杂（后面说）抽取数据验证对比工

大数据是个什么根据麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。简单点说就是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。大数据市场前景阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Tech

以下内容选自《大话软件测试》一书这里我特别提前说一句：任何东西都有一定的受众群体，世界上也没有任何东西可以让所有人100%满意。So，本书也是。只要本书中有一个篇章的内容给你带来了影响那就是这本书的价值！感谢大家的支持。引子我为什么会把这个话题放到最开始呢？就是因为这些年在企业工作中、在教育领域培训中接触过不少朋友，在这个过程中我发现居然有95%以上的朋友不明白什么是性能测试，什么是自动化测试，这

背景有一个接口http的接口，GetPaymentURL，传递参数很简单，就是一个sessionID（类似于订单号），这个接口本身并没有什么东西，但是他调用了另外一个模块钱包的接口，钱包最终会返回一个paymenturl等信息给到GetPayment这个接口。一句话，GetPyamentURL只时负责传递参数给到钱包的接口，主要业务逻辑都是在钱包里面，最终由钱包把结果返回给GetPaymentUR

介绍l 基于python编写的性能测试工具，简单、易用，可以完成不太复杂的性能测试。l 目前只能基于python2.5 32位来使用，比较遗憾，而且貌似已经不在维护了，唉安装l 先安装python2.5 32位，并修改环境变量l 下载pylot压缩包，解压后直接可以用，不需要安装l 还有两个包是和图形相关的，是exe文件，下载下来后直接安装即可使用1、最简单的使用l 修改testcase.xml，

准备同使用jmeter测试工具完成文件的上传这里为了方便，直接去百度里找个图片，然后记录下他的地址即可，也就是URL，比如：http://nzr2ybsda.qnssl.com/images/26458/Fre6mB0DAkJ3BOIol-NE7qsyuGh1.jpg?imageMogr2/strip/thumbnail/480x960%3E/interlace/1/format/jpeg步骤jm

准备工作接口说明要搞到手，不然就自己去抓包看上传文件的接口哦请求地址：http://127.0.0.1/file/file_upload请求方式：post请求参数：file响应数据：{"error_code":0}代表成功步骤jmeter>新建一个线程组>新建一个http sampler>切换到files upload标签（3.x以上版本才有，以前的版本无）&

Apache自带的ab命令虽然很简单，但是对于调试的时候的测试，还是非常有效的，因此，做网站性能测试，还是有必要了解下的，关于ab详细命令，本文不做介绍，本文只介绍使用POST数据的使用方法。测试环境WEB环境服务器，并部署好SHOP系统使用Xshell连接服务器开始测试login.ab 内容，该内容需要在登录的时候使用抓包工具进行抓包，我这里先使用了loadrunner进行了录制，并抓取了录制代

以下内容节选自《大话软件测试》一书分析完成之后我们就要写一份报告了。在这个互联网信息极度发达的时代，我们已经习惯了“衣来伸手饭来张口”和“提笔忘字”，别说写一份测试报告了，甚至写两句话都不知道该怎么写。可见，信息化越是发达，人们越该加强对写作能力的培养。写一份漂亮的报告相对来说还是比较重要，关键在于要掌握写报告的核心思路，我自己在写的时候一般会遵循几个要点：1) 结构清晰：就是要有较好的层次感，这

内下内容选自《大话软件测试》一书1. 测试目的通过主要功能页面的前端性能测试，从前端分析引起页面响应缓慢的原因，并根据优化建议对其进行优化，提升前端性能，从而达到提升系统整体性能的目的。2. 测试范围主要对用户常用的页面进行测试，至少包括：首页、各分类页、搜索结果页等，此处我们只以首页为例进行测试和分析。3. 测试方法利用YSlow、PageSpeed等工具进行测试，因该网站是第三方的并不是我们自

介绍Twemperf又名mcperf，是一款memcached的性能测试工具。它使用memcached的ASCII协议并且能够快速的产生大量memcached连接和请求。该工具主要用于memcached性能测试，模拟大并发set、get等操作，mcperf只能运行在unix/linux环境下。安装下载：https://github.com/twitter/twemperf安装就是普通的三部曲，此处

引子以下内容选自《大话软件测试》一书正文首先不得不感叹Jmeter的日渐强大，尤其是其插件。之前我们讲解过，Jmeter可以完成性能测试、接口测试，而这次它居然可以依靠WebDriver来完成GUI的功能自动化测试了。下面我们就以打开我的博客地址首页为例进行讲解，大致的实现步骤如下：1) 下载JMeterPlugins-WebDriver-1.3.1.zip，解压之后把lib目录下的所有jar文件

背景介绍宅米是一家专注校园电子商务的互联网企业，目前主营校园超市O2O。公司成立于2014年11月，仅仅一年多的时间，公司即经过4轮融资，覆盖近200座城市，1000多所大中专院校，10000多栋宿舍楼，日均订单20万，峰值订单50万。初识架构这样的系统能不能应对今后快速的业务发展？性能问题会不会成为持续增长的交易量的瓶颈？系统能不能撑得住访问高峰期的大规模并发访问？ 性能优化成为这个时候最重要的

小白朋友第一次接触LoadRunner的时候都会遇到和浏览器兼容的问题，我只能说都tmd怪微软，没事升毛系统和浏览器，就不能好好做一个兼容性好的啊！！！！！！！！！！！这里我把自己亲自试过的LoadRunner和浏览器可以兼容的攻略放出来啊，点赞啊给我！！！！！！这不容易，机器都快被我折腾死了！！！！！！！！LoadRunner8.0 只支持ie6LoadRunner8.1 只支持ie6LoadR

现在越来越多的网站为了安全性或是防止Spam的侵害，采用了验证码的校验技术。简单地说，验证码就是在进行登录或是内容提交的时候，页面上会随机出现一个人工可识别，但机器不可识别的验证字符串（一般是采用背景、扭曲等方式产生的图片），要求登录或是提交内容时同时输入这个验证码。验证码可以有效防止对口令的刺探和所谓的网络推广软件带来的大量的Spam内容，目前已经被许多Internet或是Intranet应用接

项目测试过程中，遇到这样一个需求，需要一张表里面有几百万的数据，需求很简单，本来想用jdbc直接写java往数据库里面插数据，后来想起jmeter好像可以实现这个需求，而且更简单便捷，所以用jmeter做了下数据准备工作，现在记录下做的过程。    1 打开jmeter，创建一个线程组：      &nbsp