基于python的大数据分析实战学习笔记-pandas之DataFrame
接着上篇我们继续进行pandas中的DataFrame,话不多说,直接撸代码,里面有注释#dataframe的操作不外乎 增删改查from pandas import Seriesfrom pandas import DataFramedf=DataFrame({'age':Series([18,20,30]),'name':Series(['x1'
基于python的大数据分析-pandas数据读取(代码实战)
我们常见的数据存储格式无非就是csv、excel、txt以及数据库等形式。数据读取在pandas中可以使用一些函数完成数据的读取。比如read_csv、read_excel、read_table、read_sql等,这些分别是啥意思呢。。。。自己看后缀就能明白啦~下面我们就通过撸代码来了解它们txt文件格式:read_table(文件路径与文件名, names=[列名1,列名2,.....], s
基于python的大数据分析-pandas数据存储(代码实战)
上篇我们学习了pandas的数据读取,这次我们来看看如何进行数据的存入,代码撸起来~csv文件格式:to_csv(文件路径, sep='', index=TRUE, header=TRUE)index默认是true,带行序号header默认是true,带列名from pandas import DataFrame from pandas import Series&nbs
基于python的大数据分析实战学习笔记-pandas(数据分析包)
pandas中常见的数据结构有三种,Series(一维数组,也叫序列),DataFrame(二维表格,类似excel多行多列),Panel(三维数组)那什么是数据结构呢?就是相互之间存在的一种或多种特定关系的数据类型的集合。好了,概念就是这么简单,相信有python基础的朋友应该很容易理解,如果你没有。。。。恩。。。就没有吧今天我们先来介绍下Series的用法,直接撸代码,里面有注释from&nb
基于python的大数据分析实战学习笔记-Anaconda
Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。还有很多官方介绍,总而言之就是强大强大很强大。。。在我看来TA主要面向科学计算,其实就是数据分析的一个标准环境。下载地址:https://www.anaconda.com/distribution/至于安装完全是傻瓜式这里就不多说了~我在一些群里还看到有人推崇用python2,还是各
案例:隐秘而低调的内存泄露(OOM)
本文选自《大话软件测试》一书内存泄露测试的整个过程如下:l 在手机里启动被测APP并打开DDMS。l 在DDMS中选中【com.example.android.hcgallery】之后单击按钮【show heap updates】,然后切换到标签页【VM Heap】,再单击按钮【Cause GC】。l 不断操作APP,并观察Heap。经过一段时间的操作我们发现不论是%Used还是data obje
被嫌弃的程序员的一生,一定要看完,会看到你自己
程序员从早前的一种职业发展至今,俨然已经成为大众眼中的「特殊物种」。关于程序员的调侃与段子也盛产于网络,常常引起全网围观。但是程序员说到底并不是「两耳不闻窗外事,一心只用敲代码」,他们也有生活和工作上的烦恼与曲折。他们的人生并不像外人羡慕的那样「精英」,甚至还会有一些「潦倒」。有一部电影叫做「被嫌弃的松子的一生」,有人评价说:大多数女人不会过成松子,但或多或少有松子的影子。「被嫌弃的程序员的一生」
nGrinder中快速编写groovy脚本04-发送POST请求
POST请求分类:1、根据是否修改代码,分为两种方式:一种是在UI界面添加后自动生成脚本,一种是直接在脚本中添加2、根据请求参数的不同,主要可以分为两种:param为key value格式body为json格式一、通过UI方式发送POST请求–key/value参数通过 UI 设置:脚本 -> 新建脚本 -> 显示高级配置当选择了请求方法为POST后,在高级配置中默认会在headers
nGrinder中快速编写groovy脚本03-在GET请求中发送参数
在GET请求脚本中添加添加信息头、cookies和自定义参数,有两种方式:一种是在UI界面添加后自动生成脚本,一种是直接在脚本中添加。一、通过UI界面添加通过 UI 设置:脚本 -> 新建脚本 -> 显示高级配置生成代码如下:@RunWith(GrinderRunner)@FixMethodOrder(MethodSorters.NAME_ASCENDING)class TestRun
nGrinder中快速编写groovy脚本01-脚本结构
ngrinder中的groovy脚本结构类似 junit,同时在junit的基础之上封装了自己的注解,用来控制脚本的运行。一、运行逻辑图如下:此处只列出了groovy脚本的逻辑,jython脚本是类似的,在此不再单独介绍。二、各注解的使用比较三、关注点在ngrinder中,通常使用单进程多线程就足够大部分测试了,所以:我们最需要关注的就是 @Test ,这个是循环体;其次是 @Before ,这里
搭建 nGrinder 性能测试平台并快速使用
一、nGrinder 组件介绍1、ngrinder包含Controller、agent 和 monitor 三部分2、Controller提供性能测试的web接口协调测试进程调整和显示测试的统计结果让用户创建和修改脚本3、Agent在代理服务器上加载运行测试进程和线程可以部署多台,提升压测能力最好是能部署在单独的服务器上,如果没有条件的话,也可以跟Controller在一台服务器但是不能部署在被测
nGrinder详细介绍及性能工具对比
在介绍nGrinder之前,有必要先说一下 The Grinder 抛砖引玉。一、The Grinder1、The Grinder是一个基于Java的开源性能测试框架,通过多个agent负载机很方便的进行分布式测试。2、主要特性:可以测试任何java代码,包括各种常用的接口如HTTP web servers, SOAP和REST web services,还有客户端服务器RMI、JMS、EJBs等
H5前端性能测试快速入门
说到H5测试,对于做WEB测试的同学来说再熟悉不过了,它包括页H5功能测试,前端性能测试,浏览器兼容性能测试,以及服务端性能测试。那本文谈到的则是H5前端性能测试,并希望通过阅读本文后,能够知道:H5前端性能测试什么?如何发现问题以及相应的优化规则。一、浏览器渲染引擎浏览器是Html解析和页面最终展示的工具,所以测试H5前理解浏览器的工作原理是必不可少的,具体可参考《浏览器工作原理》。浏览器的主要
Cacti+Nagios监控平台完美整合
一、Cacti安装部署作为一名Linux SA,日常最重要的就是保证网站正常稳定的运行,我们需要实时监控网站、服务器的运行状态,这时需要借助开源软件(cacti、nagios、zabbix等)监控来实现。Cacti是用php语言实现的一个软件,它的主要功能是用snmp服务获取数据,然后用rrdtool储存和更新数据,当用户需要查看数据的时候用rrdtool生成图表呈现给用户。因此,snmp和rrd
Burpsuite安全测试测试指导
1Burpsuite简介Burpsuite是一款安全领域非常重要的Web扫描工具(或者说是平台),它用于攻击Web应用程序。在Burp Suite上集成了各种扫描工具插件,各个集成插件可以组合使用,也可以单独使用。2Burpsuite安装Burpsuite有两个版本,专业版和免费版,本次只进行一些简单的web安全测试,涉及到的插件并不多,所以直接安装免费版即可,工具获取直接在***上搜索获取:(安
快速认识HTTP协议
一、TCP/IP 协议族为了使世界上的计算机可以通过网络互相通信,就需要在不同的硬件、软件、操作系统之间制定一种通信规则,这种规则就称为协议(protocol)。为了实现全球互联网通信,IETF(The Internet Engineering Task Force,国际互联网工程任务组) 对相关的所有硬件和软件制定了一系列标准协议,集合起来总称为「TCP/IP 协议族」,简称「TCP/IP」。1
apache ab压力测试工具-批量压测脚本
概述ab(Apache benchmark)是一款常用的压力测试工具。简单易用,ab的命令行一次只能支持一次测试。如果想要批量执行不同的测试方式,并自动对指标进行分析,那么单靠手工一条一条命令运行ab是不可能的。下面介绍下批量模式怎么实现。一、脚本说明该脚本支持ab大多常用参数,如果你需要更多参数,可以通过修改本脚本,加入你想要的即可。该脚本支持:1)、批量测试。注意,并不是简单的批量测试,你可以
经典教师 学生 成绩sql面试题再次来袭2
由于关键词限制无法发布,可以看这里:http://www.xqtesting.com/blog/mysql-402.html
详解Docker容器可视化监控中心搭建
概述一个宿主机上可以运行多个容器化应用,容器化应用运行于宿主机上,我们需要知道该容器的运行情况,包括 CPU使用率、内存占用、网络状况以及磁盘空间等等一系列信息,而且这些信息随时间变化,我们称其为时序数据,下面主要演示下如何搭建一个可视化的监控中心来收集这些承载着具体应用的容器的时序信息并可视化分析与展示!一、基础环境adviser:负责收集容器的随时间变化的数据influxdb:负责存储时序数据
一次缓存性能问题排查
概述以下分享的都跳过了很多坑,包括redis、tomcat环境配置、机器硬件配置等等问题(与线上保持一致,或者硬件性能减配系数,例如线上:8C16G,压测:4C8G,系数简单相差2倍),直接把挖掘瓶颈的主要思路搬出 台面。压测数据分析全局图预览 通过对某直播观看页面进行高并发压测,在APM监控中发现一个有趣的地方: &nb