-
编辑 删除
基于文件和内存的布隆过滤器
前言如果使用scrapy的话，去重可以直接使用scrapy_redis和scrapy_redis_bloom
-
编辑 删除
scrapy日志系统
前言如何修改scrapy的日志？我想大部分人想到的都是修改配置文件的几个参数。参数如下：LOG_ENABLE
-
编辑 删除
scrapyd的Windows管理客户端
前段时间无聊写的一个scrapyd的Windows管理客户端，软件只是将scrapyd的api集成到exe文件中，软件是由aardio写的，上面有源码，可以自行编译，也可以下载GitHub中release已编译的exe文件。
-
编辑 删除
scrapy限制同时运行爬虫数量
假设需求现在大概有一千多个scrapy的爬虫文件，只有一台机器，怎么执行爬虫。自定义命令运行所有爬虫很简单，
-
编辑 删除
某头条点选验证码识别
如何让代码自动通过点选验证码
-
编辑 删除
scrapy自定义扩展(extensions)实现实时监控scrapy爬虫的运行状态
效果图：废话如何知道你写的爬虫有没有正常运行，运行了多长时间，请求了多少个网页，抓到了多少条数据呢？官方其实
-
编辑 删除
InfulxDb+grafana监控Windows运行状态
看一下效果图：InfulxDb官方网站：https://portal.influxdata.com/down
-
编辑 删除
splash官方文档解读(翻译)
splash是一个类似于selenium的自动化浏览器，不过它与selenium还是有很大区别的：比如s
-
编辑 删除
scrapy下载中间件(downloader middleware)和蜘蛛中间件(spider middleware)
scrapy组件首先我们看下scrapy官网提供的新结构图，乍一看这画的是啥啊，这需要你慢慢的理解其原理就很
-
编辑 删除
scrapy 自定义命令
前言scrapy有很多的内置命令，但是有时候我们会想要自定义一些命令，因为写脚本不如敲个命令来的有逼格，也更
-
编辑 删除
scrapy项目管道(item pipeline)
scrapy提供了很多中间组件可以让我们更加自定义想要的效果，比如项目管道(item pipeline)，下
-
编辑 删除
scrapy配置参数(settings.py)
导入配置如何优雅的导入scrapy中settings.py的配置参数呢？总不能用from scrapy im
-
编辑 删除
PC微信读取好友列表(联系人)
开篇PC微信端读取联系人有三种常规方法：hook相关call来实现拦截联系人数据读取内存中的包含联系人的二叉
-
编辑 删除
微信机器人之PC微信hook
微信机器人的实现有三种：web，app和exe。其中web很多账号受限登录不了，而hook app的话需要使
-
编辑 删除
PC微信获取登录二维码
我看到这篇文章之后自己尝试了一下还是找不到对应的call，毕竟没有学习过逆向，只是因为一时兴起想逆向一下微信
-
编辑 删除
验证码识别之二值化
前言二值化顾名思义就是将数变成两种值，一般非0即1。而在验证码处理中，如果直接使用灰度图，那么每个像素的值...
-
编辑 删除
基于决策树的简单验证码识别
决策树核心思想：相似的输入必会产生相似的输出。
-
编辑 删除
基于朴素贝叶斯识别简单验证码
在这种简单验证码识别上，朴素贝叶斯也可以达到100%的正确率。
-
编辑 删除
PIL库的简单操作
灰度图是一个二维数组，每个值都表示这个像素点的灰度值（0到255之间的一个值），
-
编辑 删除
knn识别简单验证码
knn分类
