ITPub博客

网络爬虫：互联网就像一张巨大的蜘蛛网，里面存放了很多的数据。爬虫就是一只沿着网络线去获取自己所需数据的小蜘蛛，数据采集指的是我们向目标网站发出请求，然后获取到数据后把有用数据提取的程序。所需要用到的技术就是模拟浏览器向站点发出请求行为，把站点返回的各种数据保存到本地在进行有用数据的过滤。爬虫的框架有很多，Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非

为什么要使用对象池对象池优化是游戏开发中非常重要的优化方式，也是影响游戏性能的重要因素之一。在游戏中有许多对象在不停的创建与移除，比如角色攻击子弹、特效的创建与移除，NPC的被消灭与刷新等，在创建过程中非常消耗性能，特别是数量多的情况下。对象池技术能很好解决以上问题，在对象移除消失的时候回收到对象池，需要新对象的时候直接从对象池中取出使用。优点是减少了实例化对象时的开销，且能让对象反复使用，减少了

前端现在是一个很炽手可热的职业，现在前端工程师到底能赚多少钱？月薪3000和30000的工程师到底差在哪？前端的待遇为什么这么高?我们应该如何补充相应的知识盲区，扩展自己的应用面，才能在技术浪潮之下，不被淘汰？我们先用三个数据了解一下。通过前面三个数据我们可以清晰的了解到，前端开发行业薪资水平高，并且前景可观，那么如何才能进入“金光闪闪”的top互联网公司，或者在前端领域做的风生水起呢进阶“大前端

面试题3：二维数组中的查找题目：在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。例如下面的二维数组就是每行、每列都递增排序。如果在这个数组中查找数字7，则返回true；如果查找数字5，由于数组不含有该数字，则返回false。这个问题本身是很简单的，书中提供一个很好的思路–找规律。一

前一篇硬核讲解Jetpack之LifeCycle使用篇主要介绍了LifeCycle存在的意义，基本和进阶的使用方法。今天话不多说，直接开始撸源码。本文基于我手里的android_9.0.0_r45源码，所有相关源码包括注释都上传到了我的Github，可以直接clone下来对照文章查看。LifeCycle三剑客在正式阅读源码之前，很有必要先介绍几个名词，LifecycleOwner，Lifecycl

最近在群里，同学们对于python基础课程到底要学什么，一直不能很好的确定，那么我在这里针对python基础知识的几个阶段，做一个总结，新手朋友们，可以根据这个来进行学习，那么由于我是做web开发的，所以会从web的角度去涉及。第一阶段知识---基础语法（1）python的数据结构的认识：     python所有数据结构的认识     字符串的使用以及字符串的相关方法     列表的使用以及列表

上一篇咱们聊完了数据结构中最基础的「数组」和「链表」，今天咱们再来继续看看「堆栈」吧，我写技术文章很少showcode，所以经常有人吐槽。好吧，这个算法系列的文章我打算每一篇的结尾处都找一道算法题写出代码示例，这总可以了吧。一、「堆栈」是什么？堆栈（stack）是一种先进后出的、操作受限的线性表，也可以直接称为 栈。可以把栈想象成一个桶一样，往这个桶里面一层一层的放东西，先放进去的在里面，后放进去

前言最近在做工作流的事情，正好有个需求，要添加一个附件上传的功能，曾找过不少上传插件，都不是特别满意。无意中发现一个很好用的开源web文件管理器插件elfinder，功能比较完善，社区也很活跃，还方便二次开发。环境搭建软件地址SpringBoothttps://spring.io/projects/spring-boot/elFinderhttps://studio-42.github.io/el

1. JDKAN安装及环境变量配置安装jdk，注意记住安装路径（F:Javajdk1.8.0_121 ）（个人爱好）系统变量新建 JAVA_HOME 变量。变量值填写jdk的安装目录（F:Javajdk1.8.0_121 ）系统变量寻找 Path 变量编辑在变量值最后输入 %JAVA_HOME%bin;%JAVA_HOME%jrebin;系统变量新建 CLASSPATH 变量变量值填写  .;%J

首先我们来看一下编程结构：编程结构publicclassSocketTextStreamWordCount{publicstaticvoidmain(String[]args)throwsException{if(args.length!=2){System.err.println("USAGE:nSocketTextStreamWordCount");return;}StringhostName

在上一篇文件中的OGG单向复制配置不支持DLL的同步，只支持DML，因而本文在之前的基础上增加对DDL语句的复制，下面是简要配置过程记录！一：验证之前的配置不支持DDL复制，这里在source端，新建一张表，发现无法复制到target端！target端也新建相同的表后，DML操作可以成功复制[root@db1~]#su-oracle [oracle@db1~]$sqlplushr/hr SQL>c

  下面是10046事件的几个等级分别表示什么意思Level0Tracingisdisabled.ThisisthesameassettingSQL_TRACE=FALSE.  Level1StandardSQLtraceinformation(SQL_TRACE=TRUE).Thisisthedefaultlevel.  Level4SQLtraceinformationplusbindvari

创建对应存储目录mkdir/usr/local/mysqlmkdir/usr/local/mysql/data复制mvmysql-5.7.11-linux-glibc2.5-x86_64/*/usr/local/mysql/创建用户组以及用户并关联groupaddmysqluseradd-r-gmysqlmysqlchown-Rmysql.mysql/usr/local/mysql/接下来 cd/

背景在实际业务生产环境中，业务应用系统在使用OLTP数据库将数据进行存储后，均会存在如后台运营类系统进行统计报表分析等场景的复杂SQL查询诉求。为满足此类复杂SQL查询快速响应的需求，DRDS团队基于第三代分布式SQL引擎，进一步引入自研MPP多机并行计算引擎（Fireworks）及对应的优化策略，极大地补强了DRDS的复杂查询处理能力。千万级数据下的分布式多表Join、聚合、排序、子查询操作秒级

如何使用Dockerfile用来创建一个自定义的image,包含了用户指定的软件依赖等。当前目录下包含Dockerfile,使用命令build来创建新的image,并命名为edwardsbean/centos6-jdk1.7:docker  build -t edwardsbean/centos6-jdk1.7  .或者docker build -t test -f dockerfile .ps：

摘要：彻底掌握跨域。原文：九种跨域方式实现原理（完整版）作者：浪里行舟Fundebug经授权转载，版权归原作者所有。前言前后端数据交互经常会碰到请求跨域，什么是跨域，以及有哪几种跨域方式，这是本文要探讨的内容。本文完整的源代码请猛戳GitHub博客，纸上得来终觉浅，建议动手敲敲代码一、什么是跨域？1.什么是同源策略及其限制内容？同源策略是一种约定，它是浏览器最核心也最基本的安全功能，如果缺少了同源

介绍作为一个开发人员，你知道如何分析自己开发的Api性能么？在VisualStudio和Azure中,我们可以使用ApplicationInsight来监控项目。除此之外我们还可以使用一个免费工具StackifyPrefix,它允许追踪所有的Http请求,这里有一篇博客讲解了如何使用StackifyPrefix(ScalableandPerformantASP.NETCoreWebAPIs:Pro

haffmanTree#include#include#include#defineMaxN10//初始设定的最大结点个数#defineMaxValue10000//初始设定的权值最大值#defineMaxBit4//初始设定的最大编码位数typedefstruct{  intweight;//权值  intflag;//标记，是否已经加入到哈夫曼树中  intparent;//双亲节点下标  i

本章的学习目标看如下的思维导图:思维导图依赖注入在实际环境中实现Ioc容器的方式主要分为:依赖查找和依赖注入二者关系:我们知道Spring是先完成Bean的定义和生成,然后在寻找需要注入的资源,找到对应的类型然后将其注入,完成依赖注入.依赖注入有三种方式:构造器注入,setter注入和接口注入.构造器注入构造器注入依赖于构造方法来实现,Spring也可以通过使用构造方法来完成注入,这是构造器注入原

SecurityManager是shiro的核心，负责与shiro的其他组件进行交互；SessionManager是session的真正管理者，负责shiro的session管理；SessionsSecurityManager的start方法中将session的创建委托给了具体的sessionManager，是创建session的关键入口。SimpleSession是shiro完完全全的自己实现，