ITPub博客

前段时间参加了一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结。整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历程，第二阶段是正式的网络爬虫分享流程，详细总结了网络爬虫开发的一些要点，第三阶段是解答一些提问，并抽奖送出一些礼品。所以在这里我会对我昨天分享的主要内容做下总结，希望大家可以支持！总括分享的主题

1.前言MongoDB基于wiredTiger提供的泛化SI的功能，重构了readHistory(readMajority)的能力基于wiredTiger提供的AllCommittedTimestamp API,重构了前缀一致的主从复制(Prefix-Consistent-Replication)引入混合逻辑时钟(HLC)，每个节点(Mongos/Mongod)的逻辑时钟维持在接近的值，

　　背景　　在某开发团队辅导的第二天，一个团队负责人咨询道：“领导经常管我要开发计划，我如何能快速的评估出预计开发完成时间呢，我们目前用工时估算，我听说过故事点估算，不知道适合吗?”　　问题分析　　从这个团队负责人那里了解到，领导一般在接到项目大量新需求时会问这个问题。领导需要做到“心里有数”，有一个预计的项目新需求完成时间。加上领导一直做传统的瀑布开发项目，他非常关心项目中远期计划，也就是我们通

前言  其中有一个重点被介绍的服务，机器学习服务（Machine Learning Kit 简称 MLKit）。  那机器学习服务能干什么呢？能帮助开发者解决应用开发过程中的哪些问题？  今天就抛砖引玉一下，以人脸检测为例，给大家出一个实战小样例，让大家感受下机器学习服务所提供的强大功能以及给开发者提供的便捷性。机器学习服务人脸检测所提供的能力  先给大家看一下华为机器学习服务人脸检测能力的展示：

前言本文将介绍DWS基于RBAC（Role-Based Access Control，基于角色的访问控制）的数据库用户权限管理。简单地说，一个用户拥有若干角色，每一个角色拥有若干权限。这样，就构造成“用户-角色-权限”的授权模型。在这种模型中，用户之间，角色与权限之间，一般是多对多的关系。通过本节，我们将学习到DWS数据库权限管理的相关知识并进一步学会如何进行权限管理。1  &

在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。CookieCookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。Cookie存储的数据量有限，且都是保存在客户端浏览器中。不同的浏览器有不同的存储大小，但一般不超过4KB。因此使

防火墙是一种防火墙管理解决方案，可用于许多 Linux 发行版，它充当 Linux 内核提供的 iptables 数据包筛选系统的前端。在本指南中，将介绍如何为服务器设置防火墙，并向你展示使用管理工具管理防火墙的基础知识注：你可能正在使用比本指南发布时可用的较新版本的防火墙，或者你的服务器设置与本指南中使用的示例服务器略有不同。因此，本指

在Linux系统中，strace命令是一个集诊断、调试、统计与一体的工具，可用来追踪调试程序，能够与其他命令搭配使用，接下来就Linux系统调用工具strace的使用方法和实践给大家做个详细介绍，一起来了解下strace的操作实例吧。【场景】1、在操作系统运维中会出现程序或系统命令运行失败，通过报错和日志无法定位问题根因。2、如何在没有内核或程序代码的情况下查看系统调用的过程。【说明】1、stra

　　IDC认为，目前阶段来看，企业亟待解决的是数字化能力提升，包括：与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力，因为数字化转型推进企业从以流程为核心向以数据为核心转型，对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提，对数据全生命周期的管控治理是释放数据价值的保障。可以看出，数据库作为数据的承载，企业的要求不再只是简单的存储功能了。　

　　造概念，在IT行业可不是一件陌生的事儿，中文博大精深，新名词、新概念往往简单准确，既可以被大众接受，又可以被专家把玩，真正做到雅俗共赏、各有趣味。近年来，数据中台之火爆，什么数据平台、数据中台、数据湖、数据集市等等，不同的叫法把大家绕的云里雾里，概念混淆不清，着实让人摸不着头脑……　　正如我们清楚的知道企业要进行数字化驱动架构之前，必须要建立统一的数据标准和规范，用统一的、大家都了解的语言描述

run：(env) E:\PythonPro\PyDjangoProDemo011\xuanyuaniotpro>python manage.py migrate报错代码提示如下：raise errorclass(errno, errval)django.db.utils.ProgrammingError: (1064, 

一、数据仓库的“心脏”首先来谈谈数据模型。模型是现实世界特征的模拟和抽象，比如地图、建筑设计沙盘，飞机模型等等。 而数据模型DataModel是现实世界数据特征的抽象。 在数据仓库项目建设中，数据模型的建立具有重要的意义，客户的业务场景，流程规则，行业知识都体现在通过数据模型表现出来，在业务人员和技术人员之间搭建起来了一个沟通的桥梁，所以在国外一些数据仓库的文献中，把数据模型称

　　前言　　公司的移动端业务需要在用户上传图片是由前端压缩图片大小，再上传到服务器，这样可以减少移动端上行流量，减少用户上传等待时长，优化用户体验。　　插播一下，本文案例已整理成插件，已上传 npm ，可通过 npm install js-image-compressor -D 安装使用，可以从 github 下载。　　JavaScript 操作压缩图片原理不难，已有成熟 API，然而在实

本篇收录了一些面试中经常会遇到的经典面试题以及自己面试过程中遇到的一些问题。通过对本篇知识的整理以及经验的总结，希望能帮到更多的前端面试者。1.web前端项目的结构是怎样的？文件有哪些命名规范？  项目结构规范页面文件：以项目名命名，例如：shopjs文件：命名为jscss文件：命名为css图片文件：命名为images数据文件：命名为data文件存储规范：按项目模块分类存储，例如：用户信

　　大数据技术经过近几年的快速发展，在企业数据中心的基础设施上已不鲜见，尤其是金融行业，大数据技术应用一直走在其它行业前面，它们在以数据湖、融合数仓、湖内数仓(Data LakeHouse)等一些典型的技术场景中，逐步将大数据生态技术应用到金融企业的风险控制、运营管理、信贷查询、信用卡征信和财务分析等领域。　　另一方面，大数据云服务化已经提了很多年，但是目前多数大数据平台的服务能力依旧很弱，很

　　5G推动新一轮工业革命　　过去‍‍人类经历了三次工业革命，‍‍每一次都带来了‍‍‍‍物质、能量或者信息的自由移动。第一次工业革命，‍‍有了蒸汽机和铁路作为管道，‍‍把煤炭运到各个地方，实现了物质的自由移动。‍‍第二次工业革命，‍‍有些地方‍‍没有路可以‍‍把煤运进去，‍‍通过‍‍电网作为传输能量的网络，‍‍实现了能量的自由移动，‍‍也使得没有煤没有路的地方实现生产和生活。‍‍第三次工业革命，从

Gossip协议是Cassandra维护各节点状态的一个重要组件，下面我们以Gossip协议三次握手为线索逐步分析Gossip协议源码。Gossip协议通过判断节点的generation和version 来确认节点状态信息新旧，如果节点重启，则generation加一，version每次从零开始计算。所以 generation是大版本号，version为小版本号，理解这个概念对后面的握手逻辑有很大

1.   前言最近部门不同产品接连出现内存泄漏导致的网上问题，具体表现为单板在现网运行数月以后，因为内存耗尽而导致单板复位现象。一方面，内存泄漏问题属于低级错误，此类问题遗漏到现网，影响很坏；另一方面，由于内存泄漏问题很可能导致单板运行固定时间以后就复位，只能通过批量升级才能解决，实际影响也很恶劣。同时，接连出现此类问题，尤其是其中一例问题还是我们老员工修改引入，说明我们不少员

自从学习API以后，我用技术手段相继帮助业务部、市场部解决了不少难题，算是从纯研发破圈发展到了业务端。老板召开业务讨论会的时候也会带上我，希望我能从技术角度帮助公司解决业务问题，提升业务的效率和业绩。前几天的业务讨论会上，业务部门提出：现在官网的整体流量已具规模，接下来要加大资讯内容的运营力度，将原本的资讯内容独立出来成为一个单独的产品，通过优质内容给业务导流，提升现有用户的留存率。说白了就是给公

【业务场景及诉求】希望将不同区域“华北-北京四”的rds与“亚太-新加坡”的rds进行迁移和数据同步，网络配置使用云连接CC。【配置方法】：1.资源准备：华北-北京四rds：rds-bj4内网地址 172.16.111.204虚拟私有云 vpc-bj4子网 subnet-bj4 (172.16.111.0/24)亚太-新加坡rds：rds-xjp内网地址 192.168.1.84虚