【Django】Django缓存系统
需求,最近做个权限管理是直接和mysql交互读取数据的!每次点击页面都要去和mysql交互一次,这样压力实在是大,想到了使用缓存系统# 此为开始调试用,实际内部不做任何操作 # 配置:...
【Python】一款基于go语言的agent
原文地址:http://mp.weixin.qq.com/s/T1aIRYCGsuM4FwUuOdO9FAagent客户端收集数据利器,详情见原文
【Python】django-celery异步任务队列
安装Celery pip install django-celery celerydjango settings设置import djcelerydjcelery.setup_loader()BROKER_URL = 'redis://127.0.0.1:6379/2' ---使用redis当消息队列注册INSTALLED_APPS = [...
【Python】socket通信
一、使用socket实现一对一的简单通信 socket就是一个开往网络应用必备的功能模块。通过这个模块我们可以自己写程序的server端和client端,可以自己定义server端对外提供服务器的ip地址和端口。学会使用这个模块的之后我们不仅可以开往网络程序,还可以利用socket模块开发出端口扫描的程序。先看一段创建服...
【Django】Django定时任务之-crontab
为了做一些报表,最近需要每日从爱站上抓取竞争对手的百度流量和移动流量,从我能实现的技术来看,大致有三种实现形式:第一种不熟悉,还要摸索;第二种数据展现还要自己写,如果用数据库,还要用很原始的连接方式,至少用了django之后是这样;第三种优点是可以用admin系统或模板系统来,缺点是定时任务不熟悉。但考...
【Django】关联查询set.all() 方法的使用
比如说有a b c三张表关系如下 a是b的父表,b是c的父表a >> b=eproject.objects.get(id=1)>>...
【Mysql】字符集引发的主从报错
收到报警,主从断了1.查看主从的字符集设置mysql> show global variables like '%character%';+--------------------------+-----------------------------------------+| Variable_name | Value &n...
【Mysql】两条insert 语句产生的死锁
背景:查看status日志发现两条insert 出现了死锁------------------------LATEST DETECTED DEADLOCK------------------------2017-10-24 12:53:56 7f8fbc165700*** (1) TRANSACTION:TRANSACTION 596252578, ACTIVE 0 sec insertingmysql tables in...
【Django】编写自定义模板标签tags 和 过滤器
django的模板系统自带了一系列的内建标签和过滤器,一般情况下可以满足你的要求,如果觉得需更精准的模板标签或者过滤器,你可以自己编写模板标签和过滤器,然后使用{% load %}标签使用他们。代码布局自定义标签和过滤器必须依赖于一个django app,也就是说,自定义标签和过滤器是绑定app的。该app应该包含一个te...
【Django】Django 中间件(middleware)
c参考:https://my.oschina.net/esdn/blog/825194
【Python】Wordcloud 词云
使用 wordcloud 可以做出这样的图片:还可以做出这样的:接下来,我们来学习如何制作属于自己的词云图。所以在此简单提一下安装过程:但很多同学会发现直接 pip 是会报错的,所以这里提供第二种安装方式:静静等待页面加载完成,然后选择适合自己 Python 的 wordcloud ...
【Python】计数器 Counter
该如何去统计列表中各词汇出现的次数?Python 里提供了一个优雅简洁的解决方案:Counterlist1 = ['red','green','red','blue','green','red']print Counter(list1)Counter({'red': 3, 'green': 2, 'blue': 1})A Counter is a dict subclass...
【Python】jieba分词模块
jieba库是进行中文分词的利器,根据文档描述,具有以下特点:分词提取关键词搜索词汇位置中文分词是 jieba 库的核心,其下包括常用的 cut() 和 cut_for_search() 函数。cut() 函数传入待分词的字符串,返回一个可迭代的生成器,可使用&nb...
【Mysql】两条select for update引起的死锁
好文:https://mp.weixin.qq.com/s/RleocRPvK67aTJqbDXeICw
【Mysql】从库大量select堵塞,Waiting for table flush 状态
背景:mycat读写分离,应用大量select超时1.检查通过检查发现大量select处于Waiting for table flush 状态,仔细看了一下processlist以及时间段,可以断定是备份加select慢查询引起的!2.重现环境session1终端一执行一个慢查询...
【GP】greenplum监控软件Greenplum-cc-web的安装
1 基本准备在GreenplumMaster节点操作: 1) 使用gpadmin用户登录 linux116:~# su - gpadmin 2) 执行 gpperfmon_install 命令  ...
【MYSQL】state状态converting HEAP to MyISAM
背景:机房迁移,原报表系统在新的db上出报表非常慢1.查看连接状态mysql> show full processlist;+--------+-----------------+---------------------+----------+---------+---------+-----------------------------------------------------------------------------+-----------------------+...
【Linux】一个坑比的crontab问题
背景crontab 定时任务死都找不到java命令/home/mysql/data-integration/spoon.sh: line 211: java: command not found查看/etc/profileexport HISTTIMEFORMAT="%F %T `whoami` "export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/us...
【Mysql】主从不同的端口使用pt-table-checksum校验一致性
背景主:10.32.7.113 3306从:10.32.7.112 3307step 1:建立从库信息主库test库下建立表CREATE TABLE `dsns` ( `id` int(11) NOT NULL AUTO_INCREMENT, `parent_id` int(11) DEFAULT NULL, `dsn` varchar(255) NOT NULL, PRIMARY KEY (`id`) );mysql...
【PG】mysql时时同步数据至greenplum
经过网上搜索发现一款工具,从mysql时时同步至postgresql/greenplum项目地址:https://github.com/aliyun/rds_dbsync/blob/master/doc/mysql2gp.md需要有一些注意的地方1:只能同步数据,不能同步表结构的变化,mysql添加字段后,gp上一定要马上同步添加字段,不然mysql insert数据后,同步会报错...