ITPub博客

我7月15号写了一条update。我现在要怎样查出这条update改了哪些数据。

背景PostgreSQL 11 发布在即，以下是tpcc与tpch测试的结果：《PostgreSQL 11 tpcc 测试(103万tpmC on ECS) - use sysbench-tpcc by Percona-Lab》《(TPC-H测试 SF=10,SF=200) PostgreSQL 11 vs 10 vs Deepgreen》tpcb是pgbench标准测试CASE，本文使用与以上同

背景count(*) group by order by count(*) desc limit x 用来统计 topn。topn是运营的重要指标，比如排行前10的活跃用户。如果数据量非常庞大，统计会比较耗时，citus提供了一个topn插件，与HLL类似，核心是使用少量空间存储聚合过程中的数据，同时返回一个固定大小（参数设置topn.number_of_counters）的JSONB，

背景在分布式数据库中，计算count(distinct xxx)，需要对distinct 的字段，1、去重，2、重分布去重后的数据，（这一步，如果distinct值特别多，那么就会比较耗时）3、然后再去重，4、最后count (xxx)，5、求所有节点的count SUM。例如，以下是Greenplum的执行计划例子postgres=# explain analyze&nbsp

背景PostgreSQL 插件，向外部tpc/ip socket服务发生字节流。pgsocket is an extension for PostgreSQL server to send bytes to remote TCP/IP socket server.For the first version only single function provided for one way data

背景pgadmin 4 v3.3 开始支持geometry 类型的展示。https://www.postgresql.org/ftp/pgadmin/pgadmin4/v3.3/windows/如果geometry使用的是SRID 4326 (WGS 84 lon/lat)坐标系，则pgadmin会自动从OpenStreetMap 加载图层，作为背景。如果使用的是其他坐标系，则没有背景。pgadm

背景环境阿里云虚拟机[root@pg11-test ~]# lscpu   Architecture:          x86_64   CPU op-mode(s):   &n

背景尽量快的大版本升级的方法。一、9.4以下版本，使用pg_dump并行导出，pg_restore并行导入，迁移(导出使用源版本pg_dump，导入使用目标版本pg_restore。如果是ppas请使用enterprisedb对应版本。)1、(源库)全局元数据(用户、表空间)导出需要superuser权限（如果你没有这个权限，跳过此步，但是务必在执行下一步时，人为在目标实例中创建所有与对象权限相关

背景Postgrepro提供了一个snapshot fs的功能，允许用户对数据库状态打快照，并可以在将来迅速的闪回到某个过去的快照。这个功能是通过数据库page级COW来实现的，类似ZFS文件系统的快照功能，在PostgreSQL 内核层面实现了。snapshot fs与逻辑flashback query是不一样的，flashback query实际上用的是TUPLE级别的UNDO或未回收的旧版本

背景https://github.com/MasaoFujii/pg_cheat_funcsFujii Masao   MasaoFujii   PostgreSQL committer, DBA at NTT DATA, maybe good husband&nb

背景在进行一些实际的POC测试时，需要根据业务提出的需求构造数据，比如按照任意字段数组合 AND\OR 条件，指定返回结果条数，构造测试数据。需求表记录数A表字段数B1、N个字段等值OR，命中M条记录（两个条件无法同时满足）2、X个字段等值AND，命中Y条记录字段取值空间如何计算？构造算法1、N个字段等值OR，命中M条记录单个字段单个VALUE的记录数 = M/N单个字段取值个数 =&n

背景citus 节点间的网络需求：1、cn节点访问所有worker节点。oltp业务的访问较频繁。2、重分布数据时，worker节点间相互访问。访问频度不大，OLAP业务常见，一旦有可能数据交换吞吐较大。citus的cn节点连worker节点为有两种模式，一种为事务级保持连接模式（每条SQL发起时建立连接，SQL结束后释放连接(除非在事务中，否则SQL结束立即释放连接)。），另一种为会话级保持连接

背景citus是PG的一个插件，插件主要针对普通SQL（非UTILITY）加HOOK进行了一些ROUTE处理，同时使用UDF对表进行新建分区的操作。如果用户如果要执行DDL，那么CITUS无法接管，应该如何操作呢？分两种情况，一种需要在所有节点（CN以及WORKER）执行，还有一些只需要在CN节点执行。需要在所有节点（CN以及WORKER）执行的DDL由于这些DDL在CN节点执行时，不会自动在WO

背景Greenplum通常被用作OLAP，在一些用户使用过程中，可能因为数据结构设计，SQL问题等原因导致性能不佳，虽然通过增加节点可以解决问题，但是如果能优化的话，可以节约不少硬件资源。例如1、对齐JOIN字段类型。如果等值JOIN的字段类型不一致，无法使用HASH JOIN。2、对齐where条件字段类型。同上，无法使用HASH JOIN，或者索引扫描。3、使用数组代替字符串，降低字符串处理开

背景Greenplum通常被用作OLAP，在一些用户使用过程中，可能因为数据结构设计，SQL问题等原因导致性能不佳，虽然通过增加节点可以解决问题，但是如果能优化的话，可以节约不少硬件资源。例如1、对齐JOIN字段类型。如果等值JOIN的字段类型不一致，无法使用HASH JOIN。2、对齐where条件字段类型。同上，无法使用HASH JOIN，或者索引扫描。3、使用数组代替字符串，降低字符串处理开

背景续《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 1 - 单机单表 (4亿图像)》《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 2 - 单机分区表 (dblink 异步调用并行) (4亿图像)》《PostgreSQL sharding : citus 系列1 - 多机部署（含OLTP(TPC-B)测试）》citus (8节点, 128 sh

使用分区表+dblink异步接口并行调用。（内核层面直接支持imgsmlr gist index scan并行更好）

imgsmlr是PostgreSQL的一款支持以图搜图的插件，这个插件新增了： 1、几种图像特征值数据类型， 2、图像特征值相似算子， 3、图像特征值相似排序索引支持， 4、图像相似排序的索引（通过扩展GiST索引接口实现）支持， 5、png,gif等图像格式特征值提取函数。 在数据量（图片数）非常庞大时，输入一个图片特征值，搜索相似度排行前N的图片，性能如何呢？如何优化呢？

在搜索业务场景中，相似搜索是一个非常常见的需求。 PostgreSQL有很多插件、索引可以支持海量数据的高效率搜索。

PostgreSQL 支持丰富的类型、索引，统计信息。 不同的应用场合，数据类型，可使用不同的索引接口（btree,hash,gin,gist,spgist,brin,bloom等）达到不同的效果。