admin管理员组

文章数量:1660208

最近在优化一个项目的查询,使用的postgresql数据库,在此分享一个查询估计的方法

项目设置的查询有很多种条件,而且后台数据库的记录也非常多,查询结果记录的范围从0到几百万不等,对于上万条记录的查找,count操作十分耗时
在此我写了个自定义函数,当记录上10000万条时,进行估算,不超过10000条就进行精准统计

CREATE OR REPLACE FUNCTION count_estimate(query text) RETURNS integer AS
$func$
DECLARE
    rec   record;
    rows  integer;
BEGIN
    FOR rec IN EXECUTE 'EXPLAIN ' || query LOOP
        rows := substring(rec."QUERY PLAN" FROM ' rows=([[:digit:]]+)');
        EXIT WHEN rows IS NOT NULL;
    END LOOP;


    IF(rows<10000) THEN
      EXECUTE ' select count(*) from ('||query||') c ' into rows;
    END IF;
    RETURN rows;
END
$func$ LANGUAGE plpgsql;

sample:

SELECT count_estimate('select *  
from ( 
   select  contact."id" as id , contact."title" as title , contact."email" as email , contact."name" as name , contact."mailingpostalcode" as mailingpostalcode , contact."createddate" as createddate , contact."sfid" as sfid  
         from  
           contact 
           join (   select contact.id,contact.sfid 
                       from  jss_contact contact 
                         where   contact."resume_tsv" @@ to_tsquery(''java'')OR  contact."contact_tsv" @@ to_tsquery(''java'')   ) subcontact on contact.id=subcontact.id  where 1=1 ) a ');

参考资料见官方链接地址:https://wiki.postgresql/wiki/Count_estimate

本文标签: postgresqlcountestimate