常用的postgresql函数

清疚 2021-10-09 10:42 939阅读 0赞

当使geometry报错时继承postgis

create extension postgis

将二进制的geometry格式的转换成  4326（经纬度）的格式

update test3 set geom = st_setsrid(geom,4326)

将wkt转成geometry

SELECT   ST_GeomFromText(wkt)  from gx_hc_ga_za_wgxx

将划线的方向逆序

update table set geom = st_reverse(geom)

查看字段格式：（返回4326==84坐标系）

select st_srid(geometry) from test_shenz limit 4

创建空间索引

create index idx_test_shenz on test_shenz(geom) using gist

创建一个表根据查询的结果（返回一个表）：

create table longgang_road as 
    select a.* from test_longgang as b,test_shenz as a
    where st_intersects(b.geom,a.geometry)（查询b包含a里的数据）

将geometry转换成wkt格式：

select st_astext(geometry) from longgang_road limit 3;

将geometry转换成4326坐标系的Geojon格式

select st_asgeojson(geom,4326) as wkt from rbeijing limit 3;

创建索引

create index idx_beijing_id on rbeijing(id)
    
    --删除索引
    
    drop index idx_beijing_id

创建自增主键：

--删除普通id
    ALTER TABLE data_monitor  DROP COLUMN id;
    --增加自增id
    alter table "data_monitor" add column "id" serial primary key;

添加字段（默认值获取当前时间now）

alter table "alert_info" add column "update_time" varchar COLLATE "default" DEFAULT now()

删除字段

alter table alert_info drop column if exists update_time;

主键改成 (CP\_HM, GPS\_SJ)这两个的联合主键：

ALTER TABLE  lh_gps_ls_2019_09
    
    ADD CONSTRAINT pk_lh_gps_ls_2019_09 PRIMARY KEY(CP_HM, GPS_SJ)

新增数据时不新增与联合主键重复的数据：ON conflict (CP\_HM, GPS\_SJ) DO    NOTHING

INSERT INTO lh_gps_ls_2019_09 (
      RFID_ID,
     CP_HM,
     WD,
     JD,
     SD,
     GPS_SJ,
     GPS_ZT,
     FX,
     update_time
    )
    VALUES
     (
       '4dbc0f5e-36a0-478e-9fe6-4bf4b5414c0b',
      '粤BS3869',
      '22.627614019424595',
      '114.04855342603457',
      '0.0',
      '2019-09-09 12:21:11',
      '0',
      '0',
      now()
     ) ON conflict (CP_HM, GPS_SJ) DO
      NOTHING

delete数据时不释放内存造成查询过慢问题

--复制表结构
    create table internet_personnel_like (like internet_personnel);
    --复制表数据
    INSERT INTO internet_personnel_like SELECT * FROM internet_personnel;
    --删除旧表释放全部存储空间
    DROP TABLE internet_personnel;
    --将表名复原
    ALTER table internet_personnel_like rename  to  internet_personnel;
    --创建旧表就含有的联合索引
    ALTER TABLE  internet_personnel  ADD CONSTRAINT pk_union_internet_personnel PRIMARY KEY(zjhm,swkssj,xwsj)";

数据库中将经纬度转成geometry

ALTER TABLE ajxx ADD geom geometry;   
    update ajxx set geom=st_geomfromtext('Point('||dqjd||' '||dqwd||')',4326)

插入数据返回id

insert into point(pointtype,pointx,pointy,pointval)values(1,2,3,4) RETURNING id;

将查询的结果导成新表

CREATE TABLE films_recent AS
     SELECT * FROM films WHERE date_prod >= '2002-01-01';

关联表更新

update vehicle_manage set own_area_name=qu.id from qu where vehicle_manage.own_area=qu.qname

关联表插入

INSERT INTO car_group_manage_new  (name,own_area_name) SELECT cgroup_name,own_area_name  from vehicle_manage_new  GROUP BY  cgroup_name,own_area_name

将查询的数据放在创建新表中

create  table  test as        select substring(code,9,12) as code1    FROM  ga_copy

删除null数据

delete from 表名 where 字段名 is null;

根据id更新数据，存在更新不存在插入

INSERT INTO t_user (id,username,type,name)  VALUES  ('10','hahh','1','sddddd') ON conflict(id)  
    
    DO  UPDATE  SET  username ='hahh_tst',type='2',name='sddddd_test'

模糊关联字符串表

with a1 as(
    select string_to_array(lens_name, '_') as name_array from lens_manage 
    )select distinct name_array[1] as cph from a1 where name_array[1] like '粤%';
    select a.* from vehicle_manage a where license_plate in (select distinct name_array[1] from a1)

postgresql 字符串转整数 int、intege

字符串转数字
    --把'1234'转成整数
    
    select cast('1234' as integer ) ;
    --长字符串
    	CAST (qiyebianma AS int8);
    
    --用substring截取字符串，从第8个字符开始截取2个字符：结果是12
    
    select cast(substring('1234abc12',8,2) as integer)
    
    ---使用to_number函数来转换成整数
    
    ---to_number(text, text)  返回的类型 numeric     把字串转换成numeric   to_number('12,454.8-', '99G999D9S')
    
    select to_number('12121','999999999')
    
    数字转字符串
    
    使用举例：
    SELECT to_char(12345, '9999999999999999999')//结果‘              12345’，结果字符串前面有空格，位数跟格式化模式中9的位数有关；
    SELECT to_char(12345, '99999')//结果‘12345’
    SELECT to_char(12345, '9999')//结果‘####’，当模式串小于数字个数时，字符串会显示为#，位数跟格式化模式中9的位数有关；
    SELECT to_char(12345, '')//结果‘’

切割数据

--用—将数据拆分  取第一个值		
    SELECT   split_part("name",'_',1)   from video_test_2
    --截取第一个开始8个字符的字段
     
    SELECT   substring("name",1,8)   from video_test_2

字符串去除空格

字符前的空格，用ltrim(string) 
    字符后的空格，用rtrim(string) 
    字符中的空格，用replace(string, ' ', ' ')
    
    例
    
    update qx_users set `NAME`=rtrim(NAME)
    update qx_users set `NAME`=ltrim(NAME)
    update qx_users set NAME=replace(NAME,' ','')

Postgresql数据的导入和导出，以及copy命令介绍

如何导du出PostgreSQL数据库中的数zhi据：
    pg_dump -U postgres -f dump.sql mydatabase
    具体某个表dao
    pg_dump -U postgres -t mytable -f dump.sql mydatabase
    导入数据时首先创建数据库再用psql导入：
    createdb newdatabase
    psql -d newdatabase -U postgres -f dump.sql
    把数据按照自己所想的方式导出，强大的copy命令：
    echo "copy students to? stdout DELIMITER '|'"|psql school|head
    (students为表名，school为库名，各个字段以|分隔)
    echo 'copy (select * from students order by age limit 10) to stdout;' | psql school

复制表结构和数据命令

--复制表结构和数据
    select * into tablebackup from table;
    --仅复制表结构
    create table test_as as select * from user_test2 where 1=0;

将shp文件转成sql 直接入pg库

D:\Program Files\PostgreSQL9.6\bin>shp2pgsql -s 4326 -W "GBK" D:\FZ_PCS_PG_ALL.shp fz_pcs >  D:\fz_pcs.sql

异常解决

ERROR:  relation "public.kafka_swan_vehicle_id_seq" does not exist

对应解决

新建查询，执行 CREATE SEQUENCE IF NOT EXISTS XXXX_id_seq;

不等于语句

where id='1' and (name <> '123' or name is NULL)

添加更新时间字段（默认获取当前时间）

ALTER TABLE ajxx ADD COLUMN update_time varchar COLLATE "default" DEFAULT now();

表中含有自增主键导出sql文件  再导入另外一个数据库时自增主键报错问题解决

//有自增字段的表导出成sql文件之后，执行的时候，要在建表之前加上 digitalhub_country_gid_seq  代表主键
    DROP SEQUENCE if EXISTS "public"."digitalhub_country_gid_seq"; 
    CREATE SEQUENCE "public"."digitalhub_country_gid_seq"  
     INCREMENT 1  
    MINVALUE 1  
    MAXVALUE 9223372036854775807  
    START 1  
    CACHE 1;  
    就是把之前的删掉了再建

判断两点之间的距离

select ST_Length(Geography(ST_GeomFromText('LINESTRING(116.47 39.89,116.47 39.95)')));

COALESCE函数

SELECT COALESCE(num, 0) as total

将csv文件导入库

copy rtic_data_00(area_id,map_version,time_stamp,mesh_id,number,layer,rtic_kind,rric_travel_time,los,section_count) from '/home/10_csv/00_10.csv' delimiter ',' csv;

替换字符语句

select  replace(jwd,',',' ') AS rep from contradiction_dispute_record

查询数据库大小排序

select datname, pg_size_pretty (pg_database_size(datname)) from pg_database  ORDER BY pg_database_size(datname) desc

自增id被占用问题

DETAIL:  Key (id)=(1) already exists.
    
    --解决方法
    select setval('tablename_id_seq', max(id)) from tablename;

delete数据后内存空间释放

mydb=# vacuum full tbl_kenyon ;
    VACUUM
    mydb=# select pg_size_pretty(pg_relation_size('tbl_kenyon'));
     pg_size_pretty
    ----------------
     1289 MB
    (1 row)
    mydb=# select count(*) from tbl_kenyon ;
      count
    ----------
     16000000
    (1 row)
    
    
    vacuum 与 vacuum all的区别：
    
    vacuum 就是进行扫除，找到那些旧的“死”数据，把它们所知的行标记为可用状态。但是它不进行空间合并。
    
    vacuum full，就是除了vacuum，还进行空间合并，因此它需要lock table。
    
    而 autovacuum，可以理解为定时自动进行vacuum 。
    
    对于有大量update的表，vacuum full是没有必要的，因为它的空间还会再次增长，所以vacuum就足够了。

坐标转换函数

-- 如果转换后结果为null，查看geom的srid是否为4326或者4490
    WGS84转GCJ02
    select geoc_wgs84togcj02(geom) from test_table
    GCJ02转WGS84
    select geoc_gcj02towgs84(geom) from test_table
    
    WGS84转BD09
    select geoc_wgs84tobd09(geom) from test_table
    BD09转WGS84
    select geoc_bd09towgs84(geom) from test_table
    
    CGCS2000转GCJ02
    select geoc_cgcs2000togcj02(geom) from test_table
    GCJ02转CGCS2000
    select geoc_gcj02tocgcs2000(geom) from test_table
    
    CGCS2000转BD09
    select geoc_cgcs2000tobd09(geom) from test_table
    BD09转CGCS2000
    select geoc_bd09tocgcs2000(geom) from test_table
    
    GCJ02转BD09
    select geoc_gcj02tobd09(geom) from test_table
    BD09转GCJ02
    select geoc_bd09togcj02(geom) from test_table

数据导入导出

--导入
    psql -U postgres auth </var/lib/postgresql/data/authorization.sql
    
    --导出
    pg_dump  -p 5432 -U postgres auth >/home/auth.sql

查询数据库表大小

select pg_database_size('car_networking');
    select pg_database.datname, pg_size_pretty (pg_database_size('car_networking')) AS size from pg_database; 
    
    
    --按顺序查看索引
    
        select indexrelname, pg_size_pretty(pg_relation_size(relid)) from pg_stat_user_indexes where schemaname='public' order by pg_relation_size(relid) desc;
    
    
    --按size大小排序列出所有表
    
    SELECT 
    table_schema || '.' || table_name 
    AS table_full_name, pg_size_pretty(pg_total_relation_size('"' ||table_schema || '"."' || table_name || '"')) AS size
    FROM 
    information_schema.tables
    ORDER BY
        pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')
    DESC limit 20
    
    
    ---查询单个表大小
    
    select pg_size_pretty(pg_relation_size('table_name'));

# [PGSQL-查看sql正在运行的进程、查看表是否被锁、解锁表][PGSQL-_sql] #

1.PGSQL-查看sql正在运行的进程

SELECT datname,pid,state,query FROM pg\_stat\_activity where state='active'

SELECT
        procpid,
        START,
        now() - START AS lap,
        current_query
    FROM
        (
            SELECT
                backendid,
                pg_stat_get_backend_pid (S.backendid) AS procpid,
                pg_stat_get_backend_activity_start (S.backendid) AS START,
                pg_stat_get_backend_activity (S.backendid) AS current_query
            FROM
                (
                    SELECT
                        pg_stat_get_backend_idset () AS backendid
                ) AS S
        ) AS S
    WHERE
        current_query <> '<IDLE>'
    ORDER BY
        lap DESC;

procpid：[进程id][id]  
start：进程开始时间  
lap：经过时间  
current\_query：执行中的sql  
怎样停止正在执行的sql  
SELECT pg\_cancel\_backend([进程id][id]);  
或者用系统函数  
kill -9 [进程id][id];

2.查看表是否被锁，解锁表

select oid from pg_class where relname='m_ss_kjcx_tech_inovate_talent' 
    select pid from pg_locks where relation='4384913' 
    --如果查询到了结果，表示该表被锁 则需要释放锁定 
    select pg_cancel_backend(140650678843136)

通过命令： 
    =# select pg_cancel_backend(线程id); 
    来kill掉指定的SQL语句。（这个函数只能 kill Select 查询，而updae,delete DML不生效）
    使用可以kill 各种DML(SELECT,UPDATE,DELETE,DROP)操作= 
    =# select pg_terminate_backend(pid int)

-- PGSQL
    select oid from pg_class where relname='m_ss_kjcx_tech_inovate_talent' 
    select pid from pg_locks where relation='4384913' 
    --如果查询到了结果，表示该表被锁 则需要释放锁定 
    select pg_cancel_backend(140650678843136)
    --- 来查看有哪些SQL正在执行。 waiting='t'
    
    select pid,backend_start,application_name,query_start,waiting,state ,query from pg_stat_activity where query <>'' order by query_start asc
    
    通过命令： 
    =# select pg_cancel_backend(线程id); 
    来kill掉指定的SQL语句。（这个函数只能 kill Select 查询，而updae,delete DML不生效）
    使用可以kill 各种DML(SELECT,UPDATE,DELETE,DROP)操作= 
    =# select pg_terminate_backend(pid int)

常用函数

PostGIS中的常用函数
    
    以下内容包括比较多的尖括号，发布到blogger的时候会显示不正常，内容太多我也无暇一个个手动改代码，因此如有问题就去参考PostGIS官方文档。
    
    首先需要说明一下，这里许多函数是以ST_[X]yyy形式命名的，事实上很多函数也可以通过xyyy的形式访问，在PostGIS的函数库中我们可以看到这两种函数定义完全一样。
    
    1. OGC标准函数
    
    管理函数：
    添加几何字段 AddGeometryColumn(, , , , , )
    删除几何字段 DropGeometryColumn(, , )
    检查数据库几何字段并在geometry_columns中归档 Probe_Geometry_Columns()
    给几何对象设置空间参考（在通过一个范围做空间查询时常用）ST_SetSRID(geometry, integer)
    
    几何对象关系函数：
    获取两个几何对象间的距离                                                                                        ST_Distance(geometry, geometry)
    如果两个几何对象间距离在给定值范围内，则返回                                                    TRUEST_DWithin(geometry, geometry, float)
    判断两个几何对象是否相等
    （比如LINESTRING(0 0, 2 2)和LINESTRING(0 0, 1 1, 2 2)是相同的几何对象）      ST_Equals(geometry, geometry)
    判断两个几何对象是否分离                                                                                         ST_Disjoint(geometry, geometry)
    判断两个几何对象是否相交                                                                                         ST_Intersects(geometry, geometry)
    判断两个几何对象的边缘是否接触                                                                              ST_Touches(geometry, geometry)
    判断两个几何对象是否互相穿过                                                                                  ST_Crosses(geometry, geometry)
    判断A是否被B包含                                                                                                       ST_Within(geometry A, geometry B)
    判断两个几何对象是否是重叠                                                                                      ST_Overlaps(geometry, geometry)
    判断A是否包含B                                                                                                          ST_Contains(geometry A, geometry B)
    判断A是否覆盖 B                                                                                                         ST_Covers(geometry A, geometry B)
    判断A是否被B所覆盖                                                                                                   ST_CoveredBy(geometry A, geometry B)
    通过DE-9IM 矩阵判断两个几何对象的关系是否成立                                                   ST_Relate(geometry, geometry, intersectionPatternMatrix)
    获得两个几何对象的关系（DE-9IM矩阵）                                                                   ST_Relate(geometry, geometry)
    
    几何对象处理函数：
    获取几何对象的中心                                                                                                      ST_Centroid(geometry)
    面积量测                                                                                                                        ST_Area(geometry)
    长度量测                                                                                                                        ST_Length(geometry)
    返回曲面上的一个点                                                                                                      ST_PointOnSurface(geometry)
    获取边界                                                                                                                        ST_Boundary(geometry)
    获取缓冲后的几何对象                                                                                                   ST_Buffer(geometry, double,[integer])
    获取多几何对象的外接对象                                                                                            ST_ConvexHull(geometry)
    获取两个几何对象相交的部分                                                                                        ST_Intersection(geometry, geometry)
    将经度小于0的值加360使所有经度值在0-360间                                                            ST_Shift_Longitude(geometry)
    获取两个几何对象不相交的部分（A、B可互换）                                                          ST_SymDifference(geometry A,geometry B)
    从A去除和B相交的部分后返回                                                                                      ST_Difference(geometry A, geometryB)
    返回两个几何对象的合并结果                                                                                       ST_Union(geometry, geometry)
    返回一系列几何对象的合并结果                                                                                    ST_Union(geometry set)
    用较少的内存和较长的时间完成合并操作，结果和ST_Union相同 ST_MemUnion(geometry set)
    
    几何对象存取函数：
    获取几何对象的WKT描述 ST_AsText(geometry)
    获取几何对象的WKB描述 ST_AsBinary(geometry)
    获取几何对象的空间参考ID ST_SRID(geometry)
    获取几何对象的维数 ST_Dimension(geometry)
    获取几何对象的边界范围 ST_Envelope(geometry)
    判断几何对象是否为空 ST_IsEmpty(geometry)
    判断几何对象是否不包含特殊点（比如自相交）ST_IsSimple(geometry)
    判断几何对象是否闭合 ST_IsClosed(geometry)
    判断曲线是否闭合并且不包含特殊点 ST_IsRing(geometry)
    获取多几何对象中的对象个数 ST_NumGeometries(geometry)
    获取多几何对象中第N个对象 ST_GeometryN(geometry,int)
    获取几何对象中的点个数 ST_NumPoints(geometry)
    获取几何对象的第N个点 ST_PointN(geometry,integer)
    获取多边形的外边缘 ST_ExteriorRing(geometry)
    获取多边形内边界个数 ST_NumInteriorRings(geometry)
    同上 ST_NumInteriorRing(geometry)
    获取多边形的第N个内边界 ST_InteriorRingN(geometry,integer)
    获取线的终点 ST_EndPoint(geometry)
    获取线的起始点 ST_StartPoint(geometry)
    获取几何对象的类型 GeometryType(geometry)
    类似上，但是不检查M值，即POINTM对象会被判断为point ST_GeometryType(geometry)
    获取点的X坐标 ST_X(geometry)
    获取点的Y坐标 ST_Y(geometry)
    获取点的Z坐标 ST_Z(geometry)
    获取点的M值 ST_M(geometry)
    
    几何对象构造函数：
    参考语义：
    Text：WKT
    WKB：WKB
    Geom:Geometry
    M:Multi
    Bd:BuildArea
    Coll:Collection ST_GeomFromText(text,[])    将wkt转为geometry
    
    ST_PointFromText(text,[])
    ST_LineFromText(text,[])
    ST_LinestringFromText(text,[])
    ST_PolyFromText(text,[])
    ST_PolygonFromText(text,[])
    ST_MPointFromText(text,[])
    ST_MLineFromText(text,[])
    ST_MPolyFromText(text,[])
    ST_GeomCollFromText(text,[])
    ST_GeomFromWKB(bytea,[])
    ST_GeometryFromWKB(bytea,[])
    ST_PointFromWKB(bytea,[])
    ST_LineFromWKB(bytea,[])
    ST_LinestringFromWKB(bytea,[])
    ST_PolyFromWKB(bytea,[])
    ST_PolygonFromWKB(bytea,[])
    ST_MPointFromWKB(bytea,[])
    ST_MLineFromWKB(bytea,[])
    ST_MPolyFromWKB(bytea,[])
    ST_GeomCollFromWKB(bytea,[])
    ST_BdPolyFromText(text WKT, integer SRID)
    ST_BdMPolyFromText(text WKT, integer SRID)

[PGSQL-_sql]: https://www.cnblogs.com/star521/p/13473616.html
[id]: http://www.baidu.com/s?wd=%E8%BF%9B%E7%A8%8Bid&tn=44039180_cpr&fenlei=mv6quAkxTZn0IZRqIHckPjm4nH00T1YLrycvuyn3mWmvrjTLnhf10ZwV5Hcvrjm3rH6sPfKWUMw85HfYnjn4nH6sgvPsT6KdThsqpZwYTjCEQLGCpyw9Uz4Bmy-bIi4WUvYETgN-TLwGUv3EPjnzrHD4PWc1P1ckrHTsnW0Y