Greenplum【异常 03】COPY命令报错＞ ERROR: invalid input syntax for type double precision: ““（问题分析及解决方案）数据去重

朱雀 2023-09-26 10:34 82阅读 0赞

## 1.问题说明 ##

由于数据库表内出现了大量的重复数据，使用COPY获取不重复数据，然后删除全部数据，再将不重复的数据载入。

# 使用COPY数据导出
    COPY (
    	SELECT 
    		id,
    		name,
    		code,
    		hitrate,
    		MAX ( createdate ) AS createdate 
    	FROM
    		testTableName
    	GROUP BY
    		id,
    		name,
    		code,
    		hitrate
    	) TO '/test/testTableName.csv' WITH CSV HEADER DELIMITER AS ',';
    
    
    
    # 使用COPY装载数据
    COPY testTableName FROM '/test/testTableName.csv' WITH CSV HEADER DELIMITER AS ',';

报错信息：

COPY testTableName FROM '/test/testTableName.csv' WITH CSV HEADER DELIMITER AS ','
    > ERROR:  invalid input syntax for type double precision: ""
    CONTEXT:  COPY testTableName, line 7509, column hitrate: ""

## 2.报错原因及解决方案 ##

发现`hitrate`的字段类型为`float8`，如果数据为空`""`则会报错。处理方案（使用空值函数赋默认值）：

# 使用COPY数据导出
    COPY (
    	SELECT 
    		id,
    		name,
    		code,
    		COALESCE ( hitrate, 0.0 ) AS hitrate,
    		MAX ( createdate ) AS createdate 
    	FROM
    		testTableName
    	GROUP BY
    		id,
    		name,
    		code,
    		hitrate
    	) TO '/test/testTableName.csv' WITH CSV HEADER DELIMITER AS ',';

其他方案（未测试）：

*  由于使用了 HEADER 如果 float8 字段数据都是空，可不导出此字段。