mysql load csv 数据量异常

亦凉 2023-06-29 02:55 11阅读 0赞

最近做子公司数据录取，load csv文件发现录入的数据量不对，记录下产生原因和解决过程；

load data数据量不对，第一步看什么？

![20200110122953608.png][]

mysql load结束后，首先看query 和 records是否一致

query是查到的数据量，records是提交的数据量，如果query和records不一致，提交肯定少了，数据导入有问题；

如果query和records数据量一致，但是有warning又如何？

这种情况如上图，会有两种现象产生，

1、字段有空值等情况，导入的数据有空等，产生的正常数据警告，忽略即可

2、导入语法有异常导致导入的数据异常，产生warning，举例：

我的csv有37万数据，然而实际query只查到18万，那么还有19万数据不见了。

所以，只看query和records的数据量是否一致，这是一个不准确的过程，正常导入，都会是一致的，异常导入也有可能是一致的；

照成数据本生和query查询不一致的原因，来自于数据结构和导入命令的差异，

比如，附件以""却分，导入命令却没有特意指出。

一般来讲，数据区分的命令大家都会特别注意符号区分，却往往会漏掉换行符，这里所说的换行符是指，windows系统下和linux系统下换行符的不一致，windows是CR LF，linux下换行符是LF，然而，两个系统文件拷贝并不会自动转换，所以windows下以CR LF 换行符的csv文件带入到服务器linux下用line lines terminated by '\\n'作为换行符，实际读取的数据并不一定是最精确的数据，这时需要用windows下换行符指令 才能精准导入：line lines terminated by '\\r\\n'，那么如何区别换行符是哪个格式呢？

用notepad+打开csv，右下角有换行符格式说明

![20200110143906290.png][]

这里的显示并不是windows系统下显示的windows CR LF,而是指换行符是windows格式的CR LF；

如果csv是LF 那么MySQL导入换行是\\n，如果是CR LF ，MySQL 导入则是\\r\\n。

另外，需要特别注意除了换行符，字段区分符、字段起始符等都需要一致才能减少报错；

解决完导入命令后，还容易出现的问题是：字段格式问题，如字段长度，是否为空等等一系列细节都将决定导入数据量是否精准；

能够判断导入精准的样子是：

![20200110144634751.png][]

no warning no error no skipped

当然，这也不绝对保障，所以需要做最后一步，导入的数据行数，和csv用文本打开后查看的行数是否一致，不一致则代表有问题；

[20200110122953608.png]: https://img-blog.csdnimg.cn/20200110122953608.png
[20200110143906290.png]: https://img-blog.csdnimg.cn/20200110143906290.png
[20200110144634751.png]: https://img-blog.csdnimg.cn/20200110144634751.png

发表评论取消回复

表情：

评论列表（有 0 条评论，11人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python数据处理：CSV读取异常

在Python中，读取CSV文件时可能会遇到各种异常。以下是一些常见的异常及解决办法： 1. FileNotFoundError: 当指定的文件不存在时会抛出这个错误。

以你之姓@/ 2024年12月21日 01:24/ 0 赞/ 31 阅读

相关 mysql load csv 数据量异常

最近做子公司数据录取，load csv文件发现录入的数据量不对，记录下产生原因和解决过程； load data数据量不对，第一步看什么？ ![202001101229536

亦凉/ 2023年06月29日 02:55/ 0 赞/ 12 阅读

相关 mysql 导出数据为csv格式

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt' [REPLAC

川长思鸟来/ 2022年12月27日 12:52/ 0 赞/ 306 阅读

相关 Mysql 导出表数据到 csv

> select \ from users > > into OUTFILE 'F:/Develop/MySQL57/Uploads/users.csv' > > CHAR

本是古典何须时尚/ 2022年11月27日 03:11/ 0 赞/ 243 阅读

相关 MySQL数据库：mysql导出数据csv文件

Git是什么在回忆Git是什么的话，我们先来复习这几个概念哈~ 什么是版本控制？百度百科定义是酱紫的~ > 版本控制是指对软件开发过程中各种程序代码、配置文

àì夳堔傛蜴生んèń/ 2022年10月11日 15:47/ 0 赞/ 269 阅读

相关 Mysql数据库导入CSV数据

创建数据库 1. 新建1个数据库 `create database test_db;` 2. 授权用户权限; `grant all on test_db. to 'u

骑猪看日落/ 2022年10月01日 06:53/ 0 赞/ 234 阅读

相关 MySQL LOAD DATA INFILE 导入 CSV 格式数据

主要介绍将 Neo4j 数据库中数据全部导入到 MySQL 数据库中，将 Neo4j 数据导出为 CSV 格式数据，然后再将 CSV 格式数据导入到 mysql 中。前半部

偏执的太偏执、/ 2022年06月08日 23:17/ 0 赞/ 397 阅读

相关 MySQL 使用 LOAD DATA 导入 csv 文件

Excel 保存为 Book1.csv 以后，内容为：编号,名称,说明 1,测试数据1,"测试CSV文件中,有逗号" 2,测试数据2,"测试CSV文件中有""双引号

刺骨的言语ヽ痛彻心扉/ 2022年06月03日 04:09/ 0 赞/ 574 阅读

相关 Neo4j 数据导入案例NorthWind load csv

介绍如何从关系数据库,以csv的文件格式，导入数据到neo4j数据库。重点理解关系数据库和图形数据库建模的联系。一、 Northwind 数据库介绍社区版本的数据样

妖狐艹你老母/ 2022年04月08日 11:09/ 0 赞/ 439 阅读

相关 mysql 数据导出csv到mongo

一、从myql中导出csv数据； 1. ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9i

电玩女神/ 2022年04月06日 16:20/ 0 赞/ 353 阅读