MongoDB 数据库数据导入 - 关于如何使用 csv 导入数据的命令方法、图形界面可视化导入方法

一时失言乱红尘 2024-03-23 15:17 4阅读 0赞

## 序言 ##

兴趣使然，突发奇想，想到了就写，就当打发时间了。

## 一、使用 csv 导入数据的命令方法 ##

csv文件路径问题，绝对路径和相对路径都可以

### 方法1 ###

type 没有=号，也是可以的，空格自动识别

将`测试表.csv` 文件导入到 `mongodatabase` 库，`mycollection` 集合中，导入时必须指定列名称 (如果 csv 文件第一行是列名称，也会被当成数据导入到数据库中)，这个方法在初始化 mongo 数据库集合时非常不好，除非是补充集合数据，就另当别论了

使用 `ip:端口号` 用户密码 连接mongoDB

mongoimport --host xxx.xxx.xx.xxx:9527 -u myuser -p 123456 -d mongodatabase -c mycollection --type csv --fields "name,sex,age" --file ./测试表.csv

–fields 指定导入到集合的字段名，如 name、sex、age 如果集合内存在这三个字段，那么csv 文件中的三个列数据会一一对应，比如 测试表.csv 内的测试数据如下所示：

（注意如果是补充集合的数据，那么 csv 文件内的 name、sex、age 行数据头，需要删除整行）只需要如下数据：

### 方法2 （推荐该导入命令方法，初始化MongoDB集合数据） ###

> 导入数据时，指定字段类型进行导入 (注意：csv文件`第一行`不要有字段名称)

演示模板：

mongoimport --host xxx.xxx.xx.xxx:9527 -u myuser -p 123456 -d mongodatabase -c mycollection --type csv --columnsHaveTypes --fields "name.string(),sex.string(),age.int32(),password.int32()" --file ./测试表.csv

这个可以指定导入的字段数据格式，如 name 和 sex 字段的数据可以指定为 字符串格式 string，age 字段的格式可以指定为 `NumberInt()`

有一个问题是如果数据内存在数字长度超过10个的数据，那么就会报如下错误：

2023-04-21T18:23:45.466+0800    Failed: type coercion failure in document #0 for column 'password', could not parse token '12345678901' to type int32
    2023-04-21T18:23:45.466+0800    imported 0 documents

![在这里插入图片描述][6335af3b7d80485c9a84150c33f6f540.png]  
所以需要把 int32() 改为 int64()，就会自动转换数字长度超过 10 个的数据为 `NumberLong()`

演示模板：

![在这里插入图片描述][9445a0385b6d4ab9940ef3810f13bf1b.png]

### 方法3 ###

将测试表.csv文件导入到 mongodatabase 库，mycollection 集合中,使用 `--headerline` 参数，指定使用csv文件第一行内的字段名，作为文档的字段名称

mongoimport --host xxx.xxx.xx.xxx:9527 -u myuser -p 123456 -d mongodatabase -c mycollection --type csv --headerline --file ./测试表.csv

（作为初始化mongodb 数据库，稍微不错，有一点要注意，如果是纯数字的字段数据，那么会被自动识别为 `NumberInt()` 格式，比较长的会被识别为 `NumberLong()`）

比如下面是笔者使用 Studio 3T 查看的测试数据类型：  
![在这里插入图片描述][c6dd2eef5bf049c3b97ec1d5310c5b30.png]

![在这里插入图片描述][60af2875676c449f94afbfdb7ead0fa0.png]  
![在这里插入图片描述][4886730a379d476f8fcef27c00745279.png]  
笔者经过数轮 mongoimport 工具导入测试，测试得出，如果数字长度是小于等于10的数据，会自动转换为 `NumberInt()` 格式，如果是大于10的数字长度，就会转换为 `NumberLong()`

### 方法4 （这个我直接引用参考链接的说法） ###

> 不带-c参数导入数据，会使用文件名做为集合名,导入后集合名称为 czg\_t2  
> mongoimport -h 127.0.0.1:27017 --authenticationDatabase=admin -u root -p c123456 -d czg --type=csv --headerline /root/mongo\_export/czg\_t2.csv

这个一般都会指定导入的集合，也就不多说。

--------------------

## 参考链接 ##

[1. MongoDB mongoimport 从csv导入数据指定字段类型][1. MongoDB mongoimport _csv]

## 二、图形界面可视化导入方法 ##

使用Studio 3T可视化mongodb 连接工具![在这里插入图片描述][4cb3690937894d24909acfbe26931fe3.png]

**如果是用其导入csv 文件数据，大概率会遇到中文乱码问题，还有字段格式问题，比如数字会大概率转换为字符串数字，导出 csv 文件时，时间格式会有问题，自动给你转换成一个 UTC 世界时间，而不是北京时间（东八区时区）**

中文乱码解决方法传送门：  
[Windows10 Excel 如.csv文件编码问题转为 UTF-8 编码方法，解决中文乱码问题（如MongoDB导入 CSV 文件中文乱码问题）、解决科学计数显示问题][Windows10 Excel _.csv_ UTF-8 _MongoDB_ CSV]

--------------------

## 三、按时间过滤导出（随手一记） ##

传送门：

[mongoexport带过滤条件导出][mongoexport]

[6335af3b7d80485c9a84150c33f6f540.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/a9422910fde2469395e0f5e540773de6.png
[9445a0385b6d4ab9940ef3810f13bf1b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/1b4b39d279da43b3adfbd07e3714ea8e.png
[c6dd2eef5bf049c3b97ec1d5310c5b30.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/60f8406b9da2481899c116be59bc9e05.png
[60af2875676c449f94afbfdb7ead0fa0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/08ff6aef50c64aa9822507d6f8facffd.png
[4886730a379d476f8fcef27c00745279.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/0888cdfc3731406c80bc36bbb01ffb61.png
[1. MongoDB mongoimport _csv]: https://www.shuzhiduo.com/A/obzbj3j1zE/
[4cb3690937894d24909acfbe26931fe3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/89be58be78c1426d93471c04bbb2f6b8.png
[Windows10 Excel _.csv_ UTF-8 _MongoDB_ CSV]: https://blog.csdn.net/qq_42701659/article/details/130017784
[mongoexport]: https://www.modb.pro/db/400999