mongodb--聚合管道（笔记）

偏执的太偏执、 2023-07-15 11:29 4阅读 0赞

## 介绍 ##

*  用来操作输入文档的“公式”
 *  经聚合表达式计算出的值可以被赋予输出文档中的字段
 *  字段路径，系统变量，文本，表达式对象，操作符

## db.collection.aggregate() 普通聚合操作 ##

![20200316213441418.png][]

**聚合表达式**

$<field>    使用$来指示字段路径
    $<field>.<sub-field>    使用$和.来指示内嵌文档字段路径
    $name    指示文档中客户姓名字段
    $info.dateOpened    指示文档中开户日期字段
    
    系统变量表达式
    $$<variable>    指示系统变量
    $$CURRENT    管道中当前操作的文档 （$$CURRENT.<field>和$<field>是等效的）
    
    常量表达式
    $literal: <value>    指示常量<value>
    $literal： "$name"   指示常量字符串

**常用的聚合管道阶段**

$project    对输入文档进行再次投影
    $match    对输入文档进行筛选
    $limit    筛选出管道内前N篇文档
    $skip    跳过管道内前N篇文档
    $unwind    展开输入文档中的数组字段
    $sort    对输入文档进行排序
    $lookup    对输入文档进行查询操作
    $group    对输入文档进行分组
    $out    将管道中的文档输出

# 显示balance，clientName 两个参数，clientName 赋值为 name.firstName的值
    # 如果有文档中不存在的字段，会用null显示，比如name.firstName的值不存在,clientName的值会是null
    db.accounts.aggregate([
        {
            $project: {
                _id: 0,
                balance: 1,
                clientName: "$name.firstName"
            }
        }
    ])
    
    # 把筛选的结果输出，balance 在40-80之间或者name.lastName = yang
    db.accounts.aggregate([
        {    
            $match: {
                $or: [
                    {balance: {$gt: 40,$lt: 80}},
                    {"name.lastName": "yang"}
                    ] 
            }
        },
        {
            $project: {
                _id: 0
            }
        }
    ])
    # 选择第一篇
    db.accounts.aggregate([
        {$limit: 1 }
    ])
    # 跳过第一篇
    db.accounts.aggregate([
        {$skip: 1 }
    ])
    # 显示文档中完整字段，并且其中的currency数组被展开，currency有几个参数，就会展开成几篇文档
    # 展开信息 会显示在原来数组中的下标
    db.accounts.aggregate([
        {$unwind: {
            path: "$currency",
            includeArrayIndex: "index"
        } }
    ])
    # 再开数组时，保留空数组或不存在数组的文档
    db.accounts.aggregate([
        {$unwind: {
            path: "$currency",
            preserveNullAndEmptyArrays: true
        } }
    ])
    # 按照balance正序然后在按照 name.lastName逆序
    db.accounts.aggregate([
        {$sort: {
            balance: 1,
            "name.lastName": -1
        } }
    ])

# （forex 里的ccy）相互关联 （accounts 里面 currency）
    # 输出到 forexData
    db.accounts.aggregate([
        {
            $lookup: {
                from: "forex",
                localField: "currency",
                foreignField: "ccy",
                as: "forexData"
            }
        }
    ])
    # 如果localField是一个数组  最好使用$unwind先展开
    db.accounts.aggregate([
        {
            $unwind: {
                path: "$currency"
            }
        },
        {    
            $lookup: {
                from: "forex",
                localField: "currency",
                foreignField: "ccy",
                as: "forexData"
            }
        }
    ])
    
    # 不相关查询（两张表没有直接关联）
    # 这里是把 forex 进行筛选，然后添加到accounts文档forexData内。 
    db.accounts.aggregate([
        {
            $lookup: {
                from: "forex",
                pipeline: [
                    {$match:
                        {
                            date: new Date("2020-03-14")
                        }
                    }
                ],
                as: "forexData"
            }
        }
    ])
    
    # 这里 声明了一个 bal 字段代表 accounts里的balance的值
    # $date 筛选 forex条件
    # $$bal 同过上面定义的bal筛选accounts条件
    db.accounts.aggregate([
        {
            $lookup: {
                from: "forex",
                let: {bal: "$balance"},
                pipeline: [
                    {$match:
                        {$expr:
                            {$and:
                                [
                                    {$eq: ["$date", new Date("2020-03-14")]},
                                    {$gt: ["$$bal",100]}
                                ]
                            }
                        }
                    }
                ],
                as: "forexData"
            }
        }
    ])

**常用的聚合操作符**

*  不使用聚合操作符的情况下，$group可以返回管道文档中某一字段所有值（不重复的）
 *  如果 \_id: null 代表不分组，就是所有文档在一个大组中进行统计。

# 这就是个显示模板
    # _id 按照currency 分组
    # totalQty 小组内 qty的总和
    # totalNotional 数量乘以价格 然后的总和
    # avgPrice 价格的平均值
    # count 组内每有一篇文章加1
    # maxNotional 组内 价格乘以数量  取最大的
    # minNotional 组内 价格乘以数量  取最小的
    db.accounts.aggregate([
        {
            $group: {
                _id: "$currency",
                totalQty: {$sum: "$gty"},
                totalNotional: {$sum: {$multiply: ["$price","$gty"]}},
                acount: {$sum: 1},
                maxNotional: {$max: {$multiply: ["$price", "$qty"]}},
                minNotional: {$min: {$multiply: ["$price", "$qty"]}}
            }
        }
    ])
    # 纯粹把 symbol 拿出来,显示2个参数_id和symbols
    # $out 把结果写入一个新集合内，如果集合内有值，会直接覆盖掉原来的值。
    db.accounts.aggregate([
        {
            $group: {
                _id: "$currency",
                symbols: {$push: "$symbol"}
            }
        },
        {
            $out: "output"
        }
    ])

**默认每个聚合管道使用内存不能超过100MB，如果数据量较大，需要设置allowDiskUse，他会在内存不足时写入临时文档中。临时文件会被写入dbPath下的\_tmp文件内，dbPath默认路径在/data/db**

db.accounts.aggregate([
        {
            $group: {
                _id: "$currency",
                symbols: {$push: "$symbol"}
            }
        },
        { allowDiskUse: true }
    ])

**聚合操作的局限和优化**

*  $match阶段会在$sort阶段之前运行
 *  $skip阶段会在$project阶段之前运行

db.accounts.aggregate([
        {
            $sort: {
                price: 1
            }
        },
        { 
             $match: {
                currency: "USD"
            }
        }
    ])

[20200316213441418.png]: /images/20230528/b409d4c34fa44c32863191051ad11fd5.png