0%

MongoDB学习笔记:聚合之介绍

博客

IT老兵博客

概述

MongoDB学习笔记:聚合之介绍。

前言

初衷:MongoDB 的使用还是有一定难度的,官网的讲解一环牵扯一环,不容易一下子把握住重点,也不利于快速查询操作,所以整理一下。

(本文第一版是2018年7月4完成,8月30日感觉这篇文章的结构和后来写的结构不太统一,思路也不统一,所以对其进行一定的修改。)

正文

概念

聚合函数是对记录集(data records)进行操作,是把多条记录集合(group)在一起,进行一些统一的操作,返回一个结果,与此相对应的是SQL 的 group by 等操作,这是数据处理所涉及的一个方面,对很多具有一定相同属性的数据整体进行处理。

MongoDB 提供三种聚合方法:

  1. 聚合管道。
  2. map-reduce 函数。
  3. 单一功能的聚合方法。

聚合管道

接触过linux shell的人应该对管道不会陌生,管道就是对输入的数据进行一系列的处理、转换,变成新的数据。

这里的聚合管道是对记录集进行多阶段(multi-stage)的转换,转换文档为一个新的聚合结果,例如:

1
2
3
4
db.orders.aggregate([
{ $match: { status: "A" } },
{ $group: { _id: "$cust_id", total: { $sum: "$amount" } } }
])

解释一下:

  1. 数据集合:orders,共有4条记录,这里省略了_id 这个域。
  2. 需求:查找所有status="A" 的记录,根据cust_id进行分组,计算每个组的amount的和。
  3. 分析:
    {$match: {status: "A"}},第一个阶段,匹配阶段,查找所有status="A" 的记录。
    {$group: {_id: "$cust_id", total: {$sum: "$amount"}}},第二个阶段,分组计算,根据cust_id进行分组,对每个组的amount进行求和。这里涉及$group 的语法,如下:
1
{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }

其中,_id是强制的,后面是可选的。
<accumulator1>是累加操作符,参考这里,例如这里的$sum,注意,这里必须要加$
<expression1>是表达式,有待补充"$amount" , 表示是去取上一个结果中的amount 这个域,对其进行累加,并把结果存入新的域total中。

这个例子看明白了,聚合就基本明白了。

Map-Reduce

map-reduce操作分为两个阶段:map 阶段,处理每一条记录,产出一个或多个对象;reduce 阶段,合并 map 阶段的输出。作为可选,map-reduce可以有一个最终阶段来对结果进行最终的操作。map-reduce 也可以进行查询、排序和限制输出结果。

图片取自 MongoDB 官网
图片取自 MongoDB 官网。

这个例子的顺序有点不太好理解,先做 query,然后是 map,reduce, 但是在指令中,则是先有 map。

In this map-reduce operation, MongoDB applies the map phase to each input document (i.e. the documents in the collection that match the query condition). The map function emits key-value pairs. For those keys that have multiple values, MongoDB applies the reduce phase, which collects and condenses the aggregated data. MongoDB then stores the results in a collection. Optionally, the output of the reduce function may pass through a finalize function to further condense or process the results of the aggregation.

在这个过程中,MongoDB 应用 map 去针对每一条输入文档(这些文档是满足了 query 查询条件的)。map 函数 emit (发射出)key-value 对,对于那些有多值的 key,MongoDB 使用 reduce,来收集和浓缩这些聚集数据。

单一功能的聚合方法

MongoDB也提供db.collection.count()(求和)和db.collection.distinct()(去重)函数。

在这里插入图片描述
图片取自 MongoDB 官网。

总结

关于聚合,总体的概念总结到这里,下一步,需要细化了。

(2019-12-02)
又复习整理了一遍聚合,感觉理解的更加清楚了。

之前的图片都失效了,把这些图片都补上了。

参考

https://docs.mongodb.com/manual/aggregation/#single-purpose-agg-operations
https://docs.mongodb.com/manual/core/map-reduce/