1 MongoDB相关概念

1.1 目的

解决传统关系型数据库(SQL),在三高面前的力不从心

  • High performance - 对数据库高并发读写的需求
  • Huge Storage - 对海量数据的高效率存储和访问的需求
  • High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求

1.2 应用场景

  1. 社交场景，使用 MongoDB 存储存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能
  2. 游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、高效率存储和访问
  3. 物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以 MongoDB 内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来
  4. 物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析
  5. 视频直播，使用 MongoDB 存储用户信息、点赞互动信息等。

这些应用场景中，数据操作方面的共同特点是

  1. 数据量大
  2. 写入操作频繁（读写都很频繁）
  3. 价值较低的数据，对事务性要求不高 对于这样的数据，我们更适合使用MongoDB来实现数据的存储

什么时候选择MongoDB

在架构选型上，除了上述的三个特点外，如果你还犹豫是否要选择它？可以考虑以下的一些问题：

  • 应用不需要事务及复杂 join 支持
  • 新应用，需求会变，数据模型无法确定，想快速迭代开发
  • 应用需要2000-3000以上的读写QPS（更高也可以）
  • 应用需要TB甚至 PB 级别数据存储 应用发展迅速，需要能快速水平扩展
  • 应用要求存储的数据不丢失 应用需要99.999%高可用
  • 应用需要大量的地理位置查询、文本查询

如果上述有1个符合，可以考虑 MongoDB，2个及以上的符合，选择 MongoDB 绝不会后悔

1.3 MongoDB简介

MongoDB是一个开源、高性能、无模式的文档型数据库，当初的设计就是用于简化开发和方便扩展，是NoSQL数据库产品中的一种是最像关系型数据库（MySQL）的非关系型数据库

它支持的数据结构非常松散，是一种类似于 JSON 的 格式叫BSON，所以它既可以存储比较复杂的数据类型，又相当的灵活

MongoDB中的记录是一个文档，它是一个由字段和值对（field:value）组成的数据结构。MongoDB文档类似于JSON对象，即一个文档认为就是一个对象。字段的数据类型是字符型，它的值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组

1.4 体系结构

SQL术语/概念 MongoDB术语/概念 解释/说明
database database 数据库
table collection 数据库表/集合
row document 数据记录行/文档
column field 数据字段/域
index index 索引
table joins 表连接,MongoDB不支持
嵌入文档 MongoDB通过嵌入式文档来替代多表连接
primary key primary key 主键,MongoDB自动将_id字段设置为主键

1.5 数据模型

MongoDB的最小存储单位就是文档(document)对象
文档(document)对象对应于关系型数据库的行

数据在MongoDB中以 BSON（Binary-JSON）文档的格式存储在磁盘上

BSON（Binary Serialized Document Format）是一种类json的一种二进制形式的存储格式，简称Binary JSON

BSON和JSON一样，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型

BSON采用了类似于 C 语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据

这种格式的优点是灵活性高，但它的缺点是空间利用率不是很理想

Bson中，除了基本的JSON类型：string,integer,boolean,double,null,array和object，mongo还使用了特殊的数据类型

这些类型包括 date,object id,binary data,regular expression 和code

每一个驱动都以特定语言的方式实现了这些类型，查看你的驱动的文档来获取详细信息

BSON数据类型参考列表

​

数据类型 描述 举例
字符串 UTF-8字符串都可表示为字符串类型的数据 {“x” : “foobar”}
对象id 对象id是文档的12字节的唯一ID {“X” :ObjectId() }
布尔值 真或者假：true或者false {“x”:true}+
数组 值的集合或者列表可以表示成数组 {“x” ： [“a”, “b”, “c”]}
32位整数 类型不可用
JavaScript仅支持64位浮点数，所以32位整数会被自动转换		 shell是不支持该类型的，shell中默认会转换成64 位浮点数
64位整数 不支持这个类型
shell会使用一个特殊的内嵌文档来显示64位整数		 shell是不支持该类型的，shell中默认会转换成64 位浮点数
64位浮点数 shell中的数字就是这一种类型 {“x”：3.14159，”y”：3}
null 表示空值或者未定义的对象 {“x”:null}
undefined 文档中也可以使用未定义类型 {“x”:undefined}
符号 shell不支持，shell会将数据库中的符号类型的数据自动转换成字符串
正则表达式 文档中可以包含正则表达式，采用JavaScript的正则表达式语法 {“x” ： /foobar/i}
代码 文档中还可以包含JavaScript代码 {“x” ： function() { /* …… */ }}
二进制数据 二进制数据可以由任意字节的串组成，不过shell中无法使用
最大值/最小值 BSON包括一个特殊类型，表示可能的最大值
shell中没有这个类型

提示

shell默认使用64位浮点型数值。{“x”：3.14}或{“x”：3}

对于整型值，可以使用NumberInt（4字节符号整数）或NumberLong（8字节符号整数），{“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}

1.6 MongoDB的特点

MongoDB主要有如下特点：

  1. 高性能：

    MongoDB提供高性能的数据持久性

    特别是, 对嵌入式数据模型的支持减少了数据库系统上的I/O活动

    索引支持更快的查询，并且可以包含来自嵌入式文档和数组的键。（文本索引解决搜索的需求、TTL索引解决历史数据自动过期的需求、地理位置索引可用于构建各种 O2O 应用）

    mmapv1、wiredtiger、mongorocks（rocksdb）、in-memory 等多引擎支持满足各种场景需求

    Gridfs解决文件存储的需求

  2. 高可用性：

    MongoDB的复制工具称为副本集（replica set），它可提供自动故障转移和数据冗余

  3. 高扩展性：

    MongoDB提供了水平可扩展性作为其核心功能的一部分

    分片将数据分布在一组集群的机器上

    （海量数据存储，服务能力水平扩展） 从3.4开始，MongoDB支持基于片键创建数据区域

    在一个平衡的集群中，MongoDB将一个区域所覆盖的读写只定向到该区域内的那些片

  4. 丰富的查询支持：

    MongoDB支持丰富的查询语言，支持读和写操作(CRUD)，比如数据聚合、文本搜索和地理空间查询等

  5. 其他特点：如无模式（动态模式）、灵活的文档模型

2 单机部署

2.1 Windows系统中的安装启动

2.1.1 下载安装包

MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包，你可以从MongoDB官网下载安装，MongoDB 预编译二进制包下载地址：

https://www.mongodb.com/download-center#community

MongoDB的版本命名规范如：x.y.z；

y为奇数时表示当前版本为开发版，如：1.5.2、4.1.13；

y为偶数时表示当前版本为稳定版，如：1.6.3、4.0.10；

z是修正版本号，数字越大越好

详情：http://docs.mongodb.org/manual/release-notes/#release-version-numbers

2.1.2 解压安装启动

将压缩包解压到一个目录中

在解压目录中，手动建立一个目录用于存放数据文件，如 data/db

方式1：命令行参数方式启动服务

在 bin 目录中打开命令行提示符，输入如下命令：

1
mongod --dbpath=..\data\db

我们在启动信息中可以看到，mongoDB的默认端口是27017
如果我们想改变默认的启动端口，可以通过–port来指定端口

为了方便我们每次启动，可以将安装目录的bin目录设置到环境变量的path中
bin 目录下是一些常用命令，比如 mongod 启动服务用的， mongo 客户端连接服务用的

方式2：配置文件方式启动服务

在解压目录中新建 config 文件夹，该文件夹中新建配置文件 mongod.conf ，内如参考如下：

1
2
3
storage:
  #The directory where the mongod instance stores its data.Default Value is "\data\db" on Windows.
  dbPath: D:\MongDB\3.2\data

详细配置项内容可以参考官方文档：https://docs.mongodb.com/manual/reference/configuration-options/

【注意】

  1. 配置文件中如果使用双引号，比如路径地址，自动会将双引号的内容转义。如果不转义，则会报错

    对 \ 换成 / 或 \\

    如果路径中没有空格，则无需加引号

  2. 配置文件中不能以Tab分割字段

    将其转换成空格

启动方式

1
2
mongod -f ../config/mongod.conf
mongod --config ../config/mongod.conf

更多参数配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
systemLog:
    destination: file
  #The path of the log file to which mongod or mongos should send all diagnostic logging   information
  path: "D:/MongDB/3.2/log/mongod.log"
  logAppend: true
storage:
  journal:
    enabled: true
  #The directory where the mongod instance stores its data.Default Value is "/data/db".
  dbPath: "D:/MongDB/3.2/data"
net:
  #bindIp: 127.0.0.1
  port: 27017
setParameter:
  enableLocalhostAuthBypass: false

2.2 Shell连接(mongo命令)

1
2
3
4
5
6
7
8
9
10
#在命令提示符输入以下shell命令即可完成登陆
mongo
#或
mongo --host=127.0.0.1 --port=27017
#查看已经有的数据库
>show databases
#退出mongodb
exit
#更多参数可以通过帮助查看：
mongo --help

MongoDB javascript shell是一个基于javascript的解释器，故是支持js程序的

2.3 Compass-图形化界面客户端

到MongoDB官网下载MongoDB Compass，

地址：https://www.mongodb.com/download-center/v2/compass?initial=true

如果是下载安装版，则按照步骤安装

如果是下载加压缩版，直接解压，执行里面的 MongoDBCompassCommunity.exe 文件即可

2.4 Linux系统中的安装启动和连接

步骤如下：

  1. 先到官网下载压缩包 mongod-linux-x86_64-4.0.10.tgz

  2. 上传压缩包到Linux中，解压到当前目录

    1
    tar -xvf mongodb-linux-x86_64-4.0.10.tgz

  3. 移动解压后的文件夹到指定的目录中

    1
    mv mongodb-linux-x86_64-4.0.10 /usr/local/mongodb

  4. 新建几个目录，分别用来存储数据和日志

    1
    2
    3
    4
    #数据存储目录
    mkdir -p /mongodb/single/data/db
    #日志存储目录
    mkdir -p /mongodb/single/log

  5. 新建并修改配置文件

    1
    vi /mongodb/single/mongod.conf

    配置文件的内容如下

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    systemLog:
      #MongoDB发送所有日志输出的目标指定为文件
      #The path of the log file to which mongod or mongos should send all diagnostic logging information
      destination: file
      #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
      path: "/mongodb/single/log/mongod.log"
      #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
      logAppend: true
    storage:
      #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
      #The directory where the mongod instance stores its data.Default Value is "/data/db".
      dbPath: "/mongodb/single/data/db"
      journal:
      #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
        enabled: true
    processManagement:
      #启用在后台运行mongos或mongod进程的守护进程模式。
      fork: true
    net:
      #服务实例绑定的IP，默认是localhost
      bindIp: localhost,192.168.0.2
      #bindIp
      #绑定的端口，默认是27017
      port: 27017

  6. 启动MongoDB服务

    1
    2
    3
    4
    [root@jyw single]# /usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf
    about to fork child process, waiting until server is ready for connections.
    forked process: 90384
    child process started successfully, parent exiting

    注意： 如果启动后不是 successfully ，则是启动失败了。原因基本上就是配置文件有问题

    通过进程来查看服务是否启动了

    1
    [root@jyw single]# ps -ef |grep mongod

  7. 分别使用mongo命令和compass工具来连接测试

    提示：如果远程连接不上，需要配置防火墙放行，或直接关闭linux防火墙

    1
    2
    3
    4
    5
    6
    #查看防火墙状态
    systemctl status firewalld
    #临时关闭防火墙
    systemctl stop firewalld
    #开机禁止启动防火墙
    systemctl disable firewalld

  8. 停止关闭服务

    快速关闭方法（快速，简单，数据可能会出错）

    通过系统的kill命令直接杀死进程

    【补充】

    如果一旦是因为数据损坏，则需要进行如下操作（了解）：

    1. 删除lock文件：

      1
      rm -f /mongodb/single/data/db/*.lock

    2. 修复数据：

      1
      /usr/local/mongdb/bin/mongod --repair --dbpath=/mongodb/single/data/db

    标准的关闭方法（数据不容易出错，但麻烦）：

    通过mongo客户端中的shutdownServer命令来关闭服务

    1
    2
    3
    4
    5
    6
    //客户端登录服务，注意，这里通过localhost登录，如果需要远程登录，必须先登录认证才行。
    mongo --port 27017
    //#切换到admin库
    use admin
    //关闭服务
    db.shutdownServer()

3 基本常用命令

3.1 数据库操作

语法 含义
use 数据库名称 选择和创建数据库
如果数据库不存在则自动创建
show dbs
show databases		 查看有权限查看的所有的数据库命令
db 查看当前正在使用的数据库命令
db.dropDatabase() 主要用来删除已经持久化的数据库

注意: 在 MongoDB 中，集合只有在内容插入后才会创建! 就是说，创建集合(数据表)后要再插入一个文档(记录)，集合才会真正创建

MongoDB 中默认的数据库为 test，如果你没有选择数据库，集合将存放在 test 数据库中

另外：

数据库名可以是满足以下条件的任意UTF-8字符串

  • 不能是空字符串（””)
  • 不得含有’ ‘（空格)、.、$、/、\和\0 (空字符)
  • 应全部小写
  • 最多64字节

有一些数据库名是保留的，可以直接访问这些有特殊作用的数据库

  • admin： 从权限的角度来看，这是”root”数据库
    要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限
    一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器
  • local: 这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合
  • config: 当Mongo用于分片设置时，config数据库在内部使用，用于保存分片的相关信息

3.2 集合操作

集合，类似关系型数据库中的表

语法 含义
db.createCollection(“集合名称”) 创建集合
show collections
show tables		 查看当前库中的表
db.collection.drop()
db.集合.drop()		 删除集合

3.3 文档基本CRUD

文档（document）的数据结构和 JSON 基本一样

所有存储在集合中的数据都是 BSON 格式

3.3.1 文档的插入

单个文档的插入

使用insert() 或 save() 方法向集合中插入文档，语法如下：

1
2
3
4
5
6
7
db.commentName.insert(
    <document or array of documents>,
    {
        writeConcern: <document>,
        ordered: <boolean>
    }
)

示例

要向comment的集合(表)中插入一条测试数据

1
db.comment.insert({"articleid":"100000","content":"今天天气真好，阳光明媚","userid":"1001","nickname":"Rose","createdatetime":new Date(),"likenum":NumberInt(10),"state":null})

批量插入

1
2
3
4
5
6
7
db.commentName.insertMany(
    [ <document 1> , <document 2>, ... ],
    {
        writeConcern: <document>,
        ordered: <boolean>
    }
)

参数:

Parameter Type Description
document document or array 要插入到集合中的文档或文档数组。（json格式）
writeConcern document 可选的。性能，可靠性的级别
ordered boolean 可选
如果为真，则按顺序插入数组中的文档，如果其中一个文档出现错误，MongoDB将返回而不处理数组中的其余文档
如果为假，则执行无序插入，如果其中一个文档出现错误，则继续处理数组中的主文档
在版本2.6+中默认为true

提示：

  1. comment集合如果不存在，则会隐式创建
  2. mongo中的数字，默认情况下是double类型，如果要存整型，必须使用函数NumberInt(整型数字)，否则取出来就有问题了
  3. 插入当前日期使用 new Date()
  4. 插入的数据没有指定 _id ，会自动生成主键值
  5. 如果某字段没值，可以赋值为null，或不写该字段
  6. 插入时指定了 _id ，则主键就是该值
  7. 如果某条数据插入失败，将会终止插入，但已经插入成功的数据不会回滚掉。 因为批量插入由于数据较多容易出现失败，因此，可以使用try catch进行异常捕捉处理，测试的时候可以不处理。

注意：

  1. 文档中的键/值对是有序的
  2. 文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚至可以是整个嵌入的文档)
  3. MongoDB区分类型和大小写
  4. MongoDB的文档不能有重复的键
  5. 文档的键是字符串。除了少数例外情况，键可以使用任意UTF-8字符
  6. 文档键命名规范： 键不能含有\0 (空字符)。这个字符用来表示键的结尾
  7. .和$有特别的意义，只有在特定环境下才能使用。 以下划线”_”开头的键是保留的(不是严格要求的)。

3.3.2 文档的基本查询

查询数据的语法格式如下：

1
db.collectionName.find(<query>, [projection])
Parameter Type Description
query document 可选。使用查询运算符指定选择筛选器
若要返回集合中的所有文档，请省略此参数或传递空文档 ( {} )。
projection document 可选。指定要在与查询筛选器匹配的文档中返回的字段（投影）
若要返回匹配文档中的所有字段， 请省略此参数。

查询所有

1
2
3
db.comment.find()
# 或
db.comment.find({})

查询userid为1003

1
2
3
db.comment.find({userid:'1003'})
# 只返回第一条
db.comment.findOne({userid:'1003'})

投影查询（Projection Query）

如果要查询结果返回部分字段，则需要使用投影查询（不显示所有字段，只显示指定的字段）

查询结果只显示 _id、userid、nickname

1
2
3
db.comment.find({userid:"1003"},{userid:1,nickname:1})
{ "_id" : "4", "userid" : "1003", "nickname" : "凯撒" }
{ "_id" : "5", "userid" : "1003", "nickname" : "凯撒" }

默认 _id 会显示

查询结果只显示 、userid、nickname ，不显示 _id

1
2
3
db.comment.find({userid:"1003"},{userid:1,nickname:1,_id:0})
{ "userid" : "1003", "nickname" : "凯撒" }
{ "userid" : "1003", "nickname" : "凯撒" }

查询所有数据，但只显示 _id、userid、nickname :

1
db.comment.find({},{userid:1,nickname:1})

3.3.3 文档的更新

1
2
3
4
5
6
7
8
9
10
11
12
13
14
db.collection.update(query, update, options)
#或
db.collection.update(
    <query>,
    <update>,
    {
        upsert: <boolean>,
        multi: <boolean>,
        writeConcern: <document>,
        collation: <document>,
        arrayFilters: [ <filterdocument1>, ... ],
        hint: <document|string>  # Available starting in MongoDB 4.2
    }
)

参数：

Parameter Type Description
query document 更新的选择条件
可以使用与find（）方法中相同的查询选择器，类似sql update查询内where后面的
在3.0版中进行了更改：当使用upsert:true执行update（）时，如果查询使用点表示法在_id字段上指定条件，则MongoDB将拒绝插入新文档。
update document or 要应用的修改
该值可以是：包含更新运算符表达式的文档，或仅包含：对的替换文档，
upsert boolean 可选
如果设置为true，则在没有与查询条件匹配的文档时创建新文档
默认值为false，如果找不到匹配项，则不会插入新文档
multi boolean 可选
如果设置为true，则更新符合查询条件的多个文档
如果设置为false，则更新一个文档。默认值为false。
writeConcern document 可选。表示写问题的文档。抛出异常的级别。

覆盖的修改

如果我们想修改_id为1的记录，点赞量为1001，输入以下语句：

1
db.comment.update({_id:"1"},{likenum:NumberInt(1001)})

执行后，我们会发现，这条文档除了likenum字段其它字段都不见了

局部修改

为了解决这个问题，我们需要使用修改器$set来实现，命令如下：

1
db.comment.update({_id:"2"},{$set:{likenum:NumberInt(889)}})

批量的修改

1
2
3
4
#默认只修改第一条数据
db.comment.update({userid:"1003"},{$set:{nickname:"没有加入选择"}})
#修改所有符合条件的数据
db.comment.update({userid:"1003"},{$set:{nickname:"加入了选择"}},{multi:true})

如果不加后面的参数，则只更新符合条件的第一条记录

列值增长的修改

如果我们想实现对某列值在原有值的基础上进行增加或减少，可以使用 $inc 运算符来实现

1
db.comment.update({_id:"3"},{$inc:{likenum:NumberInt(1)}})

3.3.4 删除文档

1
db.collectionName.remove(条件)

以下语句可以将数据全部删除，请慎用

1
db.comment.remove({})

如果删除_id=1的记录，输入以下语句

1
db.comment.remove({_id:"1"})

3.4 文档的分页查询

3.4.1 统计查询

1
db.collection.count(query, options)

参数:

Parameter Type Description
query document 查询选择条件
options document 可选。用于修改计数的额外选项

示例:

统计所有记录数： 

1
2
#统计comment集合的所有的记录数：
db.comment.count()

按条件统计记录数：

1
2
#统计userid为1003的记录条数
db.comment.count({userid:"1003"})

3.4.2 分页列表查询

可以使用limit()方法来读取指定数量的数据，使用skip()方法来跳过指定数量的数据

1
db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)

limit(NUMBER)标识返回的结果数,默认值为20

skip(NUMBER)标识跳过的记录数,默认值是0

两者可以分开使用

1
2
3
4
5
6
7
8
9
10
11
#查询全部前面的三个数据
db.comment.find().limit(3)
#查询三个以后的数据
db.comment.find().skip(3)
#每页2个，第二页开始：跳过前两条数据，接着值显示3和4条数据
#第一页
db.comment.find().skip(0).limit(2)
#第二页
db.comment.find().skip(2).limit(2)
#第三页
db.comment.find().skip(4).limit(2)

3.4.3 排序查询

sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用 于降序排列

1
2
3
db.COLLECTION_NAME.find().sort({KEY1:1,KEY2:1})
#对userid降序排列，并对访问量进行升序排列
db.comment.find().sort({userid:-1,likenum:1})

skip(), limilt(), sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()，和命令编写顺序无关

3.5 文档的更多查询

3.5.1 正则的复杂条件查询

MongoDB的模糊查询是通过正则表达式的方式实现的

1
db.collectionName.find({字段:/正则表达式/})

例子

1
2
3
4
#查询评论内容包含“开水”的所有文档
db.comment.find({content:/开水/})
#查询评论的内容中以“专家”开头的
db.comment.find({content:/^专家/})

3.5.2 比较查询

1
2
3
4
5
db.集合名称.find({ "field" : { $gt: value }}) // 大于: field > value
db.集合名称.find({ "field" : { $lt: value }}) // 小于: field < value
db.集合名称.find({ "field" : { $gte: value }}) // 大于等于: field >= value
db.集合名称.find({ "field" : { $lte: value }}) // 小于等于: field <= value
db.集合名称.find({ "field" : { $ne: value }}) // 不等于: field != value

例子

1
2
#查询评论点赞数量大于700的记录
db.comment.find({likenum:{$gt:NumberInt(700)}})

3.5.3 包含查询

包含使用$in操作符

不包含使用$nin操作符

例子

1
2
3
4
#查询评论的集合中userid字段包含1003或1004的文档
db.comment.find({userid:{$in:["1003","1004"]}})
#查询评论集合中userid字段不包含1003和1004的文档
db.comment.find({userid:{$nin:["1003","1004"]}})

3.5.4 条件连接查询

我们如果需要查询同时满足两个以上条件，需要使用$and操作符将条件进行关联

如果两个以上条件之间是或者的关系，我们使用$or操作符进行关联

1
2
$and:[ { },{ },{ } ]
$or:[ { },{ },{ } ]

例子

1
2
3
4
5
#查询评论集合中likenum大于等于700 并且小于2000的文档
db.comment.find({$and:[{likenum:{$gte:NumberInt(700)}},{likenum:{$lt:NumberInt(2000)}}]})

#查询评论集合中userid为1003，或者点赞数小于1000的文档记录
db.comment.find({$or:[ {userid:"1003"} ,{likenum:{$lt:1000} }]})

4 索引-Index

4.1 概述

索引支持在MongoDB中高效地执行查询

如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档

这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的

如果查询存在适当的索引，MongoDB可以使用该索引限制必须检查的文档数

索引是特殊的数据结构，它以易于遍历的形式存储集合数据集的一小部分

索引存储特定字段或一组字段的值，按字段值排序

索引项的排 序支持有效的相等匹配和基于范围的查询操作

此外，MongoDB还可以使用索引中的排序返回排序结果

官网文档：https://docs.mongodb.com/manual/indexes/

了解： MongoDB索引使用B树数据结构（确切的说是B-Tree，MySQL是B+Tree）

4.2 索引的类型

4.2.1 单字段索引

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）

对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引

4.2.2 复合索引

MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）

复合索引中列出的字段顺序具有重要意义

例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序。

4.2.3 其他索引

  • 地理空间索引（Geospatial Index）

    为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引和返回结果时使用球面几何的二维球面索引

  • 文本索引（Text Indexes）

    MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“the”、“a”、“or”）， 而将集合中的词作为词干，只存储根词

  • 哈希索引（Hashed Indexes）

    为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支 持相等匹配，不支持基于范围的查询

4.3 索引的管理操作

4.3.1 索引的查看

返回一个集合中的所有索引的数组

1
db.collectionName.getIndexes()

结果中显示的是默认 \_id 索引

默认_id索引： MongoDB在创建集合的过程中，在 _id 字段上创建一个唯一的索引，默认名字为 _id_ ，该索引可防止客户端插入两个具有相同值的文档，您不能在_id字段上删除此索引

注意：该索引是唯一索引，因此值不能重复，即 _id 值不能重复的。在分片集群中，通常使用 _id 作为片键。

4.3.2 索引的创建

在集合上创建索引

1
db.collectionName.createIndex(keys, options)

参数

Parameter Type Description
keys document 包含字段和值对的文档，其中字段是索引键，值描述该字段的索引类型
对于字段上的升序索引，请指定值1；对于降序索引，请指定值-1
比如： {字段:1或-1}
另外，MongoDB支持几种不同的索引类型，包括文本、地理空间和哈希索引
options document 可选。包含一组控制索引创建的选项的文档

options（更多选项）列表

default_language string 对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语 language_override string 对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的language，默认值为 language.

Parameter Type Description
background Boolean 后台建索。建索引过程会阻塞其它数据库操作，background可指定以后台方式创建索引，即增加 “background” 可选参数”
background" 默认值为false
unique Boolean 建立的索引是否唯一。指定为true创建唯一索引
默认值为false
name string 索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称
dropDups Boolean 3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引
默认值为 false
sparse Boolean 对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档
默认值为 false
expireAfterSeconds integer 指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间
v index version 索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本
weights document 索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重
default_language string 对于文本索引，该参数决定了停用词及词干和词器的规则的列表
默认为英语
anguage_override string 对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的language，默认值为 language

4.3.3 索引的移除

可以移除指定的索引，或移除所有索引

1
2
3
4
5
#移除指定的索引
db.collectionName.dropIndex(index)
db.comment.dropIndex({userid:1})
#移除所有索引
db.collection.dropIndexes()
Parameter Type Description
index string or document 指定要删除的索引。可以通过索引名称或索引规范文档指定索引。若要删除文本索引，请指定索引名称

注意： _id 的字段的索引是无法删除的，只能删除非 _id 字段的索引

4.4 索引的使用

4.4.1 执行计划

分析查询性能（Analyze Query Performance）通常使用执行计划（解释计划、Explain Plan）来查看查询的情况，如查询耗费的时间、是否基于索引查询等

那么，通常，我们想知道，建立的索引是否有效，效果如何，都需要通过执行计划查看

1
db.collectionName.find(query,options).explain(options)

4.4.2 涵盖的查询

当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。 这些覆盖的查询可以非常有效

5 简单案例

5.1 创建项目

1
2
3
4
5
6
7
8
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
</dependency>
1
2
3
4
5
6
7
8
9
10
11
12
13
server:
  port: 9006
spring:
  application:
    name: tensquare-spit
  data:
    mongodb:
      host: 192.168.114.130
      database: spitdb
      # 默认端口是27017
      port: 27017
      #也可以使用uri连接
      #uri: mongodb://192.168.114.130:27017/spitdb
1
2
3
4
5
6
7
8
9
10
11
@SpringBootApplication
public class SpitApplication {
    public static void main(String[] args) {
        SpringApplication.run(SpitApplication.class);
    }

    @Bean
    public IdWorker idWorker() {
        return new IdWorker(1, 1);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
//把一个java类声明为mongodb的文档，可以通过collection参数指定这个类对应的文档。
//@Document(collection="mongodb 对应 collection 名")
// 若未加 @Document ，该 bean save 到 mongo 的 spit collection
// 若添加 @Document ，则 save 到 spit collection
@Document(collection="spit")//可以省略，如果省略，则默认使用类名小写映射集合
//复合索引
// @CompoundIndex( def = "{'userid': 1, 'nickname': -1}")
public class Spit implements Serializable {
    //主键标识，该属性的值会自动对应mongodb的主键字段"_id"，如果该属性名就叫“id”,则该注解可以省略，否则必须写
    @Id
    private String id;//主键
    //该属性对应mongodb的字段的名字，如果一致，则无需该注解
    @Field("content")
    private String content;//吐槽内容
    private Date publishtime;//发布日期
    //添加了一个单字段的索引
    @Indexed
    private String userid;//发布人ID
    private String nickname;//昵称
    private LocalDateTime createdatetime;//评论的日期时间
    private Integer likenum;//点赞数
    private Integer replynum;//回复数
    private String state;//状态
    private String parentid;//上级ID
    private String articleid;
}

索引可以大大提升查询效率，一般在查询字段上添加索引

索引的添加可以通过Mongo的命令来添加，也可以在Java的实体类中通过注解添加

单字段索引注解@Indexed

声明该字段需要索引，建索引可以大大的提高查询效率

1
db.spit.createIndex({"userid":1})

复合索引注解@CompoundIndex

复合索引的声明，建复合索引可以有效地提高多字段的查询效率

1
db.spit.createIndex({"userid":1,"nickname":-1})

5.2 基本增删改查

dao层

1
2
3
public interface SpitDao extends MongoRepository<Comment,String> {
    
}

service层

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
@Service
public class SpitService {
    @Autowired
    private SpitDao spitDao;

    /**
     * 添加吐槽
     *
     * @param spit
     */
    public void add(Spit spit) {
        spitDao.save(spit);
    }

    /**
     * 吐槽全部列表
     *
     * @return
     */
    public List<Spit> findAll() {
        return spitDao.findAll();
    }

    /**
     * 根据Id查询吐槽
     *
     * @param spitId
     * @return
     */
    public Spit findById(String spitId) {
        return spitDao.findById(spitId).get();
    }

    /**
     * 修改吐槽
     *
     * @param spit
     */
    public void update(Spit spit) {
        spitDao.save(spit);
    }

    /**
     * 根据id删除吐槽
     *
     * @param spitId
     */
    public void deleteById(String spitId) {
        spitDao.deleteById(spitId);
    }
}

5.3 根据上级id查询分页列表

dao层新增方法定义

1
2
//根据父id，查询子评论的分页列表
Page<Spit> findByParentid(String parentid, Pageable pageable);

Service新增方法

1
2
3
public Page<Spit> findSpitListPageByParentid(String parentid,int page ,int size){
	return SpitDao.findByParentid(parentid, PageRequest.of(page-1,size));
}

junit测试用例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
//SpringBoot的Junit集成测试
@RunWith(SpringRunner.class)
//SpringBoot的测试环境初始化，参数：启动类
@SpringBootTest(classes = ArticleApplication.class)
public class SpitServiceTest {
    //注入Service
    @Autowired
    private SpitService spitService;

    @Test
    public void testFindSpitListPageByParentid(){
        Page<Spit> pageResponse = spitService.findSpitListPageByParentid("3", 1, 2);
        System.out.println("----总记录数："+pageResponse.getTotalElements());
        System.out.println("----当前页数据："+pageResponse.getContent());
    }
}

5.4 评论点赞

我们可以使用MongoTemplate类来实现对某列的操作

Service层

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
//注入MongoTemplate
@Autowired
private MongoTemplate mongoTemplate;

public void updateSpitLikenum(String id){
//查询对象
Query query=Query.query(Criteria.where("_id").is(id));
//更新对象
Update update=new Update();
//局部更新，相当于$set
// update.set(key,value)
//递增$inc
// update.inc("likenum",1);
update.inc("likenum");
//参数1：查询对象
//参数2：更新对象
//参数3：集合的名字或实体类的类型Comment.class
mongoTemplate.updateFirst(query,update,"spit");
}