Docker_MongoDB集群

红太狼 2021-10-06 04:32 385阅读 0赞

### Docker\_MongoDB集群 ###

*  MongoDB集群之复制
 *   *  简述
     *  安装
     *  测试
     *  节点宕机处理
 *  MongoDB集群之分片集群
 *   *  简介
     *  安装

# MongoDB集群之复制 #

## 简述 ##

一个主，两个从库组成，主库宕机时，这两个从库都可以被选为主库。  
假设复制集内投票成员数量为N，则大多数为 N/2 + 1，当复制集内存活成员数量不足大多数时，整个复制集将无法 选举出Primary，复制集将无法提供写服务，处于只读状态。

## 安装 ##

#创建3个mongo容器 
    docker create --name mongo01  -p 27017:27017 -v mongo-data-01:/data/db mongo:4.0.3 -replSet "rs0" --bind_ip_all 
    docker create --name mongo02  -p 27018:27017 -v mongo-data-02:/data/db mongo:4.0.3 -replSet "rs0" --bind_ip_all 
    docker create --name mongo03  -p 27019:27017 -v mongo-data-03:/data/db mongo:4.0.3 -replSet "rs0" --bind_ip_all
    
    #启动容器 
    docker start mongo01 mongo02 mongo03
    
    #进入容器操作
    docker exec -it mongo01 /bin/bash
    
    #登录到mongo服务 
    mongo 172.16.55.185:27017
    
    #初始化复制集集群 
    rs.initiate( {   
    	_id : "rs0",   
    	members: [      
    		{ _id: 0, host: "172.16.55.185:27017" },
    		{ _id: 1, host: "172.16.55.185:27018" }, 
    		{ _id: 2, host: "172.16.55.185:27019" }   
    	] 
    })
    
    #响应 
    {        
    	"ok" : 1,  
    	#成功        
    	"operationTime" : Timestamp(1551619334, 1),
    	"$clusterTime" : {
    		"clusterTime" : Timestamp(1551619334, 1),
    		"signature" : { 
    			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
    			"keyId" : NumberLong(0) 
    		 }  
    	 }
     }

## 测试 ##

#在主库插入数据 
    rs0:PRIMARY> use test 
    rs0:PRIMARY> db.user.insert({"id":1001,"name":"zhangsan"}) 
    WriteResult({ "nInserted" : 1 }) 
    rs0:PRIMARY> db.user.find() 
    { "_id" : ObjectId("5c7bd5965504bcd309686907"), "id" : 1001, "name" : "zhangsan" }
    
    #在复制库查询数据 
    mongo 172.16.55.185:27018
    rs0:SECONDARY> use test 
    rs0:SECONDARY> db.user.find() 
    Error: error: { #出错，默认情况下从库是不允许读写操作的
    	...
    }
    
    rs0:SECONDARY> rs.slaveOk()  #设置允许从库读取数据 
    rs0:SECONDARY> db.user.find() 
    { "_id" : ObjectId("5c7bd5965504bcd309686907"), "id" : 1001, "name" : "zhangsan" }

## 节点宕机处理 ##

当集群中的节点数为偶数时，如一主一从情况下，任意一节点宕机都无法选举出Priamry，无法提供写操作，加入 arbiter节点后即可解决该问题。

docker create --name mongo04  -p 27020:27017 -v mongo-data-04:/data/db mongo:4.0.3 -replSet "rs0" --bind_ip_all
    
    docker start mongo04
    
    #在主节点执行 
    rs0:PRIMARY> rs.addArb("172.16.55.185:27020") 
    {        
    	"ok" : 1,
    	"operationTime" : Timestamp(1551627454, 1),
    	"$clusterTime" : {
    		"clusterTime" : Timestamp(1551627454, 1),
    		"signature" : { 
    			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
    			"keyId" : NumberLong(0)
    		} 
    	} 
    }
    
    #查询集群状态 
    rs.status()

通过测试，添加arbiter节点后，如果集群节点数不满足N/2+1时，arbiter节点可作为“凑数”节点，可以选出主节点， 继续提供服务。

# MongoDB集群之分片集群 #

## 简介 ##

分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上所采用的方法。尽管分片起 源于关系型数据库分区，但MongoDB分片完全又是另一回事。

垂直扩展：增加更多的CPU和存储资源来扩展容量。  
水平扩展：将数据集分布在多个服务器上。水平扩展即分片。

Mongos本身并不持久化数据，Sharded cluster所有的元数据都会存储到Conﬁg Server，而用户的数据会分散存储 到各个shard。Mongos启动后，会从配置服务器加载元数据，开始提供服务，将用户的请求正确路由到对应的分片。

当数据写入时，MongoDB Cluster根据分片键设计写入数据。当外部语句发起数据查询时，MongoDB根据数据分布 自动路由至指定节点返回数据。

## 安装 ##

#创建3个config节点 
    docker create --name configsvr01  -p 17000:27019 -v mongoconfigsvr-data01:/data/configdb mongo:4.0.3 --configsvr --replSet "rs_configsvr"  --bind_ip_all
    docker create --name configsvr02  -p 17001:27019 -v mongoconfigsvr-data02:/data/configdb mongo:4.0.3 --configsvr --replSet "rs_configsvr"  --bind_ip_all
    docker create --name configsvr03  -p 17002:27019 -v mongoconfigsvr-data03:/data/configdb mongo:4.0.3 --configsvr --replSet "rs_configsvr"  --bind_ip_all
    
    #启动服务 
    docker start configsvr01 configsvr02 configsvr03
    
    #进去容器进行操作 
    docker exec -it configsvr01 /bin/bash 
    mongo 172.16.55.185:17000
    
    #集群初始化 
    rs.initiate(  
    	{ 
    		_id: "rs_configsvr",
    		configsvr: true, 
    		members: [
    			{ _id : 0, host : "172.16.55.185:17000" },
    			{ _id : 1, host : "172.16.55.185:17001" },
    			{ _id : 2, host : "172.16.55.185:17002" } 
    		] 
    	}
    )
    
    #创建2个shard集群，每个集群都有3个数据节点
    #集群一 
    docker create --name shardsvr01  -p 37000:27018 -v mongoshardsvr-data-01:/data/db mongo:4.0.3 --replSet "rs_shardsvr1" --bind_ip_all --shardsvr 
    docker create --name shardsvr02  -p 37001:27018 -v mongoshardsvr-data-02:/data/db mongo:4.0.3 --replSet "rs_shardsvr1" --bind_ip_all --shardsvr 
    docker create --name shardsvr03  -p 37002:27018 -v mongoshardsvr-data-03:/data/db mongo:4.0.3 --replSet "rs_shardsvr1" --bind_ip_all --shardsvr
    
    #集群二 
    docker create --name shardsvr04  -p 37003:27018 -v mongoshardsvr-data-04:/data/db mongo:4.0.3 --replSet "rs_shardsvr2" --bind_ip_all --shardsvr 
    docker create --name shardsvr05  -p 37004:27018 -v mongoshardsvr-data-05:/data/db mongo:4.0.3 --replSet "rs_shardsvr2" --bind_ip_all --shardsvr 
    docker create --name shardsvr06  -p 37005:27018 -v mongoshardsvr-data-06:/data/db mongo:4.0.3 --replSet "rs_shardsvr2" --bind_ip_all --shardsvr
    
    #启动容器 
    docker start shardsvr01 shardsvr02 shardsvr03 
    docker start shardsvr04 shardsvr05 shardsvr06
    
    #进去容器执行 
    docker exec -it shardsvr01 /bin/bash 
    mongo 172.16.55.185:37000
    
    #初始化集群 rs.initiate(
    	{ 
    		_id: "rs_shardsvr1", 
    		members: [
    			{ _id : 0, host : "172.16.55.185:37000" },
    			{ _id : 1, host : "172.16.55.185:37001" }, 
    			{ _id : 2, host : "172.16.55.185:37002" }
    		 ]
    	} 
    )
    
    #初始化集群二
    mongo 172.16.55.185:37003
    
    rs.initiate(  
    	{    
    		_id: "rs_shardsvr2",    
    		members: [      
    			{ _id : 0, host : "172.16.55.185:37003" },      
    			{ _id : 1, host : "172.16.55.185:37004" },     
    			{ _id : 2, host : "172.16.55.185:37005" }    
    		]  
    	} 
    )
    
    #创建mongos节点容器，需要指定config服务 
    docker create --name mongos -p 6666:27017 --entrypoint "mongos" mongo:4.0.3 -configdb rs_configsvr/172.16.55.185:17000,172.16.55.185:17001,172.16.55.185:17002 -bind_ip_all
    
    docker start mongos
    
    #进入容器执行 
    docker exec -it mongos bash 
    mongo 172.16.55.185:6666
    
    #添加shard节点 sh.addShard("rs_shardsvr1/172.16.55.185:37000,172.16.55.185:37001,172.16.55.185:37002 ") sh.addShard("rs_shardsvr2/172.16.55.185:37003,172.16.55.185:37004,172.16.55.185:37005 ")
    
    #启用分片 
    sh.enableSharding("test")
    
    #设置分片规则，按照_id的hash进行区分 
    sh.shardCollection("test.order", {"_id": "hashed" })
    
    #插入测试数据 
    use test
    
    for (i = 1; i <= 1000; i=i+1){    
    	db.order.insert({'id':i , 'price': 100+i}) 
    }
    
    #分别在2个shard集群中查询数据进行测试 
    db.order.count()
    
    #集群操作（在mongos中执行） 
    use config 
    db.databases.find()  #列出所有数据库分片情况 
    db.collections.find() #查看分片的片键 
    sh.status()  #查询分片集群的状态信息