mongodb 3.2 mapreduce shard collection bug

Love The Way You Lie 2022-07-28 04:12 85阅读 0赞

在mongodb 3.2的版本中，存在一个bug 如下：

out = {"merge":siteUUidDataCollName,"db":analysisDBName,"sharded":true};
    mr = siteInitDataColl.mapReduce(map,reduce,{out:out, scope : {"now_date":now_date}, finalize: finalize,query:query});

mapreduce的输出表，用shard 表，  shard 表在mongodb中的定义为：shard key 必须为\_id。

当输出出来数据，并没有什么问题。

当我和用户中心表进行数据同步的时候，需要对这个表字段进行更新，也没有什么问题

然后，当我回去重新mapreduce上面的结果的时候，问题出现了，出现了\_id 在两个分片中同时存在的问题。

导致的结果就是：通过  find().count()结果是13000，但是通过

var cursor = coll.find();
    j = 0
    	while(cursor.hasNext()) {
    		r = cursor.next();
    		j++;
    	}
    print(j);

结果为：11000，

通过分片查看，存在重复的\_id 数据。

这是挺致命的，最后只要抛弃这种mapreduce直接输出到shard表的方式，改用tmp表输出，然后在保存到shard coll表的方式

out = 'tmp';
    	// https://docs.mongodb.org/manual/reference/method/db.collection.mapReduce/#mapreduce-out-mtd
    	mr = siteInitDataColl.mapReduce(map,reduce,{out:out, scope : {"now_date":now_date}, finalize: finalize,query:query});
    	var cursor = traceDB[mr.result].find();
    	while(cursor.hasNext()) {
    		r = cursor.next();
    		siteUUidDataColl.save(r);
    	}

发表评论取消回复

表情：

评论列表（有 0 条评论，85人围观）

还没有评论，来说两句吧...

相关阅读

相关 mongodb sharded cluster认证

1、生成密钥文件 openssl rand -base64 741 > /home/keyfile chmod 600 keyfile 建议把密钥文件

Dear 丶/ 2024年02月18日 19:41/ 0 赞/ 54 阅读

相关 MongoDB分片（Sharding）技术

[MongoDB分片（Sharding）技术][MongoDB_Sharding] 分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上

女爷i/ 2022年12月27日 02:12/ 0 赞/ 295 阅读

相关 mongodb-sharding 分片

![Center][] iptables -I INPUT -p tcp --dport 27017 -j ACCEPT iptables -I INPUT -p t

Bertha 。/ 2022年08月20日 03:16/ 0 赞/ 219 阅读

相关 mongodb2.6 sharding 升级到 mongodb3.0 sharding

mongodb 集群一般是shard(分片)+ replicateSet（副本集）＋mongos(路由)＋config(配置服务) 最重要的第一部：备份 confi

缺乏、安全感/ 2022年08月20日 03:16/ 0 赞/ 161 阅读

相关 MongoDB Capped Collection

1、简单介绍 capped collections 是性能出色的有着固定大小的集合，以LRU(Least Recently Used 最近最少使用)规则和插入顺序进行age

叁歲伎倆/ 2022年08月07日 06:40/ 0 赞/ 100 阅读

相关 MongoDB Sharding分片管理

这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在sharding 的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式MongoDB 集群。MongoDB

小灰灰/ 2022年08月07日 05:58/ 0 赞/ 222 阅读

相关 mongodb 3.2 mapreduce shard collection bug

在mongodb 3.2的版本中，存在一个bug 如下： out = {"merge":siteUUidDataCollName,"db":analysis

Love The Way You Lie/ 2022年07月28日 04:12/ 0 赞/ 86 阅读

相关 mongodb 存储shard

1. 安装 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ sudo apt

ゞ浴缸里的玫瑰/ 2022年07月12日 23:13/ 0 赞/ 143 阅读

相关 MongoDB Advance ---->MongoDB Auto-sharding 研究

[MongoDB Advance ---->MongoDB Auto-sharding 研究][MongoDB Advance ----_MongoDB Auto-shardi

今天药忘吃喽~/ 2022年06月18日 06:36/ 0 赞/ 141 阅读

相关 mongodb sharding原理分析

注：一般使用sharding+replicaset的原则部署，既可以负载均衡，也可以避免单点 MongoDB 是一种流行的非关系型数据库。作为一种文档型数据库，除了有无 sc

￡神魔★判官ぃ/ 2022年05月24日 04:39/ 0 赞/ 144 阅读