mongodb 随机查询

怼烎@ 2022-03-19 13:44 939阅读 0赞

mongodb的随机查询不像mysql一样可以利用rand()函数,取随机数查询数据,mongodb在查询中,并没有类似rand()的查询方法 (mongodb当前版本1.6.3)

> 题外话: mysql的rand在执行效率上有一定问题 sql 需要优化 [ 详见][Link 1]

下面是一个具体的例子和解决方案

> 部分参照官网的mongodb cookbook 文章[ The Random Attribute ][The Random Attribute]译过来的,官网废话太多了

假如你现在执行如下mongodb查询

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>photos.</code><code>find</code><code>({ </code><code>"author"</code><code>:</code><code>"John Doe"</code><code>})</code></td> 
  </tr> 
 </tbody> 
</table>

查询结果是获取author为John Doe的所有数据,假如你只是想获取随机的几条数据,你可以查询后,计算数据总条数,然后rand结果数组的几条,就可以实现了  
但对于几十万数据或高频度查询来说,这种查询几乎是致命的.

所以在你向数据库里插入数据的时候,可以预先定义一个RA字段(随机属性字段),插入RA字段一个随机数,用随机数查询

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>&gt; db.docs.save( { key : 1, ..., random : Math.random() } )</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>&gt; db.docs.save( { key : 1, ..., random : Math.random() } )</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>&gt; db.docs.save( { key : 2, ..., random : Math.random() } )</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>5</code></td> 
   <td><code>... many </code><code>more</code> <code>insertions with </code><code>'key : 2'</code> <code> ...</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>6</code></td> 
   <td><code>&gt; db.docs.save( { key : 2, ..., random : Math.random() } )</code></td> 
  </tr> 
 </tbody> 
</table>

Math.random()实现了js中的随机数方法, 如果你使用的是Math.random() ,会获取一个0~1之间的随机数

<table> 
 <tbody> 
  <tr> 
   <td><code>01</code></td> 
   <td><code>&gt; Math.random()</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>03</code></td> 
   <td><code>&gt; Math.random()</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>05</code></td> 
   <td><code>&gt; Math.random()</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>08</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: ObjectId(</code><code>"4bfa81198cf5fc1002a42b91"</code><code>), </code><code>"key"</code> <code>: 2, </code><code>"random"</code> <code>: 0.23578915913357468}</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>10</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: ObjectId(</code><code>"4bfa81198cf5fc1002a42b93"</code><code>), </code><code>"key"</code> <code>: 2, </code><code>"random"</code> <code>: 0.8983254666113549 }</code></td> 
  </tr> 
 </tbody> 
</table>

如果你使用了上面的解决方案,那么你还要给随机的字段的数据库索引,比如上面的random

1.随机查询单条记录  
如果想随机查询单条记录,那么只需要变更一下请求,对RA字段添加适当的过滤条件. 下面尝试着查询跟RA字段中的值最接近的记录

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>&gt; rand = Math.random()</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>&gt; result = db.docs.findOne( { key : 2, random : { $gte : rand } } )</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>3</code></td> 
   <td><code>&gt; </code><code>if</code> <code> ( result == null ) { </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>&gt;&nbsp;&nbsp; result = db.docs.findOne( { key : 2, random : { $lte : rand } } )</code></td> 
  </tr> 
 </tbody> 
</table>

1.取rand 随机数  
2.查询random字段中大于rand的单条记录  
3.判断有无数据,无数据则查询小于rand的单条记录

使用这种方法的时候,很重要的一点是建立数据库索引

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>&gt; db.docs.ensureIndex( { key : 1, random :1 } )</code></td> 
  </tr> 
 </tbody> 
</table>

2. 对样本数据进行map / reduce 查询  
如果数据和计算量过大,可以取样本数据,然后对结果的RA字段进行如上过滤处理

<table> 
 <tbody> 
  <tr> 
   <td><code>02</code></td> 
   <td><code>&gt; </code><code>for</code> <code>(i=0; i &lt; 10000; i++) { db.docs.save( { key : i % 10, rand : Math.random() } ) }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>03</code></td> 
   <td><code>&gt; m = </code><code>function</code><code>() { emit(this.key, 1); }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>04</code></td> 
   <td><code>&gt; r = </code><code>function</code><code>(k, vals) { </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>07</code></td> 
   <td><code>&nbsp;&nbsp;</code><code>return</code> <code>sum</code><code>;</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>09</code></td> 
   <td><code>&gt; sample = 0.1</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>10</code></td> 
   <td><code>&gt; res = db.docs.mapReduce(m, r, { query : { key : 2, rand : { $lte: sample } } })</code></td> 
  </tr> 
 </tbody> 
</table>

mongodb 将会执行query查询,只有符合条件的10%数据才会执行mapper方法,相较于全文查询,运行时间会大大减少  
我本地测试查询key为2 ,且RA字段小于0.1的数据计数为98 很接近100 官网的数据为85,本地结果如下

<table> 
 <tbody> 
  <tr> 
   <td><code>02</code></td> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"result"</code> <code>: </code><code>"tmp.mr.mapreduce_1288863869_7"</code><code>,</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>03</code></td> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"timeMillis"</code> <code>: 25,</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>04</code></td> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"counts"</code> <code>: { </code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>05</code></td> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"input"</code> <code>: 98,</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>07</code></td> 
   <td><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"output"</code> <code>: 1</code></td> 
  </tr> 
 </tbody> 
</table>

> 默认情况下map/reduce生成的collection是临时的,只要你断掉本次连接就会自动删除,所以查询结果,仅当次连接有效

<table> 
 <tbody> 
  <tr> 
   <td><code>01</code></td> 
   <td><code>&gt; res = db.docs.mapReduce(m, r, { query : { rand : { $lte : 0.1 } } })</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>03</code></td> 
   <td><code>#mongodb 执行查询语句,根据查询条件获取10%的样本数据 , 根据上述的查询,执行结果应该类似如下,本地测试数据</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>05</code></td> 
   <td><code>&gt; db[res.result].</code><code>find</code><code>()</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>06</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 0, </code><code>"value"</code> <code> : 98 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>07</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 1, </code><code>"value"</code> <code> : 103 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>08</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 2, </code><code>"value"</code> <code> : 89 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>09</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 3, </code><code>"value"</code> <code> : 99 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>10</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 4, </code><code>"value"</code> <code> : 100 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>11</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 5, </code><code>"value"</code> <code> : 115 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>12</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 6, </code><code>"value"</code> <code> : 103 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>13</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 7, </code><code>"value"</code> <code> : 92 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>14</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 8, </code><code>"value"</code> <code> : 111 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>15</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: 9, </code><code>"value"</code> <code> : 108 }</code></td> 
  </tr> 
 </tbody> 
</table>

在map/reduce 查询随机数据的实例中,可以不必像第一种方法为属性创建库索引

附加说明  
使用Math.random()插入数据进行查询是,概率的数会偏大,所以不一定能保证查询的结果是按照概率均匀分布的

<table> 
 <tbody> 
  <tr> 
   <td><code>1</code></td> 
   <td><code>&gt; db.docs.save( { key : 1, random : Math.random() } )</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>2</code></td> 
   <td><code>&gt; db.docs.save( { key : 1, random : Math.random() } )</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>4</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: ObjectId(</code><code>"4bfa9585cffdb770c08e7cc9"</code><code>), </code><code>"key"</code> <code>: 1, </code><code>"random"</code> <code>: 0.9988383572723725 }</code></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td><code>5</code></td> 
   <td><code>{ </code><code>"_id"</code> <code>: ObjectId(</code><code>"4bfa9586cffdb770c08e7cca"</code><code>), </code><code>"key"</code> <code>: 1, </code><code>"random"</code> <code>: 0.8</code></td> 
  </tr> 
 </tbody> 
</table>

[Link 1]: http://blog.csdn.net/zxl315/archive/2008/05/12/2435368.aspx
[The Random Attribute]: http://cookbook.mongodb.org/patterns/random-attribute