mongo同步数据到ElasticSearch的方式方法

你的名字 2022-04-24 13:56 345阅读 0赞

`MongoDB` 数据同步到 `ElasticSearch` 的方式

> **参考** [5 ways to synchronize data from MongoDb to ElasticSearch][]

<table> 
 <thead> 
  <tr> 
   <th>技术</th> 
   <th>覆盖版本</th> 
   <th>维护情况</th> 
   <th>实现及使用方式</th> 
   <th>设计模式</th> 
   <th>同步方式</th> 
   <th>补偿机制</th> 
   <th>存在问题</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/mongoosastic/mongoosastic" rel="nofollow">Mongoosastic</a></td> 
   <td>x.x</td> 
   <td>2018-10-16,800stars</td> 
   <td>Node Module » Hook + HTTP</td> 
   <td>高耦合</td> 
   <td>Hook增量</td> 
   <td>-</td> 
   <td>Model.remove 和 Model.update 数据未同步</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/compose/transporter" rel="nofollow">transporter</a></td> 
   <td>5.x</td> 
   <td>2018-05-14,1000stars</td> 
   <td>Go CLI Tool</td> 
   <td>低耦合</td> 
   <td>单次同步</td> 
   <td>-</td> 
   <td>仅能执行一次，无法自动完成同步</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/richardwilly98/elasticsearch-river-mongodb" rel="nofollow">elasticsearch-river-mongodb</a></td> 
   <td>1.x</td> 
   <td>2016-03-22</td> 
   <td>Java，ES plugin</td> 
   <td>低耦合</td> 
   <td>增量</td> 
   <td>-</td> 
   <td>官方已关闭river方式</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html" rel="nofollow">Jdbc input plugin</a></td> 
   <td>x.x</td> 
   <td>官方组件</td> 
   <td>Logstash input filter</td> 
   <td>低耦合</td> 
   <td>增量+全量</td> 
   <td>追加定时全量</td> 
   <td>需要JDBC驱动程序支持，而<code>mongo没有支持良好的JDBC驱动程序</code></td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/yougov/mongo-connector" rel="nofollow">mongo-connector</a></td> 
   <td>5.x</td> 
   <td>2018-12-06,1500stars</td> 
   <td>Python CLI Tool » OpLog</td> 
   <td>低耦合</td> 
   <td>-</td> 
   <td>-</td> 
   <td>基于OpLog</td> 
  </tr> 
  <tr> 
   <td>基于 <a href="https://github.com/cayasso/mongo-oplog" rel="nofollow">mongo-oplog</a> 自研</td> 
   <td>x.x</td> 
   <td>2018-09-17,400stars</td> 
   <td>Node Module » Hook + HTTP</td> 
   <td>自定义</td> 
   <td>Hook增量</td> 
   <td>自研追加定时全量</td> 
   <td>基于OpLog，开发成本</td> 
  </tr> 
  <tr> 
   <td>基于 Mongoose 自研</td> 
   <td>x.x</td> 
   <td>-</td> 
   <td>Node service</td> 
   <td>自定义</td> 
   <td>增量轮询</td> 
   <td>自研追加定时全量</td> 
   <td>不利于Mongo高并发，占用mongo链接</td> 
  </tr> 
  <tr> 
   <td>基于 redis/MQ/Kafka</td> 
   <td>x.x</td> 
   <td>-</td> 
   <td>Node service</td> 
   <td>低耦合</td> 
   <td>数据流</td> 
   <td>自研追加定时全量</td> 
   <td>改造成本大，需要在前置业务端拆解功能</td> 
  </tr> 
 </tbody> 
</table>

*  `Mongoosastic` 数据同步说明

Auto indexing
    Mongoosastic try to auto index documents in favor of mongoose's middleware feature.
    
    Mongoosastic will auto index when document.save/Model.findOneAndUpdate/Model.insertMany/document.remove/Model.findOneAndRemove, but not include Model.remove/Model.update.
    
    And you should have new: true options when findOneAndUpdate so that mongoosastic can get new values in post hook.

*  `Oplog` 方式说明

因 `Oplog` 在一定程序上侵入 `DB` （运维）边界和权限。  
但此工具编写的目的是为了同步数据，亦是运维内部的一部分任务。  
给每个 database 指定 user 权限，确保单点工具操作拥有对应权限的数据进行同步。

[5 ways to synchronize data from MongoDb to ElasticSearch]: https://www.linkedin.com/pulse/5-way-sync-data-from-mongodb-es-kai-hao