[推荐 ]druid 架构理解

灰太狼 2021-12-13 00:09 230阅读 0赞

在druid进行配置时，首先需要搞清楚druid的整体架构、节点等概念，这对于后续各节点配置有更好的作用，druid整体架构如下：

![70][]

（1）broker Nodes：对于Historical Nodes和Real-time Nodes来说作用是查询路由，所有的客户端请求都会发送到Broker Nodes中，该节点知道在zookeeper之上的segments信息，哪些segments是可查询的和这些segments存储在什么位置，最后该节点会merge来自Historical Nodes 和Real-time Nodes的查询结果，反馈给客户端，此外该节点还提供缓存的功能，它会缓存查询结构，如果后续查询hit 缓存，则只会去Historical 和Real-time Nodes去查询。

（2）Real-time Nodes:实时节点，实时ingest摄取数据，并可提供立即查询，该节点只关注较小时间范围内的数据，它会周期性的将接受到的stream 流数据落盘（hand off ），通过zookeeper与其他节点进行协调，它内部为将要摄取的Stream 流数据提供了一个基于内存的Buffer，为了避免内存溢出，会周期性或者达到最大数据量时将数据落盘。

（3）Historical Nodes:历史查询节点，只负责从Deep Storage中加载数据，删除数据，并对加载到内存中数据提供查询功能，通过zookeeper上报状态，并且接受来自zookeeper的指令，包括加载（load）和删除（drop）segments,并保存着Deep Storage中segments中的存储信息，知道如何解压缩和处理segments.

（4）Coordinate Nodes:主要负责分布在Historical Nodes节点之上数据的管理，它通过zookeeper告知Historical Nodes 去Load 新的segments 和drop 过期的segments,并保持真个cluster 的运行的balance。

（5） MySQL: 主要存储druid 的元数据，主要包括segments元数据信息、rule table 信息，ingest task任务信息等。

![70 1][]

（6）zookeeper: 负责与各个节点进行协调和状态同步，并接受来自coordinate的指令（drop 、load），并存储druid 从Deep Storage中加载到内存中的segments信息，只有加载到内存，数据才是可查询的。

对于druid 在搭建的时候需要配置各个节点，主要包括，

![70 2][]

其中middelManager和overlord均属于Real-time Node节点范围，overlord负责接受来自客户端的supervisor的请求，创建supervisor，而middelManager负责根据supervisor创建实际的task任务，task任务负责从外部message bus中实时获取数据，每个节点都包括jvm.properites和runtime.properties配置。

（1） common configuration

minial 配置如下，主要包括zookeeper配置，deep storage配置，mysql配置以及比较重要的druid.indexer.logs.directory配置，该属性便于后续查看task的日志信息。

druid.extensions.loadList主要配置extensions的依赖，如果实时从kafka读取数据，需要“druid-kafka-indexing-service”，如果需要hdfs 存储，则需要“druid-hdfs-storage”，需要根据实际情况去配置。

\# Extensions  
\#

\# This is not the full list of Druid extensions, but common ones that people often use. You may need to change this list  
\# based on your particular setup.  
druid.extensions.loadList=\["mysql-metadata-storage", "druid-hdfs-storage","druid-kafka-indexing-service","kafka-emitter","druid-datasketches"\]

\# If you have a different version of Hadoop, place your Hadoop client jar files in your hadoop-dependencies directory  
\# and uncomment the line below to point to your directory.  
\#druid.extensions.hadoopDependenciesDir=/my/dir/hadoop-dependencies

\#  
\# Logging  
\#

\# Log all runtime properties on startup. Disable to avoid logging properties on startup:  
druid.startup.logging.logProperties=true

\#  
\# Zookeeper  
\#

druid.zk.service.host=10.1.1.84:2181,10.1.1.77:2181,10.1.1.182:2181  
druid.zk.paths.base=/druid

\#  
\# Metadata storage  
\#

\# For MySQL:  
druid.metadata.storage.type=mysql  
druid.metadata.storage.connector.connectURI=jdbc:mysql://xxxxxxxxxxxxxxxxxx:3306/druid  
druid.metadata.storage.connector.user=xxxx  
druid.metadata.storage.connector.password=xxxxx  
\#  
\# Deep storage  
\#

\# For local disk (only viable in a cluster if this is a network mount):  
druid.storage.type=local  
druid.storage.storageDirectory=/var/druid/segments

\# For HDFS (make sure to include the HDFS extension and that your Hadoop config files in the cp):  
\#druid.storage.type=hdfs  
\#druid.storage.storageDirectory=/druid/segments

\#  
\# Indexing service logs  
\#

\# For local disk (only viable in a cluster if this is a network mount):  
druid.indexer.logs.type=file  
druid.indexer.logs.directory=/var/druid/indexing-logs

\# For HDFS (make sure to include the HDFS extension and that your Hadoop config files in the cp):  
\#druid.indexer.logs.type=hdfs  
\#druid.indexer.logs.directory=/druid/indexing-logs  
\#  
\# Service discovery  
\#

druid.selectors.indexing.serviceName=druid/overlord  
druid.selectors.coordinator.serviceName=druid/coordinator

\#  
\# Monitoring  
\#

druid.monitoring.monitors=\["com.metamx.metrics.JvmMonitor"\]  
druid.emitter=composing  
druid.emitter.logging.logLevel=info  
  （2）Broker节点

jvm.properties:

![70 3][]

runtime.propertis

![70 4][]

其中druid.processing.buffer.sizeBytes \* (druid.processing.numThreads + 3)要小于此目录下jvm.config文件中MaxDirectMemorySize的值，否则启动不起来。

（2）coordinate

jvm.properties :

![70 5][]

runtime.properties:

![70 6][]

（3）historical configuration

jvm.properties;

![70 7][]

runtime.properties:

![70 8][]

druid.processing.buffer.sizeBytes \* (druid.processing.numThreads + 3)要小于此目录下jvm.config文件中MaxDirectMemorySize的值，否则启动不起来。

并可配置segments Cache的，以提高查询效率。

（4）overload configuration

jvm.properties:

![70 9][]

runtime.properties

![70 10][]

(5)middle manager

jvm.properties;

![70 11][]

该节点的堆大小可设置较少，其主要创建task ,由task进行创建peon进行数据的实时ingest.

runtime.propertis：

![70 12][]

其中，druid.worker.capacity主要配置可运行的task数量，task launch parameters主要用配置每个taskd的运行参数，并且

druid.processing.buffer.sizeBytes \* (druid.processing.numThreads + 3)要小每个任务线程所使用的内存 –Xmx

启动druid

1、进入到druid-0.10.0目录下，使用bin/overlord.sh start，bin/coordinator.sh start 等命令启动对应的overlord、coordinator等节点。整个集群中，为确保HA，需要启动两个overlord、两个middleManager、两个coordinator、两个broker、三个historical节点。每台服务器上执行相应的启动节点命令。  
2、验证：进入druid-0.10.0目录

①执行解压命令：

gzip -c -d quickstart/wikiticker-2015-09-12-sampled.json.gz > "quickstart/wikiticker-2015-09-12-sampled.json"  
②导入数据：  
 curl -X 'POST' -H 'Content-Type:application/json' -d @quickstart/wikiticker-index.json overlordip:host/druid/indexer/v1/task  
       //overlordip替换为overlord节点所在服务器ip  
   出现\{"task":"index\_hadoop\_wikiticker\_2018-02-07T02:23:25.718Z"\}说明导入成功  
③查询  
curl -L -H'Content-Type: application/json' -XPOST --data-binary @quickstart/wikiticker-top-pages.json http://brokerip:host/druid/v2/?pretty

//brokerip替换为broker节点所在服务器ip

返回查询结果说明集群无问题

[https://blog.csdn.net/xiaobai51509660/article/details/80741647][https_blog.csdn.net_xiaobai51509660_article_details_80741647]

[70]: /images/20211210/e2c4b76417de4db1a6b9ec3668172a08.png
[70 1]: /images/20211210/c0432f8ecc254ea985e5f12102b34ceb.png
[70 2]: /images/20211210/0897877e463f45d1aa00a3540bbf016d.png
[70 3]: /images/20211210/13d94c8b4adc47d4b9ce5e71fb936cbd.png
[70 4]: /images/20211210/ee3c48e0bdf846fdb2a4bccbff0dd4de.png
[70 5]: /images/20211210/445a31ff27624fb8a8a588108faad14d.png
[70 6]: /images/20211210/4a4b14f3c9e642ae8bc27f9116d1c460.png
[70 7]: /images/20211210/c34b50daeef8449cbab649fc89b30f58.png
[70 8]: /images/20211210/74b99d38d1774fbf8220ecad3d23f956.png
[70 9]: /images/20211210/1312511e7a904edabf91d87b0054f47f.png
[70 10]: /images/20211210/cbd65f3e138c4652b8c779bdc8eb5742.png
[70 11]: /images/20211210/c2ab097fb8da4d61b67a570f537f60eb.png
[70 12]: /images/20211210/ea6bb9bd81d74806a117c85966e8d14d.png
[https_blog.csdn.net_xiaobai51509660_article_details_80741647]: https://blog.csdn.net/xiaobai51509660/article/details/80741647