mysql处理批量推送任务时候_python使用happybase批量的操作hbase

我不是女神ヾ 2022-10-31 12:27 98阅读 0赞

最近在跑任务的回溯，发现有时候，速度会很慢 ，一开始确定到了 是hbase就起了一个公用的thrift，大家最近也都在导数据，搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务，每个业务用自己的接口，这样能稳定了不少。 既然问题已经到这里了，

最近在跑任务的回溯，发现有时候，速度会很慢 ，一开始确定到了 是hbase就起了一个公用的thrift，大家最近也都在导数据，搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务，每个业务用自己的接口，这样能稳定了不少。

既然问题已经到这里了，就要想方设法介绍链接和频繁的获取数据，回溯任务会涉及到两个批量的任务，一个是hbase的获取网页信息的，另一个是把信息推送到

redis分析队列里面。 关于redis的长连接和批量操作已经完成，现在要改hbase的批量操作。

看了下happybase的文档， 一个是rows ，也就是数据的批量的get，还有一个是batch，这个是批量的操作，类似一个操作链条，相当于我把一系列的动作放到list里面，然后一次性的推到thrift执行。。

from buzz.lib.hbase import hb

\#xiaorui.cc

list = \['fffec611be1150a3c6ec47d16243170f',

'fffec64d36e2afb9c801f533555e03d8',

'ffffc8f782fc44d53a05a090b175f7f8',

'ffffcd05483697128e426ac9a5882d4d',

'ffffef6a5889cecfd67e49c4b0a0e3ab',

'fffff003b4e8328a002a09140afdf662',

'fffff0503298c2e8acfa2146f5028f76',

'fffff09d26c34af9e9286b7cfd4354d6',

'fffff0d15acad09af4392520cbb496a5',

'fffff10b7c949bee275d6ee5f2c411c6',

'fffff15c658b773719f6c6482c03c6fe',

'fffff16d18f5fd8ae5a8dfe84ef43b63',

'fffffb9285cb2b875276061bc808a23c',

'fffffbb06b87214a6aad714e86d69d31',

'fffffbb17d235d16ad041992699eba4b',

'fffffbb495afa6cb5e9decd909ff4026',

'fffffbc24f6db511617fb5a1905f1597',

'fffffbcbe880e4cb270dd268e237fc96',

'fffffc499edcbda7a38adf10840c3a6f',

'fffffe66fe54cc66918fa59dd7914841',

'fffffe9249c4c260277884fb5ece92ad',

'fffffe9d05f6cd2d760270947085e970',

'ffffff2b4089a09756bb85b181f9f718',

'ffffffed28fd8493e9dbbe60a3123af3'\]

print len(list)

for i in list:

print i

hb.get(i, False)

print 'many get'

table = hb.get\_table()

columns = \['bz:url', 'src:html'\]

row = table.rows(list, columns=columns)

happybase 不管是文档还是对于一些异常的处理都要比原生的thrift python api 要强的。

这里在放一个happybase的小demo ，供大家学习。

import happybase

connection = happybase.Connection('h11', compat='0.90')

connection.open()

print connection.tables()

''' connection.create\_table(

'mytable',

\{'cf1': dict(max\_versions=10),

'cf2': dict(max\_versions=1, block\_cache\_enabled=False),

'cf3': dict(), \# use defaults

\}

)'''

table = connection.table('test')

row = table.row('row1', columns=\['data:1'\])

print row\['data:1'\]

for key, data in table.scan():

print key, data

connection.close()

发表评论取消回复

表情：

评论列表（有 0 条评论，98人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python批量处理Excel文件之删除操作

批量删除多个Excel文件中的同一指定行场景：在文件夹数据资料中，有多个Excel文件，每个Excel文件的格式相同，如下图所示： ![2019090721471...

深藏阁楼爱情的钟/ 2024年04月18日 14:17/ 0 赞/ 38 阅读

相关使用Python实现对word的批量操作

Python在平时写写小工具真是方便快捷，Pyhon大法好。以下所有代码都是找了好多网上的大佬分享的代码按照自己的需求改的。调用的库为Python-docx、win32co

水深无声/ 2023年09月24日 13:03/ 0 赞/ 25 阅读

相关 python使用happybase库操作hbase

若想深入理解Hbase的系统架构，推荐：https://www.jianshu.com/p/479bc6308381 happybase官方文档：https://happyb

爱被打了一巴掌/ 2022年12月15日 14:19/ 0 赞/ 362 阅读

相关 mysql处理批量推送任务时候_python使用happybase批量的操作hbase

最近在跑任务的回溯，发现有时候，速度会很慢，一开始确定到了是hbase就起了一个公用的thrift，大家最近也都在导数据，搞得thrift总是挂掉。后来在集群中的其他h

我不是女神ヾ/ 2022年10月31日 12:27/ 0 赞/ 99 阅读

相关使用ThreadPool批量处理任务

multiprocessing提供了一个线程池的工具，可以供使用者进行批量处理任务比如下面一个例子，就是使用这个批量打印路径 from multiprocess

约定不等于承诺〃/ 2022年10月09日 12:11/ 0 赞/ 76 阅读

相关 MyBatis批量操作(mysql)

mybatis批处理的思路是将多条sql合并为1条sql执行，提高效率。 1：批量删除以数组为例的写法： <delete id="batchDeleteGrou

分手后的思念是犯贱/ 2022年06月08日 23:38/ 0 赞/ 224 阅读

相关 python ssh批量操作

笔者身为linux系统运维人员，很多时候需要对多台服务器进行相同的操作。原来使用的办法： 1. 写一个vbs脚本 2. 用SecureCRT登陆到管理机 3. 在Se

墨蓝/ 2022年04月23日 10:44/ 0 赞/ 248 阅读

相关 python批量处理ppt

coding:utf-8 import win32com from win32com.client import Dispatch, constants

柔光的暖阳◎/ 2022年04月16日 03:17/ 0 赞/ 151 阅读

相关 Hbase批量导入&批量删除

Hi：小明：sir，我遇见一个需求，根据42万手机号码段生产全量的手机号。大牛：what，那岂不是要生成42亿多手机号。小

刺骨的言语ヽ痛彻心扉/ 2022年02月25日 07:36/ 0 赞/ 502 阅读

相关 MySQL批量操作

Mybatisd对MySQL批量插入、批量更新及批量删除语句 [https://yq.aliyun.com/articles/667282?utm\_content=m\_1

蔚落/ 2021年11月22日 09:10/ 0 赞/ 312 阅读