Hive对Weblog数据分析，测试

待我称王封你为后i 2022-06-11 23:20 109阅读 0赞

在应用Hive之前，首先搭建Hive环境，关于Hive的搭建 参考之前的搭建文档

[http://blog.csdn.net/liulihui1988/article/details/74351532][http_blog.csdn.net_liulihui1988_article_details_74351532]

## Hive分析Tomcat日志数据 ##

*  localhost\_access\_log.2017-07-07.txt 数据格式

![这里写图片描述][SouthEast]

由于 localhost\_access\_log.2017-07-07.txt 数据格式是可定制的，需要正则表达式，

*  创建对应的log\_emp表结构

CREATE TABLE log_emp ( host STRING, identity STRING, user STRING, time STRING, request STRING, status STRING, size STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' WITH SERDEPROPERTIES ( "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) (\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)" ) STORED AS TEXTFILE;

生成log\_emp表成功

![这里写图片描述][SouthEast 1]

*  导入 提供 正则表达式 的jar包

hive> add jar /usr/local/hiv/lib/hive-contrib-0.13.1.jar

执行命令 select 查询

hive>  select * from log_emp where request like 'GET /%HTTP%';

![这里写图片描述][SouthEast 2]

测试完成

[http_blog.csdn.net_liulihui1988_article_details_74351532]: http://blog.csdn.net/liulihui1988/article/details/74351532
[SouthEast]: /images/20220612/caab0fe573934eba83eb60f0d9db7faf.png
[SouthEast 1]: /images/20220612/7f36a794b3f54090b6c5d4f6a4f49a39.png
[SouthEast 2]: /images/20220612/6c10308e5eb44f25a92faaa61e16681a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，109人围观）

还没有评论，来说两句吧...

相关阅读

相关【分析思路】测试数据分析思路

测试数据分析思路：性能数据对性能测试数据进行分析时，可以从以下几个维度进行比较：响应时间（Response Time）：分析每一天的响应时间数据，可以

一时失言乱红尘/ 2024年02月19日 10:42/ 0 赞/ 85 阅读

相关【Hive-Hive写入数据压测】使用hive-testbench对Hive的写入数据进行压测

【Hive-Hive写入数据压测】使用hive-testbench对Hive的写入数据进行压测 1）前言 1.1.hive-testbench介绍

男娘i/ 2023年10月08日 19:32/ 0 赞/ 27 阅读

相关 hive on spark: 数据统计分析

1, 需求分析数据源/数据格式　: 某医院的hbase表–> 映射hive 外表–> 使用hive函数分析数据 person_name oper_c

水深无声/ 2023年05月31日 02:42/ 0 赞/ 31 阅读

相关作业4-8-22：Hive数据分析

1. 查询前10条记录 2. 查询用户不重复的加购商品的记录条数 3. 统计每月的用户不重复的购买商品的记录条数 4. 统计除id字段其他所有字段不重复的记录条数 5.

小鱼儿/ 2022年11月17日 05:20/ 0 赞/ 14 阅读

相关 hive安装测试及Hive 元数据的三种存储方式

一 hive安装测试 1、下载解压 tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz）将解压后的hive-0

布满荆棘的人生/ 2022年08月26日 08:37/ 0 赞/ 243 阅读

相关对weblogic一些量化的认识

最近分析了很多的OOM的dump文件，对于weblogic又有了一些认识（只是对于我们的系统）： 1.线程数量，130 - 178 ，最大的有达到350，

阳光穿透心脏的1/2处/ 2022年08月21日 06:45/ 0 赞/ 191 阅读

相关 weblogic 常见thread dump分析

weblogic空闲进程，weblogic.work.ExecuteThread.waitForRequest表示在等待请求。备用线程,这些线程不需要处理当前请求被放入stan

电玩女神/ 2022年06月13日 01:18/ 0 赞/ 449 阅读

相关 Hive对Weblog数据分析，测试

在应用Hive之前，首先搭建Hive环境，关于Hive的搭建参考之前的搭建文档 [http://blog.csdn.net/liulihui1988/article/det

待我称王封你为后i/ 2022年06月11日 23:20/ 0 赞/ 110 阅读

相关 Hive表保存数据到Excel做数据比对

由于工作需要，将一些数据库要从hive中迁移到clickhouse中，迁移完成后需要核对数据。在此记录将hive中和clickhouse中两张表做数据对比时遇到的一些问题。

悠悠/ 2022年05月24日 08:05/ 0 赞/ 441 阅读

相关 hive 对json数据的处理

[hive 存储，解析，处理json数据][hive _json] hive 处理json数据总体来说有两个方向的路走 1、将json以字符串的方式整个入Hive表，

ゝ一纸荒年。/ 2022年05月21日 05:48/ 0 赞/ 554 阅读