【项目杂记】实现 PV、UV、IP 小时统计

偏执的太偏执、 2022-10-29 15:26 348阅读 0赞

在[上一篇][Link 1]文章我们实现了 PV、UV、IP 每日的统计，但是管理还要求各小时的曲线图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center]

有了之前的日统计作为铺垫，时统计的实现就好想了。同样是先存在 redis 中，然后每日凌晨落库

public abstract class WebsiteByHourRedisRole {
        
    	// PV 时统计的 redis key
        public static final String PREFIX_KEY_PV = "webByHour:pv";
    	// UV 时统计的 redis key
        public static final String PREFIX_KEY_UV = "webByHour:uv";
    	// IP 时统计的 redis key
        public static final String PREFIX_KEY_IP = "webByHour:ip";
    }

这三个 key 我们在 redis 中采用的结构是 map

*  map 的 key 是小时，相当于最多会有 24 个 key
 *  map 的 value 是次数

在数据库中我们新建一张表 website\_detail，保存的是 map 转成的 json 串

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 1]

### 1.按小时计数 ###

我们创建一个 WebsiteDetailService，然后写一个 insertByHour() 方法

@Autowired
    private StringRedisTemplate redisTemplate;
    
    @Autowired
    private WebsiteDetailDao websiteDetailDao;
    
    private static final String HOUR_KEY = "webByHour:*";
    
    @Override
    public void insertByHour(String key) {
        
        // 拿到 key 对应的 map
        BoundHashOperations<String, Object, Object> hashOps = this.redisTemplate.boundHashOps(key);
        // map 的 key 是当前小时数
        String format = new SimpleDateFormat("HH").format(new Date());
        // 如果 map 中已经记录了当前小时，那么将计数++
        if(hashOps.hasKey(format)){
        
            Integer count = Integer.parseInt(hashOps.get(format).toString());
            count++;
            hashOps.put(format,count.toString());
        // 如果 map 中未记录当前小时，则初始化为 1
        }else {
        
            hashOps.put(format,"1");
        }
    }

然后，我们在之前的三个拦截器都注入 WebSiteDetailService，然后在 insertVisit() 后面都添加上 insertByHour()

![在这里插入图片描述][20210216030939886.png_pic_center]

![在这里插入图片描述][20210216030947351.png_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 2]

这里再特别说一下 IpInterceptor，因为在做日统计时，redis 中存的是 Set 集合，保存的全部 IP，然后落库的是 Set 的 size。这里直接将 insertByHour() 添加到 insertRomteIp() 并没有问题，因为已经判断过了当前 IP 之前并未访问过服务器。

### 2.按日落库 ###

跟之前按日统计一样，这里也是通过 Quartz 来时现定时任务，也是每天的 23:59:59 将数据落库

1）QuartzJobBean

@Component
    public class WebsiteByHourTask extends QuartzJobBean {
        
    
        @Autowired
        private StringRedisTemplate redisTemplate;
    
        @Autowired
        private WebsiteDetailService websiteDetailService;
    
        private static final String KEY = "webByHour:*";
    
        @Override
        protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
        
            // 模糊匹配
            Set<String> keys = this.redisTemplate.keys(KEY);
            if(CollectionUtils.isEmpty(keys)){
        
                return;
            }
            // 将 key 对应的 map 以 JSON 的形式保存到数据库
            this.websiteDetailService.insertJsonToDB(keys);
            // 删除这些 key
            keys.forEach(k->{
        
                this.redisTemplate.delete(k);
            });
        }
    }

WebsiteDetailService\#insertJsonToDB()

@Override
    public void insertJsonToDB(Set<String> keys) {
        
        // <key, json>
        Map<String,String> map = new HashMap<>();
        keys.forEach(k->{
        
            // 获取 key 对应的 map
            BoundHashOperations<String, Object, Object> hashOps = this.redisTemplate.boundHashOps(k);
            Map<Object, Object> entries = hashOps.entries();
            // 将 map 的转为 json 串
            String json = JSON.toJSONString(entries);
            map.put(k,json);
        });
    
        // 构建 webSiteDetail
        WebsiteDetail websiteDetail = new WebsiteDetail();
        websiteDetail.setPv(map.get(WebsiteByHourRedisRole.PREFIX_KEY_PV));
        websiteDetail.setUv(map.get(WebsiteByHourRedisRole.PREFIX_KEY_UV));
        websiteDetail.setIp(map.get(WebsiteByHourRedisRole.PREFIX_KEY_IP));
    
        // 当日时间
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd");
        String format = simpleDateFormat.format(new Date());
        try {
        
            websiteDetail.setSchedule(simpleDateFormat.parse(format));
        } catch (ParseException e) {
        
            e.printStackTrace();
        }
        
        // 落库
        this.websiteDetailDao.insertSelective(websiteDetail);
    }

2）定时执行

@Bean
    /**
     * 创建 JOB
     */
    public JobDetail websiteByHourTask(){
        
        return JobBuilder.newJob(WebsiteByHourTask.class).withIdentity("websiteByHourTask").storeDurably().build();
    }
    
    @Bean
    /**
     * 定时执行
     */
    public Trigger websiteByHourTaskTrigger(){
        
        return TriggerBuilder.newTrigger().forJob(websiteByHourTask())
                .withIdentity("websiteByHourTask") // task
                .withSchedule(CronScheduleBuilder.cronSchedule("0 59 23 * * ? *")) // cron 表达式
                .build();
    }

[Link 1]: https://blog.csdn.net/weixin_43935927/article/details/113821594
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221024/a62752dd59014237b140afaa14f1d2f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221024/715e677c2c514acfbe87c81e818d8498.png
[20210216030939886.png_pic_center]: /images/20221024/5e35467ddb78446da9db20f5a9ca833c.png
[20210216030947351.png_pic_center]: /images/20221024/7f3eec2e8ddf4075b6283fd61d17d9c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221024/6efb80510d154b56bccabeaf6c401e5a.png