网站用户行为分析项目之会话切割（五）=> 切割会话代码重构

痛定思痛。 2021-09-23 14:56 252阅读 0赞

### 文章目录 ###

*  0x00 文章内容
 *  0x01 封装会话切割代码
 *   *   *   *   *  1. 抽离切割会话代码成方法
                 *  2. 抽离切割会话方法成接口
                 *  3. 校验结果
 *  0x02 封装会话切割逻辑
 *   *   *   *   *  1. 抽离会话切割
                 *  2. 校验结果
 *  0xFF 总结

# 0x00 文章内容 #

1.  封装会话切割代码
2.  封装会话切割逻辑

当前情况回顾，上一篇文章中我们已经实现了将输出代码重构成了一个接口组件，以达到可以选择输出TextFile格式文件或者Parquet格式文件。

现在，我们回去看一下`OneUserTrackerLogsProcessor`里面的代码，里面写了两个逻辑：会话切割、生成会话，而且代码也比较长，代码写在一起还不好维护，于是我们也将代码抽象出去。

# 0x01 封装会话切割代码 #

##### 1. 抽离切割会话代码成方法 #####

a. 当前`OneUserTrackerLogsProcessor`代码

package com.shaonaiyi.session
    
    import java.net.URL
    import java.util.UUID
    
    import com.shaonaiyi.spark.session.{ TrackerLog, TrackerSession}
    import org.apache.commons.lang3.time.FastDateFormat
    
    import scala.collection.mutable.ArrayBuffer
    
    /** * @Auther: shaonaiyi@163.com * @Date: 2019/12/14 20:38 * @Description: 转化每个user的trackerLogs为trackerSession */
    class OneUserTrackerLogsProcessor(trackerLogs: Array[TrackerLog]) { 
    
      private val sortedTrackerLogs = trackerLogs.sortBy(trackerLog => trackerLog.getLogServerTime.toString)
    
      private val dateFormat = FastDateFormat.getInstance("yyyy-MM-dd HH:mm:ss")
      //1、会话切割
      val oneCuttingSessionLogs = new ArrayBuffer[TrackerLog]()   //存放正在切割会话的所有日志
      val initBuilder = ArrayBuffer.newBuilder[ArrayBuffer[TrackerLog]]   //存放切割完的会话的所有日志
    
      def buildSessions(domainLabelMap:Map[String, String]) : ArrayBuffer[TrackerSession] = { 
    
        val cuttedSessionLogsResult = sortedTrackerLogs.foldLeft((initBuilder, Option.empty[TrackerLog])) {  case ((builder, preLog), currLog) =>
    
          val currLogTime = dateFormat.parse(currLog.getLogServerTime.toString).getTime
    
          if (preLog.nonEmpty &&
            currLogTime - dateFormat.parse(preLog.get.getLogServerTime.toString).getTime >= 30 * 60 * 1000) { 
    
            //切割成新的会话
            builder += oneCuttingSessionLogs.clone()
            oneCuttingSessionLogs.clear()
          }
          oneCuttingSessionLogs += currLog
    
          (builder, Some(currLog))
        }._1.result()
    
        if (oneCuttingSessionLogs.nonEmpty) { 
          cuttedSessionLogsResult += oneCuttingSessionLogs
        }
    
        //2、生成会话
        cuttedSessionLogsResult.map {  case sessionLogs =>
            val session = new TrackerSession()
            session.setSessionId(UUID.randomUUID().toString)
            session.setSessionServerTime(sessionLogs.head.getLogServerTime)
            session.setCookie(sessionLogs.head.getCookie)
    
            session.setIp(sessionLogs.head.getIp)
            val pageviewLogs = sessionLogs.filter(_.getLogType.toString.equals("pageview"))
    
            if(pageviewLogs.length == 0) { 
              session.setLandingUrl("-")
            } else { 
              session.setLandingUrl(pageviewLogs.head.getUrl)
            }
            session.setPageviewCount(pageviewLogs.length)
    
            val clickLogs = sessionLogs.filter(_.getLogType.toString.equals("click"))
            session.setClickCount(clickLogs.length)
    
          if (pageviewLogs.length == 0) { 
            session.setDomain("-")
          } else { 
            val url = new URL(pageviewLogs.head.getUrl.toString)
            session.setDomain(url.getHost)
          }
    
          val domainLabel = domainLabelMap.getOrElse(session.getDomain.toString, "-")
          session.setDomainLabel(domainLabel)
    
          session
        }
    
      }
    
    }

内容很多，我们需要将其进行拆分。

在拆分之前，我们先将此两行代码放进`buildSessions`方法里

//1、会话切割
        val oneCuttingSessionLogs = new ArrayBuffer[TrackerLog]()   //存放正在切割会话的所有日志
        val initBuilder = ArrayBuffer.newBuilder[ArrayBuffer[TrackerLog]]   //存放切割完的会话的所有日志

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70]

b. 抽离成切割会话方法

结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 2]  
c. 现在虽然抽离成了一个单独的方法，但是，我们的生成规则可能是会发现变化的，到时候维护起来又特别麻烦。所以，我们可以再进一步优化，将方法抽离成Trait。

##### 2. 抽离切割会话方法成接口 #####

a. 新建`SessionGenerator`类，类型为Trait

将cutSessions方法剪切进去，因为cutSessions方法需要给其他类调用，所以此时private应该删掉，而且，此处需要用到`sortedTrackerLogs`，我们可以用参数传进来。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 3]  
而且，dateFormat也要用到，也要剪切进来：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 4]  
b. 修改`OneUserTrackerLogsProcessor`，使其继承`SessionGenerator`，当然，cutSessions方法也要传参数进来。如图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 5]

##### 3. 校验结果 #####

a. 此时重新执行，没有报错，也能得到相应的结果。

# 0x02 封装会话切割逻辑 #

##### 1. 抽离会话切割 #####

**场景分析**：我们已经实验了按每30分钟就切割一个会话的逻辑，但实际工作中，我们的切割会话的方式可能会发现改变，比如我们可能会按`pageview`来切割，比如说按停留界面的时间，比如说按`click`事件等等。如果变一次就修改代码，这工作量就很大，所以我们跟前面一样，我们将逻辑抽离出来适配，**此处以按pageview来切割为例**。

a. 编写按pageview进行会话的切割，我们在`SessionGenerator`接口下面编写pageview逻辑，继承`SessionGenerator`

/** * 按照pageview进行会话的切割 */
    trait PageViewSessionGenerator extends SessionGenerator { 
    
      override def cutSessions(sortedTrackerLogs: Array[TrackerLog]): ArrayBuffer[ArrayBuffer[TrackerLog]] = { 
        val oneCuttingSessionLogs = new ArrayBuffer[TrackerLog]() // 用于存放正在切割会话的所有的日志
        val initBuilder = ArrayBuffer.newBuilder[ArrayBuffer[TrackerLog]] // 用于存放切割完的会话所有的日志
        val cuttedSessionLogsResult: ArrayBuffer[ArrayBuffer[TrackerLog]] =
          sortedTrackerLogs.foldLeft(initBuilder) {  case (builder, currLog) =>
            // 如果当前的log是pageview的话，那么切割会话
            if (currLog.getLogType.toString.equals("pageview") && oneCuttingSessionLogs.nonEmpty) { 
              // 切割成一个新的会话
              builder += oneCuttingSessionLogs.clone()
              oneCuttingSessionLogs.clear()
            }
            // 把当前的log放到当前的会话里面
            oneCuttingSessionLogs += currLog
            builder
          }.result()
        // 最后的会话
        if (oneCuttingSessionLogs.nonEmpty) { 
          cuttedSessionLogsResult += oneCuttingSessionLogs
        }
        cuttedSessionLogsResult
      }
    }

代码分析：代码与前面大同小异，需要注意的我们现在已经不需要进行日志比较时间了，所以初始参数需要删掉，并且要修改返回的结果，只返回builder。

b. 修改`SessionCutETL`，选择调用`PageviewSessionGenerator`

PS：加上`with PageviewSessionGenerator`表示调用

//处理每个user的日志
          val processor = new OneUserTrackerLogsProcessor(iter.toArray) with PageviewSessionGenerator

##### 2. 校验结果 #####

a. 为了方便观察，将保存类型修改为`textfile`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 6]  
b. 执行结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 7]  
这里的结果是5个会话，因为有5个pageview日志。如果不是按pageview来切割，是3个。此处的`PageviewSessionGenerator`规则是直接修改代码，其实也可以写一个专门的接口来适配，通过前端所传送过来的数据，选择对应的规则切割。

# 0xFF 总结 #

1.  本文章进行会话切割代码的重构，提高代码的质量。
2.  文章 => [邵奈一的技术博客导航][Link 1] ：查看用户行为分析项目的其他教程。

--------------------

**福利：**  
[邵奈一的技术博客导航][Link 1]  
[邵奈一][CSDN] 原创不易，如转载请标明出处。

--------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70]: /images/20210923/36ef3197497140a0a12eb1024c237480.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 1]: /images/20210923/996fef5a6a4c4b109dae9274d27ed366.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 2]: /images/20210923/9acc0d5aa1b148569fcbf9f9372f9e50.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 3]: /images/20210923/7bdb22273db44df5b943e6b02032639c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 4]: /images/20210923/bf6c3d8d9cd94ea997d81f9a91c38b10.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 5]: /images/20210923/f5f39efda2e9437b9f7b2365c38cf5dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 6]: /images/20210923/f06cb346df1743e183e808aab75bd05b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg_size_16_color_FFFFFF_t_70 7]: /images/20210923/7d3c1d100e7b4af796b0a87cd04f603b.png
[Link 1]: https://blog.csdn.net/shaock2018/article/details/89349249
[Link 2]: https://blog.csdn.net/shaock2018/article/details/91184254
[Link 3]: https://img-blog.csdnimg.cn/20190608000417972.jpeg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW9jazIwMTg=,size_16,color_FFFFFF,t_70
[Link 4]: https://img-blog.csdnimg.cn/20190514084602748.png
[Link 5]: https://weibo.com/5680168183/
[CSDN]: https://blog.csdn.net/shaock2018
[Link 6]: https://www.jianshu.com/u/6f033c6a3b90