关于网友关注网站内容的关联度分析方面的思考

淡淡的烟草味﹌ 2022-09-19 15:23 156阅读 0赞

最近关于数据挖掘方面的操作过程当中，碰到了如标题所说的那样寻求用户的关注情况数据挖掘分析。

首先我把简单的图片放上来：

[![544eda22020019aw][]][544eda22020019aw 1]

这样的数据挖掘模型建立的目标是要对公司商务人员给一个很好数据挖掘决策支持，数据来源是网络访问用产生的游客朋友们的历史记录。

说到数据挖掘，肯定会是海量数据了。对海量数据的数据挖掘能力我通过sql server 2005 做了一些测试，不如我想象的那么好。

不管怎样，我要对这个模型的建立要有验证过程。我用某网站的按天留下来的用户访问日志上（大概一天有上百万条记录），建立一个如上图所示完整流程。

\[1\]游客：网站上访问的用户，给他们一个唯一的cookie id标示；

\[2\] 用户访问Weblog日志记录：通用的方式，使用javascript嵌套。能和其他系统独立，又能独立出挖掘系统的夸网站采集过程；

\[3\] 获取url对应的主要关键词：对网页的关键词提取方式有很多种算法，我在测试的时候，使用了一个特殊化处理方式，简化的算法，提高准确度。

\[4\] 获取用户一段时间内关注的关键词：从\[1\]、\[2\]、\[3\]关联上能够得到每一个cookie id 关注的关键词排序（kw1(29次关注) 、kw2（23次）、kw3（10次）、。。。kwn）。

表格形式：

userKeyword( id ,userid, keyword ,accesscount)(嵌套表)

当然，要有一个用户在一段时间内关注的用户记录表

userlog(id ,cookieid ,accesstime )(主表)

\[5\] 清理数据：对于当前情况来看，用户这段时间很好浏览，或者少于4次（自控控制这个参数），视为挖掘模型中的无效数据，清理相关数据。用户浏览太多，或者大于100（自行定义），视为一端时间异常情况，抛出清理相关数据。没有cookieid的无法做关联用户操作，清理这些相关数据。这就是一项很有意义，且不可获取的洗礼工作了。

\[6\] 进入关联度分析模型：关联度分析模型在数据挖掘当中基本模型，很好建立。我用SQL Server Business Intelligence Development Studio执行这个操作，生成的cube。

\[7\] 关联分析结果数据导入到关系型数据库：从\[6\] cube 中，通过mdx query做了循环访问，并把数据填写到关系型数据表格当中。

\[8\] 查看用户关注的关键词关联度数据：对于已经存在关系表格数据，查询几乎是每一个程序擅长的事情了。

通过上面的流程，做一个比较简单的用户访问次数上关注的关键词进行了分析挖掘，得到用户关注关键词之间的关联度情况数据。

[544eda22020019aw]: /images/20220828/6182117a7e444ac98f194d5378877230.png
[544eda22020019aw 1]: http://blog.sina.com.cn/main/html/showpic.html#url=http://s9.album.sina.com.cn/pic/544eda22020019aw

发表评论取消回复

表情：

评论列表（有 0 条评论，156人围观）

还没有评论，来说两句吧...

相关阅读

相关数据方面的思考（一个值得思考的问题）：数据差异化

今日在一个问题与同事上产生了分歧，起因很简单。两个大屏展示的同一个指标数据对不上，从同事的角度上来说，两个大屏的数据要对上，但是我不这么看。事件的过程： 1.两个大屏

女爷i/ 2024年03月23日 19:40/ 0 赞/ 53 阅读

相关关于大型网站技术演进的思考--存储的瓶颈。

此文为转载文章，作者是博客园的博主：[夏天的森林][Link 1]。 [存储的瓶颈（一）][Link 2] [存储的瓶颈（二）][Link 3]

以你之姓@/ 2024年02月18日 21:04/ 0 赞/ 45 阅读

相关关于Hibernate Validator在应用场景方面的一点思考

个人觉得：Hibernate Validator只适用于校验逻辑比较简单的场景，对于校验逻辑非常复杂的情况，建议还是老老实实写代码去处理。比如说，只需要对每个字段做独立校验、对

朱雀/ 2023年10月05日 21:44/ 0 赞/ 31 阅读

相关关于执行的思考

方法论的实施，贯穿于软件开发的整个过程。实施的关键在于执行，而执行由很多琐碎的活动组成。在软件开发实践中，执行应该被放到一个完整的体系环境中去考虑，单纯强调执行本身，是无法解决

Love The Way You Lie/ 2022年10月02日 05:44/ 0 赞/ 256 阅读

相关关于管理方面的感受

我作为一名公司的最底层员工，代码工人，我想我很清楚领导的那些做法让员工不高兴 1，作为开发组长的话，对组员的分工一定要明确，不要模棱两颗，那样谁都不会去做 2，过节的时

浅浅的花香味﹌/ 2022年09月20日 11:16/ 0 赞/ 166 阅读

相关关于网友关注网站内容的关联度分析方面的思考

最近关于数据挖掘方面的操作过程当中，碰到了如标题所说的那样寻求用户的关注情况数据挖掘分析。首先我把简单的图片放上来： [![544eda22020019a

淡淡的烟草味﹌/ 2022年09月19日 15:23/ 0 赞/ 157 阅读

相关产品研发过程方面的思考

我在软件公司还是网站运营公司里，都有产品开发项目。当然，让一个公司有活力，就像泉水一样不断涌溢着财富，那产品就起到这个作用。很多有产品开发过程方面教

超、凢脫俗/ 2022年09月19日 15:23/ 0 赞/ 220 阅读

相关关于网站用户分析方面的要点汇总

在很长一段时间关注用户行为分析方面的理论知识和实践之后，自觉需要对行为方面进行总结归纳。用户行为分析实践过程中其实很不好确定哪一个理论比较正确或者比较

待我称王封你为后i/ 2022年08月25日 14:00/ 0 赞/ 199 阅读

相关关于职业的思考

这些天，或者说自从我从研究所辞职以来的这七个月，不论是我从最初面试的创业型的企业，还是我去面试的传统互联网行业的公司，在与他们进行交谈的时候，我都在一直审视自己，我想要的是什么

﹏ヽ暗。殇╰゛Y/ 2022年08月20日 08:15/ 0 赞/ 263 阅读

相关关于管理方面的感受

我作为一名公司的最底层员工，代码工人，我想我很清楚领导的那些做法让员工不高兴 1，作为开发组长的话，对组员的分工一定要明确，不要模棱两颗，那样谁都不会去做 2，过节的时

╰半夏微凉°/ 2022年05月11日 12:18/ 0 赞/ 194 阅读