基于协同过滤算法的用户收集和过滤新闻资讯推荐平台（Java+SqlServer）

末蓝、 2023-10-16 16:21 10阅读 0赞

目 录  
摘 要 I  
ABSTRACT II  
目 录 III  
第一章 前言 1  
1.1 课题背景 1  
1.2 课题目的与意义 1  
1.3 本文研究的内容 2  
1.4 论文结构简介 2  
第二章 算法介绍 3  
2.1 算法背景 3  
2.2 算法分类及原理 3  
2.2.1 以用户为基础的协同过滤 4  
2.2.2 以物品为基础的协同过滤 4  
2.3 算法优缺点 4  
2.3.1 以用户为基础的协同过滤的优缺点： 4  
2.3.2 以物品为基础的协同过滤的优缺点： 5  
2.4 算法适用场景 5  
2.5 本章小结 5  
第三章 系统需求 7  
3.1 可行性分析 7  
3.1.1 经济可行性分析 7  
3.1.2 技术可行性分析 7  
3.1.3 社会可行性分析 8  
3.1.4 操作可行性分析 8  
3.2 用户需求说明 9  
3.3 用户界面需求 10  
3.4 管理需求说明 11  
3.5 系统数据模型分析 11  
3.6 系统数据流图 12  
3.7 本章小结 14  
第四章 系统概要设计 15  
4.1 模块设计 15  
4.1.1 模块划分 15  
4.1.2 功能模块图 15  
4.2 数据库设计 16  
4.2.1 数据库物理模型图 16  
4.2.2 数据库存储结构 17  
4.3 本章小结 18  
第五章 系统实现与测试 19  
5.1 系统实现说明 19  
5.2 代码结构 19  
5.2.1 代码结构介绍 19  
5.2.2 代码结构图 20  
5.3 系统实现 20  
5.3.1 推荐功能的实现 20  
5.3.2 爬虫的实现 22  
5.4 系统测试 25  
5.4.1 测试的目的与内容 25  
5.4.2 具体测试说明 25  
5.4.3 测试登录 26  
5.4.4 测试爬虫数据存储 27  
5.4.5 测试资讯相关功能 28  
5.4.6 测试推荐功能 32  
5.4.7 测试结论 34  
5.5 本章小结 34  
结 论 35  
参考文献 37  
致 谢 39  
附录A：全文图表索引 41  
附录B：部分核心代码 43  
第四章系统概要设计  
4.1模块设计  
按照模块的定义，过程、函数、子程序和宏以及面向对象中的对象、对象的属性等，都可以作为模块。本节主要是对整个Web网站的功能模块进行分析与设计，为的是使软件结构更加清晰，提高软件的可靠性、可重用性、可维护性以及可修改性。  
4.1.1模块划分  
在对本课题的需求进行分析以后，整个系统的功能模块主要包括：资讯模块、用户模块以及后台模块三个模块。  
1、资讯模块  
该模块的主要实现资讯获取、资讯展示、资讯推送、资讯搜索以及资讯发布等功能。该模块是整个网站的核心模块，其中资讯推送为重中之重，为整个网站的灵魂所在。整个模块主要负责为用户推送可能感兴趣的资讯、显示资讯列表以及对资讯进行展示。  
2.用户模块  
该模块主要是负责与用户相关的一些功能，其中包括用户注册、用户登录、以及用户的个人信息管理。资讯模块中的推送功能需要对用户的历史行为进行一个统计与分析，所以该模块在整个系统中也是不可或缺的存在。  
3.后台模块  
该模块主要负责网站后台的一些管理功能，如与资讯获取有关的爬虫设置；管理与资讯搜索有关的敏感词设置。该模块是客户与网站进行交互的主要模块。  
4.1.2功能模块图  
系统的功能模块图如图4.1所示，核心模块为资讯获取和资讯推荐部分，其中资讯推荐为整个系统中的重中之重。其中资讯获取部分主要是使用WebMagic框架实现的网络爬虫，用以从门户网站中自动获取新的资讯；资讯推荐部分主要使用协同算法  
![在这里插入图片描述][81d40a319bbc49a688cefb4223a423db.png]

图 4 .1功能模块图

<%@ page contentType="text/html;charset=utf-8" language="java"%>
    <html>
    	<head>
    		<%
    			String path = request.getContextPath();
    		%>
    		<meta http-equiv="content-type" content="text/html; charset=UTF-8">
    		<title>数据搜索</title>
    
    		<style type="text/css">
    .highlight {
        
    	background: yellow;
    	color: #CC0033;
    }
    
    #div2 {
        
    	text-align: left;
    	margin-top: 5px;
    	width: 900px;
    	border: 1px solid #ddd;
    	text-align: left;
    	font-size: 12px;
    }
    
    .history {
        
    	text-align: left;
    }
    
    .history span {
        
    	color: #363;
    	font-size: 12px;
    	margin-left: 10px;
    	float: left;
    }
    
    .a_link {
        
    	width: 30px;
    	line-height: 30px;
    	height: 30px;
    	border: 1px solid #CCC;
    	text-align: center;
    	display: block;
    	float: left;
    	cursor: pointer;
    	color: #333;
    	margin-left: 10px;
    }
    
    .a_link:hover {
        
    	background: #F2F2F2;
    }
    
    .a_cur {
        
    	background: #ffa405;
    	width: 30px;
    	line-height: 30px;
    	height: 30px;
    	border: 1px solid #fe8101;
    	text-align: center;
    	display: block;
    	float: left;
    	cursor: pointer;
    	color: #999;
    	margin-left: 10px;
    	text-decoration: none;
    }
    </style>
    		<script type="text/javascript" src="<%=path%>/js/jquery.js">
    </script>
    
    
    		<script type="text/javascript">
    $(function() {
        
    	getSearchHis();
    })
    var firstText = "";
    var len = 0;
    var total = 0;
    var curindex = 0;
    function searchfile(URL) {
        
    	var firstText = encodeURI(document.getElementById("checkText").value);
    	var url = "http://localhost:8080/WebLucene/lucene?checkText=" + firstText
    			+ "&t=" + new Date().getTime();
    	url += "&URL=" + URL;
    	var html = $.ajax( {
        
    		url : url,
    		async : false
    	}).responseText;
    	//alert(html);
    
    	if (html.replace(/(^\s*)|(\s*$)/g, "").length > 0) {
        
    		$("#div2").append("路径：C:\\luceneFile\\" + URL);
    		$("#div2").append('<br />');
    		len += 1;
    	}
    
    }
    //获取开始时间
    function showTime() {
        
    	d = new Date();
    	var s = "";
    	s += d.getYear() + "-";
    	s += (d.getMonth() + 1) + "-";
    	s += d.getDate() + " ";
    	s += d.getHours() + ":";
    	s += d.getMinutes() + ":";
    	s += d.getSeconds() + ":";
    	s += d.getMilliseconds();
    	return s;
    }
    
    function search100(index) {
        
    	if (document.getElementById("checkText").value == "") {
        
    		alert("请输入关键字！");
    		return;
    	}
    	var d1 = showTime();
    	$("#div3").html("");
    	var ln = "";
    	$
    			.getJSON(
    					"servlet/SearchKey?action=SearchKey&t="
    							+ new Date().getTime(),
    					{
        
    						keyword : encodeURI(document
    								.getElementById("checkText").value)
    					},
    					function(data) {
        
    						ln = data.length;
    						if (data.length > 0) {
        
    							var start = index * 3;
    							var end = Math.min(data.length, start + 3);
    							for ( var i = start; i < end; i++) {
        
    								var div = '<div class="b_context_box">';
    								div += ' <div class="div_title"><a target="_blank" style="color:#3366FF;text-decoration:underline;" href="'
    										+ data[i].link
    										+ '">'
    										+ data[i].title
    										+ '</a></div>'
    								div += ' <div class="div_content">' + data[i].content + '</div>'
    								div += '</div>';
    								$("#div3").append(div);
    								var ar = document.getElementById("checkText").value
    										.replace(/\s+/g, ' ').split(" ");
    								for ( var jj = 0; jj < ar.length; jj++) {
        
    									$("#div3").highlight(ar[jj]);
    								}
    
    							}
    							if (data.length > 3) {
        
    								var link = '<div style="padding:10px 0 0 10px;">';
    								var m = Math.ceil(data.length / 3);
    								for ( var i = 0; i < m; i++) {
        
    									if (index == i) {
        
    										link += '<a href="javascript:void(0);" οnclick="javascript:void(0);" class="a_cur">' + (i + 1) + '</a>';
    									} else {
        
    										link += '<a href="javascript:void(0);" οnclick="javascript:search100('
    												+ i
    												+ ');" class="a_link">'
    												+ (i + 1) + '</a>';
    									}
    								}
    								link += '<div>';
    								$("#div3").append(link);
    							}
    						}
    						var sjc = parseInt(d2
    								.substring(d2.lastIndexOf(':') + 1))
    								- parseInt(d1
    										.substring(d1.lastIndexOf(':') + 1));
    						$("#div2").html("搜索到:" + ln + " 条记录,用时:" + sjc + " 毫秒");
    
    						getSearchHis();
    
    					});
    	var d2 = showTime();
    
    }
    function getSearchHis() {
        
    	$.getJSON("servlet/SearchKey?action=Searchword&t=" + new Date().getTime(),
    			{
        }, function(json) {
        
    				var s = "";
    				for ( var i = 0; i < json.length; i++) {
        
    					s += "<span>" + json[i].KeyWord + "</span>";
    				}
    				$("#div_his").html(s);
    				//处理搜索历史关键字
    
    		});
    }
    </script>
    		<link rel="stylesheet" href="PublicStyle.css" type="text/css"></link>
    		<script type="text/javascript" src="js/jquery.js">
    </script>
    		<script type="text/javascript" src="js/jquery.highlight.js">
    </script>
    		<link rel="stylesheet" href="css.css" type="text/css"></link>
    	</head>
    
    	<body style="padding: 20px;">
    <a href='login.jsp' style='margin:20px'>登录</a>
    <style>
      .ss{
        
        font-weight: bold;
        color: #def;
        text-shadow: 0 0 1px currentColor,-1px -1px 1px #000,0 -1px 1px #000,1px -1px 1px #000,1px 0 1px #000,1px 1px 1px #000,0 1px 1px #000,-1px 1px 1px #000,-1px 0 1px #000;
      }
    </style>
    <h1 class="ss" style="width:600px;text-align: center;font-size:20px;">欢迎您的搜索</h1>
    
    		<div class="search_box head_search">
    		    
    			<div class="search_input left">
    				<input type="text" id="checkText" name="checkText" value=""
    					class="input_text ac_input" />
    			</div>
    			<div class="search_button right">
    				<input type="button" onClick="search100(0)"
    					class="input_button large_size" value="搜索" />
    			</div>
                
    			<div class="clearfix">
    			</div>
    		</div>
    
    		<div class="clearfix">
    		</div>
    		 
    		<fieldset
    			style="margin-left: 50px;margin-top:20px; border: 1px solid #CCC; width: 550px; padding: 4px;">
    			<legend>
    				搜索历史
    			</legend>
    			<div id="div_his" class="history"></div>
    		</fieldset>
    		<div id="div2"
    			style="line-height: 40px; margin-left: 50px; width: 550px; height: 40px; color: #F00; font-size: 24px;"></div>
    		<div id="div3"
    			style="margin-left: 50px; color: #666; font-size: 14px;"></div>
    
    
    	</body>
    </html>

![在这里插入图片描述][6316d7fa25004996a7013066b2d33cda.png_pic_center]  
![在这里插入图片描述][1dbfb8428fbd493ea389b069e53702b5.png_pic_center]  
![在这里插入图片描述][5e572dad7f364a489d2365e0a90f1751.png_pic_center]  
![在这里插入图片描述][50aff03b48eb43bfb799af47a2785d08.png_pic_center]  
![在这里插入图片描述][4e1097cab77943fdb18ed165088060d2.png_pic_center]  
![在这里插入图片描述][1391d28f0df8497386ba3593b3179e49.png_pic_center]  
![在这里插入图片描述][70076449ad83411a9d0a4cf7ec00636a.png_pic_center]  
![在这里插入图片描述][c90814b0c4b44c60a715812fcee24913.png_pic_center]  
![在这里插入图片描述][beea173192524da2a84058cf4dd268c0.png_pic_center]  
![在这里插入图片描述][11fec3221fb74851ad56129a4d7eb8c0.png_pic_center]  
![在这里插入图片描述][a050c466aa6d49039cb669476e0a1830.png_pic_center]  
![在这里插入图片描述][7655f1b6040e41df8f453b1c2ff4e2da.png_pic_center]  
![在这里插入图片描述][38f7d5c638dd4317be2f119c86bcf77d.png_pic_center]  
![在这里插入图片描述][d96067c370ae49e1b4aaee041705a8b0.png_pic_center]  
![在这里插入图片描述][0a72c66056414e8b89a2ff60e49a5fe0.png_pic_center]  
![在这里插入图片描述][97b33521a8e949bc9daced8182bbf9cd.png_pic_center]  
![在这里插入图片描述][f1da107379d440608d6cf397f523844b.png_pic_center]  
![在这里插入图片描述][466ccef0c1364857988c5e948c6c8bd1.png_pic_center]  
![在这里插入图片描述][7bc2bb91ab8449f78483d0730533f431.png_pic_center]  
![在这里插入图片描述][5904763dc466463b986364e16feead79.png_pic_center]  
![在这里插入图片描述][d0e567b64124473f96168b79ec8c5dc0.png_pic_center]  
![在这里插入图片描述][018c56848cc94e81804331cf8379f9d2.png_pic_center]  
![在这里插入图片描述][e32a231595034f09a81e477e038b6ae9.png_pic_center]  
![在这里插入图片描述][107763cab94a44ec9637dababc8f939f.png_pic_center]  
![在这里插入图片描述][6e6e05ab3de04be09eb5c6df91e5eca5.png_pic_center]  
![在这里插入图片描述][09d69579bfe64f9dbe892073fada23c7.png_pic_center]  
![在这里插入图片描述][d41654a7b8f443c9a30a4d17d6e9d25e.png_pic_center]  
![在这里插入图片描述][82fa5425f21b4ceeb47206f226d20986.png_pic_center]  
![在这里插入图片描述][534214eb38bb4d66a90b1f4331808483.png_pic_center]

[81d40a319bbc49a688cefb4223a423db.png]: https://img-blog.csdnimg.cn/81d40a319bbc49a688cefb4223a423db.png
[6316d7fa25004996a7013066b2d33cda.png_pic_center]: https://img-blog.csdnimg.cn/6316d7fa25004996a7013066b2d33cda.png#pic_center
[1dbfb8428fbd493ea389b069e53702b5.png_pic_center]: https://img-blog.csdnimg.cn/1dbfb8428fbd493ea389b069e53702b5.png#pic_center
[5e572dad7f364a489d2365e0a90f1751.png_pic_center]: https://img-blog.csdnimg.cn/5e572dad7f364a489d2365e0a90f1751.png#pic_center
[50aff03b48eb43bfb799af47a2785d08.png_pic_center]: https://img-blog.csdnimg.cn/50aff03b48eb43bfb799af47a2785d08.png#pic_center
[4e1097cab77943fdb18ed165088060d2.png_pic_center]: https://img-blog.csdnimg.cn/4e1097cab77943fdb18ed165088060d2.png#pic_center
[1391d28f0df8497386ba3593b3179e49.png_pic_center]: https://img-blog.csdnimg.cn/1391d28f0df8497386ba3593b3179e49.png#pic_center
[70076449ad83411a9d0a4cf7ec00636a.png_pic_center]: https://img-blog.csdnimg.cn/70076449ad83411a9d0a4cf7ec00636a.png#pic_center
[c90814b0c4b44c60a715812fcee24913.png_pic_center]: https://img-blog.csdnimg.cn/c90814b0c4b44c60a715812fcee24913.png#pic_center
[beea173192524da2a84058cf4dd268c0.png_pic_center]: https://img-blog.csdnimg.cn/beea173192524da2a84058cf4dd268c0.png#pic_center
[11fec3221fb74851ad56129a4d7eb8c0.png_pic_center]: https://img-blog.csdnimg.cn/11fec3221fb74851ad56129a4d7eb8c0.png#pic_center
[a050c466aa6d49039cb669476e0a1830.png_pic_center]: https://img-blog.csdnimg.cn/a050c466aa6d49039cb669476e0a1830.png#pic_center
[7655f1b6040e41df8f453b1c2ff4e2da.png_pic_center]: https://img-blog.csdnimg.cn/7655f1b6040e41df8f453b1c2ff4e2da.png#pic_center
[38f7d5c638dd4317be2f119c86bcf77d.png_pic_center]: https://img-blog.csdnimg.cn/38f7d5c638dd4317be2f119c86bcf77d.png#pic_center
[d96067c370ae49e1b4aaee041705a8b0.png_pic_center]: https://img-blog.csdnimg.cn/d96067c370ae49e1b4aaee041705a8b0.png#pic_center
[0a72c66056414e8b89a2ff60e49a5fe0.png_pic_center]: https://img-blog.csdnimg.cn/0a72c66056414e8b89a2ff60e49a5fe0.png#pic_center
[97b33521a8e949bc9daced8182bbf9cd.png_pic_center]: https://img-blog.csdnimg.cn/97b33521a8e949bc9daced8182bbf9cd.png#pic_center
[f1da107379d440608d6cf397f523844b.png_pic_center]: https://img-blog.csdnimg.cn/f1da107379d440608d6cf397f523844b.png#pic_center
[466ccef0c1364857988c5e948c6c8bd1.png_pic_center]: https://img-blog.csdnimg.cn/466ccef0c1364857988c5e948c6c8bd1.png#pic_center
[7bc2bb91ab8449f78483d0730533f431.png_pic_center]: https://img-blog.csdnimg.cn/7bc2bb91ab8449f78483d0730533f431.png#pic_center
[5904763dc466463b986364e16feead79.png_pic_center]: https://img-blog.csdnimg.cn/5904763dc466463b986364e16feead79.png#pic_center
[d0e567b64124473f96168b79ec8c5dc0.png_pic_center]: https://img-blog.csdnimg.cn/d0e567b64124473f96168b79ec8c5dc0.png#pic_center
[018c56848cc94e81804331cf8379f9d2.png_pic_center]: https://img-blog.csdnimg.cn/018c56848cc94e81804331cf8379f9d2.png#pic_center
[e32a231595034f09a81e477e038b6ae9.png_pic_center]: https://img-blog.csdnimg.cn/e32a231595034f09a81e477e038b6ae9.png#pic_center
[107763cab94a44ec9637dababc8f939f.png_pic_center]: https://img-blog.csdnimg.cn/107763cab94a44ec9637dababc8f939f.png#pic_center
[6e6e05ab3de04be09eb5c6df91e5eca5.png_pic_center]: https://img-blog.csdnimg.cn/6e6e05ab3de04be09eb5c6df91e5eca5.png#pic_center
[09d69579bfe64f9dbe892073fada23c7.png_pic_center]: https://img-blog.csdnimg.cn/09d69579bfe64f9dbe892073fada23c7.png#pic_center
[d41654a7b8f443c9a30a4d17d6e9d25e.png_pic_center]: https://img-blog.csdnimg.cn/d41654a7b8f443c9a30a4d17d6e9d25e.png#pic_center
[82fa5425f21b4ceeb47206f226d20986.png_pic_center]: https://img-blog.csdnimg.cn/82fa5425f21b4ceeb47206f226d20986.png#pic_center
[534214eb38bb4d66a90b1f4331808483.png_pic_center]: https://img-blog.csdnimg.cn/534214eb38bb4d66a90b1f4331808483.png#pic_center