robots，白，黑，灰帽

素颜马尾好姑娘i 2022-06-09 10:23 212阅读 0赞

**robots.txt**

*  robots协议（也称为爬虫协议，爬虫规则，机器人协议等）也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取，那些页面不希望抓取。
 *  Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息，确保用户个人信息和隐私不被侵犯。  
    *因其不是命令，故需要搜索引擎自觉遵守*  
    ![这里写图片描述][SouthEast]  
    **robots.txt放置位置**
 *  roboats.txt文件应该放在网站的根目录下
 *  例如：当spider访问一个网站（比如：[http://www.taobao.com][http_www.taobao.com])时，首先会检查该网站中是否存在[http://www..taobao.com.robots.txt][http_www..taobao.com.robots.txt]这个文件，如果这个Spider找不到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。  
    ![这里写图片描述][SouthEast 1]  
    **robots.txt文件的写法**
 *  User-agent:*这里的*代表的所有的搜索引擎种类，\*是一个通配符
 *  Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录
 *  Disallow:/*?*禁止访问网站中所有包含问号(?)的网址
 *  Disallow:/.jpg$禁止抓取网页所有 的.jsp格式的图片
 *  Disallow:/ab/abc.html禁止抓取ab文件夹下面的abc.html文件
 *  Allow:/cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录
 *  Allow:.html$仅允许访问以”.html”为后缀的URL
 *  Allow:.gif$允许抓取网页和gif格式图片
 *  Sitemap:网站地图，告诉爬虫这个网页是网站地图  
    *注意严格区分大小写*  
    ![这里写图片描述][SouthEast 2]
 *  爱站下的工具包中就可以使用这个工具,robots检测，
 *    
    *User-agent:\**
 *  Disallow:/dede
 *  Disallow:/include核心文件目录
 *  Disallow:/member 会员管理目录
 *  Disallow:/plus插件及框助功能目录
 *  Disallow:/templets默认模板存储目录
 *  Disallow:/data系统缓存或其他可写入数据存储目录
 *  Disallow:/uploads上传文件下载保管目次，不想索引得擎缓存图片的话，禁阻
 *  Disallow:/images系统默认模板图片存储目录
 *  Disallow:/index.php网站默认首页，静态化的话最好禁阻
 *  Disallow:/404.html  
    *安全联盟：[https://www.anquan.org/][https_www.anquan.org]*
 *  百度站长平台：[http://zhanzhang.baidu.com][http_zhanzhang.baidu.com]  
    ![这里写图片描述][SouthEast 3]
 *  打开网页检测以后  
    ![这里写图片描述][SouthEast 4]  
    ![这里写图片描述][SouthEast 5]  
    **SEO白帽，黑帽，灰帽的定义**
 *  白帽：使用公平的，符合主流搜索引擎方针规定的SEO优化方法
 *  黑帽：作弊的意思，操作手法不符合主流搜索引擎发行方针规定
 *  灰帽：介于白帽和黑帽之间的中间地带，相对于白帽而言，会采取一些取巧的方法来操作，这些行为因为不算违规，但同样也是不算遵守规则，是为灰色地带。  
    **什么是白帽SEO？**
 *  白帽SEO，光明磊落，一清二白，是一种严格遵守搜索引擎”游戏规则“的SEO方法
 *  相对于黑帽SEO，白帽SEO是一种没有风险的一种搜索引擎优化方法，可以与搜索引擎友好的‘对话’。*SEOer的最高职业道德标准*。通过白帽SEO获得的搜索引擎排名和流量都比较稳定，从长远来 看，是一种”放长线钓大鱼“的SEO战略，也是符合网站生存之道的。  
    ![这里写图片描述][SouthEast 6]
 *  白帽seo是通过正常的手段对**网站内部**（包括网站标题，网站结构，网站代码，网站内容，关键字密度等）的调整，**网站外部**的链接建设来提高网站关键字在搜索引擎排名的一种SEO技术，白帽seo优化的生效时间长，**优点：排名稳定浮动不大，不用担心因为SEO操作而降权**  
    **什么是黑帽SEO？**

> 黑帽SEO，顾名思义就是”黑“，见不得光，它死一种利用搜索引擎漏洞，通过作弊的手法，快速的达到搜索引擎的排名的SEO方法  
> 黑帽SEO常被定义为搜索引擎中的垃圾技术，属于一张非主流的走做引擎优化方法，可能会因为搜索引擎算法改变而面临严重惩罚  
> **轻则降权，重则被K**

**常见黑帽SEO手法**

*  桥页跳转
 *  关键词堆砌
 *  隐藏文本，关键词
 *  建立镜像，重复或相似页面过多
 *  疯狂的垃圾链接（Spam）
 *  细微文字
 *  障眼法
 *  真的被”黑“了

> **关键词叠加，关键词堆砌**  
> 从网页标题title到meta的keywords，再到文章内容，底部版权，关键次无孔不入，根本不讲究一个合理分布，这样网页对用户来说没有任何的意义和价值，首先，用户的阅读兴趣就被你夸张的关键词密谋”暗杀“了。过分重复的使用关键词
> 
> **隐藏文本，关键词**  
> 实现原理就是利用CSS技术使文本的颜色和网页背景一致，以达到隐藏文本，关键词的目的。这是一种挺有争议的做法，像是擦边球，比如：搜索引擎营销关于这种SEO手法褒贬不一。  
> **建立镜像 重复或相似页面过多**  
> 简单的修改网页标题，然后复制内容，以CTRL+V方式的”拿来主义“，在搜索引擎面前是很不讨人喜欢的，很多SEOer喜欢以量取胜，这些年，“采集伪原创”风气盛行，可能花个两三天时间就把别人辛苦好几年的站完美，”搬家“了。不过也不是什么长久之计，搜索引擎对这部分网站是不会给予很高的权重的  
> **细微文字**  
> 一些搞SEO的朋友明白”隐藏文字“会遭到惩罚，所以将文字的字体在网页中设置到不起眼的地方，甚至小的看不见，一般会放在网页顶端或底部  
> **障眼法**  
> 制作对用户无用或是看不到网页，里面堆满了关键词，而搜索引擎对这种掩耳盗铃的做法对策：***就是一个字封***  
> **真的被黑了**  
> 这种黑帽SEO手法需要一定的”黑客：技术，一般人也干不来。比如，一般网络公司的服务器都了N个往站，只要你能顺利地进入服务器，加一些”隐藏链接“  
> **降权**  
> *什么是网络被降权？*  
> 是指搜索引擎给网站评定的级别下降了，也就是搜索引擎对网站进行的一种处罚方式  
> *表现特征*

*  网站部分收录内容减少
 *  网站排名大幅度下降
 *  搜索引擎快照跟新速度降低
 *  网站首页被屏蔽
 *  网站全部页面删除

*一般你看很正常的页面，很正常，你一滑动就会出现很多隐藏的东西，还有些是，它会判断是不是蜘蛛来了，如果是就会显示正常的页面，如果不是就会显示另外一个*  
**网站被百度降权怎么办？**

*  检查重复关键词，ALT，内容
 *  检查有没有不良友情来链接
 *  检查网站源文件是否有黑客进入
 *  检查网站title修改
 *  新站稳定性不高，如果有以上几点尽早除掉  
    **网站被百度谷歌降权咋办？**
 *  site:域名，判断沙盒效应
 *  检查关键 词的密度，Title,keywords关键词是不是合理
 *  site不存在（被K），重新被K的页面，合理布置关键词，增加一部分外链  
    **网站优化精髓**
 *  内容为”王“
 *  用心经营内容
 *  最好不要作弊  
    **百度搜索引擎 搜索习惯**
 *  较重视第一次收录印象
 *  对网页的更新较为敏感
 *  较重视首页
 *  较重视收录日期  
    ![这里写图片描述][SouthEast 7]

[SouthEast]: /images/20220609/46e90b5b471e42a6880f38db1899ccb9.png
[http_www.taobao.com]: http://www.taobao.com
[http_www..taobao.com.robots.txt]: http://www..taobao.com.robots.txt
[SouthEast 1]: /images/20220609/eb1d679d627f420ea42d22e22c8831d4.png
[SouthEast 2]: /images/20220609/44d11971d72f4a70943c13da84f6ec5e.png
[https_www.anquan.org]: https://www.anquan.org/
[http_zhanzhang.baidu.com]: http://zhanzhang.baidu.com
[SouthEast 3]: /images/20220609/82e699a4c92541b39d59576b34fdbfcb.png
[SouthEast 4]: /images/20220609/5c280e52ded142889cec0816a1a989c5.png
[SouthEast 5]: /images/20220609/ff980015e56f41c4b429a732caf5b0ee.png
[SouthEast 6]: /images/20220609/2846cc24046a4f8daff104d74b558e66.png
[SouthEast 7]: /images/20220609/661391189658483e9c7b5a5f73d5e733.png