郑州网站优化

,郑州seo,郑州百度优化,选择路普科技,10年为企业网站优化助力!


您当前位置:郑州网站优化 > 新闻动态 > 浏览文章

5年的老网站不收录,看看都有哪些原因?后悔看晚了

发布时间:2019-4-2 21:46:23

搜索引擎在抓取网页的时候,可能会遇到各种情况,有的页面抓取成功,有的抓取失败。

 搜索引擎在抓取网页

理解什么是返回码?

怎么显示一个页面的实际抓取结果呢?主要是通过返回码进行示意,代表抓取成功与否和遇到的问题。比如我们常见的,有时候打开一个页面,页面一片空白,上面只显示404,这里的404就是一种返回码,代表当前抓取的页面已经失效,遇到显示404的页面,如果短期内搜索,蜘蛛再发现这个URL,也不会对其进行抓取。
有时候,会返回503, 503返回码代表网站临时无法访问,可能是网站服务器关闭或者其他临时措施造成的网页无法访问,一般来说,蜘蛛还会继续抓取几次。如果网站恢复正常, URL仍然被当作正常URI处理,如果服务器一直处于不可访问状态,那么搜索引擎就会将这些URL,彻?#29366;?#24211;中删除,这就要求我们必须维护网站的稳定性,尽量避免临时关闭的情况发生。返回码403是禁止访问状态,一般来说,如同503一样,如被多次访问仍处于禁止访问状态,就会被搜索引擎从库里面删除。
在返回码中,有一类需要格外注意,就是301,301代表永久性移除,当前URL被永久性重定向到另外的URL。一般来说,因为改版等原因,部分URL需要永久被替换为新的URL,就必须使用返回码301进行处理,这样能把权重等一并带过去,避免网站的流量损失。

使用rewrite重写规则

需要提醒的是目前htaccess适用于Linux系统,并需要虚拟主机支持,因此,在考虑htaccess 件处理返回码301的时候,需要查看虚拟主机否完全支持。
实际上,在重定向的处理上存在多种方式,简单来说,重定向可以分为http301重定向、 meta refresh重定向和iis重定向。

使用canonical标签重定向

另外,大的搜索引擎公司,比如谷歌和百度都确?#29616;?#25345;Canonical标签,可以通过制定一个权威页面的方式,引导蜘蛛只索引一个权威页面,从实际效果上来说,也是一种间接的重定向。
在实际抓取过程中,蜘蛛会对各种重定向效果进行识别。
重定向的方法有多种,但是从SEO角度来说,如果是永久跳转的页面,尽量采用返回码301的跳转方式。另外,从时间结果来看,百度对Canonical的支持并不如谷歌好,采用Canonical未必能得到如期效果。
有些网站通过不同的路径进入同一页面,可能会出现多个URL的情况,当面对这种情况时,可能需要一些处理技巧,关于Canonical的使用技术可参见本书关于Canonical的专门讲解。

如何解决信息无法被抓取到的问题?

几个可行的办法如下。

采用搜索引擎平台提供的开发平台等数据上传通道,可以针对数据进行独立的提交。
采用Sitemap提交方式。大型网站或者结构比较特殊的网站,沉淀了大量的历史页面,这些历史页面很多具有SEO的价值,但是蜘蛛无法通过正常的爬行抓取到,针对这些页面,建立Sitemap文件并提交给百度等搜索引擎是非常必要的。
蜘蛛在爬行网站的时候,会遵循网站的协议进行抓取,比如哪些网页可以给搜索引擎抓取,哪些不允许搜索引擎抓取。


相关阅读

欢迎致电或者QQ咨询路普公司,我们专注企业网站优化服务!
提供网站优化、关键词排名、企业网站优化、SEO整站优化、站内站外优化等网站优化服务!

电话:0371-87535353
地址:郑州市花园路59号21世?#25176;?#27004;?#26032;?#8001 豫ICP备10210721号-4
郑州网站优化,郑州网站优化公司,郑州关键词优化,郑州关键词排名,郑州百度优化专业的网络公司,助力企业快速提升目标客户转化率
山东鲁能vs柔佛dt什么频道
6码复式二中二高手 时时彩人工计划 天下国际娱乐一诚信平台 竞彩足球胜平负 时时彩购彩平台 足球手游 黑龙江时时注册 500计划平台下载 麻将技巧视频教学 快乐扑克计划软件 老铁牛牛技巧 重庆欢乐生肖计划 2019免费送彩金平台 北京pk赛车开奖直播 五步倍投止损 极速北京pk赛车开结果