让互联网技术普惠中小企业
成为中小企业信任并依赖的云服务伙伴

谷歌搜索引擎优化的Robots协议

浏览数量:2346     作者:本站编辑     发布时间: 2016-09-08      来源:本站

  谷歌搜索引擎优化robots.txt是一种存放于外贸网站根目录下的文本文件,用于告诉谷歌搜索引擎的爬虫(spider),此外贸网站中的哪些内容是不应被谷歌搜索引擎的索引,哪些是可以被索引。通常认为,robots.txt文件用来谷歌搜索引擎对目标网页的抓取。
  robots.txt协议并不是一个规范,而只是约定俗成的,通常谷歌搜索引擎会识别这个文件,但也有一些特殊情况。


  对于Google来说,使用robots也未必能阻止Google将网址编入索引,如果有其他外贸网站链接到该网页的话,Google依然有可能会对其进行索引。按照Google的说法,要想彻底阻止网页的内容在Google网页索引中(即使有其他网站链接到该网页)出现,需要使用noindex元标记或x-robots-tag。例如将下面的一行加入到网页的header部分。


  <meta name="googlebot" content="noindex">
  如果Google看到某一页上有noindex的元标记,就会将此页从Google的搜索结果中完全丢弃,而不管是否还有其他页链接到此页。
  对于谷歌来说,情况和Google类似,如果有其他外贸网站链接目标网页,也有可能会被谷歌收录,从谷歌的说明页面上看,百度并不支持像Google那样通过noindex完全将网页从索引上删除,只支持使用noarchive元标记来禁止谷歌显示网页快照。具体的语句如下。


  <meta name="Baiduspider" content="noarchive">
  上面这个标记只是禁止谷歌显示该网页的快照,谷歌会继续为网页建索引,并在搜索结果中显示网页摘要。
  例如,淘宝网目前就通过robots.txt来屏蔽谷歌爬虫,但谷歌依旧收录了淘宝网的内容,谷歌搜索“淘宝网”,第一个结果也是淘宝网首页地址,只是该页面没有网页快照,因此看来,外贸网站只能禁止谷歌的快照,而无法禁止谷歌为网页建索引。

焦点领动拥有丰富的外贸网站建设经验,北京外贸建站、上海外贸建站、广州外贸建站、深圳外贸建站、佛山外贸建站、福建外贸建站、浙江外贸建站、山东外贸建站、江苏外贸建站......

想要了解更多搜索引擎优化、外贸营销型网站建设相关知识,请拨打电话:400-6130-885,或者请添加领动小姐姐微信,我们一起交流~

外贸网站建设_副本

建站流程
热搜标签
 产品与服务

立即行动,通过领动建站获取更多客户

留下您的联系方式,专属顾问会尽快联系您

表单名称

B2B营销型网站

外贸网站精准营销

售后服务

行业资讯

电话  :400-6130-885

邮箱 :cservice@leadong.com

地址 :南京江北新区浦泗路8-2号

金融创新广场5楼

    

Leadong   版权所有  2020 南京焦点领动云计算技术有限公司   备案证书号: 苏ICP备17012459号-2 隐私报告 | 法律声明 
今日最后14个免费网站测评