当前标签 / noindex / 总共1篇

设置Meta Robots标签和Robots.txt的最佳实践

数字营销人员和 SEO 专家知道搜索引擎索引是多么重要。这就是为什么他们尽最大努力帮助谷歌和百度正确地抓取和索引他们的站点,在页内和页外优化上投入时间和资源,比如内容、链接、标签、元描述、图像优化、网站结构等等。

但是不可否认高级网站优化是搜索引擎成功收录的基础,去忽略搜索引擎的优化技术可能会让你的网站对搜索引擎提不去兴趣。如果你从未听说过 robots.txtmeta robots 标签、sitmap.xmlmicroformatsX-Robot 标签,你可能需要重视一下了。

不过你之前不曾听说也没关系。接下来在本文中我将解释如何使用和设置 robots.txtmeta robots 标签。

什么是 robots.txt

robots.txt 是一个文本文件,用于指导搜索引擎机器人(也称为爬虫、机器人或爬行器)如何爬行和索引网站页面。理想情况下,robots.txt 文件被放置在网站的顶层目录中,这样机器人就可以立即访问它的指令。为了将命令传递给不同类型的搜索爬虫,robots.txt 文件必须遵循 Robots exclusion protocol (REP) 中的特定标准。REP 创建于 1994 年,之后在 1996 年、1997 年和 2005 年进行了大量扩展。

robots.txt 文件一直在逐步改进,以支持特定的爬虫程序指令、uri 模式扩展、索引器指令(也称为 REP 标记或 robots 元标记)和微格式 rel= nofollow

阅读更多