教新手如何创建Robots.txt文件,在高手面前班门弄_厦门画册设计制作公司

如何创建 robots.txt 文件?
您可以在任何文本编辑器中创建此文件。该文件应为 ASCII 编码的文本文件,而非 HTML 文件。文件名应使用小写字母。

最简单的 robots.txt 文件使用两条规则:
(1)User-Agent: 适用下列规则的漫游器
(2)Disallow: 要拦截的网页
这两行被视为文件中的一个条目。您可根据需要包含任意多个条目。您可在一个条目中包含多个 Disallow 行和多个
User-Agent。

应在 User-Agent 行中列出什么内容?
user-agent 是特定的搜索引擎漫游器。网络漫游器数据库列出了许多常用漫游器。您可设置应用于特定漫游器的条目
(通过列示名称)或设置为应用于所有漫游器(通过列示星号)。应用于所有漫游器的条目应与下列条目类似:

User-Agent:*
Google 使用多种不同漫游器(用户代理)。用于11510.html">网络搜索的漫游器是 Googlebot。Googlebot-Mobile 和 Googlebot-
Image 等其他漫游器遵循您为 Googlebot 设置的规则,您还可为这些特定漫游器设置附加规则。

应在 Disallow 行中列出什么内容?
Disallow 行列出了您要拦截的网页。您可列出具体网址或网址模式。条目应以正斜杠开头 (/) 开头。

要拦截整个画册,请使用正斜扛。

Disallow:/
要拦截目录及其中的所有内容,请在目录名后添加正斜扛。

Disallow:/private_directory/
要拦截网页,请列出该网页。

Disallow:/private_file.html
网址区分大小写。例如:Disallow:/index.htm会拦截 http://www.gz-kongtiao.cn/index.htm,但不
会拦截 http://www.gz-kongtiao.cn/index.htm。 




相关文章
百度即将推出拒绝外链工具_厦门画册设计制作公司站制作|教学画册制
搜索引擎常见的高级搜索语句_厦门画册设计制作公司站制作|教学画册
如何树立起自己的品牌画册设计_厦门画册设计制作公司站制作|教学网
无法的淡定: 殊兙对百度关键字控制的一点感性_厦门画册设计制作公司
画册运营应该具体哪些要求?_厦门画册设计制作公司站制作|教学画册
画册设计的价格和价值_厦门画册设计制作公司站制作|教学画册制作
新手画册优化最可能犯下的一些错误_厦门画册设计制作公司站制作|教
流云易水:更新画册文章伪原创的技巧_厦门画册设计制作公司站制作|
作为一个及格的企业画册站长需学习的经验_厦门画册设计制作公司站制
画册被百度降权的常见三种表现_厦门画册设计制作公司站制作|教学网
Meta代码优化(一) title优化标准_厦门画册设计制作公司
画册设计之新站快速收录篇(上)_厦门画册设计制作公司站制作|教学
快照不更新首页site不是第一解决实战篇_厦门画册设计制作公司站
浅谈坚持写原创文章的重要性_厦门画册设计制作公司站制作|教学画册
整合用户搜索动机才是百度算法的核心_厦门画册设计制作公司站制作|
浅析百度自然排名的地域差异性分析_厦门画册设计制作公司站制作|教
你所忽略的细节 百度工具栏与404页面_厦门画册设计制作公司站制
公司画册首页的视觉设计决定画册设计成败_厦门画册设计制作公司站制
赵宝林:常见外链建设需要注意的几点_厦门画册设计制作公司站制作|
搜索引擎是如何工作的_厦门画册设计制作公司站制作|教学画册制作


QQ咨询