robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。
robots.txt 语法

最简单的robots.txt文件会用到两个关键字：User-agent和Disallow。User-agent（用户代理）是指搜索引擎漫游器（即网页抓取工具软件）；Web Robots Database 中列出了大多数用户代理。Disallow 是针对用户代理的命令，指示它不要访问某个特定网址。反之，如果要允许 Google 访问某个特定网址，而该网址是已禁止访问的父级目录中的子目录，则可以使用第三个关键字 Allow。
示例

针对所有搜索引擎，不能抓取网站任何页面！

User-agent:  *
Disallow:  / 

针对百度，允许抓取包含/article的url，不允许抓取包含/product/的url。

User-agent:  Baiduspider
Allow:  /article
Disallow:  /product/ 

如果您在考虑聘用 SEO，越早越好。您打算重新设计网站或启动新网站时是聘用 SEO 的最佳时机。如此一来，您和您的 SEO 就能确保网站的整体设计均便于搜索引擎工作。不过，优秀的SEO还能帮助您改进现有网站。

您可以询问SEO的一些有用问题包括：

您能提供之前工作的示例及成功案例吗？
您是否会遵循Google网站站长指南？
在自然搜索业务之外，您是否还提供任何在线营销或顾问服务？
您预计在多久时间内会产生何种结果？您如何衡量成果？
您在我所属的行业内有何经验？
您在我所属的国家/地区与城市内有何经验？
您对开发国际性网站有何经验？
您最重要的SEO技术是什么？
您从业有多久了？
我将来要如何与您沟通？您是否会将对我网站所做的所有更改与我分享，并提供与建议以及建议背后的原因相关的详细信息？ 

衡量SEO工作效果的指标主要有：

1.网站的收录以及排名情况
更多的收录意味着更多的关键词排名以及流量

2.网站流量以及用户访问情况
更多的流量意味着更多的转换

3.网站转换率
网站用户的转化率，即网站的访问者转化为网站的消费者或注册用户的比例，这个数据对于销售型网站尤为重要。

SEO 是“Search Engine Optimization”（搜索引擎优化）或“Search Engine Optimizer”（搜索引擎优化服务商）的首字母缩略词。

通常，很多 SEO 及其他代理机构和顾问会为网站拥有者提供有用的服务，包括：

查看您网站的内容或结构
网站开发技术建议：如托管、重定向、错误页、JavaScript 的使用
内容开发
在线业务开发活动管理
关键字研究
SEO 培训
有关特定市场和地理区域方面的专业知识。 

企业聘用 SEO 是一项重大决定，这有可能改善您的网站并节省时间，不过您也可能需要承担网站和声誉受损的风险。在研究可能带来的益处的同时，请务必考虑不负责任的SEO可能会给您的网站带来的损害。

许多SEO从业者本末倒置，一心只想着怎么样优化关键词排名，却忽视了网站页面上的内容质量！网站内容质量不高，想要把关键词优化上来的难度可想而知，即便有部分关键词排名不错，也属于捡了芝麻丢了西瓜！

创建精彩网站的关键在于尽可能通过品质出众的原创内容为受众群体打造最佳体验。如果人们发现您的网站独一无二并且特别实用，就可能会再次访问您的网站或从他们自己的网站链接到您的内容。长此以往，这将有助于吸引更多人访问您的网站。

开始创建内容时，请确保您的网站具备以下特点：

实用且信息丰富：如果要为一家餐厅推出网站，您可在其中添加地点、营业时间、联系信息、菜单以及用来分享即将推出的活动的博客。
 
比其他网站更有价值、更加实用：如果您想介绍训狗方法，则要保证自己的文章会比网络上的众多同类文章更有价值，或会采用不同于这些文章的视角。
 
值得信赖：通过原创调查、引用、链接、评价和证言来展示您网站的可靠性。作者简介或来自真实客户的证言均有助于提高您网站的可信度和声誉。
 
品质高：您网站的内容应独一无二、针对性强且品质出众。它不应与其他许多网站上的内容雷同，也不应分发至其他许多网站。请谨记，您创建内容主要是为了给访问者提供良好的用户体验，而不是为了在搜索引擎中取得很好的排名。
 
极具吸引力：您可以向自己的网站添加产品、团队和您本人的图片，以使您的网站色彩缤纷、活灵活现。另请注意避免可能会让访问者心烦的拼写、文风和事实错误以及过量广告，确保访问者能够拥有愉悦的使用体验。您还可以通过定期更新、评论框或社交媒体小部件与访问者互动，从而吸引访问者的注意力。 

​
以下内容可能会让访问者不信任或离开您的网站，请注意避免：

错误（例如，已损坏的链接或错误信息）

语法或拼写错误

广告数量过多
网络垃圾（例如，评论或论坛中的垃圾内容）