跨境电商独立站SEO优化必知，用Meta Robot tags还是Robots.txt？

蓝海亿观网2020年09月15日 348

“Robots meta标签，元标签（meta tags）是一段代码，帮助搜索引擎抓取或索引独立站页面和内容。蓝海亿观网了解到，有三种类型的r”

Robots meta标签，元标签（meta tags）是一段代码，帮助搜索引擎抓取或索引独立站页面和内容。蓝海亿观网了解到，有三种类型的robots meta指令：

1.Robots.txt：如果需要控制浏览器在独立站上抓取的内容，则使用Robots.txt。

2.Robots meta tags：如果需要控制单个HTML页面在SERPs（搜索结果页面）上的显示方式，则使用Robots meta tags。

3.X-Robots-Tag HTTP headers：如果需要控制非HTML内容在SERPs上的显示方式，则使用X-Robots-Tag HTTP headers。（文末扫码入跨境电商独立站精英卖家交流群）

Robots meta tags是什么

Robots meta tags是网页页面HTML代码的一部分，以代码元素的形式出现在页面的<head>部分。

这些标签（tags）通常用来给独立站的特定区域，提供抓取指令。

独立站卖家在不同的抓取程序，使用robots meta tags，则需要为每个程序，创建单独的tags。

Robots.txt有什么用

Robots.txt文件告诉搜索引擎，可以以及不能在独立站抓取的页面和文件。这主要是避免独立站超载。

在更新或迁移网站后，确保Robots.txt文件的SEO配置正确，因为他们可能阻止搜索引擎抓取独立站内容，导致独立站无法进入SERP排名。

虽然Robots.txt是SEO优化的必要组件，但依然有些限制：

1.可能不是所有的搜索引擎，都支持Robots.txt文件，虽然Robots.txt为搜索引擎抓取程序提供了说明，但最终取决于搜索引擎程序是否遵循这些说明。

2.虽然搜索引擎程序将遵循Robots.txt文件中设置的参数，但每个抓取程序对参数的解释可能不同，或者无法理解某些参数。

3.即便一个页面链接到另一个网站，Robots.txt也仍然能被索引。虽然谷歌不会抓取或索引Robots.txt文件阻止的内容，但这些内容可能会链接到网络上的其他页面。如果是这样，页面上的URL或其他可用信息仍然可以出现在SERPs上。

Meta Robots与Robots.txt的术语

使用正确的技术语法是很重要的，错误语法可能会对独立站的呈现，及其在SERP的排名产生影响。

Meta Robots Tags的常见索引参数（indexing parameters）：

1.All：一个默认元标签（meta tag），对索引和内容不产生限制，对搜索引擎的工作没有产生真正影响。

2.Noindex：告诉搜索引擎不要索引一个页面。

3.Index：告诉搜索引擎索引一个页面，这是一个默认元标签，独立站卖家无需将其添加到网页。

4.Follow：即使页面没有被索引，也告知搜索引擎应该跟随页面上的所有链接，并将权益或链接权限，传递给链接页面。

5.Nofollow：告知搜索引擎不要在一个页面上，跟随或传递任何链接。

6.Noimageindex：告诉搜索引擎不要索引页面上的任何图像。

7.None：相当于同时使用Noindex与Nofollow标签。

8.Noarchive：告诉搜索引擎不要在SERP上显示这个页面的缓存链接。

9.Nocache：基本与Noarchive相同，但只要IE和火狐（Firefox）用Nocache。

10.Nosnippet：告诉搜索引擎不要在SERP上显示该页面的snippet或meta描述。

11.Notranslate：告诉搜索引擎不要在SERP中提供该页面的翻译。

12.Max-snippet：为元描述创建最大字符分配。

13.Max-video-preview：设置视频预览的秒数时长。

14.Max-image-preview：设置一个最大尺寸的图片预览。

15.Unavailable_after：告诉搜索引擎在某个特定日期后，不要索引这个页面。

下图是使用meta robots tags的示例：

Robots.txt不提供索引指令，其常见的术语如下：

1.User-agent：指的是应该遵循指令的特定网络抓取，应当出现在Robots.txt文件的第一行。

2.Disallow：告诉user-agents（用户代理）不要抓取这个网页，每个URL只能包含一个disallow line。

3.Allow：这个指令只适用于Googlebot（谷歌机器人），即使父页面（parent page）不允许，Allow将告诉Googlebot可以访问一个特定的网页。

4.Crawl-delay：爬行器（crawler）在抓取内容之前需要等待多长时间。Googlebot不承认这个术语，但独立站卖家需要在谷歌搜索控制台（Google Search Console），为网页设置抓取率。

5.Sitemap：站点地图用于指出，与特定URL相关的任何XML站点地图的位置。这个指令只被谷歌、Ask、必应Bing、雅虎Yahoo承认。

6.$：可以匹配URL的结尾。

7.*：作为一个通配符（wildcard），来表示任何字符序列。

Meta Robots与Robots.txt哪一个更好

蓝海亿观网获悉，Meta Robots和Robots.txt，二者对独立站SEO都很重要。

但二者不可互换，卖家需要用他们为独立站抓取程序，提供正确的参数。

例如，如果卖家想要在谷歌SERP中降低排名，可以使用一个“Noindex”meta robots tag，而不是robots.txt指令。

如果独立站卖家想要阻止在SERP上显示独立站的整个部分，则使用disallow robots.txt文件比Meta Robots要好。（跨境电商新媒体-蓝海亿观网egainnews）文末扫码加入独立站精英卖家交流群，对接跨境电商优质资源。沃尔玛、Coupang、Wayfair 、MercadoLibre等平台入驻，品牌文案策划及全网推广、电商培训和孵化等服务，请联系我们。不得擅自改写、转载、复制、裁剪和编辑全部或部分内容。