目前内容页面的首页为 www.xxx.com/t*.html ,翻页后为 www.xxx.com/t*-#.html （* 为 ID ，# 为页码）。我想要搜索引擎只收录内容页面的首页，而不收录第二页和第三页，那么我在 robots.txt 里写下了如下的规则，请问正确吗？否则应该如何书写？谢谢。
Disallow: /t-*.html
Allow: /t*.html
Disallow: /t-*.html
Allow: /t*.html
 |
1
c0427 OP 已使用谷歌 robots.txt 测试工具解决。
|
Select Language