关于搜索引擎蜘蛛问题

2022 年 5 月 14 日
 Tianyan

同一个 ip 既是 bing 的 也是 360 的 这种情况是怎么回事

2675 次点击
所在节点    问与答
7 条回复
Ptu2sha
2022 年 5 月 14 日
show me the code
Tianyan
2022 年 5 月 14 日
180.101.204.156 - - [14/May/2022:10:56:58 +0800] "GET /tag/ HTTP/1.1" 200 11560 "https://***.com/tag/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider" "***.com" "text/html" "/usr/home/byu68/htdocs/index.php" 1117933

180.101.204.156 - - [14/May/2022:10:33:28 +0800] "GET /323.html HTTP/1.1" 200 10948 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "***.com" "text/html" "/usr/home/byu68/htdocs/index.php" 1803641
Tianyan
2022 年 5 月 14 日
@Ptu2sha 两个一样的 ip 不同的搜索引擎
binux
2022 年 5 月 14 日
UA 瞎写的
cnrting
2022 年 5 月 14 日
我还可以写成 Googlebot🐶
Tianyan
2022 年 5 月 14 日
@cnrting 这种怎么屏蔽？
billlee
2022 年 5 月 14 日
@Tianyan google 有提供他们 bot 使用的 IP 段

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/852770

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX