Google: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Bing: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Yahoo: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yandex: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Baidu: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
DuckDuckBot: DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)
需要注意的是，蜘蛛的 User-Agent 可能会随着搜索引擎的升级和更新而变化，因此这里列举的 User-Agent 只是一些常见的，不一定是最新的。
本文内容来源于公开网络，出于传递信息之目的整理发布。原文版权归原作者所有，若涉及侵权请先提供版权后联系我们删除
