关于搜索引擎蜘蛛的seo基础内容解析？秦皇岛seo博客上线一年多了，和朋友分享了很多关于seo的基础知识。今天发现没有和朋友分享搜索引擎蜘蛛这样重要的基本概念。虽然这个概念与seo优化操作没有直接关系，但是通过了解和理解蜘蛛，我们可以知道如何处理搜索引擎在seo方案实施中的爬行和包含问题。
今天内容的主题来自于百度站长平台上一篇关于百度蜘蛛的介绍。主体如下:
1.什么是拜都斯皮德
Baiduspider是百度搜索引擎的自动程序。它的功能是访问互联网上的网页，建立索引数据库，让用户可以在百度搜索引擎中搜索到你网站上的网页。
2.百度蜘蛛的用户代理是什么？
百度产品使用不同的用户代理:
对应于产品名称的用户代理
网络搜索Baiduspider
无线搜索Baiduspider
图片搜索Baiduspider-图片
视频搜索Baiduspider-视频
新闻搜索Baiduspider-新闻
百度搜索Baiduspider-favo
百度联盟Baiduspider-cpro
商业搜索Baiduspider-广告
3.百度蜘蛛对一个网站服务器的访问压力有多大？
Baiduspider需要在你的网站上保持一定的抓取量，才能在目标资源上达到更好的检索效果。我们会尽量不给网站带来不合理的负担，根据服务器承受能力、网站质量、网站更新等综合因素进行调整。如果觉得baiduspider的访问行为不合理，可以向反馈中心反馈。
4.为什么Baiduspider一直在我的网站上爬？
Baiduspider会持续抓取您网站上新生成或持续更新的页面。另外，还可以在网站访问日志中查看Baiduspider的访问是否正常，防止有人恶意冒充Baiduspider频繁抓取你的网站。如果您发现Baiduspider对您的网站进行异常抓取，请通过反馈中心给我们反馈，并尽量将Baiduspider的访问日志交给您所在的站，供我们跟踪处理。
5.如何判断是否要冒充Baiduspider？
建议你用DNS反向查找来确定抓取源的ip是否属于百度。根据平台不同，认证方式也不同。例如，linux/windows/os下的身份验证方法如下:
5.1在linux平台下，可以使用host ip命令反向ip，确定是否来自Baiduspider。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名，如果不是*.baidu.com或* .baidu.jp，就是冒名顶替。
$ host 123 . 125 . 66 . 120120 . 66 . 125 . 123 . in-addr . arpa域名pointerbaiduspider-123-125-66-120.crawl.baidu.com.host 119 . 63 . 195 . 254254 . 195 . 63 . 119 . in-ad dr . arpa域名pointerBaiduMobaider-119-63-195-254 . crawl . Baidu . jp
5.2在windows平台或IBM OS/2平台上，可以使用nslookup ip命令反向ip，确定是否被Baiduspider抓取。打开命令处理器，输入nslookup xxx.xxx.xxx.xxx(ip地址)解析ip，判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名，如果不是*.baidu.com或* .baidu.jp，就是冒名顶替。
5.3在mac os平台上，可以使用dig命令反向ip，确定是否来自Baiduspider。打开命令处理器，输入dig xxx.xxx.xxx.xxx(ip地址)解析ip，判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名，如果不是*.baidu.com或* .baidu.jp，就是冒名顶替。
6.我不希望我的网站被Baiduspider访问。我该怎么办？
Baiduspider遵守互联网机器人协议。您可以使用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止Baiduspider访问您网站上的一些文件。注意:禁止Baiduspider访问您的网站会使您网站上的网页无法在百度搜索引擎和百度提供的所有搜索引擎中进行搜索。
您可以根据每个产品的不同用户代理设置不同的爬网规则。如果想完全禁止所有百度产品被收录，可以直接设置Baiduspider禁止抓取。
以下机器人实现禁止来自百度的所有抓取:用户代理:百度蜘蛛不允许:/
以下机器人实现禁止从百度进行所有抓取，但允许图像搜索抓取/图像/目录:用户代理:百度蜘蛛不允许:/
用户代理:Baiduspider-imageAllow: /image/
请注意:Baiduspider-cpro抓取的网页不会被索引，只会执行与客户约定的操作，因此不符合robots协议。如果Baiduspider-cpro给您带来麻烦，请联系union1@baidu.com。
Baiduspider-ads抓取的网页不会被索引，只会执行与客户约定的操作，因此不符合robots协议。如果Baiduspider-ads给您带来麻烦，请联系您的客户服务专家。
7.为什么在网站上添加robots.txt后可以在百度上搜索？
因为更新搜索引擎索引数据库需要时间。虽然Baiduspider已经停止访问您网站上的网页，但清除百度搜索引擎数据库中已经建立的网页索引信息可能需要几个月的时间。请检查您的机器人配置是否正确。
如果您拒绝加入是紧急情况，您也可以通过反馈中心反馈请求。
8.希望我的网站内容被百度索引，但不要被抢购。我该怎么办？
Baiduspider遵守互联网元机器人协议。可以使用网页meta的设置，让百度显示只对网页进行索引，而不在搜索结果中显示网页的快照。
和机器人的更新一样，因为更新搜索引擎索引数据库需要时间，虽然你已经禁止百度通过网页中的meta在搜索结果中显示网页的快照，但是如果网页索引信息已经在百度搜索引擎数据库中建立，可能需要两到四周才能在线生效。
9.百度蜘蛛爬行导致带宽拥塞？
Baiduspider的正常抓取不会屏蔽你网站的带宽，可能是有人冒充Baiduspider恶意抓取造成的。如果你发现有一个叫Baiduspider的代理抓取造成带宽拥塞，请尽快联系我们。你可以把信息反馈给反馈中心。如果你能提供你当时网站的访问日志，对我们的分析会更有好处。
