蜘蛛搜索

蜘蛛搜索

       对于蜘蛛搜索的问题，我有一些经验和见解，同时也了解到一些专业知识。希望我的回答对您有所帮助。

1.网站SEO：提高搜索引擎蜘蛛爬取的技巧有哪些

2.什么是搜索引擎蜘蛛？

3.搜索引擎“蜘蛛”是指什么？

4.slurp是哪个搜索引擎的蜘蛛

网站SEO：提高搜索引擎蜘蛛爬取的技巧有哪些

       SEO是一套系统工程，是从网站建设之初就的开始的，贯穿从建站到运营的方方面面。不管是个人网站，还是门户，搜索引擎都是一个很重要的流量来源，SEO显得尤为重要。

       搜索引擎优化，即SEO(SearchEngineOptimization)，是为了提升网站在搜索引擎搜索结果中的收录数量和排序位置，为了从搜索引擎中获取更多免费流量、高质量用户，针对搜索引擎的检索特点、排序规律，合理调整优化网站设计和建设方法，使其符合搜索引擎的检索规则的网站建设、网站运营行为。除此之外，SEO工作还有利于搜索引擎快速收录新页面，提高收录覆盖率的效果。

       SEO是一套系统工程，是从网站建设之初就的开始的，贯穿从建站到运营的方方面面。不管是个人网站，还是门户，搜索引擎都是一个很重要的流量来源，SEO显得尤为重要。

       个人网站大多网站结构简单，应对调整反应速度快，更容易符合SEO的规范。从这个角度讲，个人站长大可不必羡慕大型网站有资金有技术，各有各的优势。本文主要从以下方面分享个人网站在建站运营中的seo技巧。

       域名空间

       在技术控前面的文章中分享过，建站的必要条件——域名和空间。首先说域名，除了简单易纪，使用常用后缀外，域名要选择和网站主题相关。如网站是科技主题，在域名中可以包含“tech”。这样就会提高网站的辨识度。如果网站内容与域名相符，会在搜索引擎的排名中有好的表现。如果有多个域名，要选用一个主域名，其他域名301重定向到主域名。空间一定要稳定，速度越快，单位时间内蜘蛛爬的越多，越有利于排名。如果您的网站经常打不开，影响用户的体验，也会影响Spider抓取你的网站，如果经常发生，不但网友不会来了，Spider也不会来了。会影响您网站的收录，更不用说排名。

       树型扁平结构

       层级分明的树状扁平结构是较理想的网站部署结构，每个页面与其父子页面有链接关联，可以帮助用户快速定位到感兴趣的频道、正文，也有利于搜索引擎理解网站结构层次和更好的爬取内容。在url设置上,目录层级不要太深，尽量在4层以内，目录名称要有意义，如：“”。网站url中尽量不包含中文字符，由于编码问题会影响网页的收录。搜索引擎推荐使用面包屑导航，如牛思新闻网>中国新闻>北京新闻>新闻标题”间隔符用大于号“>”。在的写法中要倒过来，新闻标题_北京新闻_中国新闻_牛思新闻网，间隔符用下横杠“_”。

       文章标题

       文章标题中要准确包含文章概要，并且包含文章的主关键词。这个主关键词就是你希望在搜索引擎中排名的关键词。以”笔记本”为例。在百度中搜索“笔记本”，在搜索结果中，几乎每页的标题都含有“笔记本”。如果您发了一篇关于笔记本的文章，写的内容很好，可是标题中没有提到“笔记本”这3个字，那么，客户就很难在搜“笔记本”这个关键词的结果中找到您的文章。另外标题是极重要的内容。大幅修改，可能会带来大幅波动。所以请慎重对待网页标题。如无必要，尽量不做大幅修改。

       文章内容

       文章内容要丰富,最好是原创内容。另外搜索引擎不能识别flash、frame、ajax，所以文章内容要中，要尽量少使用。如果一定要使用，可以建立文字版的索引页。文章正文标题要使用标签，文章配图要加alt标签。

       关键词

       关键词要围绕网站主题来选，个人网站关键词一般都比较集中，要选择百度指数相对高，竞争相对低的。首先从百度指数，百度相关搜索量等等进行综合的数据分析，然后选择适合网站目标关键词，也可以从竞争网站那里查找。分析每个关键词，百度下这个关键词，然后查看排在百度首页网站的类型，如果第一页都是网站首页来做关键词优化的话，那么就说明这个关键词的竞争性比较强。如果这个关键词的竞价排名有好几个位置，那么我们就可以知道这个关键词的竞争性就比较强。还需要参考网站的年代、网站的规模、外链数量、PR值、seo操作手段是否成熟。

       我们选好了关键词，要围绕关键词来组织内容。关键词要在文章页面有所体现。主要出现在title标签中，Meta标签中，网页正文标题中，文章主体内容中，alt标签中，文字链接中。要阅读体验好就可以，不能生硬的套用。

       链接

       有人认为外链很重要，用各种途径发展外链，其实内链也同等重要。

       上面说的几点都是seo基础的知识，但是完全运用好也不是容易的事，需要站长的执行力。搜索引擎的实质就是为了用户快速准确的查找出用户想要的信息，而网站就是帮助搜索引擎为用户提供他想要的信息。你提供的内容优质，符合搜索规范，搜索引擎自然会给你的网站好的排名。

什么是搜索引擎蜘蛛？

       在给新网站做优化的时候，需要注意很多问题，如果没有蜘蛛爬虫抓取网站的话，就会导致网站优化周期无限延长，因此，蜘蛛爬虫抓取新网站内容对于网站优化有着非常重要的作用。那么，新网站如何吸引蜘蛛爬虫的抓取呢？

       一、高质量的内容

       1、高质量的内容对于网站优化有着重要作用，高质量内容不仅仅是针对搜索引擎，同时也是针对用户。如果用户喜欢网站内容，认为这个网站可以解决需求，那么用户就会经常浏览网站，这样就提高了用户的粘性，对于蜘蛛爬虫是同样的道理，如果内容的质量很高，蜘蛛爬虫就会每天定时的进入网站来抓取内容，只要坚持更新内容，网站关键词排名以及权重就会等到一个良好的排名。

       2、网站文章最好是原创的，文章质量越高搜索引擎越喜欢，并且更新频率也要保持一致，不能随意更新，这样就会减少搜索引擎的友好性。

       3、在更新内容的时候，最好每天选择固定的时间，这样蜘蛛爬虫在进入网站的时候就不会空手而归，会带这新内容返回到搜索引擎中，如果让蜘蛛爬虫空手而归，长时间下去，就会让搜索引擎认为这个网站没有新内容，从而减少爬行和抓取次数。

       二、网站链接

       1、对于新网站来说，想要让蜘蛛爬虫进入到网站，最好的方法就是通过外链的形式，因为蜘蛛爬虫对新网站不熟悉也不信任，通过外链可以让蜘蛛爬虫顺利的进入到网站中，从而增加友好性。

       2、高质量的外链可以让蜘蛛爬虫很方便的找到进入网站的入口，高质量的外链越多，蜘蛛爬虫进入网站的次数也就越多。

       3、蜘蛛爬虫进入网站次数多了，自然就对网站熟悉，进而对网站的信任度也会越来越高，那么蜘蛛爬虫就会主动的进入网站抓取内容，进入网站的次数也可能从一天一个上涨到一天很多次。

       对于新网站来说，想要快速体现出优化的效果，就必须做好网站建设的基础工作，同时还要符合搜索引擎的规则，这样才能让蜘蛛爬虫顺利的进入到网站中进行抓取。

搜索引擎“蜘蛛”是指什么？

       搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。

       搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

       国内各大搜索引擎蜘蛛名称：

       百度：百度spider

       谷歌：googlebot

       搜狗：sogou spider

       搜搜：Sosospider

       360搜索：360Spider

       有道：YodaoBot

       雅虎：Yahoo Slurp

       必应：msnbot

       Msn:msnbot

        以上是常见的搜索引擎蜘蛛（爬虫），如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。

slurp是哪个搜索引擎的蜘蛛

       1.spider对一个网站服务器造成的访问压力如何？

        答：uspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，、spider会暂停一会，以防止增大服务器的访问压力。所以在一般情下，对您网站的服务器不会造成过大压力。

        2.为什么spider不停的抓取我的网站？

        答：对于您网站上新产生的或者持续更新的页面，spider会持续抓取。此外，您也可以检查网站访问日志中spider的访问是否正常，以防止有人恶意冒充spider来频繁抓取您的网站。

       3.我不想我的网站被spider访问，我该怎么做？

        答：spider遵守互联网robots协议。您可以利用robots.txt文件完全禁止spider访问您的网站，或者禁止spider访问您网站上的部分文件。

        4.为什么我的网站已经加了robots.txt，还能在百度搜索出来？

        答：因为搜索引擎索引数据库的更新需要时间。虽然spider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。

        5.我希望我的网站内容被百度索引但不被保存快照，我该怎么做？

        答：spider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。

       和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。

        6.Baiduspider多长时间之后会重新抓取我的网页？

        答：百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页。

        7.Baiduspider抓取造成的带宽堵塞？

        答：Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充baidu的spider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至百度网页投诉中心，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

       一、百度蜘蛛

       百度蜘蛛最新名称为Baiduspider，日志中还发现了Baiduspider-image这个百度旗下蜘蛛，我们直接看名字就可以知道它是干嘛的，是专门用以抓取的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。

       备注：以上百度蜘蛛目前最为常见的是，Baiduspider和Baiduspider-image这两种。

       二、谷歌蜘蛛

       这个争议较少，但也有说是Googlebot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”，除此还发现了Googlebot-Mobile，看名字显然是抓取wap内容的。

       三、360蜘蛛

       360Spider，它是一个很“勤奋抓爬”的蜘蛛。

       四、搜狗蜘蛛

       其名称为，Sogou News Spider。

       搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou来简单概括）。看看最权威的百度的robots.txt ，/robots.txt就为搜狗蜘蛛费了不少字节，占了一大块地方。

       “Sogou web spider；Sogou inst spider；Sogou spider2；Sogou blog；Sogou News Spider；Sogou Orion spider”目前主要有这么6个，名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″，可以为它颁个“占名为王”奖。

       好了，今天关于“蜘蛛搜索”的话题就讲到这里了。希望大家能够通过我的介绍对“蜘蛛搜索”有更全面的认识，并且能够在今后的实践中更好地运用所学知识。如果您有任何问题或需要进一步的信息，请随时告诉我。