seo基础入门教程:解读爬虫与seo的关系

2019-12-13

网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(General Purpose Web Crawler)、聚焦网络爬虫(Focused Web Crawler)、增量式网络爬虫(Incremental Web Crawler)、深层网络爬虫(Deep Web Crawler)。实际的网络爬虫系统通常是几种爬虫技术相结合实现的
搜索引擎原理对于我们操作seo的重要性,爬虫是其中不可或缺的一环,从这个角度来看,seo与爬虫的关系是密不可分的。

通过简单的流程图,这个流程图也就是搜索引擎原理,就可以看到seo与爬虫的关系,

如下:网络 < — > 爬虫 < — > 网页内容库 < — > 索引程序 < — > 索引库 < — > 搜索引擎 < — > 用户。


网站上线,其基本述求是让网站的内容被用户搜索到,且这个概率越高越好,爬虫的作用体现在收录方面,体现在网站的内容有多少能被搜索引擎看到。

一:爬虫是什么?

爬虫有很多名字,比如web机器人、spider等,它是一种可以在无需人类干预的情况下自动进行一系列web事务处理的软件程序。

二:爬虫爬行方式是什么?

web爬虫是一种机器人,它们会递归地对各种信息性的web站点进行遍历,获取第一个web页面,然后获取那个页面指向的所有的web页面,依次类推。因特网搜索引擎使用爬虫在web上游荡,并把他们碰到的文档全部拉回来。然后对这些文档进行处理,形成一个可搜索的数据库。简单来说,网络爬虫就是搜索引擎访问你的网站进而收录你的网站的一种内容采集工具。例如:百度的网络爬虫就叫做BaiduSpider。

三:爬虫程序本身需要优化的注意点。

链接提取以及相对链接的标准化

爬虫在web上移动的时候会不停的对HTML页面进行解析,它要对所解析的每个页面上的URL链接进行分析,并将这些链接添加到需要爬行的页面列表中去。关于具体的方案我们可以查阅这篇文章

避免环路的出现

web爬虫在web上爬行时,要特别小心不要陷入循环之中,至少有以下三个原因,环路对爬虫来说是有害的。

他们会使爬虫可能陷入可能会将其困住的循环之中。爬虫不停的兜圈子,把所有时间都耗费在不停获取相同的页面上。

爬虫不断获取相同的页面的同时,服务器段也在遭受着打击,它可能会被击垮,阻止所有真实用户访问这个站点。

爬虫本身变的毫无用处,返回数百份完全相同的页面的因特网搜索引擎就是这样的例子。

同时,联系上一个问题,由于URL“别名”的存在,即使使用了正确的数据结构,有时候也很难分辨出以前是否访问过这个页面,如果两个URL看起来不一样,但实际指向的是同一资源,就称为互为“别名”。

标记为不爬取

可以在你的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被蜘蛛访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎访问和收录了,或者可以通过robots.txt指定搜 索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是robot.txt。同样也可以把链接加上rel=”nofollow”标记。

避免环路与循环方案

规范化URL

广度优先的爬行

以广度优先的方式去访问就可以将环路的影响最小化。

节流

限制一段时间内爬虫可以从一个web站点获取的页面数量,也可以通过节流来限制重复页面总数和对服务器访问的总数。

限制URL的大小

如果环路使URL长度增加,长度限制就会最终终止这个环路

URL黑名单

人工监视

四:爬虫工作原理

聚焦爬虫工作原理及关键技术概述

爬虫是一个自己主动提取网页的程序。它为搜索引擎从Internet网上下载网页。是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL。在抓取网页的过程中。不断从当前页面上抽取新的URL放入队列。直到满足系统的一定停止条件。


聚焦爬虫的工作流程较为复杂,需要依据一定的网页分析算法过滤与主题无关的链接,保留实用的链接并将其放入等待抓取的URL队列。


然后,它将依据一定的搜索策略从队列中选择下一步要抓取的网页URL,并反复上述过程,直到达到系统的某一条件时停止,另外。全部被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索。对于聚焦爬虫来说。这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。相对于通用网络爬虫,聚焦爬虫还需要解决三个主要问题:对抓取目标的描写叙述或定义。对网页或数据的分析与过滤;对URL的搜索策略。抓取目标的描写叙述和定义是决定网页分析算法与URL搜索策略怎样制定的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。

五:如何被爬虫抓取

爬虫就是自动提取网页的程序,如百度的蜘蛛等,要想让自己的网站更多页面被收录,首先就要让网页被爬虫抓取。


如果你的网站页面经常更新,爬虫就会更加频繁的访问页面,优质的内容更是爬虫喜欢抓取的目标,尤其是原创内容。


如果你做了许多努力仍没有被爬虫抓取,可以看一下工程师给出的两点建议:


1、不建议站点使用js生成主体内容,如果js渲染出错,很可能导致页面内容读取错误,页面则无法被爬虫抓取。


2、许多站点会针对爬虫做优化,建议页面长度在128k之内,不要过长。


SEO是用户们最有兴趣搜索的,也是最具潜在商业价值的服务手段,这是一个长期的工作,不能急于求成,在这个互联网竞争的大环境中,你比竞争对手多做一点点,有可能就会得到质的飞跃!欢迎关注秒懂SEO每天与您共分享。

<

扫描二维码分享到微信