爬虫是什么
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。
Web网络爬虫系统的功能是下载网页数据,为搜索引擎系统提供数据来源,很多大型的网络搜索引擎系统都是基于Web数据采集的搜索引擎系统,由此可见Web网络爬虫在搜索引擎中的重要性。
在网络爬虫的系统框架中,主过程由控制器、解析器、资源库三部分组成。控制器的主要工作是负责给多线程中各个爬虫线程分配工作任务;解析器的主要工作是下载网页,进行网页的处理,处理的内容包括JS脚本标签、CSS代码内容、空格字符、HTML标签等内容。资源库是用来存放下载到的网页资源,一般会采用大型的数据库存储,并对其建立索引。
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
三星微信黑暗模式怎么设置
微信的暗黑模式是跟手机的暗黑模式自动设置的,只要进入设置,然...手机屏幕跑马灯怎样安装
手机屏幕跑马灯的安装方法网上下载相应载软件安装打开通知权限开...朋友和敌人的名言
敌人的敌人就是朋友,欢迎你我的朋友。把所有人都视为朋友,而不...买回来的成年鸽子养多久能放飞
一般在个月左右就可以放飞,而老鸽子最好是在产蛋或是哺育小鸽子...简历上的职业技能是什么意思
职业能力包括很多种,除了英语技能计算机技能专业技能之外,还包...129事件简介
一二九运动又称为一二九抗日救亡运动。年月日,北京大中学生数千...黄渤吴京演的电影叫什么
黄渤吴京演的电影叫我和我的祖国,该片是由陈凯歌担任总导演,张...祠祀建筑是严格按照礼制要求建的吗
祠祀建筑是服务于精神世界的非生活实用的特殊建筑类型,人们只是...野菊花泡水喝的功效是什么
野菊花是可以用来泡水喝的,很多人不知道野菊花泡水喝的功效是什...余数都比除数小为什么
余数都比除数小,因为余数是数学除式计算最后不能再整除的数,就...有关公德心的名言
事业重如山,名利淡如水。正直坦荡,表里如一。心无私欲,自然会...虾籽在虾的哪个部位
虾籽在虾的腹部下虾脚之间抱着,虾籽又叫虾蛋,是虾子的卵加工而...石斑鱼日常养殖方法
选择时,必须注意鱼的质量。应选择鱼体壮,活力强,无病无鳞片损...爱情公寓4最后一集的片尾曲是什么
是电视剧爱情公寓的插曲,刘伟德戴爱玲演唱,发行于年月日,由刘...玉米面是酸性食物还是碱性食物
玉米面是碱性食物。按颜色来区分,玉米面可分为黄玉米面和白玉米...