初识爬虫自我感受

爬虫是合法的还是违法的？？

• 爬虫在法律中是不被禁止的
• 具有一定的违法风险

• 风险体现在如下的两方面 :
• 1. 爬虫干扰到了被访问网站的正常运营
• 2. 爬虫抓取到了受到法律保护的特定类型的数据或者信息

爬虫在使用场景中的分类

1. 通用爬虫：抓取系统重要组成部分，抓取的是一整张页面数据。
2. 聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。
3. 增量式爬虫：检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

robots.txt 协议

robots.txt 协议规定了网页中哪些数据是可以被爬取的

下面就以B站来举例子
B站官网网址：

https://www.bilibili.com

我们在网址后面加上 /robots.txt ，就可以查看哪些数据可以被爬取了

https://www.bilibili.com/robots.txt