需求:由于某用户需要生活指数内容,原来的爬取通道停服了,提出相关功能
步骤一:查找数据源
用一下万能的百度,搜索到数据源,展示了八种
步骤二:数据分析
打开调试页面,先看是否有接口,如果没有接口,查看是否是直接渲染到页面里了,如果没有渲染到页面里,看看是否是通过js里获取的
通过分析立马锁定相关数据,是通过接口获取过来一个js定义的变量和参数值,不过显示的是乱码,通过分析请求的响应参数得知返回的是gzip压缩格式,咱们可以通过
返回结果看到数据就在js里
步骤三:数据链接是否可用
京公网安备 11010502049817号