在app运营过程中,有时候我们需要了解app中的一些数据,比如:我们自己开的网店,有时候app官方提供的数据并不能满足我们的实际需求,这时就需要使用工具来自动抓取我们自己店铺中有用的数据。一般有两种实现方法,一种是直接请求api接口获取目标数据;另一种是模拟人工操作浏览app页面,然后搜集相关数据。下面就分别介绍两种实现技术方案。
模拟人工操作自动浏览app来抓取app,最核心的就是app自动化,也即:不需人工干预,自动操作app。下面以冰狐智能辅助为例,来讲解如何使用app自动化来实现自动抓取app数据。
是一个让不懂编程的"小白"或者编程初学者在极短时间内、以最小成本实现各种app自动化功能的开发平台。不需人工干预即可实现自动操控任何app,可用于制作app自动化工具、智能辅助、效率工具等。譬如:自动化测试、自动化运营、智能机器人、自动签到等等。具体实现步骤如下:
以拼多多为例:
目标:获取拼多多中价格小于1.6的商品
自动构建可以不写一行代码,仅仅通过配置模块参数就可以实现app自动化,自动获取app数据。
请求api来抓取app数据最核心的是分析出获取数据的api接口参数,然后在电脑或者手机中模拟调用,最后把结果中有用的数据抽取出来。具体步骤如下:
Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据
fiddler下载:Fiddler | Web Debugging Proxy and Troubleshooting Solutions
fiddler的安装就不用多说了,傻瓜是安装。
fiddler是基于代理来实现抓取网络数据包的工作的,当我们开启fiddler以后,fiddler会将我们的浏览器的代理默认进行更改为127.0.0.1 端口是8888,这时fiddler的默认端口,也就是说我们发送的每一个请求和收到的每一个响应都会先经过fiddler,这样就实现了抓取数据包的工作。
fiddler是一个很方便的抓取网络数据包的工具,他是基于代理的方式来实现的。
注意:
抓到数据后,要分析出各个参数的含义,以便于后面修改,
可以使用postman或者其他开发工具(比如冰狐智能辅助)写js代码来请求api,注意参数一定要准确,否则可能失败。