爬虫：网站三次请求获取频道内容

一、抓包

url = 'aHR0cDovL3d3dy55amZ3LmNuLw=='
1

从下图中可以看出，打开网页请求了三次，前两次在response中并不返回网页内容。

二、代码模仿第一次请求返回

1

由返回的代码看出，需设置url：

url2 = url + '?WebShieldSessionVerify=25t9Mw1vzkt4jgGTLwaV'
1

进行第二次请求，返回：

1

对url进行第三次请求，即可返回正文。

ps：不需关注cookie中的JSESSIONID参数；如果直接模拟第三个返回数据的请求，有时候能正常返回，有时不能，与proxy无关。

三、类似的网站

1. url: aHR0cHM6Ly9tcW15LnlnY3EuY29tLmNuL2NvbnRlbnRfMjMxMTI0OS5odG1s
1

2. 抓包

3. 有时候抓到的包不是这样，直接就可以请求到，需添加代理才出现这样的情况：三次请求获取到正文。