爬虫基础与人工智能基础

要先执行 : 

pip install requests

第1关：requests 基础

import requests
 
 
def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return:html
    '''
    
    # ***************** Begin ******************** #
 
    # 请补充请求头
    headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
                  "537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
    # get请求网页
    response=requests.get(url=url, headers=headers)  # 模拟登录请求
    # 获取网页信息文本
    html=response.text
    # ***************** End ******************** #
    return html

第2关：requests 进阶

import requests
 
 
def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return html 网页的源码