• 老司机带你用python从另外一个角度看市场需求~


    从这个标题来看就很有格局有没有?

    在这里插入图片描述
    今天教的是采集按摩店的数据,

    不爬不知道呀,

    光是一个城市的前10页数据,

    都有1000多家店了,

    全部爬完,那不得至少3000家以上?

    现在的市场需求都那么大的吗?

    在这里插入图片描述
    今天不光教代码,还要带你们去逛逛…

    就只是逛逛,我也没去过,就是好奇,才看看的。

    很多会所的名字,一看名字就知道是家服务到位的店了~ ~ ~

    在这里插入图片描述

    代码主要内容【点击此处获取代码】

    1. 动态数据抓包
    2. json数据解析
    3. requests模块的使用
    4. 保存csv

    环境介绍

    python 3.8 解释器
    pycharm 编辑器

    开始代码,先导包

    import requests  # 数据请求模块 第三方模块 pip install requests
    import pprint  # 格式化输出模块
    import csv  # 保存csv模块
    
    • 1
    • 2
    • 3

    发送请求

    # 因为它是字典数据类型
    data = {
        'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
        'userid': '266252179',
        'limit': '32',
        'offset': 32,
        'cateId': '-1',
        'q': '按摩',
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
    }
    response = requests.get(url=url, params=data, headers=headers)  # 发送请求
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13

    加上请求头 作用: 伪装
    User-Agent:表示浏览器基本信息
    Cookie: 用户信息, 常用于检测是否有登陆账号
    Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的

    如果:返回的response对象 403 状态码,表示你没有访问权限
    200 表示请求成功

    解析数据, 提取我们想要的一些数据内容 (店铺信息)

    searchResult = response.json()['data']['searchResult']
    # for 遍历 提取列表中的每一个元素内容
    for index in searchResult:
        # pprint.pprint(index)
        href = f'https://www.嘻嘻.com/xiuxianyule/{index["id"]}/'
    
        dit = {
            '店铺名字': index['title'],
            '店铺类型': index['backCateName'],
            '店铺商圈': index['areaname'],
            '店铺评分': index['avgscore'],
            '店铺评论量': index['comments'],
            '人均消费': index['avgprice'],
            '维度': index['latitude'],
            '经度': index['longitude'],
            '详情页': href,
        }
        csv_writer.writerow(dit)
        print(dit)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19

    翻页爬取

    for page in range(0, 3201, 32):
        url = 'https://apimobile.嘻嘻.com/group/v4/poi/pcsearch/70'
        data = {
            'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
            'userid': '266252179',
            'limit': '32',
            'offset': page,
            'cateId': '-1',
            'q': '按摩',
      }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    在这里插入图片描述这个是第二页和第三页的数据内容,每次翻页offset + 32

    最后是保存数据

    f = open('按摩店top2.csv', mode='a', encoding='utf-8', newline='')
    csv_writer = csv.DictWriter(f, fieldnames=[
        '店铺名字',
        '店铺类型',
        '店铺商圈',
        '店铺评分',
        '店铺评论量',
        '人均消费',
        '维度',
        '经度',
        '详情页',
    ])
    csv_writer.writeheader() # 写入表头
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13

    可视化图表

    导入数据

    import pandas as pd
    import numpy as np
    from pyecharts.charts import *
    from pyecharts import options as opts
    from pyecharts.globals import ThemeType  #引入主题
    df = pd.read_csv('按摩店top2.csv',encoding='utf-8',engine="python")
    df.sample(5)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    不同评分类型店铺数量

    df4 = df.groupby('店铺评分')['店铺名字'].count()
    df4 = df4.sort_values(ascending=False)
    regions = df4.index.tolist()
    values = df4.tolist()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
            .add("", [z for z in zip(regions,values)])
            .set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源:嘻嘻",pos_top="-1%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    在这里插入图片描述

    不同店铺类型店铺数量

    df6 = df.groupby('店铺类型')['店铺名字'].count()
    df6 = df6.sort_values(ascending=False)[:10]
    df6 = df6.round(2)
    regions = df6.index.tolist()
    values = df6.tolist()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
            .add("", [i for i in zip(regions,values)],radius=["40%", "75%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18))
        )
    c.render_notebook()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    在这里插入图片描述
    前10页的店铺,有1016家,评分5分的有714家

    在这里插入图片描述

  • 相关阅读:
    FlyFlow:全新开源版问世,支持SpringBoot3+Flowable7
    [C/C++] 数据结构 LeetCode:用队列实现栈
    Vertica 向 GBase8a 迁移指南之VARBINARY/BYTEA/RAW 数据类型
    android应用开发基础知识,安卓面试2020
    Java 枚举数据转Map 查找 筛选
    使用栈检查括号的合法性 C 实现
    HTML期末大学生网页-游戏官网 web期末作业设计网页
    Linux相关命令
    定时保存正在编辑的文档原理阐述及通过windowsApi实现
    Canal-1.1.6推送数据至Elasticsearch7.16.2(整合版)
  • 原文地址:https://blog.csdn.net/xff123456_/article/details/126444244