码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Web Scraper爬虫工具(2)——采集1688供应商信息


    • 新建 sitemap
    • 新建对象Element
      • (需要注意是:采集多个内容一定要先添新建Element,再从Element里采集
      • 指定需要采集的数据
    • 点击 Scrape 开始采集
    • 点击 Export data 导出数据

    新建 sitemap

    1. 打开开发者工具
    2. 选择 web scraper
    3. 选择 Create Sitemap
      点击Create Sitemap
    4. 在 Sitemap name 的位置
      • 输入supplier(可随意更改)
    5. 在 Start URL 输入需要采集的数据的网址
    6. 后点击 Create Sitemap
      在这里插入图片描述

    新建对象Element

    在这里插入图片描述

    选项释义
    Id选择器的名称
    Type选择器的类型
    Seletor指定需要采集的数据
    Multiple如果需要采集多条数据,就勾选它

    选择器使用可查看官方文档:
    https://www.webscraper.io/documentation/selectors

    采集多条供应商信息

    在这里插入图片描述

    1. 点击add select(id自己命名为supplier_block),选择Element选择器,点击select(选择所有供应商信息选区)
      在这里插入图片描述
    2. 点击supplier_block,点击add select(id为name),选择Text选择器,点击select(选择供应商名称)
      在这里插入图片描述
      3.依次add select地址、面积、人数
      在这里插入图片描述
      右上角点击data preview进行数据预览

    点击 Scrape 开始采集

    在这里插入图片描述
    点击刷新数据
    在这里插入图片描述
    浏览采集的数据
    在这里插入图片描述

    点击 Export data 导出数据

    在这里插入图片描述

    下一步改进

    • 采集多页数据
  • 相关阅读:
    数据结构——排序算法(C语言)
    2023 Hubei Provincial Collegiate Programming Contest题解 C F H I J K M
    深度学习经典检测方法概述
    Linux环境配置升级python
    static_assert
    ASP.NET Core - 选项系统之选项配置
    XX攻击——反射型 XSS 攻击劫持用户浏览器
    《梦醒蝶飞:释放Excel函数与公式的力量》1.1.8认识 excel后台视图
    java 实用的时间日期工具类
    pytorch,numpy两种方法实现nms类间+类内
  • 原文地址:https://blog.csdn.net/weixin_44319595/article/details/132575153
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号