码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Web Scraper爬虫工具(2)——采集1688供应商信息


    • 新建 sitemap
    • 新建对象Element
      • (需要注意是:采集多个内容一定要先添新建Element,再从Element里采集
      • 指定需要采集的数据
    • 点击 Scrape 开始采集
    • 点击 Export data 导出数据

    新建 sitemap

    1. 打开开发者工具
    2. 选择 web scraper
    3. 选择 Create Sitemap
      点击Create Sitemap
    4. 在 Sitemap name 的位置
      • 输入supplier(可随意更改)
    5. 在 Start URL 输入需要采集的数据的网址
    6. 后点击 Create Sitemap
      在这里插入图片描述

    新建对象Element

    在这里插入图片描述

    选项释义
    Id选择器的名称
    Type选择器的类型
    Seletor指定需要采集的数据
    Multiple如果需要采集多条数据,就勾选它

    选择器使用可查看官方文档:
    https://www.webscraper.io/documentation/selectors

    采集多条供应商信息

    在这里插入图片描述

    1. 点击add select(id自己命名为supplier_block),选择Element选择器,点击select(选择所有供应商信息选区)
      在这里插入图片描述
    2. 点击supplier_block,点击add select(id为name),选择Text选择器,点击select(选择供应商名称)
      在这里插入图片描述
      3.依次add select地址、面积、人数
      在这里插入图片描述
      右上角点击data preview进行数据预览

    点击 Scrape 开始采集

    在这里插入图片描述
    点击刷新数据
    在这里插入图片描述
    浏览采集的数据
    在这里插入图片描述

    点击 Export data 导出数据

    在这里插入图片描述

    下一步改进

    • 采集多页数据
  • 相关阅读:
    Talk预告 | 普渡大学王虓:如何利用合作对抗学习来提升自监督学习
    Unity(第十九部)射线
    Python 中对_call__()方法的理解
    【无标题】
    每天面试题,第二天 字符串相关
    一文总览元宇宙科技独角兽Animoca Brands投资版图
    腾讯云2023年最新优惠券领取入口
    点云从入门到精通技术详解100篇-基于深度学习的3D点云焊点缺陷检测
    java-php-python-会议查询系统计算机毕业设计
    关于 Nginx 0day 漏洞,需要采取哪些措施?
  • 原文地址:https://blog.csdn.net/weixin_44319595/article/details/132575153
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号