码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 零代码编程:用ChatGPT批量采集bookroo网页上的英文书目列表


    bookroo网页上有很多不错的英文图书书目。比如这个关于儿童花样滑冰的书单:

    https://bookroo.com/explore/books/topics/ice-skating

    怎么批量下载下来呢?

    这个网页是动态网页,要爬取下来比较麻烦,可以先查看源代码,然后把源代码保存到本地e盘:DOCTYPE html.htm

    打开这个源代码文件:

    仔细看,书籍信息在json对象里面:

    问ChatGPT如何提取这些书籍名称:

    如何从以上网页源代码中提取出title的内容,比如提取出"title":"Mice Skating"、title":"Flora and the Penguin"中的:Mice Skating、Flora and the Penguin

    ChatGPT的回复:

    你的问题描述中的内容看起来像是一段JSON格式的数据,而不是HTML源代码。这是一个JSON对象,其中包含一个"books"的列表,每个列表项又是一个包含各种属性(包括"title")的字典。

    为了提取"title"的内容,你可以首先将这个JSON字符串转换为Python的数据结构,然后遍历"books"列表,提取每个书籍的"title"。以下是一个例子:

    import json

    # 这是你的JSON字符串。我已经将其稍微清理过了。

    json_str = '''

    {

    "props": {

    "pageProps": {

    "initialData": {

    "pages": [

    {

    "books": [

    {

    "title": "Flora and the Penguin",

    ...

    },

    {

    "title": "Mice Skating",

    ...

    },

    ...

    ]

    }

    ]

    }

    }

    }

    }

    '''

    # 将JSON字符串转为Python数据结构

    data = json.loads(json_str)

    # 遍历"books"列表

    for page in data['props']['pageProps']['initialData']['pages']:

    for book in page['books']:

    # 提取并打印"title"

    print(book['title'])

    注意:我在JSON字符串中使用了省略号("...")来表示你的原始数据中还有更多的内容。在实际使用中,你应该用你的完整的JSON字符串替换json_str的值。

    将所有的JSON字符串复制到json_str = ''' ''' 里面,运行程序,成功获取到页面的所有图书名称:

  • 相关阅读:
    centos7.6部署fabric以及链码
    C语言错题总结
    《统计学习方法》 第九章 EM算法(原理+代码)
    Spring Data JPA系列5:让IDEA自动帮你写JPA实体定义代码
    计算机、通信及信号处理领域各单位的期刊与会议分级
    抖音矩阵系统,抖音矩阵系统,抖音矩阵系统,抖音矩阵系统,抖音矩阵系统,抖音矩阵系统,抖音矩阵系统,抖音矩阵系统,抖音矩阵系统,抖音矩阵系统。
    【专题学习】对比学习原理及代码
    Jenkins详细配置
    numpy和matlab的多维数组展平:ravel, flatten, reshape, (:)
    实时数据仓库==(总结)
  • 原文地址:https://blog.csdn.net/AIGCTribe/article/details/133837356
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号