码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 零代码编程:用ChatGPT批量采集bookroo网页上的英文书目列表


    bookroo网页上有很多不错的英文图书书目。比如这个关于儿童花样滑冰的书单:

    https://bookroo.com/explore/books/topics/ice-skating

    怎么批量下载下来呢?

    这个网页是动态网页,要爬取下来比较麻烦,可以先查看源代码,然后把源代码保存到本地e盘:DOCTYPE html.htm

    打开这个源代码文件:

    仔细看,书籍信息在json对象里面:

    问ChatGPT如何提取这些书籍名称:

    如何从以上网页源代码中提取出title的内容,比如提取出"title":"Mice Skating"、title":"Flora and the Penguin"中的:Mice Skating、Flora and the Penguin

    ChatGPT的回复:

    你的问题描述中的内容看起来像是一段JSON格式的数据,而不是HTML源代码。这是一个JSON对象,其中包含一个"books"的列表,每个列表项又是一个包含各种属性(包括"title")的字典。

    为了提取"title"的内容,你可以首先将这个JSON字符串转换为Python的数据结构,然后遍历"books"列表,提取每个书籍的"title"。以下是一个例子:

    import json

    # 这是你的JSON字符串。我已经将其稍微清理过了。

    json_str = '''

    {

    "props": {

    "pageProps": {

    "initialData": {

    "pages": [

    {

    "books": [

    {

    "title": "Flora and the Penguin",

    ...

    },

    {

    "title": "Mice Skating",

    ...

    },

    ...

    ]

    }

    ]

    }

    }

    }

    }

    '''

    # 将JSON字符串转为Python数据结构

    data = json.loads(json_str)

    # 遍历"books"列表

    for page in data['props']['pageProps']['initialData']['pages']:

    for book in page['books']:

    # 提取并打印"title"

    print(book['title'])

    注意:我在JSON字符串中使用了省略号("...")来表示你的原始数据中还有更多的内容。在实际使用中,你应该用你的完整的JSON字符串替换json_str的值。

    将所有的JSON字符串复制到json_str = ''' ''' 里面,运行程序,成功获取到页面的所有图书名称:

  • 相关阅读:
    Spring中有哪些设计模式
    从Gamma空间改为Linear空间会导致性能下降吗
    【JavaScript设计模式】增强版发布订阅模式——Webpack的核心Tapable(一)
    如何在 ACK 中使用 MSE Ingress
    Linux基础概念,目录文件操作命令,压缩命令:
    网页元素定位秘籍:从HTML探秘到Python自动化实战20240626
    Linux 系统服务
    c 几种父进程主动终止子进程的方法
    【Linux】程序地址空间
    怎么把PDF转换为PPT格式?分享三种简单的转换方法
  • 原文地址:https://blog.csdn.net/AIGCTribe/article/details/133837356
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号