码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 浏览器批量采集网站标题 保存Excel表格


         有一批网址,不知道是什么网站,怎样才能快速获得网站标题呢?方法很简单,就是使用浏览器一个个地打开,记录下网站标题就可以了,关键是找一个具有自动完成功能的浏览器。具体步骤如下:
    1、先把网址整理一下,保存在一个记事本文件中,一行一个网址就可以了,保存文件名为“网址.txt”。 

     2、从木头浏览器工具菜单中,打开项目管理器窗口,新建一个定时控制步骤,设置运行周期为3秒,意思是每3秒查询一个网站。这里不用考虑网速问题,因为页面一般首先加载标题。

    3、创建一个自定义变量的步骤,添加名为网址的变量,来自文本文件,选择刚才创建的“网址.txt”文件。这一步的作用是,每次从文件中读取一行,然后保存到一个名为“网址”的变量中。

    4、再新建一个打开网址的步骤,添加网址时不直接输入真实网址,而是在网址输入框中点击鼠标右键,在弹出的菜单中选择“网址”变量。项目执行时自动把变量替换为值,也就是实际网址。

    5、打开页面后需要抓取标题内容,新建抓取内容步骤,变量名称就命名为“标题”,设置抓取第一个title元素,获取它的text文本值。成功抓取后,内容保存在“标题”变量中。

    6、最后是保存网址和标题,新建保存内容步骤,勾选保存变量内容,设置保存为Excel格式以及文件路径,在设置内容窗口中选择“网址”和“标题”两个变量,即把这两个变量的值保存到“网页标题查询结果.xlsx”表格文件中。

    7、选择本项目步骤树的根节点,点击开始按钮即开始执行。软件间隔3秒自动打开一个网址,抓取标题后保存在设定的excel表格中。注意保存项目文件为“D:\网页标题批量查询.mot”,下次使用时直接打开这个项目文件直接运行。

    8、最后打开excel文档看看保存结果,共有网址和标题两列,对应上面设置的两个变量。

     

     

     

     

     

     

     

  • 相关阅读:
    算法题系列9·最后一个单词的长度
    MyBatis:2_Mapper代理
    tiup dm scale-in
    全日制和非全日制之争,看完六年前的这个文件心里就有数了
    适用于LLM的代理搜索增强事实评估器 (Search-Augmented Factuality Evaluator,SAFE)
    image could not be accessed on a registry to record its digest
    pandas使用read_csv函数读取csv数据、设置parse_dates参数将csv数据中的指定字段数据列解析为时间日期对象
    mysql8.0英文OCP考试第131-140题
    CentOS 7 - Linux 安装详解
    ubuntu系统vscode中配置C++环境(tasks.json、launch.json)
  • 原文地址:https://blog.csdn.net/microyou/article/details/126353844
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号