-
Python爬取公交线路信息及站点shp数据 文末附数据下载地址
本篇主要记录爬取公交网整个过程，由于这次所用方法虽比较常规，但由于该网站页面内容转码原因以及遍历链接较多，所以小坑还是比较多的，特在此进行记录。
以前爬过百度地图，当时用的是API平台，加上网站比较规范，所以标签节点什么的都比较清晰，但这次由于特殊原因所选择的网站为公交网，废话不多说直接开始吧。
网站主页：www.xbus.cn
操作环境为
-
window 8
-
python 3.6
-
Jupyter Notebook
-
re requests lxml pandas time os urllib
调用的库（这次不用截图了，用代码块更清楚一些）：
- 1import requests
- 2import csv
- 3import time
- 4import pandas as pd
- 5import re
- 6from lxml import etree
- 7import urllib
- 8import os
- 9from IPython.core.interactiveshell import InteractiveShell
- 10InteractiveShell.ast_node_interactivity = 'all'
一、首先打开主页，进入公交线路信息页面，爬取第一页内容
打开F12，
-
-
相关阅读:
Spring Boot 集成MyBatis-Plus
【ARM 安全系列介绍 3.7 -- SM4 对称加密算】
【基于OpenHarmony的智能学习桌面项目中遇到的问题及解决办法】
23种设计模式（十一）外观模式（阁瑞钛伦特软件-九耶实训）
The rise of language models
《动手学深度学习 Pytorch版》 4.7 前向传播、反向传播和计算图
天眼护航 安全无界：天通哨兵PS02—电力巡检保护的智能利器
Spring框架中bean的生命周期
【数据集】1985-2022年CLCD逐年土地利用分类数据
【SQL数据库】数据库的创建、查询、插入等操作使用方法（结合黑皮书教材网站(db-book中的例子）在MySQL Workbench和shell中实现查询操作
- 原文地址：https://blog.csdn.net/qq_41127811/article/details/127923866