• 爬虫_爬取wasde月度供需平衡表(实例)

    注：该实例需要梯子。

    美国月度公布的世界农产品供需平衡表对研究农产品是必不可少的素材，本章是一个完整实例，爬取历年发布的wasde报告。USDA网站中有提供历史数据库查询与下载，但经过核对发现有些类目在wasde报告中有，而数据库中下载的数据中没有，为了更贴近研究需求，直接获取所有的wasde报告。

    目录

    写在前面

    步骤一：获取目录

    步骤二：获取xls链接地址

    步骤三：下载xls文件

    步骤四：获取txt链接地址

    步骤五：下载txt文件

    步骤六：获取pdf链接地址

    步骤七：下载pdf文件

    步骤八： 将pdf转成txt文件

    写在前面

     1. wasde报告有提供xls、txt、xml和pdf下载，但不是所有时间点都有这四种方式提供，早期的只有pdf,有些时间点只提供这四种方式中的几样，本例操作中，优先xls,其次txt,最次pdf
    2. 获取xls或txt或pdf文件后，需要某项数据需要从文件中提取出来，xls和txt的提取方便，pdf不方便，网站中获取的pdf需要经过ocr转成txt,比较费劲
    3. 从爬取到最终获得数据，前后步骤较多，有点复杂，需要耐心

    步骤一：获取目录

    将目录所在的html文件下载

    Publication | World Agricultural Supply and Demand Estimates | ID: 3t945q76s | USDA Economics, Statistics and Market Information System

     目录共计66页，改变url中的页码，下载这66页目录的html文件

    1. import os,json,requests,urllib3
    2. from selenium import webdriver
    3. from time import sleep
    4. from bs4 import BeautifulSoup
    5. from tools import mongodb_utils,date_tools,string_tools
    6. import xlrd
    7.  
    8. def wasde_step_one():
    9.     pre_dir = r'D:/temp006/'
    10.     driver = webdriver.Chrome('../driver/chromedriver.exe')
    11.     # 设置超时时间 10s
    12.     driver.set_page_load_timeout(10)
    13.     for i in range(1, 67):
    14.         print(i)
    15.         url_str = f"https://usda.library.cornell.edu/concern/publications/3t945q76s?locale=en&page={i}#release-items"
    16.         driver.get(url_str)
    17.         page_source = driver.page_source
    18.         file_path = pre_dir + str(i) + '.html'
    19.         with open(file_path, 'w', encoding='utf-8') as fw:
    20.             fw.write(page_source)
    21.         sleep(2)
    22.     driver.close()
    23.     driver.quit()
    24.     pass

    步骤二：获取xls链接地址

    将存在xls链接的地址都获取下来

    1. def wasde_step_three():
    2.     headers = {
    3.         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    4.     }
    5.     proxies = {'http': 'http://127.0.0.1:7890', 'https': 'http://127.0.0.1:7890'}
    6.     urllib3.disable_warnings()
    7.  
    8.     pre_dir = r'D:/temp005/'
    9.     pic_save_dir = r'D:/temp003/'
    10.     for i in range(6, 67):
    11.         print(i)
    12.         json_file_name = f"{i}.json"
    13.         json_file_path = pre_dir + json_file_name
    14.         with open(json_file_path, 'r', encoding='utf-8') as fr:
    15.             node_list = json.load(fr)
    16.         for node in node_list:
    17.             date_str = node['date']
    18.             url_str = node['url']
    19.  
    20.             xls_save_name = f"{date_str}.xls"
    21.             pre_save_dir_00 = pic_save_dir + str(i)
    22.             if os.path.exists(pre_save_dir_00):
    23.                 pass
    24.             else:
    25.                 os.mkdir(pre_save_dir_00)
    26.  
    27.             r = requests.get(url_str, headers=headers,proxies=proxies,verify=False)
    28.             xls_save_path = pre_save_dir_00 + os.path.sep + xls_save_name
    29.             with open(xls_save_path, 'wb') as fw:
    30.                 fw.write(r.content)
    31.         pass
    32.     pass

    分析节点，提取存在xls的目录，并存储到json文件中，并将json文件存储到指定目录下 

    步骤三：下载xls文件

    在步骤二中获取了xls的下载地址，根据这些下载地址下载xls文件

    1. def wasde_step_three():
    2.     headers = {
    3.         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    4.     }
    5.     proxies = {'http': 'http://127.0.0.1:7890', 'https': 'http://127.0.0.1:7890'}
    6.     urllib3.disable_warnings()
    7.  
    8.     pre_dir = r'D:/temp005/'
    9.     pic_save_dir = r'D:/temp003/'
    10.     for i in range(1, 67):
    11.         print(i)
    12.         json_file_name = f"{i}.json"
    13.         json_file_path = pre_dir + json_file_name
    14.         with open(json_file_path, 'r', encoding='utf-8') as fr:
    15.             node_list = json.load(fr)
    16.         for node in node_list:
    17.             date_str = node['date']
    18.             url_str = node['url']
    19.  
    20.             xls_save_name = f"{date_str}.xls"
    21.             pre_save_dir_00 = pic_save_dir + str(i)
    22.             if os.path.exists(pre_save_dir_00):
    23.                 pass
    24.             else:
    25.                 os.mkdir(pre_save_dir_00)
    26.  
    27.             r = requests.get(url_str, headers=headers,proxies=proxies,verify=False)
    28.             xls_save_path = pre_save_dir_00 + os.path.sep + xls_save_name
    29.             with open(xls_save_path, 'wb') as fw:
    30.                 fw.write(r.content)
    31.         pass
    32.     pass

    步骤四：获取txt链接地址

    对于没有提供xls文件的目录，获取txt链接地址

    1. def wasde_step_four():
    2.     pic_dir = r'D:/temp005/'
    3.     pre_dir = r'D:/temp006/html/'
    4.  
    5.     for file_no in range(1, 67):
    6.         # print(file_no)
    7.         final_list = []
    8.         file_name = f"{file_no}.html"
    9.         file_path = pre_dir + file_name
    10.         with open(file_path, 'r', encoding='utf-8') as fr:
    11.             html_content = fr.read()
    12.         soup = BeautifulSoup(html_content, 'lxml')
    13.         tbody_node = soup.find('tbody', {'id': 'release-items'})
    14.         tr_list = tbody_node.find_all('tr')
    15.         for tr_node in tr_list:
    16.             td_list = tr_node.find_all('td')
    17.             td_one = td_list[0]
    18.             date_str = td_one.string
    19.             res_date_str = date_tools.wasde_trans_date_str(date_str)
    20.  
    21.             td_two = td_list[1]
    22.             a_list = td_two.find_all('a')
    23.             txt_url = None
    24.             has_xls_yeah = False
    25.             for a_node in a_list:
    26.                 if a_node.get('data-label') is None:
    27.                     continue
    28.                 data_label = a_node['data-label']
    29.                 if 'xls' in data_label:
    30.                     has_xls_yeah = True
    31.                     break
    32.                 if 'txt' in data_label:
    33.                     txt_url = a_node['href']
    34.             if has_xls_yeah:
    35.                 continue
    36.             if txt_url is None:
    37.                 print(f"{file_no}::{date_str}")
    38.                 continue
    39.  
    40.             final_list.append({
    41.                 'date': res_date_str,
    42.                 'url': txt_url
    43.             })
    44.  
    45.         save_file_name = f"{file_no}.json"
    46.         save_file_path = pic_dir + save_file_name
    47.         with open(save_file_path, 'w', encoding='utf-8') as fw:
    48.             json.dump(final_list, fw, ensure_ascii=False)
    49.             pass

    承接步骤二，没有提供xls的目录，检查是否提供txt，有则获取并存储到json文件中，并将json文件存储到指定目录下 

    步骤五：下载txt文件

    在步骤四种获取txt下载地址，根据这些下载地址，下载txt文件

    1. def wasde_step_five():
    2.     headers = {
    3.         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    4.     }
    5.     proxies = {'http': 'http://127.0.0.1:7890', 'https': 'http://127.0.0.1:7890'}
    6.     urllib3.disable_warnings()
    7.  
    8.     pre_dir = r'D:/temp005/'
    9.     pic_save_dir = r'D:/temp003/'
    10.     for i in range(1, 67):
    11.         print(i)
    12.         json_file_name = f"{i}.json"
    13.         json_file_path = pre_dir + json_file_name
    14.         with open(json_file_path, 'r', encoding='utf-8') as fr:
    15.             node_list = json.load(fr)
    16.         for node in node_list:
    17.             date_str = node['date']
    18.             url_str = node['url']
    19.  
    20.             xls_save_name = f"{date_str}.txt"
    21.             pre_save_dir_00 = pic_save_dir + str(i)
    22.             if os.path.exists(pre_save_dir_00):
    23.                 pass
    24.             else:
    25.                 os.mkdir(pre_save_dir_00)
    26.  
    27.             r = requests.get(url_str, headers=headers, proxies=proxies, verify=False)
    28.             xls_save_path = pre_save_dir_00 + os.path.sep + xls_save_name
    29.             with open(xls_save_path, 'w',encoding='utf-8') as fw:
    30.                 fw.write(r.text)
    31.         pass

    步骤六：获取pdf链接地址

    对于没有提供xls文件也没有txt文件的目录，获取pdf链接地址

    1. def wasde_step_six():
    2.     pic_dir = r'D:/temp005/'
    3.     pre_dir = r'D:/temp006/html/'
    4.  
    5.     for file_no in range(1, 67):
    6.         # print(file_no)
    7.         final_list = []
    8.         file_name = f"{file_no}.html"
    9.         file_path = pre_dir + file_name
    10.         with open(file_path, 'r', encoding='utf-8') as fr:
    11.             html_content = fr.read()
    12.         soup = BeautifulSoup(html_content, 'lxml')
    13.         tbody_node = soup.find('tbody', {'id': 'release-items'})
    14.         tr_list = tbody_node.find_all('tr')
    15.         for tr_node in tr_list:
    16.             td_list = tr_node.find_all('td')
    17.             td_one = td_list[0]
    18.             date_str = td_one.string
    19.             res_date_str = date_tools.wasde_trans_date_str(date_str)
    20.  
    21.             td_two = td_list[1]
    22.             a_list = td_two.find_all('a')
    23.             pdf_url = None
    24.             has_xls_yeah = False
    25.             has_txt_yeah = False
    26.             for a_node in a_list:
    27.                 if a_node.get('data-label') is None:
    28.                     pdf_url = a_node['href']
    29.                 else:
    30.                     data_label = a_node['data-label']
    31.                     if 'xls' in data_label:
    32.                         has_xls_yeah = True
    33.                         break
    34.                     if 'txt' in data_label:
    35.                         has_txt_yeah = True
    36.                         break
    37.                     if 'pdf' in data_label:
    38.                         pdf_url = a_node['href']
    39.             if has_xls_yeah:
    40.                 continue
    41.             if has_txt_yeah:
    42.                 continue
    43.             if pdf_url is None:
    44.                 print(f"{file_no}::{date_str}")
    45.                 continue
    46.  
    47.             final_list.append({
    48.                 'date': res_date_str,
    49.                 'url': pdf_url
    50.             })
    51.  
    52.         save_file_name = f"{file_no}.json"
    53.         save_file_path = pic_dir + save_file_name
    54.         with open(save_file_path, 'w', encoding='utf-8') as fw:
    55.             json.dump(final_list, fw, ensure_ascii=False)
    56.             pass

    承接步骤二，没有提供xls和txt的目录，则获取pdf并存储到json文件中，并将json文件存储到指定目录下 

    步骤七：下载pdf文件

    1. def wasde_step_seven():
    2.     headers = {
    3.         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    4.     }
    5.     proxies = {'http': 'http://127.0.0.1:7890', 'https': 'http://127.0.0.1:7890'}
    6.     urllib3.disable_warnings()
    7.  
    8.     pre_dir = r'D:/temp005/'
    9.     pic_save_dir = r'D:/temp003/'
    10.     for i in range(1, 67):
    11.         print(i)
    12.         json_file_name = f"{i}.json"
    13.         json_file_path = pre_dir + json_file_name
    14.         with open(json_file_path, 'r', encoding='utf-8') as fr:
    15.             node_list = json.load(fr)
    16.         for node in node_list:
    17.             date_str = node['date']
    18.             url_str = node['url']
    19.             if 'pdf' not in url_str:
    20.                 continue
    21.  
    22.             xls_save_name = f"{date_str}.pdf"
    23.             pre_save_dir_00 = pic_save_dir + str(i)
    24.             if os.path.exists(pre_save_dir_00):
    25.                 pass
    26.             else:
    27.                 os.mkdir(pre_save_dir_00)
    28.  
    29.             r = requests.get(url_str, headers=headers, proxies=proxies, verify=False)
    30.             xls_save_path = pre_save_dir_00 + os.path.sep + xls_save_name
    31.             with open(xls_save_path, 'wb') as fw:
    32.                 fw.write(r.content)
    33.         pass

    步骤八： 将pdf转成txt文件

    该网站下载的pdf文件需要使用ocr识别文本，需要识别的内容为英文和数字，识别效果很好，pdf转换得来的txt文件和直接下载的txt文件在提取数据时需要区分开来，两者无法用同一方法提取

    8.1 下载 tesseract-ocr-w64-setup-v5.0.1.20220118.exe 并安装

    1). 下载地址：https://digi.bib.uni-mannheim.de/tesseract/tesseract-ocr-w64-setup-v5.0.1.20220118.exe 

    2）安装时记得勾选安装语言包 

    3). 选择安装路径，要记得自己所选的安装路径，后面写代码会用到

     

    4). 安装过程时间长，大概要半个小时，并且过程会有多次弹窗, 遇到弹窗都点确定就可以。

     

     8.2 安装Poppler, Poppler主要是协助pdf2image在windows操作系统中操作pdf

    1). 下载地址https://blog.alivate.com.au/wp-content/uploads/2018/10/poppler-0.68.0_x86.7z

    2). 下载后直接解压，记得解压后的地址，等会代码中需要用到

    8.3 安装python需要用到的包

    pip install Pillow
    pip install pdf2image
    pip install pytesseract

    8.4 写一个小demo验证tesseract识别文件是否可行

    1. from PIL import Image
    2. import pytesseract
    3. from pdf2image import convert_from_path
    4.  
    5. def temp_tesseract_demo():
    6.     poppler_path = r'D:/python_package/poppler-0.68.0_x86/poppler-0.68.0/bin/'
    7.     pytesseract.pytesseract.tesseract_cmd = r'D:\\soft\\ocr\\tesseract.exe'
    8.  
    9.     pdf_file_path = r'E:/temp000/1994_9_12.pdf'
    10.     images = convert_from_path(pdf_path=pdf_file_path,poppler_path=poppler_path)
    11.     print('开始存储为图片')
    12.     pic_pre_dir = r'E:/temp000/pic/'
    13.     pic_file_list = []
    14.     for count,img in enumerate(images):
    15.         img_path = f"{pic_pre_dir}page_{count}.png"
    16.         img.save(img_path,'PNG')
    17.         pic_file_list.append(img_path)
    18.     print('开始转成文本')
    19.     txt_pre_dir = r'E:/temp000/txt/'
    20.     for file_count,file_item in enumerate(pic_file_list):
    21.         print(file_count,file_item)
    22.         extracted_text = pytesseract.image_to_string(Image.open(file_item),lang='eng')
    23.         txt_file_path = f"{txt_pre_dir}txt_{file_count}.txt"
    24.         with open(txt_file_path,'w',encoding='utf-8') as fw:
    25.             fw.write(extracted_text)
    26.     pass

    图片文件夹 ：

     文本文件夹：

     图片与文本内容对比：

     8.5 将pdf文件转png

    1. def wasde_step_eight_02_00():
    2.     poppler_path = r'D:/python_package/poppler-0.68.0_x86/poppler-0.68.0/bin/'
    3.  
    4.     pre_dir = r'E:/temp003/'
    5.     save_dir = r'E:/temp002/'
    6.     dir_two_list = os.listdir(pre_dir)
    7.     for two_dir in dir_two_list:
    8.         save_dir_two = save_dir + two_dir
    9.         if os.path.exists(save_dir_two):
    10.             pass
    11.         else:
    12.             os.mkdir(save_dir_two)
    13.         pre_dir_two = pre_dir + two_dir
    14.         pdf_file_list = os.listdir(pre_dir_two)
    15.         for pdf_item in pdf_file_list:
    16.             print(two_dir,pdf_item)
    17.             pdf_name = pdf_item.split('.')[0]
    18.             pdf_item_path = pre_dir_two + os.path.sep + pdf_item
    19.             pdf_pic_dir = save_dir_two + os.path.sep + pdf_name
    20.             if os.path.exists(pdf_pic_dir):
    21.                 pass
    22.             else:
    23.                 os.mkdir(pdf_pic_dir)
    24.  
    25.             images = convert_from_path(pdf_path=pdf_item_path, poppler_path=poppler_path)
    26.             for count, img in enumerate(images):
    27.                 img_path = f"{pdf_pic_dir}{os.path.sep}page_{count}.png"
    28.                 img.save(img_path, 'PNG')
    29.     pass

    8.6 将png转txt文本

    1. def wasde_step_eight_02_01():
    2.     pytesseract.pytesseract.tesseract_cmd = r'D:\\soft\\ocr\\tesseract.exe'
    3.  
    4.     png_one_dir = r'E:/temp002/'
    5.     txt_one_dir = r'E:/temp001/'
    6.     png_two_dir_list = os.listdir(png_one_dir)
    7.     for two_dir in png_two_dir_list:
    8.         txt_two_dir = txt_one_dir + two_dir
    9.         if not os.path.exists(txt_two_dir):
    10.             os.mkdir(txt_two_dir)
    11.         png_two_dir = png_one_dir + two_dir
    12.         png_three_dir_list = os.listdir(png_two_dir)
    13.         for three_dir in png_three_dir_list:
    14.             print(two_dir,three_dir)
    15.             txt_three_dir = txt_two_dir + os.path.sep + three_dir + os.path.sep
    16.             if not os.path.exists(txt_three_dir):
    17.                 os.mkdir(txt_three_dir)
    18.             png_three_dir = png_two_dir + os.path.sep + three_dir + os.path.sep
    19.             png_file_list = os.listdir(png_three_dir)
    20.             png_count = len(png_file_list)
    21.             for i in range(0,png_count):
    22.                 png_file_path = f"{png_three_dir}page_{i}.png"
    23.                 extracted_text = pytesseract.image_to_string(Image.open(png_file_path), lang='eng')
    24.                 txt_file_path = f"{txt_three_dir}txt_{i}.txt"
    25.                 with open(txt_file_path, 'w', encoding='utf-8') as fw:
    26.                     fw.write(extracted_text)
    27.                 pass

    至此，整个项目完毕，具体需要的数值到指定的xls、txt或txt(pdf)中提取。

  • 相关阅读:
    JAVAWEB学习笔记-前端基础
    优优嗨聚集团：抖音外卖，美食与文化的完美结合
    spring
    Python爬虫(二十四)_selenium案例：执行javascript脚本
    微信小程序遇到的一些问题及解决方法(设备安装)
    【Java】对象的实例化
    判断是否工作在docker环境
    pytorch定义datase多次重复采样
    Python语言学习：Python语言学习之网络爬虫/反爬虫技术相关的简介、案例应用之详细攻略
    本周大新闻｜苹果再强调禁用“元宇宙”一词，TDK推出全球最小RGB激光模块
  • 原文地址：https://blog.csdn.net/m0_37967652/article/details/126102898