学习日志1

活动地址：CSDN21天学习挑战赛

        经过仔细学习后，为了能加深印象，我想利用今天的知识完成一个练习——利用正则表达式从网站获取古诗词。

        详细代码——

        先贴上代码以便讲解

import json
import requests
import re
import os
url='https://www.gushiwen.cn/default_'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.12151 SLBChan/103'}
ct=1;
for pagen in range(1,3):
    new_url=url+str(pagen)+".aspx"
    page_text=requests.get(url=new_url,headers=headers).text
    #print(page_text)
    ex= r"id=\"[\w]*\">([\w].*)https:.*"
    image_scr=re.findall(ex,page_text)
    #print(image_scr)
    for i in image_scr:
        print(ct,":",i)
        strg=str(ct)+":"+i+"\n"
        fp = open("./古诗.txt", "a",encoding="utf-8")
        fp.write(strg)
        ct=ct+1
fp.close()

        代码详解——

1.获取url:

为了获取古诗词，我找到了古诗文网。我们点开该网页滑倒底部，点击任意页数

 此时我们得到带页数的url:https://www.gushiwen.cn/default_1.aspx

2.观察文本结构，写出正则表达式

右击网站页面，点击检查，点击元素，即可看到网站元素。

找到含有古诗词的文本部分，分析结构相同点

 

 可以看到，诗词的前面紧连的是 clos row id 的数据，后面是一个链接，最后都以 结束。

有了这个共同规律，即可写正则表达式 

ex= r"id=\"[\w]*\">([\w].*)https:.*"

当然还有其它写法，可自己尝试。

3.正则表达式解析：

利用id定位前部，[\w]可匹配任一单词字符（包括下划线），*可匹配0个或多个表达式。利用http:定位中部。.*可以匹配https的具体内容。最后以定位尾部。

4.应用re.findall找到所有目标文本内容

5.存储获取的古诗

将获取的古诗与序号连接以便查找，格式为 utf-8 ，为了分行，还要连接换行符

存储效果——

 6.程序输出展示