Python爬虫入门篇学习记录

#返回所有的div标签
print(soup.find_all('div'))

#返回所有的div标签
print (soup.find_all(re.compile("^div")))

#返回所有匹配到的span a标签
print(soup.find_all(['span','a']))

#返回id为welcom的标签
print(soup.find_all(id='welcome'))

print(soup.find_all(True))

# 返回class等于info的div
print(soup.find_all('div',class_='info'))

# 返回class属性为info的div(这里的容器,属性及其对应的值都可以进行更换))
soup.find_all("div", attrs={"class": "info"})

soup.select(参数)

from bs4 import BeautifulSoup
 
html = """
Welcome to Baidu
  开始搜索
  百度一下
  

运行结果如下：

5.3.3、bs4实操

实操25：获取某新闻网站的新闻标题及其对应的链接。

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
 
# 准备目标地址和请求头
url = "http://www.people.com.cn/"
header = {"User-Agent":UserAgent().edge}
 
# 发送请求
resp = requests.get(url,headers=header)
 
# 设置字符集
resp.encoding="gbk"
 
# 创建bs4对象
bs = BeautifulSoup(resp.text,"lxml")
 
# 提取数据
dic = {}
for i in range(len(bs.select("ul.list1 li a"))):
    dic[bs.select("ul.list1 li a")[i].text] = bs.select("ul.list1 li a")[i].get("href")
print(dic)

运行结果如下：

5.4、pyquery

官网pyquery: a jquery-like library for python — pyquery 1.2.4 documentation

安装：pycharm终端(ALT+F12)中运行

pip install pyquery

运行结果如下：

5.4.1、初始化方式

①、当要解析的内容是字符串时

  from pyquery import PyQuery as pq
  # 创建一个pyquery对象
  doc = pq(str)
  # 查找名为tagname的标签
  print(doc(tagname))

②、当要解析的内容是url时

  from pyquery import PyQuery as pq
  # 创建pyquery对象,该语句会发送一个 HTTP 请求获取该网页的 HTML 内容，并将其解析成一个可操作的文档对象
  doc = pq(url='http://www.baidu.com')
  # 在解析后的文档中查找