day23-数据接口和selenium基础

day23-数据接口和selenium基础

爬虫流程

![img](file:///C:\Users\Administrator\Documents\Tencent Files\1909833668\Image\Group2\D\[T\D[TO69V5FE%RHP$N5KI0}I.jpg)

selenium基本用法(使用谷歌浏览器)

导入模块

from selenium.webdriver import Chrome
1

1.创建浏览器对象

Chrome(webdriver地址),

注意：下载的chromedriver.exe版本必须和谷歌浏览器的版本一致

查看谷歌浏览器版本信息：chrome://version/

谷歌浏览器webdriver下载地址：http://chromedriver.storage.googleapis.com/index.html

b = Chrome('./chromedriver.exe')
1

2.打开网页

b.get('https://movie.douban.com/top250')
1

3.获取网页源代码

html = b.page_source
print(html)
1
2

4.记得用完关闭

b.close()
1

selenium基本操作(京东为例)

from selenium.webdriver import Chrome

b = Chrome()
b.get('https://www.jd.com/')
1
2
3
4

1)找到输入框

b.find_element_by_id(id属性值)
b.find_element_by_class_name(class属性值)
b.find_element_by_css_selector(css属性值)
b.find_element_by_xpath(xpath路径)
注意以上所有的方法都有一个find_elements开头对应的方法

#找到搜索框
search = b.find_element_by_id('key')
1
2

2）输入内容

输入框对象.send_key(内容)

search.send_keys('手机')
1

注意可以回车完成搜索，也可以点击搜索按钮完成搜索

a.回城完成搜索

search.send_keys('\n')
1

b.点击搜索按钮完成搜索

# 1)获取点击对象对顶的标签
search_btn = b.find_element_by_class_name('#search > div > div.form > button')
# 2)点击标签
search_btn.click()
1
2
3
4