selenium的使用和chrome浏览器的options参数配置教程

发表于 | 分类于
字数统计: 3.8k | 阅读时长 ≈ 17

前言

由于经常用到selenium和chrome的无头浏览器因此在此总结一下，以备不时之需。

0x01 Selenium
Selenium是自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染的问题可以用Selenium来完成网页的下拉，点击等等操作。可以完全模拟浏览器加载网页，点击按钮，就像人一样。
如何安装
pip3 install selenium
用法详解
1. 基本使用 —-selenium驱动chrome完成打开百度，输入关键字，点击回车的动作
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
# 打开浏览器,加了很多option，为了在命令行下可以正常调用Chrome，对于新版的用options instead of chrome_options
browser = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
try:
    # 打开url
    browser.get('http://www.baidu.com')
    # 找到id为kw的元素，并赋值给input
    input = browser.find_element_by_id('kw')
    # input向这个元素传入Python字符串
    input.send_keys('Python')
    # 向input这个元素传入回车
    input.send_keys(Keys.ENTER)
    # 等待10秒
    wait = WebDriverWait(browser,10)
    # 一直等待，直到id= content_left的元素加载完毕
    wait.until(EC.presence_of_element_located((By.ID,'content_left')))
    # 打印当前的url
    print(browser.current_url)
    # 打印当前浏览器的cookie
    print(browser.get_cookies())
    # 打印当前页面的源代码
    print(browser.page_source)
finally:
    # 关闭浏览器
    browser.close()
2. 设置使用的浏览器对象
1
2
3
4
from selenium import webdriver
browser = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
browser = webdriver.Firefox()
browser = webdriver.Edge()
3. 访问页面
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
browser = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
try:
    # 访问淘宝
    browser.get('http://www.taobao.com')
    # 返回页面源代码
    print(browser.page_source)
finally:
    browser.close()
4. 模拟点击
1
browser.find_element_by_xpath("//div[@id='pl_login_form']/div/div[2]/div[6]/a").click()
查找单个元素
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
browser = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
try:
    browser.get('http://www.w3school.com.cn/css/index.asp')
    input_first = browser.find_element_by_id('intro')
    input_second = browser.find_element_by_css_selector('#intro')
    input_third = browser.find_element_by_xpath('//*[@id="intro"]')
    print(input_first,input_second,input_third)
finally:
    browser.close()
拿到的结果如下：
1
<selenium.webdriver.remote.webelement.WebElement (session="8ec7f274abebf925fa2e21f21651b845", element="f1155423-91de-404c-9bd0-cd02afe7804c")> <selenium.webdriver.remote.webelement.WebElement (session="8ec7f274abebf925fa2e21f21651b845", element="f1155423-91de-404c-9bd0-cd02afe7804c")> <selenium.webdriver.remote.webelement.WebElement (session="8ec7f274abebf925fa2e21f21651b845", element="f1155423-91de-404c-9bd0-cd02afe7804c")>
有以下查找元素的方法
  • find_element_by_name
  • find_element_by_xpath
  • find_element_by_link_text
  • find_element_by_partial_link_text
  • find_element_by_tag_name
  • find_element_by_class_name
  • find_element_by_css_selector
  • 通用查找模式 find_element(By.ID,’intro’)
查早多个元素
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
browser = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
try:
    browser.get('http://www.taobao.com')
    # 注意是find_elements_XXX
    lis = browser.find_elements_by_css_selector('.service-bd li')
    # 和上面的方法的结果一样。这里用通用查找多个元素方法
    lis = browser.find_elements(By.CSS_SELECTOR,'.service-bd li')
    # 返回一个列表
    print(lis)
finally:
    browser.close()
有多种方法查找多个元素
  • find_elements_by_name
  • find_elements_by_xpath
  • find_elements_by_link_text
  • find_elements_by_partial_link_text
  • find_elements_by_tag_name
  • find_elements_by_class_name
  • find_elements_by_css_selector
  • 通用查找模式 find_elements(By.ID,’intro’)
元素交互操作
对获取的元素调用交互方法
我们用上面的find_element等方法的到了元素，那么怎么操作这些元素呢？
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options
import time

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
browser = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
try:
    browser.get('http://www.taobao.com')
    input = browser.find_element_by_css_selector('#q')#找到id='q'的input
    input.send_keys("iPhone")#在这个input中输入iPhone
    time.sleep(1)#等待1秒钟
    input.clear()#清空输入框
    input.send_keys("iPad")#input输入iPad
    button = browser.find_element_by_class_name('btn-search')#找到类名为‘btn-search’的元素
    button.click()#这个元素执行click函数
finally:
    browser.close()
更多内容
交互动作 与元素交互动作不同
将动作附加到动作链中串行执行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options
from selenium.webdriver import ActionChains

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
browser = webdriver.Chrome(executable_path='/usr/bin/chromedriver', chrome_options=options)
try:
    browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    browser.switch_to.frame('iframeResult')
    source = browser.find_element_by_css_selector('#draggable')
    target = browser.find_element_by_css_selector('#droppable')
    actions = ActionChains(browser)
    actions.drag_and_drop(source,target)
    actions.perform()
finally:
    browser.close()
更多内容
执行JavaScript
1
2
3
4
5
from selenium import webdriver
browser = webdirver.Chrome()
browser.get('http://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')
获取元素信息
获取属性
1
2
3
4
5
6
7
8
from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))
获取文本值
1
2
3
4
5
6
from selenium import webdriver
browser = webdriver.Chrome()
url = 'http://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)
获取ID、位置、标签名、size
1
2
3
4
5
6
7
8
9
from selenium import webdriver
browser = webdriver.Chrome()
url = 'http://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)
Frame
网页可能存在不止一个frame
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import time
from selenium import webdirver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.swithch_to.frame('iframeResult')
print(source)
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')#子frame找不到父frame的元素
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)
等待
隐式等待
当使用了隐式等待执行测试的时候，如果WebDriver没有在DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常，换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间在查找DOM，默认的时间是0
1
2
3
4
5
6
from selenium import webdirver
browser = webdirver.Chrome()
browser.implicity_wait(10)#设置隐式等待10秒，意义：如果知乎网站没有打开，那么默认等待10秒，如果10秒之后还找不到元素，再抛出异常。如果网速特别慢，可以用这个办法
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top=add-question')
print(input)
显式等待 非常常用
1
2
3
4
5
6
7
8
9
10
11
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
wait = WebDriverWait(browser,10)#显式等待，更加常见，设置最长等待时间10秒
input = wait.until(EC.presence_of_element_located((By.ID,'q')))#等待条件是如果获取id是q的元素
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'btn-search')))#等待条件是获取class='btn-search'的按钮
print(input,button)
以下是expected_conditions常见操作
  • title_is 标题是某内容
  • title_contains 标题包含某内容
  • presence_of_element_located 元素加载出，传入定位元组，如（By.ID,’p’）
  • visibility_of_element_located 元素可见，传入定位元组
  • visibility_of 可见，传入元素对象
  • presence_of_all_elements_located 所有元素加载出
  • text_to_be_present_in_element 某个元素文本包含某文字
  • text_to_be_present_in_element_value 某个元素值包含某文字
  • frame_to_be_available_and_switch_to_it frame加载并切换
  • invisibility_of_element_located 元素不可见
  • element_to_be_cliable 元素可点击
  • staleness_of 判断一个元素是否人在DOM，可判断页面是否已经刷新
  • element_to_be_selected 元素可选择，传元素对象
  • element_located_to_be_selected 元素可选择，传入定位元组
  • element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
  • element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
  • alert_is_present 是否出现Alert
更多内容
浏览器的前进后退
1
2
3
4
5
6
7
8
9
10
11
import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
browser.get('http://www.taobao.com')
browser.get('http://www.python.com')
browser.back()#后退
time.sleep(1)
browser.forward()#前进
browser.close()
Cookies，如果做登陆后爬取非常有用
1
2
3
4
5
6
7
8
from selenium import webdirver
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name':'name','domain':'www.zhihu.com','value':'hello'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())
选项卡管理
1
2
3
4
5
6
7
8
9
10
11
12
import time
from selenium import webdriver

browser = webdirver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')#新增选项卡
print(browser.window_handles)#返回浏览器窗口句柄
browser.switch_to_window(browser.window_handles[1])#切换到第二个选项卡
browser.get('https://www.taobao.com')#第二个选项卡打开淘宝
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])#切换到第一个选项卡
browser.get('http://python.org')#第一个选项卡打开python.org
异常处理
1
2
3
4
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello')#不存在id=hello的元素，抛出异常NoSuchElementException
更多内容
参考资料
https://selenium-python.readthedocs.io/api.html
https://www.jianshu.com/p/6c82c965c014
0x02 chrome浏览器的options参数
1. 背景
在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。
常用的行为有：
  • 禁止图片和视频的加载：提升网页加载速度。
  • 添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。
  • 使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。
  • 添加扩展：像正常使用浏览器一样的功能。
  • 设置编码：应对中文站，防止乱码。
  • 阻止JavaScript执行。
  • ………
2. chromeOptions
chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类，我们可以为chrome配置如下参数（这个部分可以通过selenium源码看到）：

  • 设置 chrome 二进制文件位置 (binary_location)

  • 添加启动参数 (add_argument)

  • 添加扩展应用 (add_extension, add_encoded_extension)

  • 添加实验性质的设置参数 (add_experimental_option)

  • 设置调试器地址 (debugger_address)

  • 源代码：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    # .\Lib\site-packages\selenium\webdriver\chrome\options.py
    class Options(object):

        def __init__(self):
            # 设置 chrome 二进制文件位置
            self._binary_location = ''
            # 添加启动参数
            self._arguments = []
            # 添加扩展应用
            self._extension_files = []
            self._extensions = []
            # 添加实验性质的设置参数
            self._experimental_options = {}
            # 设置调试器地址
            self._debugger_address = None

  • 使用案例：

    1
    2
    3
    4
    5
    6
    # 设置默认编码为 utf-8，也就是中文

    from selenium import webdriver
    options = webdriver.ChromeOptions()
    options.add_argument('lang=zh_CN.UTF-8')
    driver = webdriver.Chrome(chrome_options = options)
3. 常用配置
  • 官方网站参考
    3.1 设置编码格式
    1
    2
    3
    4
    5
    6
    # 设置默认编码为 utf-8，也就是中文

    from selenium import webdriver
    options = webdriver.ChromeOptions()
    options.add_argument('lang=zh_CN.UTF-8')
    driver = webdriver.Chrome(chrome_options = options)
3.2 模拟移动设备
  • 移动设备user-agent表格
  • 由于移动版网站的反爬虫的能力比较弱
    1
    2
    3
    4
    5
    6
    # 通过设置user-agent，用来模拟移动设备
    # 比如模拟 android QQ浏览器
    options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')

    # 模拟iPhone 6
    options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')
3.3 禁止图片加载
  • 不加载图片的情况，可以提升爬取速度。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    # 禁止图片的加载
    from selenium import webdriver

    chrome_options = webdriver.ChromeOptions()
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)

    # 启动浏览器，并设置好wait
    browser = webdriver.Chrome(chrome_options=chrome_options)
    browser.set_window_size(configure.windowHeight, configure.windowWidth)   # 根据桌面分辨率来定，主要是为了抓到验证码的截屏
    wait = WebDriverWait(browser, timeout = configure.timeoutMain)
3.4. 添加代理
  • 为selenium爬虫添加代理，这个地方尤其需要注意的是，在选择代理时，尽量选择静态IP，才能提升爬取的稳定性。因为如果选择selenium来做爬虫，说明网站的反爬能力比较高（要不然直接上scrapy了），对网页之间的连贯性，cookies，用户状态等有较高的监测。如果使用动态匿名IP，每个IP的存活时间是很短的（1~3分钟）。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    from selenium import webdriver
    # 静态IP：102.23.1.105：2005
    # 阿布云动态IP：http://D37EPSERV96VT4W2:CERU56DAEB345HU90@proxy.abuyun.com:9020
    PROXY = "proxy_host:proxy:port"
    options = webdriver.ChromeOptions()
    desired_capabilities = options.to_capabilities()
    desired_capabilities['proxy'] = {
        "httpProxy": PROXY,
        "ftpProxy": PROXY,
        "sslProxy": PROXY,
        "noProxy": None,
        "proxyType": "MANUAL",
        "class": "org.openqa.selenium.Proxy",
        "autodetect": False
    }
    driver = webdriver.Chrome(desired_capabilities = desired_capabilities)
3.5. 浏览器选项设置和添加浏览器扩展应用参考下面的链接：
https://blog.csdn.net/zwq912318834/article/details/78933910
4. 其他参数
参考文章
4.1. chrome地址栏命令
  • 在Chrome的浏览器地址栏中输入以下命令，就会返回相应的结果。这些命令包括查看内存状态，浏览器状态，网络状态，DNS服务器状态，插件缓存等等。但是需要注意的是这些命令会不停的变动，所以不一定都是好用的。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    about:version - 显示当前版本
    about:memory - 显示本机浏览器内存使用状况
    about:plugins - 显示已安装插件
    about:histograms - 显示历史记录
    about:dns - 显示DNS状态
    about:cache - 显示缓存页面
    about:gpu -是否有硬件加速
    about:flags -开启一些插件 //使用后弹出这么些东西：“请小心，这些实验可能有风险”，不知会不会搞乱俺的配置啊！
    chrome://extensions/ - 查看已经安装的扩展
5.2. chrome实用参数　　
  • 其他的一些关于Chrome的实用参数及简要的中文说明，使用方法同上4.5.4，当然也可以在shell中使用。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    –user-data-dir=”[PATH]” 指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区。
    –disk-cache-dir=”[PATH]“ 指定缓存Cache路径
    –disk-cache-size= 指定Cache大小，单位Byte
    –first run 重置到初始状态，第一次运行
    –incognito 隐身模式启动
    –disable-javascript 禁用Javascript
    –omnibox-popup-count=”num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。
    –user-agent=”xxxxxxxx” 修改HTTP请求头部的Agent字符串，可以通过about:version页面查看修改效果
    –disable-plugins 禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果
    –disable-javascript 禁用JavaScript，如果觉得速度慢在加上这个
    –disable-java 禁用java
    –start-maximized 启动就最大化
    –no-sandbox 取消沙盒模式
    –single-process 单进程运行
    –process-per-tab 每个标签使用单独进程
    –process-per-site 每个站点使用单独进程
    –in-process-plugins 插件不启用单独进程
    –disable-popup-blocking 禁用弹出拦截
    –disable-plugins 禁用插件
    –disable-images 禁用图像
    –incognito 启动进入隐身模式
    –enable-udd-profiles 启用账户切换菜单
    –proxy-pac-url 使用pac代理 [via 1/2]
    –lang=zh-CN 设置语言为简体中文
    –disk-cache-dir 自定义缓存目录
    –disk-cache-size 自定义缓存最大值（单位byte）
    –media-cache-size 自定义多媒体缓存最大值（单位byte）
    –bookmark-menu 在工具 栏增加一个书签按钮
    –enable-sync 启用书签同步
    –single-process 单进程运行Google Chrome
    –start-maximized 启动Google Chrome就最大化
    –disable-java 禁止Java
    –no-sandbox 非沙盒模式运行
常用：
1
2
3
4
–single-process 单进程运行Google Chrome
–start-maximized 启动Google Chrome就最大化
–disable-java 禁止Java
–no-sandbox 非沙盒模式运行
参考链接
https://blog.csdn.net/zwq912318834/article/details/78933910