Python网络爬虫Selenium页面等待:强制等待、隐式等待和显式等待
2022/1/25 22:06:03
本文主要是介绍Python网络爬虫Selenium页面等待:强制等待、隐式等待和显式等待,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
关于Python网络爬虫Selenium强制等待、隐式等待和显式等待的总结
from selenium import webdriver import time from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() driver.get('https://www.baidu.com')
强制等待
使整个脚本暂停运行。
time.sleep(2)
隐式等待
不同于显式等待,显式等待针对的是目标元素,而隐式等待针对的是全局的所有的元素。
如果设置等待十秒,可以理解为在10秒内不停刷新整个页面,看目标元素是否加载出来
如果时间还没到找到了目标元素,就不再继续等待,程序继续执行。
如果时间到了还没找到目标元素,就报错。
隐式等待使用时只需要声明一次。
网络爬虫中我们用到更多的就是隐式等待。
示例:
driver.implicitly_wait(10) print(1) driver.find_element_by_id('su') print(2) driver.find_element_by_id('xxx') print(3)
显式等待
显式等待是单独针对某个元素,表明某个条件成立后才执行获取元素的操作。
以下面代码为例,即目标标签加载出来出后,开始获取该标签。
同上如果时间还没到找到了目标元素,就不再继续等待,程序继续执行。
如果时间到了还没找到目标元素,就报错。
显式等待使用时需要在每个元素前声明
element = WebDriverWait(driver, 10, 1).until( EC.presence_of_element_located((By.ID, "kwssxx")) element.send_keys('xxx')
WebDriverWait()可以设置第三个参数,默认每0.5秒检查一次目标元素是否加载出来了。这里设置为每1秒检查一次。
其他补充
将显式等待写成异常处理的写法,
这样的写法在程序中更友好。如果获取出现错误,则调用我们定义的其他方法。不直接报错。
def demo(): pass try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "myDynamicElement")) ) except: demo() finally: driver.quit()
这篇关于Python网络爬虫Selenium页面等待:强制等待、隐式等待和显式等待的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-24Python编程基础详解
- 2024-11-21Python编程基础教程
- 2024-11-20Python编程基础与实践
- 2024-11-20Python编程基础与高级应用
- 2024-11-19Python 基础编程教程
- 2024-11-19Python基础入门教程
- 2024-11-17在FastAPI项目中添加一个生产级别的数据库——本地环境搭建指南
- 2024-11-16`PyMuPDF4LLM`:提取PDF数据的神器
- 2024-11-16四种数据科学Web界面框架快速对比:Rio、Reflex、Streamlit和Plotly Dash
- 2024-11-14获取参数学习:Python编程入门教程