seleniumANDrequest辅助爬虫

1 Mins read
Python

爬虫写多了时候会发现, 很多的时候总是有些问题被阻挡, 虽然越来越多的AI诸如此类的工具也正在破解升级, 但在在小型的爬虫之前,selenium可以帮助我们辅助一些代码层无法越过的坑,拿到完整的cookies, 让客户端对我们身份证验证已通过之后,移交到深层的代码里, 进行操作.

先用selenium拿到最真实的cookies

似乎这没什么好讲的, 贴下我的代码截图吧…
selenium小封装:

小爬虫的时候或许都可以跳过这一步, 你可以进行一个长时间的sleep,手工进行登录,填入验证码等

cookies移交

def set_session_cookie(self):
    """
    cookie 移植到 session,方便后续操作
    """
    self.driver.get('http://url')
    for subCookie in self.driver.get_cookies():
        self.session.cookies.set(subCookie[u'name'], self.driver.get_cookie(subCookie[u'name'])['value'])

self.driver.get_cookies() 得到是一个数组, 我们遍历这个数组, 拿到name-value , 对移交的session的进行cookies设置.


爬虫