爬虫写多了时候会发现, 很多的时候总是有些问题被阻挡, 虽然越来越多的AI诸如此类的工具也正在破解升级, 但在在小型的爬虫之前,selenium可以帮助我们辅助一些代码层无法越过的坑,拿到完整的cookies, 让客户端对我们身份证验证已通过之后,移交到深层的代码里, 进行操作.

先用selenium拿到最真实的cookies

似乎这没什么好讲的, 贴下我的代码截图吧…
selenium小封装:

小爬虫的时候或许都可以跳过这一步, 你可以进行一个长时间的sleep,手工进行登录,填入验证码等

cookies移交

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17


1

2

3

4

5

6

7


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17


def set\_session\_cookie(self):

    """

    cookie 移植到 session,方便后续操作

    """

    self.driver.get('http://url')

    for subCookie in self.driver.get\_cookies():

        self.session.cookies.set(subCookie\[u'name'\], self.driver.get\_cookie(subCookie\[u'name'\])\['value'\])


self.driver.get_cookies() 得到是一个数组, 我们遍历这个数组, 拿到name-value , 对移交的session的进行cookies设置.