2024 一天掌握python爬蟲【基礎篇】 涵蓋 requests、beautifulsoup、selenium:
https://www.bilibili.com/video/BV1Ju4y1Y7k6/
在 requests 里,session對象是一個非常常用的對象,這個對象代表一次用戶會話:從客戶端瀏覽器連接服務器開始,到客戶端瀏覽器與服務器斷開。
會話能讓我們在跨請求時候保持某些參數(shù),比如在同一個 Session 實例發(fā)出的所有請求之間保持 cookie 。
所以前面一講的案例,我們可以簡化下。
import requests
# 獲取session,可以跨請求之間保持Cookie一致
session = requests.session()
url = "http://download.java1234.com/user/login"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}
data = {
'userName': 'python222',
'password': '123456'
}
r = session.post(url=url, data=data, headers=headers)
targetUrl = "http://download.java1234.com/user/userDownload/list/1"
r2 = session.get(url=targetUrl, headers=headers)
print(r2.text)