欧美日韩国产一区二区|qovd片|小明个人发布看看|小浪货你夹真紧水又多|老头把我添高潮了A片故|99热久久精品国产一区二区|久久久春色AV

Scrapy框架中如何更改下載中間件里的headers?

Scrapy框架中如何更改下載中間件里的headers?】大家好 , 我是我是皮皮 。
一、前言
前幾天在Python最強王者交流群有個叫【麥當】的粉絲問了一個關于Scrapy框架中如何更改下載中間件里的headers問題 , 這里拿出來給大家分享下 , 一起學習 。
Scrapy框架中如何更改下載中間件里的headers?
文章圖片
二、解決過程
如果只是單純的一次性添加 , 那么可以使用下面這個方式 , 直接在settings.py文件中設置:
Scrapy框架中如何更改下載中間件里的headers?
文章圖片
但是他想動態的修改 , 這樣的話 , 單純的修改就有點力不從心了 。
Scrapy框架中如何更改下載中間件里的headers?
文章圖片
不過不慌 , 這個這里給出【小王】大佬的解答 , 一起來看看吧 , 下面是他給的一個示例代碼 , 下面這個代碼寫在middleware.py文件 。
fromfake_useragentimportUserAgentclassRandomUserAgentMiddleware:defprocess_request(self,request,spider):request.headers.setdefault(''User-Agent'',UserAgent().chrome)
下面這個代碼寫在settings.py文件里邊 , 如下所示:
settings.pyDOWNLOADER_MIDDLEWARES={#'anjuke.middlewares.RandomProxyMiddleware':543,'anjuke.middlewares.RandomUserAgentMiddleware':400,}
Scrapy框架中如何更改下載中間件里的headers?
文章圖片
三、總結
大家好 , 我是皮皮 。 這篇文章基于粉絲提問 , 針對Scrapy框架中如何更改下載中間件里的headers問題 , 給出了具體說明和演示 , 順利的幫助粉絲解決了問題 。
最后感謝粉絲【麥當】提問 , 感謝【dcpeng】和【小王】大佬給出的示例和代碼支持 。
小伙伴們 , 快快用實踐一下吧!如果在學習過程中 , 有遇到任何問題 , 歡迎加我好友 , 我拉你進Python學習交流群共同探討學習 。

    相關經驗推薦