簡單來說互聯網是由一個個站點和網絡設備組成的大網,我們通過瀏覽器訪問站點,站點把HTML、JS、CSS代碼返回給瀏覽器,這些代碼經過瀏覽器解析、渲染,將豐富多彩的網頁呈現我們眼前

如果我們把互聯網比作一張大的蜘蛛網,數據便是存放于蜘蛛網的各個節點,而Python爬蟲就是一只小蜘蛛,
沿著網絡抓取自己的獵物(數據)爬蟲指的是:向網站發起請求,獲取資源后分析并提取有用數據的程序;
從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為,把站點返回的HTML代碼/JSON數據/二進制數據(圖片、視頻) 爬到本地,進而提取自己需要的數據,存放起來使用
Python爬蟲的基本原理

發起請求
使用http庫向目標站點發起請求,即發送一個Request
Request包含:請求頭、請求體等
Request模塊缺陷:不能執行JS 和CSS 代碼
獲取響應內容
如果服務器能正常響應,則會得到一個Response
Response包含:html,json,圖片,視頻等
解析內容
解析html數據:正則表達式(RE模塊),第三方解析庫如Beautifulsoup,pyquery等
解析json數據:json模塊
解析二進制數據:以wb的方式寫入文件
保存數據
數據庫(MySQL,Mongdb、Redis)
以上就是python爬蟲什么意思的詳細內容,更多請關注其它相關文章!
更多技巧請《轉發關注》哦!
【python爬蟲什么意思 python是什么意思】
推薦閱讀
- 什么顏色魚鉤質量好,買什么樣的電腦內存大品質好
- 衢江有什么肉食魚,這是食肉魚嗎
- 水母為什么不吃餌料,海龜吃水母嗎
- 釣魚用什么牌子的餌料最好,釣魚用的拉餌用什么牌子的好
- 什么小藥魚吃了拉肚子怎么回事啊,最近吃魚和雞都拉肚肚以前不這樣的這是為什么呢
- 初秋釣鰱鳙有什么技巧,什么季節釣鰱鳙
- 釣魚用偏光鏡什么顏色最好,偏光眼鏡好嗎如何選擇
- 狗魚能和什么魚混養,狗魚和烏龜和蝦米能一起養么
- 麻團顆粒一般用什么,釣羅非麻團沾顆粒可以嗎
- 花蓮用什么好釣,鰱魚用什么餌料最好用
