網絡爬蟲，（又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲，相關知識介紹如下！
本文目錄
1、爬蟲程序有哪些功能？
2、爬蟲用什么代理ip？
3、爬蟲為什么需要大量的ip？
爬蟲程序有哪些功能？
1、獲取網頁
獲取網頁可以簡單理解為向網頁的服務器發送網絡請求，然后服務器返回給我們網頁的源代碼，其中通信的底層原理較為復雜，而Python給我們封裝好了urllib庫和requests庫等，這些庫可以讓我們非常簡單的發送各種形式的請求。
2、提取信息
獲取到的網頁源碼內包含了很多信息，想要進提取到我們需要的信息，則需要對源碼還要做進一步篩選。可以選用python中的re庫即通過正則匹配的形式去提取信息，也可以采用BeautifulSoup庫（bs4）等解析源代碼，除了有自動編碼的優勢之外，bs4庫還可以結構化輸出源代碼信息，更易于理解與使用。
3、保存數據
提取到我們需要的有用信息后，需要在Python中把它們保存下來。可以使用通過內置函數open保存為文本數據，也可以用第三方庫保存為其它形式的數據，例如可以通過pandas庫保存為常見的xlsx數據，如果有圖片等非結構化數據還可以通過pymongo庫保存至非結構化數據庫中。
4、調研
比如要調研一家電商公司，想知道他們的商品銷售情況。這家公司聲稱每月銷售額達數億元。如果你使用爬蟲來抓取公司網站上所有產品的銷售情況，那么你就可以計算出公司的實際總銷售額。此外，如果你抓取所有的評論并對其進行分析，你還可以發現網站是否出現了刷單的情況。數據是不會說謊的，特別是海量的數據，人工造假總是會與自然產生的不同。過去，用大量的數據來收集數據是非常困難的，但是現在在爬蟲的幫助下，許多欺騙行為會赤裸裸地暴露在陽光下。
5、刷流量和秒殺
刷流量是python爬蟲的自帶的功能。當一個爬蟲訪問一個網站時，如果爬蟲隱藏得很好，網站無法識別訪問來自爬蟲，那么它將被視為正常訪問。結果，爬蟲“不小心”刷了網站的流量。
除了刷流量外，還可以參與各種秒殺活動，包括但不限于在各種電商網站上搶商品，優惠券，搶機票和火車票。目前，網絡上很多人專門使用爬蟲來參與各種活動并從中賺錢。這種行為一般稱為“薅羊毛”，這種人被稱為“羊毛黨”。不過使用爬蟲來“薅羊毛”進行盈利的行為實際上游走在法律的灰色地帶，希望大家不要嘗試。
爬蟲用什么代理ip？
爬蟲一般采用高匿名代理ip。因為爬蟲需要高隱匿性，所以只有隱匿性高并且安全穩定的代理，也就是高匿代理才適合爬蟲使用。高匿名代理不改變客戶機的請求，這樣在服務器看來就像有個真正的客戶瀏覽器在訪問它，服務器端不會認為我們使用了代理。
爬蟲在采集信息的過程中，會在短時間內發出大量請求，占用服務器的帶寬，影響正常用戶的訪問，嚴重的還會導致網站癱瘓。而網站為了保證用戶的正常訪問就會開啟反爬措施，此時爬蟲的IP就會被封禁，無法繼續爬取。
想讓爬蟲繼續工作，有個簡單的方法就是更換爬蟲的IP，而更換IP最好的辦法就是使用代理IP來更換。
不過，代理IP也分很多種類型，并不是所有的代理IP都適合爬蟲使用。因為爬蟲需要高隱匿性，所以只有隱匿性高并且安全穩定的代理，也就是高匿代理才適合爬蟲使用。
高度匿名代理不改變客戶機的請求，這樣在服務器看來就像有個真正的客戶瀏覽器在訪問它，這時客戶的真實IP是隱藏的，服務器端不會認為我們使用了代理。
爬蟲為什么需要大量的ip？
為什么做爬蟲需要大量IP地址，因為在爬蟲爬取數據的過程中，時常會被網站專禁止訪問，
還有就是你屬爬取到的數據和頁面正常顯示的數據不一樣，或者說你爬取的是空白數據，那 很有可能是由于網站創建頁的程序有問題；假如爬取頻率高過了網站的設置閥值，就會被禁止訪問，因此爬蟲的開發人員一般要采用兩種方式來處理這個問題：
一類是調慢爬取速度，減少對目標網站產生的壓力。可是如此一來會減少單位時間內的爬取量。
第二類方法是利用設置代理IP等方式，突破反爬蟲機制繼續高頻率爬取，可是如此一來要很多個穩定的代理IP。芝麻HTTP代理IP，爬蟲工作者能夠放心使用。
總結：互聯網是由一個一個的超鏈接組成的，從一個網頁的鏈接可以跳到另一個網頁，在新的網頁里，又有很多鏈接。理論上講，從任何一個網頁開始，不斷點開鏈接、鏈接的網頁的鏈接，就可以走遍整個互聯網！這就是爬蟲的作用！
