三年大片免费高清哔哩哔哩_三年在线观看中文免费观看_三年大片大全观看免费_三年大片大全免费观看大全_三年大片观看免费大全国电影_三年在线观看免费大全_三年中文免费视频大全_三年大片大全免费观看大全剧集温情_三年大全免费大片三年大片第一集

  • 18101055830
  • python抓取數(shù)據,python使用(yòng)socks代理(lǐ)抓σλ≠₩取數(shù)據
    當前位置: 主頁 > 程序知(zhī)識 >
    來(lái)源: 廈門市華釋界網絡科技有限公司     發布時(shí)間(jiān): 2017-09-08 23:58

      在python中,正常的(de)抓取數(shù)據直接使用(yòng)urllib2 這Ω'λ(zhè)個(gè)模塊:

    import urllib2
    url = 'http://fanyi.baidu.com/'
    stream = urllib2.urlopen(url)
    cont = stream.read()
    print cont

      如(rú)果要(yào)走http代理(lǐ)的(de)話(h"™₹"uà),我們也(yě)可(kě)以使用(yòng)urllib2,不(bù↔'♣)需要(yào)引用(yòng)别的(de)模塊:

    import urllib2
    url = 'static/js/dn.js'
    proxy_handler = urllib2.ProxyHandler({'http':'127.0.0.1:1080'})
    opener = urllib2.build_opener(proxy•λ±_handler)
    f = opener.open(url)
    print f.←₽read()

      如(rú)果要(yào)使用(yòng)soc₽βks5代理(lǐ), 我們需要(yào)别的(de)模塊 s>•↓ockes, socket, 我們可(kě)以通(t÷‍ōng)過pip install socksipy , (我是(shì)windows的(de)系統, 還(hái)需要(yà≤™o)另外(wài)的(de)一(yī)個(gè)模塊, pip install win_inet_pton) 建議(yì)直接下(xià)載安裝包到(dào)python的 ★•(de)安裝目錄,切換到(dào)對(duì)應目錄,執行(xíng)python setuδΩp.py install安裝,真被大(dà)天朝的(de)牆給♣→₩'坑死了(le), 然後在需要(yào)代理(lǐ)的(de)£€模塊上(shàng)添加socket代碼:

    import socks
    import socke&•t
    socks.setdefaultproxy(socks.PROXY_TYPE_↓π★SOCKS5, "127.0.0.1", 1080)
    socket.socket = socks.socksocket

      完整的(de)代碼如(rú)下(xià):

    //添加的(de)代碼開(kāi)頭
    import♣±λπ win_inet_pton
    import socks
    import so↔₹£cket
    socks.setdefaultproxy(socks.PROXY¶λ_TYPE_SOCKS5, "127.0.0.1", 1080)
    socket.socket = socks.socksocket
    //添加的(de)代碼結束
    ♦∏ ≈import urllib2
    steam = urllib2.urlopen('static/js/dn.js')
    print steam.read()

      使用(yòng)requests模塊, 我們也(yě)在request→≈ s之前添加socket的(de)代碼,後面的(de)http請(qǐng)求不(bσ‍ù)用(yòng)改了(le),還(hái)是(shì)走原來(lái)ε≠↕的(de)邏輯:

    //添加的(de)代碼開(kāi)頭
    import win‌•_inet_pton
    import socket
    import socks
    ↑↓
    import requests
    ip='localhost'
    port = 1080
    socks.setdefaultproxy(socks.PROXY_TYPE_π‍§ SOCKS5, ip, port)
    socket.socket = socks.socksocket
    //添加的(de)代碼結束
    urΩ★l = 'static/js/dn.js'
    print requests.get(url).text

      相(xiàng)關:

      github:https://github.com/mitsuhiko/python-geoi✔εp/issues/4

    作(zuò)者: NONO 
    出處:<廈門市華釋界網絡f="javascript:;" target="_blank">http://www.cnblogs.com/diligenceday/ 
    企業(yè)網站(zhàn):/ 廈門市華釋界網絡科(kē)技(jì)
    開(kāi)源博客:http://www.github.com/sqqihao
    QQ:287101329 
    微(wēi)信:18101055830

    廈門市華釋界網絡科技有限公司, 是(shì)廈門(mén)最好(hǎo)λ'∏™的(de)微(wēi)信應用(yòng), 小(xiǎo)程序, 微(wēi)信網站(z→Ω©hàn), 公衆号開(kāi)發公司

    (責任編輯:admin)
    文(wén)章(zhāng)出自(zì): 廈門市華釋界網絡科技有限公司 http://www.idrwl.com如(rú)轉載請(qǐng)注明(míng)出處!
    • 網站(zhàn)建設找點燃
    • 重視(shì)設計(jì) 重視(shì)服務 重視(shì)溝通(tōng) 用(yòng)誠信♦∑和(hé)口碑打造品牌!
    • 18101055830   
    • 客服①: 在線洽談
  • 手機(jī):18101055830
  • 地(dì)址:廈門(mén)翔安新店(diàn)鎮西(xī)岩石路(lù)10号 網址:wwγ¶♠w.idrwl.com 郵箱 sqqihao@163.com
  • 版權所有(yǒu) 2015-2023(C) 廈門★♦¥市華釋界網絡科技有限公司    京ICP證000000号
  • 三年大片免费高清哔哩哔哩_三年在线观看中文免费观看_三年大片大全观看免费_三年大片大全免费观看大全_三年大片观看免费大全国电影_三年在线观看免费大全_三年中文免费视频大全_三年大片大全免费观看大全剧集温情_三年大全免费大片三年大片第一集