logo
Loading...

網頁出現503錯誤訊息 - Cupoy

我把上圖的www.aicoin.cn中的Request Headers的內容寫進程式中但是卻得到下面...

pycrawler,pycrawler-d18

網頁出現503錯誤訊息

2020/01/07 下午 06:54
Python網路爬蟲討論版
呂炎哲
觀看數:3
回答數:3
收藏數:0
pycrawler
pycrawler-d18

我把上圖的www.aicoin.cn中的Request Headers的內容寫進程式中但是卻得到下面的結果。

如果只加User-Agent:Mozilla/5.0...的那一行程式就會出現網頁錯誤代碼404,請問該怎麼辦呢?

回答列表

  • 2020/01/08 上午 09:59
    張維元 (WeiYuan)
    贊同數:2
    不贊同數:2
    留言數:1

    嗨,我這樣做(跟你提供的流程是一樣的)是可以順利拉到資料的:


    ```

    headers = {

       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',

       'Accept-Encoding': 'gzip, deflate, br',

       'Accept-Language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;q=0.7,zh-CN;q=0.6,ja;q=0.5',

       'Cache-Control': 'no-cache',

       'Connection': 'keep-alive',

       'Cookie': '_ga=GA1.2.1233942076.1576340475; _pk_ref.2.f745=%5B%22%22%2C%22%22%2C1576379330%2C%22https%3A%2F%2Fwww.aicoin.cn%2F%22%5D; _pk_id.2.f745=709ad3e0330dc9b4.1576379330.1.1576379332.1576379330.; XSRF-TOKEN=eyJpdiI6InRCSFRFcFkxYkFWdzB1WEliSWtBblE9PSIsInZhbHVlIjoiaVJWeCtRd1JoeURZTndsR1NVeXZmaVFxQXJJVXpWemlObUNGS3JWUXZjNVZTSnBiOUVVSWVKaHU2UFBvTFBBQWdDbEw4dkVkbkRYYXVWS0Q2MGRPclE9PSIsIm1hYyI6ImQyMjNmMGFmMmEyNWRmNGQ4NTUwZDNkN2M2N2QxZGM3NDZjNWJjZjU3Yjg0M2Y0MjY4MDYzNTkwMzQwZDI2YTYifQ%3D%3D; HWWAFSESID=5f4d37c96f7df9017b; HWWAFSESTIME=1577931474091; _pk_testcookie..undefined=1; Hm_lvt_3c606e4c5bc6e9ff490f59ae4106beb4=1576340476,1576340666,1576383300,1577931477; _pk_ref.2.57ea=%5B%22%22%2C%22%22%2C1578043102%2C%22http%3A%2F%2Flocalhost%3A8888%2Fnotebooks%2Fsample-code%2F191214-note-%E5%B7%A5%E7%A0%94%E9%99%A2%E5%8F%B0%E4%B8%AD%2F191215-note.ipynb%22%5D; _pk_id.2.57ea=181926df76021618.1576340476.5.1578043102.1578043100.; _pk_ses.2.57ea=1; Hm_lpvt_3c606e4c5bc6e9ff490f59ae4106beb4=1578043102; _gid=GA1.2.145782933.1578043102; aicoin_session=eyJpdiI6IlpRSXRMbXhiSmMySVpVa3BwTlwvS1FBPT0iLCJ2YWx1ZSI6Im1DaG1nV1I5TWRzTnN6cGMxYXVWdVMxSDBmRkdYYTc2QUt6TlV2TjlRRUZHeThuaTVBWXhvbWVFdjQ3NXNDRGJBT295RE9ONjBESmpHT0pXOThlMm1RPT0iLCJtYWMiOiI1ZGE0ZDYzMGVhMjg3ZmM0MzY0YzE1MWU2YzVlNDY4OTBjNTU4YWVmZDFkOTNlM2E1ZWY5ODg5ZjQ3M2NiNmY0In0%3D',

       'Host': 'www.aicoin.cn',

       'Pragma': 'no-cache',

       'Sec-Fetch-Mode': 'navigate',

       'Sec-Fetch-Site': 'same-origin',

       'Sec-Fetch-User': '?1',

       'Upgrade-Insecure-Requests': '1',

       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'

    }


    r = requests.get('https://www.aicoin.cn/', headers=headers)

    r.encoding = 'utf-8'

    print(r.text) # 加上 Headers 後,正常顯示

    ```

  • 2020/01/08 上午 10:01
    張維元 (WeiYuan)
    贊同數:3
    不贊同數:1
    留言數:1

    嗨,我看到錯誤了。網站網址應該是 https://www.aicoin.cn 才對哦,不是 https://aicoin.cn 。

  • 2020/01/08 下午 04:37
    張維元 (WeiYuan)
    贊同數:2
    不贊同數:1
    留言數:0

    以下一併回復你的問題:


    1. 「謝謝有結果出現了,但是為何我的headers跟你提供的headers會有差別呢?是因為使用的瀏覽器不同嗎?我是使用Chrome。 例如我在瀏覽器中沒有看到這一段'Pragma': 'no-cache'然後'Cache-Control'和'cookie'也不一樣


    => 不同的瀏覽器/版本會有不同的設定,可能預設的設定有差。


    2. 「瀏覽器可以直接用http://aicoin.cn進入是因為他會自動轉換成 http://www.aicoin.cn 嗎?


    => 對哦!