如何通過GCP，deploy爬蟲每日更新，把資料也儲存在GCP上?
2021/02/23 下午 06:04
專家行家必學 - 使用排程即時自動更新資料
李政澤
觀看數：53
回答數：1
收藏數：0
爬蟲
gcp
大家好， 我在本機是用jupyterlab，通過window scheduler每日更新，儲存在本機的postgress db 現要嘗試deploy在GCP上，各位有任何相關經驗嗎？ 現找到的方式是: 1. cloud function ：爬蟲 2. cloud SQL：儲存 我理解的方式是否正確？ 不知費用如何？還是有免費方式？ 謝謝
回答列表
-
2021/02/25 下午 08:44Allen Huang贊同數：0不贊同數：0留言數：0
您好: 您的方式理論上沒什麼問題, 你的目的應該是量大的資料放在雲上處理跟訓練比較方便吧? 我個人是用aws, 通常起一個EC2 跑一下爬蟲腳本, 透過Lambda function 把數據傳回到S3空間存放, 整個機制我選擇在本機端做trigger, 所以會有一個AWS IoT 身分驗證的服務. 我想GCP應該也是類似~ 至於費用, 每兩三天爬一次 一個月台幣百位數的費用而已