データアナリストのメモ帳

データアナリストのメモ帳

IT企業で働くデータアナリストのブログ

GCP

Cloud Functionsを定期実行してBigQueryにデータを流す【GCP/Python】

GCP

GCPのCloud Schedulerを用いて、Cloud Functionsを定期実行してみます。 また、Cloud FunctionsではデータをBigQueryにインサートする処理をPythonで書きます。 この一連の処理を応用すれば、「Pythonを用いてあるサイトからスクレイピングして得られたデー…

BigQueryでローカルのCSVファイルをアップロードする方法

GCP

BigQueryにローカルのCSVファイルをアップロードする方法です。 手元のCSVファイルをBigQueryにぶち込んで分析したり可視化したいって時におすすめです。 1. 前提 Google Cloud プロジェクトが選択されていること BigQuery API が有効になっていること 2. Bi…