[資料分析#24] Google BigQuery 教學:3 分鐘完成資料匯入跟 SQL 查詢

如果你正在學習 SQL,而你手上有想要分析的數據資料,可能是 Excel 的 CSV 檔或是 Google Sheet 線上檔案,這篇會告訴你如何 3 分鐘匯入資料後,以 SQL 查詢資料,除此之外,還能用 Google 出的 Data Studio 來進行視覺化,不需要再下載 MySQL 和 Tableau 來學習資料分析跟視覺化!

Google BigQuery 是什麼?4 點解釋輕鬆搞懂!

  • Google Bigquery 是無伺服器的大型資料庫,優勢是省錢跟省空間,速度還更快
    • 一般的資料庫需要實體伺服器儲存資料,但是 Google BigQuery 將大量資料儲存在雲端,因此我們不需要額外花錢跟空間買伺服器,除此之外,查詢的速度還更快
  • Google BigQuery 是資料庫,可以以結構化查詢 (SQL) 方式來查詢資料
  • Google BigQuery 作為大型資料庫,還可以跟 Google 其他視覺化工具或是資料工具一起使用,我最常使用的是 Data Studio 跟 Google Sheet
    • Google 視覺化工具:Google Data Studio,跟 Tableau 和 PowerBI,是商業智慧工具、簡單的資料視覺化工具,讓所有人可以輕鬆的從資料庫完成漂亮報表
    • Google 資料工具:Google Sheet 一直是繼學習 Excel 之後,我最喜歡的資料處理系統,有大量好用的公式,還有 App Script 可以寫出簡易的自動化程式或前端介面,是一個簡單上手、但深度非常高的資料處理初階工具!
  • Google BigQuery 支援免費使用、也可以將資料庫共享給外部
    • 支援免費使用:對於小公司、個人學習或是一人公司,支援免費使用絕對是一大福音,可以省去安裝傳統 MySQL 的時間
    • 將資料共享給外部:如果是學術單位,可以將資料無痛分享給外部,讓學生或是個人都可以連線,個人不再需要以傳統 VPN 的方式匯入資料,省去很多時間

Google BigQuery 教學 – 3 步驟學習

  1. 註冊免費 Google BigQuery 資格
  2. 開始使用 Google BigQuery
    • 按照提示,創建專案
  3. 學習使用資料庫,引用開源資料數據,或是自己匯入
    • 教學影片:如何匯入資料
    • 直接引用自己喜歡的開源資料庫做練習
      • 下圖所示範例,就是使用 Google 公開資料庫中 bigquery-public-data 這個 Schema,底下的 google_trends 中的 top_terms 這個 Table
  4. 開始寫 Google BigQuery 的 SQL Query
    • 這邊以公開資料集來示範:bigquery-public-data.chicago_taxi_trips.taxi_trips
select 
DATE(trip_start_timestamp) start_date
, trip_seconds
, trip_miles
, fare
, tips
, trip_total
, payment_type
, company
from `bigquery-public-data.chicago_taxi_trips.taxi_trips`
Where DATE(trip_start_timestamp) >= date('2021-01-01')
and DATE(trip_start_timestamp) <= date('2021-12-31')
and company in ('Taxi Affiliation Services', 'Flash Cab','Chicago Carriage Cab Corp')
order by 1
limit 100
Google BigQuery 教學:BigQuery 是什麼?
步驟一:點選專案,步驟二:新建專案,步驟三:探索公開資料集,步驟四:開始 Query 吧!

為什麼我非常建議新手使用 Google BigQuery?

  1. 免費而且不需要花費太多時間安裝,可以馬上就進入最重要的學習環節:SQL 查詢
    • 只要有 Google 帳號就可以使用,每個人都有免費的額度可以使用,登入只需要 3 分鐘就搞定
    • 不需要下載、安裝任何軟體,在網頁版就可以操作
  2. Google 在以 SQL 處理資料時的速度好快、錯誤提示 (Error) 也很明顯,很適合新手
    • 錯誤提示在執行 (Run) 資料之前就會顯示,不會浪費計算空間去跑一段錯誤的程式碼
  3. 可以以 Excel CSV 檔案、Google Sheet 檔案,匯入資料作為查詢表 (Table):
    • 在學習 SQL 的時候,我們常常只能用他人提供的資料庫來學習,因為在其他工具中 (不論是線上工具、或是 MySQL),要匯入自己的查詢表 (Table) 真的太麻煩了!!耗時費力!對於新手來說也比較困難 (匯入 Table 在公司是專業的資料工程師在做的,一般人初學時期,其實不需要學到)
    • 除此之外,Google BigQuery 可以直接應用自己手上的資料 (例如自架部落格的網站資料、自己的財務資料、自己開的電商店舖的訂單資料都可以),只要將資料儲存為 CSV、或是將資料貼到 Google Sheet 上,匯入成為查詢表 (Table),就可以用 SQL 做資料處理或是計算了
      • 可以引用 Google API 串的公開資料、也可以上傳 Excel、或是直接連結 Google Drive 裡 Google Sheet 的資料
  4. Google BigQuery 的介面清楚、好看、簡單!
Google BigQuery 錯誤提示
錯誤提示在執行 (Run) 之前就會顯示

為什麼我不建議新手用 MySQL 來學習 SQL?

雖然 MySQL 是一個免費、普遍的開源工具,也是很多大企業會使用的資料庫,但是我不推薦初學者就立刻用 MySQL 來學習 SQL 語法,原因有 2 個:

  1. 光是安裝就要花上幾小時,學習的動力都沒了
    • 如果你不是一個非常熟悉安裝軟體、或是非常工程師的人的話 (我也是),我會建議不要使用 MySQL 做為 SQL 學習的工具,因為光是下載、安裝資料庫 (Schema、Table) 就很麻煩,還有可能因為忘記 Root 密碼不能再使用電腦裡的 MySQL
  2. 創建資料庫比較不直覺,也不能直接引用一些開源資料庫
    • MySQL 創建資料庫不能直接匯入你手上已經有的 Excel 數據,也不能直接引用網路上的開源資料庫

誰適合用 Google BigQuery 學習 SQL 或是資料分析?

  • 把 SQL 作為提取數據的工具,只是需要學習資料分析 (SQL 語法)
  • 一般數據分析人員,非資料工程師 (不用負責 ETL、資料庫建立)
  • 只是想要學習商業用的 SQL 用法,可能是營運人員、行銷人員等等
  • 沒有要成為專業資料庫工程師的人

Google BigQuery 教學資源

Google 官方證照班:Google BigQuery 專門班

  • Google 官方 (Google Cloud Team) 在 Coursera 上上架的 BigQuery 線上課程,會做整個 BigQuery 的功能介紹、查詢表、還有基本的 SQL 語法、如何控管權限
  • 課程中也會教如何匯入、匯出資料,會教進階資料類型 Json 檔的匯入,還有進階的兩個 Table 之間的 Join 語法,還有進階語法 With、統計 SQL 函數 (RANK 等等)
  • 課程也會教到 Google 視覺化軟體 Data Studio 的用法,用 SQL Query 出來的數據用 Data Studio 做報表
  • 最後還會帶到簡單的 Machine Learning,在 Bigquery 中使用機器學型的模型,也會實際帶幾個資料範例做練習

誰適合上這堂課?

  • 適合新手,適合還沒有實際工作使用過 SQL 語言的學員
  • 想利用學習 Google BigQuery 的機會,學習基本資料分析工具,包括 SQL、Data Studio,還有簡單機器學習的基礎
  • 公司已經引進商業版 Gmail、Google Cloud 系統:很有可能下一步就要整併資料庫了!

更多學習資源推薦

如何使用這個網站?我的數據分析文章導覽!裡面也會分享更多實用 Google Sheet 教學:本站數據分析文章導覽 及 更多 Google Sheet 實用文章教學

【1 對 1 免費諮詢】數據分析師 0~1 培訓班陪你一路到轉職成功!

hi 我是 Lisa

你也是 0 經驗、沒有相關背景,但也想要轉職數據分析師,或運用數據分析,提升在領域的專業度嗎?

-

你是否也覺得,數據分析的網路學習資源很多,但是多到不知道從哪裡開始?

學了很多工具,但學完了,問題才真正開始,不知道業界怎麼使用?又該如何面臨工作跟面試?

-

我在 2019 年從營運專員的職位轉職到數據分析師

在這之後,因為數據分析,也讓我快速建構不同領域的知識:行銷、營運、商業策略、產品、網頁

轉職過程中,花了很多時間成本摸索

我發現,學數據分析最快的方式是:

  1. 確認自己跟市場需求之間的差距:訂定轉職策略及了解數據分析師的工作方式
  2. 以業界應用的角度學習工具:包括數據工具及分析用思維架構,並且如何高效運用
  3. 建立一個商業上的真實專案,並且得到回饋:打造屬於你及貼合職缺需求的作品集和專案
  4. 打造一個高效履歷跟面談:透過高價值包裝術拿下面試、成功獲得數據行業的門票

當初如果我有這套系統思維,應該可以在短時間內轉職,馬上拿到進入業界的門票

-

現在,我想把這套完整課程分享給你

這是專門為了 0 經驗、沒有相關背景的轉職者所設計

不需要去考研究所、不需要花大錢準備出國讀書

可以用最快的時間準備轉職、拿到門票!

-

如果你正在準備轉職數據分析師,且試圖找過解決辦法卻始終治標不治本!歡迎跟我預約免費 1 對 1 諮詢,我會在諮詢時,了解你的需求並且評估我是否可以協助到你!

電子書 職場人必學的數據分析術

Lisa Wu

Hi 大家好!我是喜歡探索身心靈健康及平衡的數據分析師 Lisa Wu!這個網站會幫助你:利用數據分析 (理性) 及 身心靈平衡 (感性) 的系統,去達成人生目標!如果你對我的人生系統工具有興趣,歡迎聯繫我:couplehonest@gmail.com