
想成為資料工程師,真正重要的能力之一,就是建立能大規模運作的資料收集與分析系統。
這部《轉職專題實作》將以「就業市場分析」為主題,完整展示現代資料工程專案的實作流程,從分散式爬蟲、自動化資料處理,到視覺化分析與雲端部署,打造真正可擴展的大型資料管線系統。
內容涵蓋 Airflow、RabbitMQ、Celery、Docker Swarm 與 Power BI 的實際應用,包括分散式任務排程、非同步工作流、資料 Pipeline、自動化部署,以及如何透過 Power BI 建立互動式就業市場分析儀表板。
影片中也會實際示範分散式爬蟲架構,包括多節點任務分配、Queue 管理、資料清洗與儲存,以及如何透過 RabbitMQ 與 Celery 提升大量資料抓取效率與系統穩定性。
除了技術實作,也會探討現代資料工程中的 Cloud-native 與分散式架構思維,以及為什麼大型資料系統越來越依賴容器化、自動化工作流與分散式任務管理。
適合對 Data Engineering、Airflow、RabbitMQ、Celery、Docker Swarm、Power BI,以及大型資料管線架構有興趣的人觀看。