Conan
Backend & Data Engineer
以程式碼作為系統的催化劑,深耕後端系統架構與自動化資料工程。擅長從混亂的原始數據中,過濾、清洗、轉化並淬煉出具備高查詢效能與高度穩定性的資料產品。
Professional Toolkit
專業技術棧
精選合適且高效的技術組合,致力於建立高可用性、易維護的後端基礎設施。
開發語言
- Python
- TypeScript
- Nuxt.js
- Vue.js
資料系統
- PostgreSQL
- DB Design
- Ticker 建置
- SQL 優化
資料工程
- ETL 排程設計
- 穩定爬蟲排程
- 資料清洗標準化
- API 串接整合
開發工具
- Docker 容器化
- Git 版本控制
- Linux / Bash 腳本
- Git Actions CI/CD
Data Catalyst Lifecycle
資料催化工作流
將凌亂的原始資料,經過四步工程轉化,加工成高效、穩定且乾淨的數據產品。
01
資料爬取與收集
開發高穩定性的排程爬蟲與 API 串接程式,定期自動從各種資料來源收集最新資訊。
02
清洗與轉換 (ETL)
過濾雜訊、排除異常值,將不同來源的非結構化資料整合並轉換為標準格式。
03
高效儲存與優化
設計關聯式資料庫結構,建立索引及分割區,優化查詢效能以支撐巨量資料。
04
服務化與 API 輸出
建構穩定的 API 介面,供前端進行圖表繪製、視覺化呈現,讓資料真正產生產品價值。