๋ณธ ํ๋ก์ ํธ๋ 2025๋ ์ 21๋ ๋ํต๋ น ์ ๊ฑฐ๋ฅผ ์๋๊ณ , ๋์ค์ ๊ด์ฌ์ฌ ๋ณํ๋ฅผ ๋ค์ํ ๋ฐ์ดํฐ ์์ค๋ฅผ ํตํด ๋ถ์ํ๊ณ ์๊ฐํํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
- ์ ๊ฑฐ ๊ธฐ๊ฐ ๋์ค์ ๊ด์ฌ์ฌ๋ฅผ ์๊ฐํํ ๋์๋ณด๋ ์ ๊ณต
- End-to-end ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ถ
- Docker, Airflow, Snowflake ๋ฑ ๋ฐ์ดํฐ ์์ง๋์ด๋ง ์ญ๋ ๊ฐํ
- Naver DataLab API
- Google Trends (Pytrends)
- ๋ค์ด๋ฒ ๋ด์ค
- Language: Python, SQL
- Container: Docker
- Workflow: Apache Airflow
- Storage: Amazon S3, Snowflake
- Visualization: Apache Superset
- Collaboration: Slack, ZEP, Notion, Git
- IDE: Visual Studio Code
- Naver Datalab DAG
- Google Trends DAG
- Naver News DAG
- ๋ค์ฐจ์์ ๋์ ํธ๋ ๋ ํ์
- ์ ์ฑ ๋ฐ ์ ๋ต ์๋ฆฝ์ ์ ์๋ฏธํ ์ธ์ฌ์ดํธ ์ ๊ณต
- ์๋ํ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ก ์ด์ ํจ์จ์ฑ ๊ฐํ
- CI/CD ํ์ดํ๋ผ์ธ ๊ตฌ์ถ
- dbt๋ฅผ ํตํ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ์ฒด๊ณํ
- ์์ธก ๊ธฐ๋ฐ ํธ๋ ๋ ๋ถ์ ๋์