쏘카 Data Engineer
배치 플랫폼 구축, 운영DB→웨어하우스 파이프라인, 가격·면책 산정 서버, CDC 레이크하우스
Data Engineer · Seunghyeon Yang
데이터 파이프라인을 만들고 운영합니다
반복되는 불편함을 자동화로 해결하고, 견고한 데이터 인프라를 구축하기 위해 끊임없이 고민하는 데이터 엔지니어입니다.
- 4년+데이터 엔지니어링
- Batch · CDC파이프라인
- GCP · K8s인프라 운영
- E2E수집 → 마트 → 활용
About
- 01
데이터 파이프라인 최적화 및 자동화
Airflow 기반의 배치 파이프라인 고도화와 클라우드 인프라 자동화를 통해 데이터 플랫폼의 운영 안정성을 확보해 왔습니다.
- 02
데이터 환경 조성
Raw Data 가공부터 BigQuery 기반의 데이터 웨어하우스 구축까지 전 과정을 전담하며, 데이터 기반의 의사결정이 가능한 환경을 조성하였습니다.
- 03
시스템 설계 및 운영
gRPC/FastAPI를 활용한 대용량 트래픽 처리 경험과 GitOps(ArgoCD, Helm) 기반의 배포 자동화를 통해 효율적인 MSA 환경을 구축하는 데 강점이 있습니다.
Experience
- 2022.06 — 현재
- 2021.06 — 2022.06
해줌 Software Engineer
태양광 발전 데이터 수집 플랫폼, 기상 데이터 파이프라인 자동화
Orchestration
- Airflow
- dbt
Warehouse & Lakehouse
- BigQuery
- Apache Iceberg
Streaming & CDC
- Kafka
Infrastructure
- Docker
- Kubernetes
- GKE
- EKS
- Helm
- Datadog
Language
- Python
- SQL
Projects
Iceberg 기반 CDC 파이프라인
2025.12 — 2026.03하루 한 번 도는 배치의 지연과 삭제 누락을 CDC로 바꿔본 PoC.
- Apache Iceberg
- Kafka
- Debezium
- Strimzi
CDC 메달리온 레이어
2026.04 — 2026.06CDC로 쌓인 변경 로그를 분석가가 바로 쓸 수 있는 테이블로 정리한 dbt 레이어.
- dbt
- BigQuery
- BigLake
- Airflow
Airflow 구축 및 운영
2022.06 — 2023.05Docker Compose로 돌던 Airflow를 Kubernetes로 옮기고 이중화와 시크릿 관리를 붙인 작업.
- Airflow
- Kubernetes
- Helm
- Workload Identity
운영DB → 웨어하우스 배치 파이프라인
2023.06 — 2024.01운영 DB에 부담을 덜 주면서 재처리가 가능하도록 만든 다단계 적재 구조와 dbt 변환.
- Airflow
- BigQuery
- dbt
- Airbyte
실시간 가격·면책 산정 시스템
2024.06 — 2024.12가동율·유휴율 기반 수요에 맞춰 지역·차종별 가격을 실시간으로 산정하는 동적 가격 서버.
- gRPC
- FastAPI
- NumPy
- EKS
셀프서비스 BI 배포 플랫폼
2026.07분석가가 SQL과 HTML만 올리면 CI가 독립 서비스로 배포하는 사내 대시보드 플랫폼.
- Go
- BigQuery
- Cloud Run
- Firebase