이력
IDC 물리 서버 2,500여 대를 6년간 운영한 로우 레벨 인프라 경험 위에, 사내 최초 EKS 클라우드 네이티브 플랫폼을 1인 아키텍트로 설계·구축·운영했다. 다음 단계는 이 플랫폼 설계 능력을 AI/ML 워크로드로 확장하는 것이다.
거쳐온 자리
- 6년IDC 물리 인프라
물리 서버 2,500여 대 총괄. 네트워크(L2/L3), 보안, OS, 하드웨어 라이프사이클. 구성 드리프트와 휴먼 에러를 직접 겪으며 불변 인프라 쪽으로 방향을 잡았다.
- 1년레거시 안정화
모니터링 고도화와 캐시 레이어 최적화로 기존 시스템 성능을 끌어올리면서, 점진적 개선만으로는 한계가 있다는 결론을 데이터로 얻었다.
- 1년 5개월EKS 플랫폼 단독 설계·구축
VM/ECS 과도기를 건너뛰고 Greenfield 로 직행. IaC, Observability, GitOps, Security, FinOps, AI CI/CD 를 1인 아키텍트로 완성했다. 아래 다섯 축이 그 구간이다.
다섯 축, 그리고 근거가 되는 글
각 항목은 요약이 아니라 실제로 겪은 과정을 쓴 글로 이어진다.
- 설계
Observability 스택을 Greenfield 로 세우다
pull/push 특성에 따라 Collector 를 분리 배포하고, 메트릭·로그·트레이스를 Exemplar 로 이어 하나의 화면에서 따라가게 만들었다.
장애 조사 시 시스템 3개를 오가던 것을 Grafana 한 곳으로
- 안정화
스케줄러 내부까지 파고들어 오토스케일링을 잡다
Consolidation·topologySpreadConstraints·PDB 의 상호작용을 추적해 원인을 규명하고, 새 도구를 더하는 대신 쿠버네티스 내장 레버로 막았다.
중요 서비스 다운타임 0 · Pod 분산 ±10% 이내 · Ready 비율 50% 이상
- 제품화
플랫폼을 개발자가 쓰는 제품으로 만들다
Backstage 로 서비스 카탈로그와 셀프서비스 템플릿을 붙여, 저장소·카탈로그·ArgoCD App 생성을 한 번에 처리했다.
새 서비스 환경 구성 며칠 → 10분 · 카탈로그 등록 수동 → Push 후 30분 내 자동
- AI 운영
LLM 을 파이프라인의 운영 컴포넌트로 다루다
CI/CD 를 3-Layer 로 표준화하고 AI 코드리뷰를 붙였다. 모델 교체를 기능 추가가 아니라 운영 호환성 검증으로 취급했다.
파이프라인 온보딩 하루 → .gitlab-ci.yml 3줄 · 공통 로직을 중앙 템플릿 1곳으로
- 최적화
비용을 감이 아니라 데이터로 줄이다
Kubecost 로 워크로드 단위 비용을 드러내고 네 개의 레버(야간 Scale-to-zero, 요청 조정, 인스턴스 확장, Spot)를 도출했다. 안정성과의 트레이드오프를 함께 설계했다.
메모리 요청이 실사용의 3~4배이던 것을 p95×1.5 기준으로 조정
기술 스택
- Cloud
- AWS (EKS, ECR, VPC, IAM, S3, Secrets Manager, CloudWatch, Lambda, WAF, Athena)
- Container & Scheduling
- Kubernetes, EKS, k3s, Karpenter, KEDA, Kyverno
- IaC
- Terraform (Terramate), CrossPlane, Helm (Library Chart), Kustomize, Ansible
- CI/CD & GitOps
- GitLab CI/CD (3-Layer), ArgoCD, Argo Rollouts, ArgoCD Image Updater
- Observability
- Grafana, Mimir, Loki, Tempo, OpenTelemetry, Prometheus, Botkube
- IDP
- Backstage (Software Template, TechDocs, 플러그인 개발)
- AI Engineering
- PR-Agent, AWS Bedrock, MCP
- Security
- IRSA, External Secrets Operator, Sealed Secrets, Gateway API
- DB
- MySQL (ProxySQL, Orchestrator, XtraBackup, GTID), Redis, PostgreSQL, Elasticsearch, Solr
- 학습 중
- Kueue (GPU 쿼터·스케줄링), Ray, Kubeflow
자격증
- Cloud · DevOps
- AWS SAP, AWS SAA, OCI DevOps Professional, OCI Foundations Associate
- Data · AI
- 빅데이터분석기사
- CS
- 정보처리기사, 정보보안기사, 리눅스마스터, CCNA
- 준비 중
- CKA, CKS
사람에 대한 이야기는 소개에 있습니다.