이력

IDC 물리 서버 2,500여 대를 6년간 운영한 로우 레벨 인프라 경험 위에, 사내 최초 EKS 클라우드 네이티브 플랫폼을 1인 아키텍트로 설계·구축·운영했다. 다음 단계는 이 플랫폼 설계 능력을 AI/ML 워크로드로 확장하는 것이다.

거쳐온 자리

  1. 6년
    IDC 물리 인프라

    물리 서버 2,500여 대 총괄. 네트워크(L2/L3), 보안, OS, 하드웨어 라이프사이클. 구성 드리프트와 휴먼 에러를 직접 겪으며 불변 인프라 쪽으로 방향을 잡았다.

  2. 1년
    레거시 안정화

    모니터링 고도화와 캐시 레이어 최적화로 기존 시스템 성능을 끌어올리면서, 점진적 개선만으로는 한계가 있다는 결론을 데이터로 얻었다.

  3. 1년 5개월
    EKS 플랫폼 단독 설계·구축

    VM/ECS 과도기를 건너뛰고 Greenfield 로 직행. IaC, Observability, GitOps, Security, FinOps, AI CI/CD 를 1인 아키텍트로 완성했다. 아래 다섯 축이 그 구간이다.

다섯 축, 그리고 근거가 되는 글

각 항목은 요약이 아니라 실제로 겪은 과정을 쓴 글로 이어진다.

  1. 설계

    Observability 스택을 Greenfield 로 세우다

    pull/push 특성에 따라 Collector 를 분리 배포하고, 메트릭·로그·트레이스를 Exemplar 로 이어 하나의 화면에서 따라가게 만들었다.

    장애 조사 시 시스템 3개를 오가던 것을 Grafana 한 곳으로

  2. 안정화

    스케줄러 내부까지 파고들어 오토스케일링을 잡다

    Consolidation·topologySpreadConstraints·PDB 의 상호작용을 추적해 원인을 규명하고, 새 도구를 더하는 대신 쿠버네티스 내장 레버로 막았다.

    중요 서비스 다운타임 0 · Pod 분산 ±10% 이내 · Ready 비율 50% 이상

  3. 제품화

    플랫폼을 개발자가 쓰는 제품으로 만들다

    Backstage 로 서비스 카탈로그와 셀프서비스 템플릿을 붙여, 저장소·카탈로그·ArgoCD App 생성을 한 번에 처리했다.

    새 서비스 환경 구성 며칠 → 10분 · 카탈로그 등록 수동 → Push 후 30분 내 자동

  4. AI 운영

    LLM 을 파이프라인의 운영 컴포넌트로 다루다

    CI/CD 를 3-Layer 로 표준화하고 AI 코드리뷰를 붙였다. 모델 교체를 기능 추가가 아니라 운영 호환성 검증으로 취급했다.

    파이프라인 온보딩 하루 → .gitlab-ci.yml 3줄 · 공통 로직을 중앙 템플릿 1곳으로

  5. 최적화

    비용을 감이 아니라 데이터로 줄이다

    Kubecost 로 워크로드 단위 비용을 드러내고 네 개의 레버(야간 Scale-to-zero, 요청 조정, 인스턴스 확장, Spot)를 도출했다. 안정성과의 트레이드오프를 함께 설계했다.

    메모리 요청이 실사용의 3~4배이던 것을 p95×1.5 기준으로 조정

기술 스택

Cloud
AWS (EKS, ECR, VPC, IAM, S3, Secrets Manager, CloudWatch, Lambda, WAF, Athena)
Container & Scheduling
Kubernetes, EKS, k3s, Karpenter, KEDA, Kyverno
IaC
Terraform (Terramate), CrossPlane, Helm (Library Chart), Kustomize, Ansible
CI/CD & GitOps
GitLab CI/CD (3-Layer), ArgoCD, Argo Rollouts, ArgoCD Image Updater
Observability
Grafana, Mimir, Loki, Tempo, OpenTelemetry, Prometheus, Botkube
IDP
Backstage (Software Template, TechDocs, 플러그인 개발)
AI Engineering
PR-Agent, AWS Bedrock, MCP
Security
IRSA, External Secrets Operator, Sealed Secrets, Gateway API
DB
MySQL (ProxySQL, Orchestrator, XtraBackup, GTID), Redis, PostgreSQL, Elasticsearch, Solr
학습 중
Kueue (GPU 쿼터·스케줄링), Ray, Kubeflow

자격증

Cloud · DevOps
AWS SAP, AWS SAA, OCI DevOps Professional, OCI Foundations Associate
Data · AI
빅데이터분석기사
CS
정보처리기사, 정보보안기사, 리눅스마스터, CCNA
준비 중
CKA, CKS

사람에 대한 이야기는 소개에 있습니다.