금융사를 위한 AWS GameDay 2025 우승 이야기 🏆

안녕하세요, 카카오뱅크 컨테이너플랫폼팀에서 Kubernetes Engineer로 일하고 있는 Junny, Nunu, June입니다.

이 글에서는 지난 4월, 저희가 참여했던 금융사를 위한 Amazon EKS Kubernetes GameDay 2025에서 🎊우승🎊을 차지한 이야기를 공유하려고 합니다. AWS GameDay는 클라우드 환경에서 팀이 협력해 다양한 기술적 문제를 해결하고 시스템을 운영하는 실전형 CTF(Capture The Flag) 대회입니다. 참가자들은 단순한 문제 풀이를 넘어 ‘실제 장애 상황’을 시뮬레이션하며, 제한된 시간 안에 안정적인 운영과 빠른 복구 능력을 평가받습니다.

그렇기때문에 대회는 일반적인 코딩 테스트나 이론 중심의 시험과는 완전히 다른 성격으로 운영 됩니다. 실제 운영 환경에서 발생할 수 있는 복잡하고 예측 불가능한 상황들을 재현하여, 엔지니어들이 평소에 쌓아온 실무 경험과 문제 해결 능력을 종합적으로 평가하는 자리였습니다. 특히 팀 단위로 진행되는 만큼, 개인의 기술적 역량뿐만 아니라 팀워크와 커뮤니케이션 능력, 그리고 위기 상황에서의 의사결정 능력까지 모두 중요한 평가 요소가 됩니다.

이번 대회를 통해 예상치 못한 문제들을 하나씩 해결하며, 탄탄한 팀워크의 중요성과 평소 쌓아왔던 기술적 역량을 적재적소에 발휘하는 법을 깊이 깨달았습니다. 우승도 뜻깊었지만, 무엇보다 엔지니어로서 이러한 재미있고 의미 있는 경험을 많은 분들께 공유하고 싶어 이렇게 상세한 기록으로 남기게 되었습니다. 이 글이 AWS GameDay 참가를 고민하는 분들이나 쿠버네티스 운영에 관심 있는 분들에게 도움이 되길 바랍니다.

AWS GameDay 2025 대회 개요

AWS 공식 홈페이지를 참고하면, 다음과 같이 GameDay 대회를 소개하고 있습니다.

이처럼 AWS GameDay는 실제 운영 환경에서 발생할 수 있는 다양한 장애 상황을 시뮬레이션하여, 팀 단위로 문제를 해결하는 핸즈온 방식의 EKS Kubernetes 경진대회입니다. 단순한 이론적 지식보다는 실무에서 직면할 수 있는 복잡한 인프라 문제들을 게임화된 환경에서 해결하며, AWS 서비스에 대한 깊이 있는 이해와 실전 경험을 쌓을 수 있도록 설계되었습니다.

특징 1. 문제 해결과 안정적 운영을 평가하는 게임 형태

이 대회가 특별한 이유는 단순히 “문제를 푸는 것”이 목표가 아니라는 점입니다. 실제 서비스 운영에서 중요한 것은 문제를 해결하는 것뿐만 아니라, 해결한 후에도 안정적으로 서비스를 유지하고 지속적으로 개선해나가는 능력입니다. GameDay는 이러한 실제 운영의 복잡성과 지속성을 게임 형태로 재현했습니다.

참가자들은 가상의 회사 “유니콘 렌탈”의 신입 엔지니어 역할을 맡게 됩니다. 이 회사는 유니콘 대여 서비스를 운영하며, 다양한 마이크로서비스가 EKS 클러스터 위에서 돌아가고 있습니다. 대회 시작과 함께 여러 가지 장애 상황이 발생하고, 팀원들은 협력하여 이를 해결해야 합니다. 흥미로운 점은 문제를 해결하는 과정에서 새로운 문제가 연쇄적으로 발생하거나, 해결 방법에 따라 점수가 다르게 부여되는 등 실제 운영 환경의 복잡성이 잘 반영되어 있다는 것입니다.

특징 2. 금융업계 특화 시나리오

금융권 기업들이 참여하는 이 경진대회는 단순한 일반적인 웹 서비스 장애 상황을 넘어서, 금융 서비스의 특수성을 고려한 시나리오들이 포함되어 있습니다. 예를 들어, 높은 가용성 요구사항, 엄격한 보안 정책, 컴플라이언스 규정 준수 등이 문제 해결 과정에서 고려되어야 하는 요소들로 등장합니다. 또한 대회에서는 단순히 기술적 문제 해결뿐만 아니라, 비즈니스 임팩트를 고려한 우선순위 설정, 리스크 관리, 그리고 효율적인 리소스 운영 등 실제 금융 기업에서 중요하게 다뤄지는 운영 철학들이 평가 기준에 반영됩니다. 결과적으로 위의 요소들을 고려하여 주어진 시간 내에 다양한 AWS 서비스를 활용하여 인프라 문제를 가장 효율적으로 해결한 팀이 우승하게 되는 구조입니다.

참가자들은 실시간으로 발생하는 장애를 진단하고, 적절한 AWS 솔루션을 선택하여 복구하는 과정에서 클라우드 아키텍처 설계 원칙과 운영 베스트 프랙티스(Best Practice)를 체득할 수 있습니다. 최근에는 서버리스(Serverless), 컨테이너(Container), AI/ML 등 최신 기술 스택을 활용한 시나리오들이 추가되어 현업 엔지니어들에게 더욱 실질적인 학습 기회를 제공하고 있습니다.

대회 일정

당일 일정은 촘촘하게 구성되어 있었습니다. 각 시간대별로 참가자들이 집중할 수 있도록 적절한 휴식과 브리핑 시간이 배치되어 있었고, 특히 3시간의 메인 게임 시간 동안은 완전히 몰입할 수 있는 환경이 조성되었습니다.

우승을 위한 사전 준비

팀 구성: “걸스쿠베”의 탄생

AWS GameDay는 각 회사에서 최대 4인으로 구성된 한 팀만 참가할 수 있는 규정이 있었습니다. 이런 제약 조건 하에서 우승을 목표로 하다 보니, 팀 구성원 선정에 상당한 고민과 전략적 사고가 필요했습니다.

먼저 이번 대회의 주제가 ‘EKS’라는 점을 고려하여, 컨테이너플랫폼팀에서 실제로 EKS 클러스터를 운영하고 있는 Kubernetes Engineer들을 중심으로 팀을 구성하기로 했습니다. 하지만 EKS만으로는 대회의 모든 영역을 커버하기 어렵다고 판단하여, AWS 클라우드 서비스 전반에 대한 깊은 이해를 가진 클라우드팀의 Rex를 영입하게 되었습니다.

팀 이름을 정하는 과정도 나름의 의미가 있었습니다. 저희 컨테이너플랫폼팀의 EKS 업무 담당자들은 남자 2명, 여자 2명으로 구성되어 있어서, 평소에 동료들 사이에서 장난스럽게 “걸스쿠베”(Girls + Kubernetes)라는 별명으로 불리곤 했습니다. 이 별명이 팀의 정체성을 잘 나타내면서도 기억하기 쉽다는 점에서 자연스럽게 팀명으로 채택되었습니다.

전략 수립과 체계적 학습

1️⃣ Prep-session 참석

AWS에서는 GameDay 참가 팀들이 대회를 효과적으로 준비할 수 있도록 별도의 Prep-session을 제공했습니다. 이 세션은 대회가 어떻게 운영될 예정인지 상세히 설명해주는 자리였으며, 이를 통해 대회 진행 방식, 채점 시스템, 그리고 예상되는 문제 유형에 대한 귀중한 정보들을 얻을 수 있었습니다.

Prep-session에서 가장 인상 깊었던 점은 단순히 문제를 해결하는 것만으로는 높은 점수를 얻기 어렵다는 것이었습니다. 문제를 해결한 후에도 지속적으로 서비스를 안정적으로 운영하고, 추가적인 최적화를 통해 점수를 극대화하는 것이 중요하다는 힌트를 얻을 수 있었습니다. 이는 실제 운영 환경에서의 철학과 일치하는 부분이었습니다.

2️⃣ 맞춤형 학습 전략 수립

금융업계의 특성상 일반적인 스타트업이나 IT 기업과는 다른 방식으로 AWS 서비스를 활용하는 경우가 많습니다. 예를 들어, 보안 규정이 더 엄격하거나, 특정 리전에서만 서비스를 운영해야 하는 제약 등입니다. 이런 차이점 때문에 GameDay에서 제시되는 ‘일반적인’ 해결책이 저희가 평소에 사용하는 방법과 다를 수 있다는 점을 염두에 두고 학습 계획을 세웠습니다. 각 팀원이 담당한 학습 영역을 간략하게 공유드리자면, 다음과 같습니다.

• • EKS 클러스터 관리: 노드 그룹 스케일링, 클러스터 업그레이드, 네트워킹 설정
• • 쿠버네티스 리소스 관리: Pod, Service, Ingress, ConfigMap, Secret 등의 트러블슈팅
• • AWS 서비스 통합: ALB, NLB, Route53, CloudWatch, CloudTrail 등과의 연동
• • 보안 및 RBAC: IAM 역할, 서비스 어카운트, 네트워크 정책 등

3️⃣ 과거 경험 활용

팀 내에서 이전에 다른 AWS GameDay에 참여한 경험이 있는 멤버의 노하우를 적극 활용했습니다. 특히 다음과 같은 실질적인 팁들을 공유받을 수 있었습니다.

1. 문제 해결 우선순위: 감점형 문제를 먼저 해결하고, 안정화된 후에 가산형 문제에 집중
2. 역할 분담의 중요성: 한 명이 전체 상황을 파악하고 지휘하는 역할, 나머지는 각자 전문 분야에 집중
3. 문서화 습관: 해결 과정을 간단하게라도 기록해두면 나중에 비슷한 문제 발생 시 빠르게 대응 가능
4. 점수판 모니터링: 실시간 점수 변화를 통해 현재 전략의 효과성을 지속적으로 평가

이러한 준비 과정을 통해 팀원들이 보다 효과적으로 협력할 수 있는 기반을 마련할 수 있었습니다.

현장 경험: 3시간 동안의 몰입과 치열한 경쟁

대회 당일, 회장에 들어서는 순간부터 일반적인 기술 세미나나 워크숍과는 완전히 다른 분위기를 느낄 수 있었습니다. 각 팀은 배정된 테이블에 직접 지참한 노트북을 올려두며 준비를 시작했고, 대형 스크린에는 실시간 점수판이 표시되었습니다.

몰입 요소 1. 상황극을 통한 몰입감 조성

진행진들이 연출한 상황극은 정말 인상적이었습니다. 단순히 “문제를 해결하세요”라고 안내하는 것이 아니라, 마치 실제 회사의 긴급 상황인 것처럼 연출했습니다. “유니콘 렌탈의 시스템에 심각한 장애가 발생했습니다. 여러분이 신속하게 문제를 해결해야 합니다!”

이런 식의 상황 설정은 참가자들로 하여금 단순한 게임이 아닌 실제 업무 상황으로 인식하게 만들었고, 자연스럽게 긴장감과 책임감을 느끼게 했습니다. 실제로 대회 내내 팀원들 사이에서 “고객 서비스 영향을 최소화해야 한다”, “비즈니스 크리티컬한 서비스부터 복구하자”는 식의 대화가 오갔습니다.

몰입 요소 2. 실시간 스코어보드의 압박감

대회장 앞쪽에 설치된 대형 스크린에는 실시간으로 업데이트되는 스코어보드(Scoreboard)가 표시되었습니다. 특히 인상 깊었던 것은 점수가 실시간으로 변동한다는 점이었습니다. 어떤 서비스가 다운되면 점수가 감소하고, 복구되면 다시 상승하는 것을 실시간으로 볼 수 있었습니다. 이는 참가자들로 하여금 “일단 해결하고 끝”이 아니라 “지속적으로 안정적인 운영을 유지해야 한다”는 마음가짐을 갖게 했습니다.

GameDay 대회 들여다보기: 문제 유형 및 가산점 전략

🎯 주요 문제 유형 3가지

대회에서 마주한 문제들은 크게 세 가지 유형으로 분류할 수 있었고, 각각에 대해 완전히 다른 접근 방식과 전략이 필요했습니다.

유형 1. 감점형 문제 - 신속한 대응이 생명

감점형 문제는 시간이 지날수록 점수가 지속적으로 감소하는 구조로, 방치하면 점수가 지속적으로 깎이기 때문에 빠르게 인식하고 대응하는 게 핵심이었습니다. 이는 실제 운영 환경에서 서비스 다운타임이 길어질수록 비즈니스 임팩트가 커지는 상황을 잘 시뮬레이션한 것이었습니다. 문제를 신속히 분석하고 적절한 조치를 취하는 능력이 필수적이었으며, 제한된 시간 안에서 팀원들 간의 의사소통과 역할 분담이 성공을 좌우했습니다.

유형 2. 가산형 문제 - 지속적인 관리와 최적화

가산형 문제는 한 번 해결하면 끝나는 것이 아니라, 해결 후에도 서비스가 안정적으로 운영되면 점수가 지속적으로 증가하는 구조였습니다. 따라서 단순히 문제를 해결하는 것뿐만 아니라, 이후 상태를 지속적으로 관리하며 점수를 최대화해야 했습니다. 이는 실제 운영에서 “문제 해결 후의 지속적인 모니터링과 최적화”의 중요성을 강조하는 방식이었습니다.

유형 3. 실시간 처리 기반 문제 - 동적 최적화의 기술

세 번째 유형은 처리량, 응답 속도, Pod 수 등 실시간 지표에 따라 점수가 변동하는 구조였습니다. 운영 중 발생하는 변수를 조정하며 최적화를 진행해야 했고, 기술적 역량과 운영 능력을 동시에 시험하는 가장 까다로운 유형이었습니다. 실시간 문제에서는 클러스터 리소스를 효율적으로 활용하며 실시간 점수판을 분석하고 유연하게 대응하는 것이 중요했습니다.

💡 가산점 극대화 전략: 메시지 큐 문제 사례

GameDay에서 깨달은 중요한 교훈 중 하나는 단순히 문제를 해결하는 것만으로는 우승을 보장할 수 없다는 점입니다. 문제를 해결했다고 끝나는 것이 아니라, 이후 상태를 어떻게 안정적으로 운영하고 점수를 얼마나 효율적으로 끌어올리느냐가 대회의 핵심이었습니다. 특히 후반부에 등장한 메시지 큐 기반 문제는 이를 잘 보여준 사례였습니다.

처음에는 단순히 SQS 큐에서 메시지를 읽어 처리하면 점수가 올라가는 구조라고 생각했지만, 점수판을 자세히 들여다보던 중 예상치 못한 패턴을 발견했습니다. 처리 속도는 충분했지만 점수가 일정 수준에서 멈추는 현상이 있었던 것이죠.

이 문제를 해결하기 위해 저희는 점수 계산 방식을 분석하며 전략을 구체화했습니다. 처리량이 증가할수록 점수 상승 폭이 커지는 것을 확인하고, 메시지 처리 Pod 증설과 큐에 메시지를 직접 주입하는 두 가지 접근 방식을 시도했습니다.

방식 1. 메시지 처리 Pod 증설

메시지 처리에서 병렬 처리량을 늘리는 것이 점수 상승에 핵심적인 역할을 한다는 점을 발견했습니다. 기본적으로 Pod의 replica 수가 1로 설정되어 있었기 때문에 이를 수동으로 증가시켜 병렬 처리를 활성화했습니다. 이 과정에서 Horizontal Pod Autoscaler(HPA)가 설정되지 않아 직접 replicas 값을 조정하며 스케일링을 진행했습니다.

처리량이 일정 수준 이상에 도달하자 점수판에서 점수 상승 추세가 더 뚜렷해졌습니다. 특히, 처리량을 적절히 조정하며 시스템의 부하를 관리하는 것이 안정적인 점수 상승을 유지하는 데 중요했습니다.

방식 2. 큐에 메시지를 직접 주입

다음으로 시도한 전략은 SQS 큐에 메시지를 직접 주입하는 것이었습니다. 저희는 간단한 Python 스크립트를 작성해 일정 간격으로 큐에 메시지를 추가하며 점수 흐름을 적극적으로 통제했습니다.

이 방식은 큐로 들어오는 메시지의 양이 점수 계산에 직접적으로 영향을 미친다는 점을 활용한 전략이었습니다. 메시지를 처리하면 점수가 올라가는 구조인 만큼, 큐에 들어오는 메시지의 양을 우리가 능동적으로 조정하면 점수 상승을 극대화할 수 있다고 판단했습니다. 이 전략은 특히 점수 정체를 돌파하고 대회의 흐름을 바꿀 수 있는 결정적인 계기가 되었습니다.

⛳️ 그 외 점수 획득에 도움이 되었던 추가 전략들

위에 소개한 두 가지 접근 방식 외에도, 계속해서 높은 점수를 유지하기 위한 추가 전략들을 고민했습니다. 사소할 수 있지만 저희가 직접 사용하고 효과를 본 전략들을 추가로 설명드리자면 다음과 같습니다.

추가 전략 1. 서비스 장애 즉시 복구 프로세스

대회 도중 특정 서비스 Pod가 CrashLoop 상태에 빠지거나 Health Check 실패로 트래픽이 차단되는 상황이 있었습니다. 이때 kubectl describe와 로그 분석으로 원인을 빠르게 확인하고, Deployment 롤백이나 이미지 재배포로 즉시 복구했습니다.

또한, 대회 중에는 Node가 삭제되거나 비정상적으로 동작하는 상황을 포함한 다양한 문제 상황이 발생했지만, 시스템을 지속적으로 모니터링하고 있었기에 이러한 장애를 빠르게 감지하고 대응할 수 있었습니다. 이러한 빠른 장애 대응 덕분에 점수가 끊기지 않고 유지될 수 있었고, 복구 직후 점수가 급상승하는 순간을 여러 번 만들 수 있었습니다.

추가 전략 2. 사전 준비된 역할 분담으로 즉시 실행

각 팀원은 대회 전 자신이 맡을 영역(예: 보안, 클러스터 모니터링, 애플리케이션 디버깅 등)에 대해 구체적인 체크리스트와 간단한 스크립트를 준비해두었습니다. 덕분에 현장에서는 추가적인 합의나 긴 설명 없이도 누군가 이상 상태를 발견하면 해당 담당자가 곧바로 조치를 취하는 방식으로 운영했습니다. 이 방식은 중복 작업을 줄이고 응답 시간을 크게 단축시켜, 감점형 이슈가 발생했을 때 특히 유리하게 작용했습니다.

추가 전략 3. Scoreboard 전담과 우선순위화로 점수 극대화

한 명을 Scoreboard 전담으로 지정해 실시간 점수 변화와 문제 유형(감점형/가산형/실시간 처리)을 지속적으로 모니터링하도록 했습니다. 전담자는 점수 변동 패턴을 기반으로 문제 우선순위를 정하여(예: 급속히 점수 하락 중인 감점형 우선 → 안정화 후 가산형 최적화 → 실시간 처리 튜닝) 공유했습니다. 이 루틴 덕분에 리소스와 작업 우선순위를 빠르게 재배분할 수 있었고, 제한된 시간 내에서 점수 기여도를 최대화할 수 있었습니다.

추가 전략 2. 팀간 역할 분담과 실시간 ScoreBoard 공유

대회 중에는 한명이 콘솔과 로그를 계속 모니터링하며 장애나 지연을 확인하고, 다른 팀원은 즉시 수정 작업에 들어가는 구조를 만들었습니다. ‘현재 점수 상태 – 수정 필요 사항 – 진행 현황’을 실시간으로 공유했고, 이를 기반으로 우선순위를 정했습니다. 이 덕분에 중복 작업 없이 문제를 빠르게 해결할 수 있었고, 제한된 시간 내에 더 많은 문제를 처리할 수 있었습니다.

대회 결과

대회 종료 10분 전, 저희 팀의 점수가 256,000점을 넘어서며 사실상 우승이 확정되었습니다. 3시간 동안 쌓아올린 전략과 팀워크, 그리고 끊임없는 최적화 노력이 결실을 맺는 순간이었습니다. 수상하며 느낀 만족감은 단순히 결과에 대한 기쁨을 넘어, 팀워크와 전략이 하나로 연결되어 만들어낸 결실이라는 점에서 더 깊었습니다.

결국 이번 대회는 단순한 기술력 경쟁을 넘어, 전략과 팀워크가 실제 운영 환경에서 얼마나 중요한지를 확인할 수 있는 자리였던 것 같습니다. 트로피보다 값진 것은 우리가 세운 가설과 이를 해결하기 위한 전략이 성공적으로 실현됐다는 점입니다. 😊

AWS GameDay 대회를 마치며

단순한 대회를 넘어서 ‘운영 철학’을 생각해보다

AWS GameDay는 단순한 ‘문제 풀이 대회’가 아니었습니다. 평소 카카오뱅크에서 익숙하게 다루던 쿠버네티스와 AWS 서비스를 전혀 새로운 압박 상황에 던져 놓고, “과연 지금도 안정적으로 운영할 수 있을까?“를 실시간으로 검증하는 자리였습니다.

3시간 동안 스코어보드를 확인하며 클러스터 상태를 계속 점검했지만, 한 번도 ‘이제 끝났다!‘며 안심할 순간은 없었습니다. 예상치 못한 변수들이 끊임없이 발생했고, 이런 상황 속에서 안정적인 서비스를 유지하는 것이야말로 운영의 본질임을 깊이 깨달았습니다. 특히 인상깊었던 것은 “완벽한 해결책을 찾아서 구현하는 것”과 “빠르게 문제를 해결하고 서비스를 안정화하는 것” 사이의 차이였습니다. 실제 운영 환경에서는 후자가 훨씬 중요하다는 것을 다시 한번 확인할 수 있었습니다.

은행에서 쿠버네티스를 운영한다는 것

“쿠버네티스를 운영한다”는 말은 이제 IT 업계에서 흔한 표현이 되었지만, 은행에서의 쿠버네티스 운영은 완전히 다른 차원의 이야기입니다. 우리가 마주하는 것은 단순한 기술적 도전이 아니라, 안정성, 보안, 컴플라이언스라는 세 가지 절대 조건을 동시에 만족시켜야 하는 복합적인 미션입니다.

• • 실시간 거래 처리: 급증하는 TPS에도 안전한 금융 거래 처리
• • 규제 준수: 금융감독원의 엄격한 IT 거버넌스 요구사항 충족
• • 보안 강화: 개인정보보호와 금융 데이터 보안의 최고 수준 유지

이런 환경에서 우리 팀은 새로운 기능이나 패치를 만날 때마다 반드시 PoC → 테스트 → 표준화라는 파이프라인을 철저히 수행합니다. 이 과정을 통해 “규모가 커질수록 장애 확률도 커진다”는 일반적인 공식을, “새로운 기술을 누구보다 먼저 깊이 이해하면 장애 확률을 크게 줄일 수 있다”는 우리만의 운영 철학으로 발전시켜왔습니다.

팀워크의 힘

이번 GameDay에서 가장 크게 느낀 점은 바로 끈끈한 팀워크의 힘이었습니다. 각자 가진 노하우를 “공유하고, 바로 적용하며, 결과를 확인”하고, 안정적으로 시스템을 운영해온 경험은 단순한 코딩 테스트나 개별 프로젝트로는 결코 얻기 힘든 조직력을 보여줄 수 있는 바탕이 되었습니다. 특히 실시간 커뮤니케이션, 명확한 역할 분담, 그리고 투명한 의사결정 과정이 안정적인 인프라 운영의 핵심이라는 점을 몸소 깨달을 수 있었습니다.

이처럼 단단한 팀워크 덕분에 3시간 동안 흔들리지 않고 1위를 유지할 수 있었고, 최종적으로 압도적인 점수 차이로 우승할 수 있었던 것 같습니다.

🚀 카카오뱅크 컨테이너플랫폼팀과 함께해요! 🚀

마지막으로, 저희 카카오뱅크 컨테이터플랫폼팀이 하는 일에 대해 짧게 설명드리면서 글을 마무리해보겠습니다.

현재 카카오뱅크 컨테이너플랫폼팀은 클라우드뿐만 아니라 온프레미스 데이터센터에서도 쿠버네티스를 직접 설계하고 운영하고 있습니다. “은행 시스템을 쿠버네티스 위에서 안전하고 끊김 없이, 더욱 빠르게 운영해 보고 싶다!“는 열정🔥을 가진 분이라면 카카오뱅크 채용 페이지에서 자세한 공고를 확인해 주시면 감사하겠습니다. 궁금한 점이 있다면 언제든지 DM이나 커피 챗을 요청주세요! ☕

그럼 앞으로도 카카오뱅크의 컨테이너플랫폼팀의 여정에 관심과 응원 부탁드립니다. 긴 글 읽어주셔서 감사합니다! 🙏