글로벌 IT인들의 축제, AWS re:Invent 2024 현장을 가다

안녕하세요. 카카오뱅크 기술 부문을 대표하여 AWS re:Invent 2024 기술 컨퍼런스에 참석한 클라우드엔지니어링팀의 Mindy, ML엔지니어링팀의 Dahlia, 그리고 Oracle팀의 Ooseo입니다. AWS re:Invent는 매년 11월 또는 12월에 미국 라스베이거스에서 열리는 세계 최대 규모의 IT 축제로, 전 세계 IT 업계 관계자들이 모이는 중요한 자리입니다. 카카오뱅크는 최신 기술 동향을 파악하고 다양한 기업들과 IT 업계 종사자들로부터 인사이트를 얻기 위해 매년 AWS re:Invent에 참석해왔으며, 올해는 저희를 포함한 총 5명의 사내 엔지니어들이 총 6일 간 함께 기술 컨퍼런스를 즐겼습니다.

AWS re:Invent 2024에서는 5개의 키노트와 약 2,500개의 다양한 세션이 열리는 만큼, 참석을 준비하는 과정에서부터 어떤 세션을 선택할지에 대한 고민, 행사장을 효율적으로 돌아다니는 방법까지 많은 정보가 필요했습니다. 이미 많은 후기 글들이 올라와 있지만, 저희는 이 글을 통해 주요 세션 요약, 참석자를 위한 유익한 팁, 그리고 저희가 현장에서 느낀 다양한 글로벌 이벤트 체험을 ‘참석자의 시선’에서 꼼꼼하게 기록한 내용을 공유합니다.

특히 이 글은 AWS re:Invent 참석을 계획 중이신 분들, 최신 AWS 기술 동향과 혁신적인 사례들이 궁금한 IT 업계 종사자들, 글로벌 IT 전문가들과의 네트워킹을 통해 인사이트를 얻고자 하시는 분들, 그리고 국내외 대규모 기술 컨퍼런스에 참석 예정이신 분들에게 도움이 될 것으로 예상됩니다. 저희와 함께 AWS re:Invent 2024의 열기와 인사이트를 다시 체험해보실 준비되셨나요? 그럼 편안하게 앉아 글을 통해 생생한 현장감을 느껴보시죠! 🙌

목차 미리보기

• 한눈에 보는 AWS re:Invent 2024
  • 1. 참석을 위한 준비 🎒
  • 2. Session 살펴보기 A to Z 📚
  • 3. Networking & Celebration 프로그램 🕺🏻
• Keynote 및 주요 테크니컬 업데이트 요약
  • Cloud ECS의 Predictive Scaling 🔍
  • Cloud EKS Auto Mode 🔍
  • AI NOVA 🔍
  • AI 차세대 Amazon SageMaker 🔍
  • Database Amazon Aurora DSQL 🔍
• 지극히 개인적인 Recommended Sessions
  • 클라우드엔지니어 Mindy’s Pick 👩🏻‍💻
  • DBA Ooseo’s Pick 👨🏻‍💻
  • 데이터엔지니어 Dahlia’s Pick 💁🏻‍♀️
• Wrap up

한눈에 보는 AWS re:Invent 2024

1. 참석을 위한 준비 🎒

처음 AWS re:Invent 참석이 결정되었을 때, 규모가 워낙 큰 6일 간의 행사이다 보니 준비 과정부터 쉽지가 않았습니다. 😥 물론 주최 측에서 제공한 사전 가이드가 있었지만, 직접 알아보고 예약해야 할 것들이 예상보다 훨씬 많았습니다. 또한 비행기로 15시간 떨어진 한국에서 미국으로의 장거리 이동부터 숙소 예약, 동선 파악까지 여러 준비가 필요했습니다.

이 과정에서 참석자의 입장에서 미리 알면 유용한 정보를 아래와 같이 정리해 보았습니다. 아래 내용을 참고하여 미리 준비해 간다면, 저희처럼 헤매거나 당황하지 않고 컨퍼런스를 제대로 즐길 수 있을 것이라 확신합니다.

• ✍️ 참가 등록: AWS re:Invent 2024에 참여하려면 먼저 등록이 필요합니다. AWS re:Invent 포털에 가입하고 전체 컨퍼런스 패스를 구매하면 됩니다. 이 패스로 모든 세션, 전시회, 이벤트, 식사, 캠퍼스 셔틀을 이용할 수 있습니다.

• ✈️ 항공권 예약: 항공권은 가능한 한 일찍 예약하는 것이 좋습니다. 컨퍼런스 기간이 다가오면 항공권 가격이 상승하므로 미리 예약하면 비용을 절약할 수 있습니다.

• 🏨 호텔 예약: 참가 등록을 마치면 참석자 포털을 통해 호텔을 저렴하게 예약할 수 있습니다. 세션이 열리는 5개의 호텔 중 하나로 예약하는 것이 가장 좋습니다. 세션 장으로의 이동이 편리하고 중간중간 휴식도 잘 취할 수 있습니다.

• 📆 세션 예약: 라스베이거스 시간으로 오전 10시(태평양 표준시, 한국 시간보다 17시간 늦음)에 세션 예약이 오픈됩니다. 대략 두 달 전에 열리며, 이메일로 예약 관련 안내가 오므로 자주 확인하는 것이 좋습니다. 미리 예약하지 못할 경우 현장에서 대기 후에 참석할 수도 있지만, 인기가 많은 세션은 대기를 하더라도 자리가 없을 수 있으니 미리 예약하는 것이 좋습니다.

• 🛂 여권 및 ESTA 준비: AWS re:Invent 2024에 참석하려면 여권과 ESTA(Electronic System for Travel Authorization)가 필요합니다. ESTA 허가를 받기 위해 충분한 시간을 두고 미리 준비하는 것이 좋습니다.

• 👟 복장 및 준비물: 정해진 복장 가이드라인은 없지만, 되도록이면 비즈니스 캐주얼을 추천하며, 하루 종일 세션장과 Expo를 돌아다녀야 하므로 편안한 신발이 필수입니다. 실습형 세션을 위한 노트북, 충전기와 네트워킹을 위한 명함도 챙기는 것이 좋습니다.

• 🚍 이동 수단: 컨퍼런스 기간 동안 캠퍼스 셔틀이 제공되지만, 라스베이거스 내 다른 이동 수단도 파악해두는 것이 좋습니다. 우버나 리프트 같은 앱을 설치하고 주요 장소들의 위치를 미리 알아두면 편리합니다.

• 🤝 네트워킹 준비: AWS re:Invent은 네트워킹의 좋은 기회입니다. LinkedIn 프로필을 최신으로 유지하고, 만난 사람들과 영어로 소통할 준비를 하는 것이 좋습니다. 공식 네트워킹 이벤트와 저녁 모임도 놓치지 않는 것이 중요합니다.

• 💧 건강 챙기기: 컨퍼런스 동안 최상의 컨디션을 위해 건강을 잘 챙기는 것이 매우 중요합니다. 라스베이거스는 건조하므로 항상 물병을 휴대하고 물을 자주 마시는 것이 좋고, 립밤과 핸드크림을 챙기면 더욱 편안하게 지낼 수 있습니다. 충분한 수면을 취하고 체력을 잘 관리하여 컨퍼런스를 더욱 즐겨보세요.

그 밖에도 한국인 참가자들을 위한 더 자세한 팁은 해당 링크에서 확인 가능합니다.

2. Session 살펴보기 A to Z 📚

참석자 포털에 들어가면 Catalog에서 다양한 필터(Venue, Level, Session Type 등)로 원하는 세션을 필터링할 수 있습니다. 그 중, 세션을 고르기 위해 알아두면 좋은 3가지 필터에 대해 자세히 설명드리겠습니다.

2-1. 장소(Venue)

AWS re:Invent의 주요 강연은 Caesars Forum, Encore, Mandalay Bay, MGM Grand, The Venetian, Wynn 총 6개의 호텔 컨퍼런스룸에서 열립니다. 호텔 간 이동을 위해 셔틀버스가 제공되지만, 이동 시간은 최소 1시간이 소요되므로 같은 장소나 인근에서 열리는 세션을 선택해 이동 시간을 줄이는 것이 좋습니다. 이렇게 하면 시간과 에너지를 절약하면서 원하는 세션을 최대한 많이 수강할 수 있습니다.

2-2. 난이도(Level)

같은 주제라도 난이도가 다양할 수 있으므로, 자신의 수준에 맞는 세션을 선택하는 것이 중요합니다. 세션은 보통 아래 4단계로 나뉘는데요.

• 기초(Foundational), 100 level: AWS 서비스의 개요나 소개를 제공하고, 사용 사례와 함께 각 서비스의 특징 및 기능을 중점적으로 설명합니다.

• 중급(Intermediate), 200 level: 세션에서 다루는 주제에 대한 일반적인 지식을 가지고 있다고 가정하고, 서비스와 사용 사례의 기술적인 측면에 대해 깊이 있는 내용을 제공합니다. 여기에는 아키텍처, 통합, 일반적인 사례에서의 구성 등이 포함될 수 있습니다. 또한 팁, 모범사례, 고수준의 문제 해결 지침 등도 다룹니다.

• 고급(Advanced), 300 level: 주제에 대해 숙련된 지식을 갖춘 참가자를 가정하고, 심층적인 아키텍처, 개발, 배포 및 마이그레이션 예제를 제공합니다. 숙련된 AWS 사용자의 요구에 맞는 복잡한 설계, 개발 및 배포 모범 사례를 다룹니다.

• 전문가(Expert), 400 level: 숙련된 또는 전문가 수준의 AWS 고객을 위한 것으로, AWS 서비스의 내부 작동 방식을 배우고자 하는 사람들을 대상으로 하며, 매우 복잡한 설계, 개발 및 배포 전략에 대한 시연을 통해 청중이 주제에 대한 깊이 있는 통찰을 얻을 수 있도록 구성되었습니다.

2-3. 세션 종류(Session Type)

세션에도 여러 종류가 있습니다. 여기서 중요한 점은 기조연설(Keynote), 이노베이션 토크(Innovation Talks), 브레이크아웃(Breakout)은 행사 종료 후 녹화영상이 공개된다는 사실입니다. 따라서 행사장에서는 이왕이면 다른 세션을 듣는 것도 좋은 전략입니다. 아래는 AWS re:Invent에서 제공하는 다양한 세션 유형에 대한 설명입니다.

• Bootcamp: AWS 서비스를 이용해 클라우드 기술을 개발하고 구축하는 새로운 방법을 배우는 하루 종일 진행되는 집중 교육 세션입니다. 실무 기술에 특화된 강사 주도의 교육과 라이브 AWS 환경에서의 자기 주도 랩이 포함됩니다.

• 📺 Breakout sessions: 다양한 발표자가 교육 주제에 대해 강의하는 세션입니다. 표준 강의실이나 무음 세션 무대에서 진행되며, 시간 여유가 있다면 그룹 Q&A를 포함할 수도 있습니다.

• 📺 Innovation Talk: AWS 고객의 비즈니스 문제와 혁신적인 기회를 다루는 스토리에 중점을 둔 강의 스타일의 세션입니다.

• Builders’ sessions: AWS 전문가가 이끄는 소그룹 세션으로, AWS에서 빌드하는 방법에 대한 인터랙티브 학습을 제공합니다. 공식 프레젠테이션 없이 간단한 설명과 시연 후 개인 노트북으로 실습을 진행합니다.

• Chalk talks: 매우 상호작용적인 콘텐츠 형식으로, 짧은 강의 후 화이트보드를 사용해 참석자들의 활발한 토론을 유도하는 오픈 Q&A 세션입니다. 실제 아키텍처 문제에 대한 기술적 토론이 이루어집니다.

• Code talks: 소규모 청중을 대상으로 하는 코드 중심의 세션입니다. AWS 전문가는 라이브 코딩이나 코드 샘플을 사용한 대화형 토론을 이끌며, 참석자들이 질문하고 실습할 수 있습니다.

• 📺 Keynotes: re:Invent에서 진행되는 다섯 가지 기조연설은 전체 행사 분위기를 조성합니다. 새로운 출시, 데모, 기술 심층 분석과 고위 경영진의 비하인드 스토리를 제공합니다. 핵심 요소는 AWS를 통해 혁신을 이루는 고객들의 이야기입니다.

• Lightning talks: 엑스포 홀에서 진행되는 20분짜리 집중 극장 프레젠테이션입니다. 특정 고객 사례, 서비스 데모 또는 AWS 파트너 제공 내용을 다룹니다. Q&A와 같은 상호작용은 제한될 수 있습니다.

• Workshops: 참석자들이 소그룹으로 AWS를 사용해 문제 해결 솔루션을 만드는 대화형 세션입니다. 참석자 간의 상호작용을 장려하고 서로 배우고 가르치는 기회를 제공합니다. 노트북 지참이 필수입니다.

📌 세션 예약 시 주의사항

AWS re:Invent는 기본적으로 온라인으로 세션 예약을 해야 되지만, 세션 당일 빈자리가 발생한다면 대기줄에 서있던 사람들도 참여 가능한 사전 대기줄(Walk-up) 시스템을 운영합니다. 이와 관련된 작은 팁들이 있어 정리해보았습니다.

3. Networking & Celebration 프로그램 🕺🏻

AWS re:Invent에서는 다양한 기술 세션 외에도 전 세계에서 온 6만여 명의 참석자들과 함께 네트워킹하고 즐길 수 있는 크고 작은 규모의 여러 이벤트가 열립니다. 그 중 저희가 직접 참여해 본 인상 깊었던 Networking & Celebration 행사 프로그램 5가지를 소개합니다!

3-1. 한국인의 밤

본격적인 컨퍼런스의 시작에 앞서, 한국 고객을 위한 특별한 행사가 마련되어 있습니다. AWS re:Invent 행사가 열리는 라스베이거스(Las Vegas)에 도착해 가장 먼저 re:Invent 뱃지📛와 굿즈 등을 수령했습니다.

그리고는 첫 일정으로 참석한 행사가 바로 ‘한국인의 밤’ 행사입니다. 주로 한국인 엔지니어들이 참여하는 이 행사는, 자리에 앉아서 웰컴 디너와 주류, 라이브 밴드 공연을 즐기며 삼삼오오 네트워킹을 하게 됩니다. 2024년 기준으로, 이 행사는 12월 1일 일요일 오후 7시(PST)에 MGM 호텔 근처의 Hard Rock Cafe에서 열렸습니다.

한국인의 밤에는 AWS 서비스를 이용하는 많은 한국 고객사들이 참석합니다. 이를 통해 각 회사가 사용하는 AWS 기술들에 대해 자연스럽게 이야기 나눌 수 있었습니다. 특히 해당 기술을 사용하며 맞닥뜨린 어려움, 노하우, 그리고 사용해 본 좋은 서비스들에 대한 정보도 교환할 수 있어 유익한 시간이었습니다. 특히 해외에서 ‘한국인’이라는 정체성을 가진 엔지니어들과 함께 K-POP도 듣고 한식을 먹으며 기술적 인사이트와 다양한 경험을 공유하며 교류할 수 있어 더 뜻깊었습니다.

3-2. Expo 탐방

AWS re:Invent 컨퍼런스 첫 날의 꽃인 Expo(Exposition)에서는 다양한 파트너사 기업들을 확인할 수 있습니다. Expo는 다양한 산업군의 AWS 파트너사들이 참가하여, 기업 부스를 통해 제품과 솔루션을 선보이는 자리입니다. 이 자리에서 AWS 관련 제품을 비즈니스에 적용한 사례, 데모 시연 등을 경험할 수 있으며, 평소 궁금했던 점들에 대해 담당자와 직접 이야기하고 네트워킹하는 기회를 얻을 수 있습니다.

참가자들은 기업 부스를 돌아다니며 각 파트너사에서 준비한 기념품을 모으는 재미도 있습니다. 무엇보다 평소 접해보기 어려운 제품들을 직접 체험해볼 수 있어 즐거운 시간을 보낼 수 있습니다. Expo는 2024년 기준으로, 첫 날인 12월 2일 오후부터 마지막 날까지 진행됩니다. 종종 Expo에서도 세션이 진행되므로, 관심있으신 분들은 Expo 내 다양한 부스를 둘러보며 참여하시면 될 것 같습니다.

3-3. 모닝 요가 세션

모닝 요가 세션은 컨퍼런스 첫 날인 12월 2일 오전 6시 30분(PST)부터 Wynn Las Vegas 호텔에서 열린 이벤트입니다. “이른 아침 요가로 AWS re:Invent의 한 주를 편안하게 시작해보세요 (Start your week with an early morning yoga session. Come dressed in your fitness gear and wind down before a full week of re:Invent.)" 라는 안내 문구에 이끌려 신청하게 되었습니다.

이 요가 세션은 약 1시간 동안 진행되었으며, 참가자들이 컨퍼런스에서 바쁜 일주일을 시작하기 전에 긍정적인 에너지를 충전할 수 있도록 도와주는 힐링의 시간이었습니다. 매우 이른 시간임에도 불구하고 장소가 가득 찰 만큼 많은 이들이 참석했으며, 초보자 레벨도 쉽게 따라 할 수 있도록 포즈를 알기 쉽게 설명해 주었습니다. 무엇보다도 전 세계에서 온 사람들과 함께 같은 공간에서 요가를 통해 하나가 되는 경험은 매우 특별했습니다. 프로그램 종료 후 바나나와 같은 간단한 아침 다과도 제공되었으며, 그때 기념품으로 받은 요가매트도 유용하게 잘 사용하고 있습니다.

평소 요가에 관심이 가지고 있었거나, 한 번 도전해보고 싶으신 분들에게도 시도해보기 좋은 프로그램인 것 같습니다.

3-4. 5K 마라톤

컨퍼런스 3일째 되는 날, 이른 아침부터 5K 레이스가 열렸습니다. 아침 식사 시간인 오전 6시 30분(PST)보다 일찍 시작되는 2개의 세션 중 하나였으며, Mandalay Bay의 Michelob Ultra Arena에서 출발해 Frank Sinatra Drive 경로를 따라 달리는 2시간 가량의 행사였습니다. 이 레이스는 누구나 참여할 수 있었지만, 첫째 날 메인 행사장 Community Events 데스크에서 등록하고 배번(Bib)을 받아야 했습니다. 저는 늦게 가서 받지 못했지만, 참여를 포기한 동료 덕분에 그의 배번을 받고 참가할 수 있었습니다.

아침 일찍 숙소를 나와 카카오뱅크x유니세프 SaveRace 마라톤 티를 입고 동료들과 함께 셔틀버스를 타고 Mandalay Bay로 이동했습니다. 약 12,000명을 수용할 수 있는 실내 경기장에 도착해 제공된 간식을 받았고, 물품 보관소에 짐을 맡겼습니다. 추운 날씨에 야외에서 대기할 것을 예상해 바람막이와 비상 간식을 챙겼지만, 쾌적한 환경 덕분에 편안하게 대기할 수 있었습니다.

마라톤 경험이 많은 동료의 구호에 따라 간단히 몸을 풀고 기념촬영을 한 뒤 출발했습니다. 출발 신호는 없었고, 제공된 기록칩을 통해 개인별로 자유롭게 출발했습니다. 러닝 속도에 따라 개인 차이가 나기 시작했지만, 반환점에서 마주치는 동료들에게 응원을 건네며 다양한 나라에서 온 엔지니어들과 함께 달리는 기분을 느낄 수 있었습니다. 시차적응의 피로를 무릅쓰고 달려서 다행히 5K를 완주했습니다. 완주자들은 기록칩을 통해 athlinks 사이트에서 주행 기록을 확인할 수 있습니다. 아쉽게도 저의 기록은 누락되었지만, 개인 스마트워치에 남은 기록으로도 충분히 값진 기념이었습니다.

함께 완주 메달을 목에 걸고 기념 촬영을 하고 있으면, 주최 측에서 폴라로이드 사진을 찍어주었습니다. 복귀한 경기장 내에서는 물과 간식, 기념품도 제공되었습니다. 라스베이거스의 겨울은 습도가 낮아 달릴 때 살짝 건조했지만, 대회 운영과 코스 등 전반적으로 매우 만족스러운 행사였습니다.

3-5. re:Play 피날레 파티

메인 일정이 모두 끝나는 12월 5일 저녁, re:Play 피날레 파티가 열렸습니다. 이 행사는 Las Vegas Festival Grounds이라는 대규모 라이브 음악 공연장에서 개최되었습니다. 이동이 편리하도록 각 장소에서부터 이곳으로 가는 셔틀버스가 제공되었습니다.

셔틀버스에서 내려 보안 검색대를 통과하니 이미 많은 사람들이 도착해 있었습니다. 메인 광장에는 롤러 스케이트장, 자동차 쇼를 비롯해 여러 볼거리와 먹거리, 음료가 제공되었습니다. 물론 대규모 인원을 수용하기 위해 메뉴는 한정적이었고, 저녁 시간대라 야외는 제법 쌀쌀했습니다. 행사 초기의 소규모 네트워킹 행사와는 달리, 다같이 한데 어울려 즐기는 분위기였습니다.

특히 이 행사의 하이라이트는 프로듀서 Zedd의 EDM 디제잉 공연이었습니다. 사실 EDM 디제잉에는 문외한이었지만, 직접 공연을 보지 않고 귀가했다면 두고두고 후회할 뻔 했습니다. 같이 가자고 한 동료들 덕분에 멋진 공연을 즐길 수 있었습니다.

Keynote 및 주요 테크니컬 업데이트 요약

AWS re:Invent에서 Cloud, AI, Database 주제의 주목할 만한 기술적인 업데이트는 다음과 같습니다.

#Cloud ECS의 Predictive Scaling 🔍

Amazon ECS의 새로운 Auto Scaling 기능인 Predictive Scaling은 과거의 사용 데이터를 바탕으로 머신러닝(ML) 알고리즘을 사용해 미래의 리소스 사용량을 예측해 필요에 따라 서비스에서 ECS Task를 사전에 Scaling 하는 기능입니다. 이를 통해 애플리케이션의 가용성과 응답성을 개선할 수 있으며, 과도한 프로비저닝을 줄여 비용을 절감할 수 있습니다. Predictive Scaling은 Target Tracking, Step Scaling과 같은 기존 자동 스케일링 정책과 함께 사용할 수 있습니다. 이로 인해 더욱 정교한 스케일링이 가능해져 애플리케이션의 가용성이 향상됩니다.

Predictive Scaling에는 다음과 같은 2가지 주요 모드가 있습니다.

1. 예측 모드(Forecast Only)
   이 모드는 예측된 리소스 사용량 데이터를 제공하지만, 실제로 리소스를 확장하거나 축소하지는 않습니다. 사용자가 이 데이터를 참고하여 수동으로 리소스를 조절할 수 있습니다. 이는 Predictive Scaling을 시작하기에 좋은 방법으로, 프로덕션 환경에서 기존 Scaling 동작에 영향을 주지 않습니다.
2. 예측 및 자동 조절 모드(Forecast and Scale)
   이 모드는 예측된 리소스 사용량 데이터를 기반으로 자동으로 리소스를 확장하거나 축소합니다. 이를 통해 관리자의 개입을 최소화하고 최적의 리소스 상태를 유지할 수 있습니다.

Predictive Scaling은 수요가 빠르게 변하고 일관된 패턴을 따르는 애플리케이션에 이상적입니다. 예를 들어, 업무 시간 동안 리소스 사용량이 증가하고 저녁과 주말에는 감소하는 트래픽 패턴이 있는 경우에 유용합니다. 이러한 Predictive Scaling 기능을 사용하면 다양한 상황에서 비용을 절감하는 동시에 Amazon ECS를 효과적으로 관리할 수 있습니다.

#Cloud EKS Auto Mode 🔍

AWS가 새롭게 선보인 Amazon EKS Auto Mode는 클릭 한 번으로 Kubernetes 클러스터 관리를 쉽게 만들어주는 기능입니다. 예전에는 워커 노드와 파드를 직접 관리해야 했지만, 이제 AWS가 대부분의 작업을 대신 처리해줍니다.

EKS Auto Mode의 핵심은 CoreDNS, Amazon VPC CNI, kube-proxy 같은 필수 에드온(Add-on)들이 systemd 프로세스로 워커 노드 내부에서 실행되는 것입니다. 이를 통해 애플리케이션 파드 관리를 더 쉽게 할 수 있으며, 리소스를 실제 사용량에 맞게 자동으로 조정해 비용 효율성도 높아집니다. 또한, 자동 패치와 업데이트 덕분에 최신 보안 수정 사항이 자동으로 적용되고, 여러 가용성 영역(AZ)을 활용해 고가용성이 보장됩니다. 또한 최적화된 사전 정의된 AMI(Amazon Machine Images)를 사용해 인프라 관리가 단순해지며, SSH나 SSM 액세스를 허용하지 않아 노드에 직접 액세스할 필요도 없습니다. Kubernetes Control Plane과 Data Plane 버전 업데이트, 운영 체제 패치, 애플리케이션 바이너리 업데이트도 자동으로 처리됩니다.

이 새로운 기능은 조직이 클라우드 환경에서 유연하고 효율적으로 운영될 수 있도록 돕고, 인프라 관리의 복잡성을 줄여 핵심 비즈니스 목표에 더 집중할 수 있게 해줍니다. EKS Auto Mode를 통해 AWS가 클라우드 인프라 관리를 쉽게 만들어가기 위해 계속해서 노력하고 있다는 걸 알 수 있었습니다.

#AI NOVA 🔍

이번 컨퍼런스에서 Amazon은 멀티모달 AI 모델, Nova를 공개했습니다. Nova는 텍스트, 이미지, 비디오 등 다양한 데이터를 이해하고 생성할 수 있는 멀티모달 AI 모델로, Micro, Lite, Pro, Premier, Canvas, Reel 등 다양한 모델을 제공하여 사용 목적에 맞게 선택할 수 있으며, 텍스트, 이미지, 비디오를 동시에 이해하고 다양한 형태의 콘텐츠를 생성할 수 있는 기능을 갖추고 있습니다.

또한, 대규모 데이터도 신속하게 처리할 수 있을 뿐만 아니라 다양한 모델 라인업을 통해 비용 효율적인 사용이 가능하다는 점에서 큰 장점을 지니고 있습니다. 이로써 Nova는 콘텐츠 제작, 마케팅, 교육, 고객 서비스 등 다양한 분야에서 생산성을 향상시키고, 리소스 및 시간 비용을 절감함으로써 혁신적인 서비스 개발을 가능하게 합니다.

#AI 차세대 Amazon SageMaker 🔍

Amazon SageMaker는 데이터 과학자와 머신러닝 엔지니어가 더 쉽고 빠르게 머신러닝 모델을 구축, 훈련, 배포할 수 있도록 지원하는 완전 관리형 서비스입니다. 이번 AWS re:Invent에서는 한층 더 강화된 차세대 SageMaker가 소개되었습니다. 새로워진 SageMaker는 주요 특징은 다음과 같습니다.

1. 통합된 환경(Unified Studio)을 제공하여 데이터 탐색, 준비, 처리 및 분석 작업을 단일 플랫폼에서 수행할 수 있습니다. 이 기능을 통해 데이터 사이언티스트와 엔지니어는 개발 과정의 효율성을 크게 향상시킬 수 있습니다.
2. 레이크하우스(Lakehouse) 기능을 통해 S3 데이터 레이크와 Redshift 데이터 웨어하우스를 통합하여 단일 데이터 복사본을 사용해 분석 및 AI/ML 애플리케이션을 구축할 수 있습니다. 이를 통해 데이터의 일관성을 보장하고 분석 작업의 효율성을 높일 수 있습니다.
3. 향상된 거버넌스(Enhanced Governance) 기능은 데이터 및 AI 워크플로우 전반에 걸쳐 강력한 거버넌스를 제공하여 데이터 품질, 보안 및 규정 준수를 보장합니다. 이로 인해 더욱 안전하고 신뢰성 있는 개발 환경을 구축할 수 있습니다.

이처럼 차세대 SageMaker는 통합된 환경(Unified Studio), S3와 Redshift를 결합한 레이크하우스(Lakehouse), 향상된 거버넌스(Enhanced Governance) 기능 등을 제공합니다. 이 기능들을 통해 데이터 중심의 개발, 자동화된 작업 흐름, 그리고 확장성과 유연성을 실현할 수 있습니다. 덕분에 개발자의 생산성이 크게 향상되고, 대규모 데이터 처리와 복잡한 머신러닝 모델 개발도 효율적으로 수행할 수 있어 팀 간 협업과 운영 효율이 극대화됩니다.

#Database Amazon Aurora DSQL 🔍

현재 AWS는 다양한 특정 데이터 처리에 초점을 맞춘 데이터베이스(DynamoDB, ElastiCache, DocumentDB 등)와 관계형 데이터베이스(RDS, Aurora) 서비스를 제공하고 있습니다. 하지만 AWS는 이미 많은 고객이 사용하는 제품에 안주하지 않고, 자동 확장(Auto scaling), 서버리스(Serverless), I/O 최적화(I/O Optimized), 최적화된 읽기(Optimized Reads), 글로벌 데이터베이스(Global Database), 블루/그린 배포, 무한 확장(Limitless), 벡터(Vector) 등 계속되는 요구사항을 수용하며 혁신을 지속하고 있습니다. 이번 컨퍼런스 참여를 통해, AWS는 A와 B 중 하나를 선택하는 것이 아니라 A와 B를 동시에 만족시키는 AND 접근(Genius of the AND) 철학을 가지고 있다는 것을 다시 한번 깨달을 수 있었습니다. 이는 현 시점에서 AWS의 장악력과 강점을 잘 보여주는 철학이라고 생각합니다.

데이터베이스 챕터 마지막에서는 Amazon Aurora DSQL을 주제로 발표가 이어졌습니다. 이 무제한, 관리형, 서버리스 디자인은 낮은 지연 속도에도 불구하고 데이터 일관성을 유지합니다. 이는 기존 NoSQL 측면에서 CAP 이론을 뛰어넘으면서, RDB 측면에서는 ACID를 지키면서도 무제한 확장성을 이뤘다는 의미로 해석되었습니다. 특히 PostgreSQL 호환성까지 갖춰 데이터 일관성을 보장하는 PostgreSQL 기반 개발의 장점을 살렸습니다.

예를 들어, 버지니아와 도쿄 간에 데이터 소통이 10번 왕복되는 경우(Single transaction with 10 statements), 저장 계층을 최적화하고 병렬 처리로 수행하여 신호의 효율성을 높입니다. 또한 전 세계 모든 EC2 인스턴스가 원자시계와 함께 위성에 연결된 기준 시계가 되어, 마이크로초 레벨에서 동일한 시점 동기화를 통해 일관성 있게 데이터를 처리할 수 있습니다.

Aurora Limitless가 정식 소개될 것으로 예상했지만, 그 대신 Amazon Aurora DSQL에 중점을 두고 발표가 진행되었습니다. 다만, 현재 한국 리전에서는 Aurora Limitless를 사용할 수 없고, Aurora DSQL의 GA 버전도 아직 발표되지 않아 실제 사용 가능 시점과 발표 시점 간의 차이에 대해 감안해야 할 필요가 있어 보입니다.

지극히 개인적인 Recommended Sessions

클라우드엔지니어 Mindy’s Pick 👩🏻‍💻

☑️ Workshop Advanced cost allocation for AWS containerized workloads

Workshop 400 레벨 세션에 참석했습니다. 이번 워크샵의 목표는 공유 클러스터 환경에서 컨테이너의 비용 분할 방법을 배우고 실제로 적용하는 것이었습니다. 이를 위해 Amazon ECS와 Amazon EKS를 사용했으며, 특히 AWS 비용 및 사용 보고서(AWS Cost and Usage Report, AWS CUR)를 활용하는 것에 중점을 두었습니다.

AWS CUR는 AWS 리소스의 비용과 사용량을 확인할 수 있는 보고서입니다. 과거에는 AWS CUR에서 EC2 인스턴스 수준의 비용 데이터만 제공되었지만, SCAD 도입 후에는 컨테이너 수준에서도 비용 및 사용 데이터를 확인할 수 있게 되었습니다. 이는 ECS Task와 Kubernetes Pod에 대한 세부적인 비용 추적이 가능함을 의미합니다.

SCAD(Split Cost Allocation Data)를 설정하면, 기본적으로 EKS 컨테이너의 request 설정값을 기반으로 노드에서 비용을 분배합니다. 그러나 Amazon Managed Service for Prometheus나 Amazon CloudWatch 컨테이너 인사이트를 사용하면, 실제 Kubernetes CPU 및 메모리 사용률 지표를 기반으로 세분화된 비용 추적도 가능합니다.

워크샵에서 제공된 가이드 문서를 따라 실제 환경을 구축하면서 Amazon ECS 및 Amazon EKS에서 컨테이너의 비용을 확인하는 방법을 배웠습니다. 먼저 AWS CUR를 생성하고 SCAD를 활성화하여 데이터를 Amazon S3 버킷에 저장하도록 설정했습니다. 그 다음, AWS Glue Crawler를 사용하여 S3 버킷에 저장된 CUR 데이터를 기반으로 Glue Table을 생성했습니다. 마지막으로 Amazon QuickSight를 Athena와 연동하여 Glue Table에 대해 쿼리를 실행함으로써 실제 비용 대시보드를 만들었습니다. 이를 통해 컨테이너 수준의 비용 데이터를 시각화하고 추적하는 방법을 실습했습니다.

이 워크샵을 통해 저는 컨테이너별 비용을 효율적으로 관리하고 추적하는 방법을 배울 수 있었으며, 이는 클라우드 인프라 비용을 가시화하는 데 큰 도움이 되었습니다.

☑️ Breakout Amazon Q Developer agents

Amazon Q Developer Agent는 AI를 기반으로 단위 테스트, README 파일, 데이터 흐름 다이어그램 등을 자동으로 생성하여 개발과 문서화를 도와주는 도구입니다. 세션에서는 Amazon Q Developer Agent를 활용하여 개발 및 테스트 코드를 구현하고, 코드 리뷰를 다룬 데모를 확인했습니다.

예를 들어, Agent에게 /dev 명령어를 입력한 후 “I want you to build a 2048 game with frontend and backend.“라고 요청하면, 실제로 해당 게임의 프론트엔드와 백엔드 코드를 작성해줍니다. 또한, /test 명령어를 입력한 후 “check for null inputs for get_game_state"라는 테스트 케이스 내용을 전달하면, 특정 파일에 작성된 메소드의 단위 테스트 코드를 자동으로 생성합니다. 마지막으로, /review 명령어를 입력한 후 review workspace를 클릭하면, Agent가 해당 워크스페이스를 분석하여 코드에서 문제가 될 수 있는 부분을 알려줍니다.

이처럼 Amazon Q Developer Agent는 단위 테스트 생성, 코드 문서화, 코드 리뷰 과정을 간소화하여 개발자의 생산성과 효율성을 높여주는 도구입니다. AWS re:Invent에서 소개된 이 도구는 개발, 테스트, 코드 리뷰 업무의 전 과정에서 큰 도움을 줄 것으로 기대됩니다. 무엇보다 코드 품질을 향상시키고 유지보수 시간을 절감할 수 있다는 점에서 큰 장점이 있다고 생각합니다.

DBA Ooseo’s Pick 👨🏻‍💻

☑️ Breakout Best practices for querying vector data for gen AI apps in PostgreSQL

이 세션은 PostgreSQL의 벡터 DB 기능을 소개한 세션으로, pgvector 기능을 이용해 이미지 유사도를 계산하거나 사용자 행동 벡터를 연산하여 개인 맞춤형 추천을 구현한 사례들이 소개되었습니다. 이 세션에서는 벡터 데이터를 위한 테이블 구조 설계, 성능을 위한 인덱스 생성 방법, 성능 최적화를 위한 하드웨어 및 소프트웨어 튜닝 가이드 등을 다루었습니다. 또한, PostgreSQL에서 제공되는 벡터 성능 개선을 강조하며, 향후 발전할 pgvector 로드맵도 소개되었습니다.

특히 PostgreSQL 기반으로 작업할 경우 기존 RDBMS의 여러 장점을 그대로 활용할 수 있다는 강점도 부각되었습니다. 100여 장에 이르는 슬라이드를 통해 pgvector의 기본 개념부터 실제 구축 및 활용까지 포괄적으로 다뤄 매우 유익한 시간이었습니다.

☑️ Code Talk Dive deep into Amazon Aurora query plan management

해당 세션에서는 PostgreSQL 쿼리 계획 관리 모듈(QPM)을 소개했습니다. 쿼리 계획을 최적화하여 일관된 성능을 유지하는 방법과 성능 저하를 방지하고 문제를 신속히 해결하는 방안을 보여주었습니다. 오픈소스 PostgreSQL의 경우 옵티마이저를 직접 제어하기 어려운데, QPM(Query Plan Management)은 쿼리 성능을 모니터링하고 계획을 관리하는 기능을 지원합니다.

QPM의 캡처 모드와 재생 모드를 통해 동일한 쿼리가 항상 동일한 계획을 사용하게 하며, 변경을 감지하고 평가하여 새로운 계획을 적용하기 전에 성능을 검토할 수 있습니다. Aurora에서 제공되는 확장 기능인 apg_plan_mgmt는 DBMS를 효율적으로 운영하는 데 유용한 참고자료가 되었습니다. 이를 통해 쿼리 계획 관리 방법을 총체적으로 이해할 수 있었고, 해당 기능의 장점을 알게 되었습니다.

데이터엔지니어 Dahlia’s Pick 💁🏻‍♀️

☑️ Builders’ sessions Orchestrate data and ML workflows with managed Apache Airflow

개인적으로 현재 업무에서도 Airflow를 활용해 데이터 및 머신러닝(ML) 파이프라인을 운영하는 업무를 맡고 있어, 큰 기대감을 가지고 해당 세션에 참석했습니다. 세션은 실습 중심으로 이루어졌으며, 각 테이블에는 약 10명의 참석자와 1명의 AWS 전문가가 함께하여 실제 시나리오를 단계별로 구현하며 학습하는 형식으로 진행되었습니다.

세션의 주요 내용은 Amazon MWAA를 활용하여 데이터 수집부터 변환, 최종 소비에 이르는 End-to-end 파이프라인을 구축하는 방법을 실습하는 것이었습니다. 특히, Amazon SageMaker와의 통합을 통해 ML 모델의 학습, 배포, 모니터링을 자동화하는 과정이 매우 인상적이었습니다. 이 과정에서 그동안 업무에 적용해보지 못했던 기능들을 사용할 수 있었고, 실제 업무와의 연관성을 생각하며 새로운 활용 방법을 고민해볼 수 있는 좋은 기회가 되었습니다. 다른 회사들의 사례를 통해 효율적인 적용 방법도 배울 수 있어 매우 유익했습니다.

이번 세션을 통해 MLOps의 관점에서 데이터 수집부터 모델 예측 결과 전달에 이르기까지 확장성과 유지보수성을 고려한 워크플로우 설계에 대해 다시 한번 생각해보게 되었습니다. 이러한 인사이트를 바탕으로, 카카오뱅크의 MLOps 플랫폼을 한층 더 발전시키는 데 큰 영감을 주었습니다.

Wrap up

이번 AWS re:Invent 2024에 참석하며 많은 것을 경험하고 배웠습니다. 클라우드 서비스가 온프레미스 인프라와 얼마나 다른지, 그리고 AWS가 개발자에게 제공하는 무한한 가능성을 직접 체감할 수 있는 소중한 기회였습니다. 특히 다양한 IT 업계의 사람들이 한 곳에 모여 인사이트를 공유하고, 타사의 성공 사례와 새로운 기술, 솔루션을 직접 경험해보며 단순히 업무에서 AWS 솔루션을 사용하는 것 이상으로 많은 것을 배우고 느낄 수 있었습니다.

저희도 컨퍼런스 기간 동안 다양한 세션과 프로그램을 통해 AWS의 서비스를 직접 실습해보며 다른 회사들의 성공 사례에서 많은 아이디어를 얻었습니다. 6일간의 긴 일정 동안 많은 세션을 들으면서도, 미리 관련 공지사항들을 꼼꼼히 읽고 그에 맞는 준비를 했기에 매우 만족스러운 시간을 보낼 수 있었습니다. 무엇보다도 해당 솔루션을 만든 전문가를 직접 만나 그들의 기술적인 설명을 들으면서 단순히 문서를 통해서만 알 수 있었던 것 이상으로 시야를 넓힐 수 있는 계기가 되었습니다. 무엇보다도 오랜만에 마치 학생 때로 돌아간 것처럼 여러 세션을 수강하고, 이벤트와 프로그램에 참여해보는 것만으로도 매우 설레는 경험이었습니다.

컨퍼런스에 참가하면서 무엇보다 개발자, 엔지니어로서 항상 배우고 성장해야 한다는 점을 다시 한번 깨달았습니다. 특히 이곳에서 받은 여러 인사이트가 앞으로의 업무에도 큰 도움이 될 것이라고 생각합니다. 또한, 이러한 대규모 행사에서는 체력 유지와 동선 계획이 얼마나 중요한지도 절실히 느꼈습니다. 이 글을 읽으시는 분들은 꼭 저희가 남긴 팁을 참고하여 참석을 준비하시면 도움이 되리라 확신합니다. 다음번 AWS re:Invent에 참석을 준비하는 분들도 저희처럼 컨퍼런스를 통해 많은 것을 얻어가시길 바라며, 이만 글을 마치겠습니다. 감사합니다.