백엔드 개발자의 if(kakaoAI) 컨퍼런스 행사 후기

프롤로그

if(kakaoAI) 2024 컨퍼런스 홈페이지

아쉽지만 카카오 개발자 컨퍼런스 if(kakaoAI) 2024 컨퍼런스 참가할 수 없게 되었습니다. … 그렇다 나는 참가 신청을 했으나 당첨이 안돼서 참석할 수 없었다.. 라면 지금 이 글을 작성하고 있지 않았을거다. 운 좋게도 회사에서 럭키 크루원에게 선착순 추가 신청 기회를 제공한다는 소식을 듣고, 누구보다 빠르게 신청하여 참석할 수 있게 되었습니다! 덕분에 이렇게 카카오 개발자 컨퍼런스 if(kakaoAI)에서의 경험을 공유할 수 있게 되었습니다.

if(kakaoAI) 는 Day1 ~ Day3 까지 준비되어 있었으며 저는 백엔드 세션이 준비되어 있는 Day3 에 참석했으며 제가 참석한 세션은 다음과 같습니다.

시간	제목	발표자
10:00 - 10:40	AI Finance Tech	정규돈 ∙ 김동용 ∙ 신재홍 ∙ 이어형
10:40 - 11:20	AI Life Tech	정규돈 ∙ 김기범 ∙ 장성욱 ∙ 유창국
13:00 - 14:00	대용량 트래픽 아니면 안 보셔도 됩니다! 선물하기 서비스 캐싱 전략	이희관 ∙ 이세희
14:00 - 15:00	대카프카, Kraft를 만나다: 주키퍼 없이 운영하는 카프카의 실전 운영 노하우	심현준

본 글에서는 실무자의 시각에서 각 세션의 주요 내용을 자세히 다뤄보겠습니다. 자 같이 입장해 봅시다!

if(kakaoAI) 행사 체크인

판교역에서 kakao 가 준비한 수송 버스를 탑승해서 카카오 AI 캠퍼스 로 출발했고 도착하자마자 컨퍼런스 입장 등록을 진행했고 동시에 굿즈를 선물받았습니다. 컨퍼런스에 참석한 기념으로 받은 굿즈는 퀄리티가 놀라울 정도였고, 카카오라는 대기업의 규모를 다시 한번 실감하는 순간이었습니다.

카카오 AI 캠퍼스

사실, 컨퍼런스 장소에 대한 칭찬이나 소감을 글로 작성하는 일은 드물지 않을까 생각했는데, 이번에 다녀온 후에는 그 순간을 꼭 글로 남기고 싶어졌습니다. 카카오 AI 캠퍼스 건물은 자연 친화적이면서도 마음을 안정시켜 주는 공간이었거든요. 현대적인 디자인과 완벽한 채광을 갖춘 캠퍼스 건물을 보니, 사람들이 왜 대기업에 가고 싶어하는지 실감할 수 있었습니다.

중앙 강당에 자리를 잡고 앉아 if(kakaoAI) 행사의 시작을 알리는 소개 세션을 기다렸고, 곧바로 세션이 시작되었습니다.
세션에 대한 내용은 제가 생각했을 때 중요한 내용만을 간략하게 작성해 보았습니다.

AI Kanana 경험

세션을 즐기기 전에 카카오 AI에서 제공하는 다양한 이벤트에 참여해 즐거운 시간을 보냈습니다. 제가 찍은 사진을 AI 모델이 이미지로 가공해 보여주고, 이를 프린트해 선물로 주는 이벤트도 있었습니다. 덕분에 세션이 시작되기 전부터 지루함 없이 즐거운 시간을 보낼 수 있었던 컨퍼런스였습니다.

오전 세션

AI Finance Tech 세션

• 카카오뱅크의 AI 혁신
  • 카카오뱅크는 신분증 인식, OCR, 영상 통화, 안면 인식 등 다양한 본인 인증 기술을 자체 AI로 제공해 왔음.
  • 카드 스토어를 대출 심사에 적용하여 중저신용자에 대한 신용 평가를 향상시켰으며, 이상 거래 탐지를 위한 FDS 시스템도 개발함.
  • 최근 카이스트와 협력하여 10배 빠르고 설명력이 뛰어난 XAI 가속화 알고리즘을 적용.
  • 고객 상담의 1/3을 챗봇으로 처리하며, 금융 특화 언어 모델을 통해 상담 품질을 높임.
• AI 에코 시스템 구축
  • 카카오뱅크는 AI 인프라, AI 디비전, AI 클러스터의 세 가지 요소를 연결하여 AI 에코 시스템을 구성함.
  • AI 인프라: GPU 장비와 AI 전용 데이터 센터를 운영하고, MLOps 체계를 통해 AI 모델의 생애 주기를 자동화함.
  • AI 디비전: AI 사업과 기술을 총괄하는 조직(AIC)을 출범하여 협업과 지식 공유를 강화함.
  • AI 클러스터: AI 허브 구축과 함께 품질 검증을 위한 가드레인을 도입하여 AI 품질을 관리함.
• 패키지와 오프로드 개념
  • 패키지는 프로그래밍 가능한 카드로 비유되며, CPU 자원을 효율적으로 활용하기 위한 오프로드 기술이 소개됨.
  • 전통적인 하이퍼바이저 대신 FPGA 카드를 사용하여 I/O 작업을 가속화, CPU 자원을 확보할 수 있음.
• 국내 클라우드 시장
  • 현재 국내 클라우드 서비스는 공공 분야에 초점을 맞추고 있어 기업 시장에서의 경쟁력이 부족함.
  • 해외 클라우드와의 경쟁을 위해 하드웨어 연구와 커스텀 서버 개발이 중요해짐.
• AI 플랫폼 대응
  • AI 데이터 방출권의 중요성이 강조되며, AI 플랫폼 서비스와 함께 실제 AI 활용 사례도 소개
  • 고객 맞춤형 서비스 개발과 `AI 컨택센터 솔루션 등이 언급됨.
• 개발자에 대한 메시지
  • 개발자는 설계와 아키텍처에 더욱 집중할 필요가 있으며, 기술 진화에 따라 새로운 기회가 열릴 것임.
  • AI 기술은 아직 초기 단계로, 카카오뱅크는 혁신적이고 편리한 서비스를 개발 중임.
• 마무리 소감
  • 카카오 엔터프라이즈 클라우드 기술이 안정적이고 성능이 좋다는 메시지를 전달하며, 유튜브를 통해 세션 내용을 확인할 수 있도록 안내.

AI Life Tech 세션

• 카카오 엔터테인먼트
  • 서비스 목적: 사용자에게 즐거움과 피로 회복을 제공하는 콘텐츠 창작 및 배급.
  • AI 활용: 다양한 AI 기술을 통해 콘텐츠 제작 및 사용자 경험 개선에 집중.
  • 예시
    • AI를 활용한 캐릭터 및 아티스트와의 협업 (예: 나이비스 아티스트).
    • 멜론 서비스에서의 AI 기반 음악 추천 및 생성.
    • AI가 웹툰 요약 및 영상을 제작하는 ‘힐리스 쇼츠’ 소개.
• 카카오 모빌리티
  • AI 디바이스 소개: 자율주행 및 로봇 기술에 중점.
  • 핵심 가치: 사람들에게 더 가치 있는 일에 집중할 수 있도록 도와주는 AI 디바이스 개발.
  • 자율주행: 글로벌 최적화 정보를 제공하여 안전하고 효율적인 운행 환경 조성.
  • 로봇 서비스: 다양한 서비스(음식, 우편물 배달 등)를 통합 제공하는 로봇 운영 소개.

점심시간

오전 세션을 모두 듣고 보니 어느새 점심 시간이 다가왔습니다. 점심으로 제공된 도시락은 기대 이상의 퀄리티였고, 그 맛에 감동하여 개발자의 눈물이 흘렀습니다. 컨퍼런스 주최 측이 참석자들을 위해 신경을 쓰고 정성을 다한 것이 깊은 마음속까지 느껴지는 시간이었습니다.

점심을 다 먹고 소화를 시킬 겸 카카오 AI 캠퍼스 건물을 탐방하며 즐거운 시간을 보냈습니다. 마치 강원도의 유명한 카페에 있는 듯한 기분이 들었고, 야외 테라스의 넓은 광장에는 참석자들을 위한 사진 촬영 공간도 마련되어 있었습니다. 함께 참석한 동료들과 사진을 찍으며 소중한 추억을 남길 수 있어 매우 뜻깊은 경험이었습니다.

백엔드 세션

대용량 트래픽 아니면 안 보셔도 됩니다! 선물하기 서비스 캐싱 전략 세션

대용량 트래픽을 처리하기 위해 캐시 전략을 개선한 경험에 대한 내용이었으며 KBO 프로야구의 인기와 이를 활용한 프로모션을 예로 들면서, 예상치 못한 트래픽 증가에 대한 대응 방법을 설명하는 자리였습니다.

• 배경 설명
  • 프로야구의 관중 수가 역대 최다라는 사실을 언급하며, 이로 인해 선물하기 서비스에서 프로야구 팀과의 콜라보를 통한 캐시 전략 개선의 필요성을 제기했습니다.
• 트래픽 문제
  • 평소보다 10배 이상의 트래픽이 발생하면서, 요청이 다른 서비스에 영향을 미치는 캐시 스템피드 현상이 발생했습니다.
• 서비스 구조
  • 선물하기 서비스는 사용자와 직접 연결된 여러 외부 서비스에 의존하며, 데이터를 API 호출로 조회하여 응답합니다.
• 캐시 문제 해결 방안
  • TTL 증가
    • 캐시의 TTL(Time to Live)을 늘려 캐시 스템피드 현상을 줄이려 했지만, 사용자 경험 저하 우려가 존재.
  • 분산락 사용
    • 캐시 만료 시 다량의 요청 중 하나만 처리하는 방식으로 부하를 줄이려 했으나, 요청 지연 문제가 남음.
  • 캐시 워머
    • 트래픽이 많아질 것으로 예상되는 데이터를 미리 캐시해두는 방식으로, 응답 지연을 방지.
• 하이브리드 캐시 도입
  • 로컬 캐시와 리모트 캐시를 결합하여 사용자에게 더 빠른 응답을 제공하고, 리모트 캐시의 부하를 줄이는 방식.
  • 데이터 일관성 문제 해결을 위해 주키퍼를 사용하여 데이터 변경 이벤트를 관리.
• 성과 및 남은 문제
  • 하이브리드 캐시 적용 후 응답 속도가 70% 향상되고 리모트 캐시 서버 부하 감소 확인.
  • 그러나 캐시 대상 누락 시 스템피드 현상이 발생할 수 있어 자동화의 필요성이 대두됨.

카프카, Kraft를 만나다: 주키퍼 없이 운영하는 카프카의 실전 운영 노하우 세션

• 카프카 운영의 발전과 Kraft 의 필요성
• 주키퍼의 한계
  • 주키퍼는 카프카 클러스터의 메타 데이터를 관리.
  • 주키퍼와 카프카 간의 통신 지연 문제 및 신뢰성 부족.
  • 주키퍼의 변화에 따라 컨트롤러의 선출이 불확실해질 수 있음.
• Kraft
  • 카프카의 주키퍼 의존성을 줄이고 클러스터를 관리하는 새로운 방식.
  • 메타 데이터의 신속한 갱신과 장애 조치 가능성 향상.
  • 여러 개의 컨트롤러를 통한 안정성 강화.
• Kraft 의 장점
  • 처리량 및 대기 시간 감소, 파티션 수용 능력 향상.
  • 메타 데이터 스냅샷 기능으로 빠른 장애 복구 가능.
• 구성 과정
  • 카카오에서 DV(개발) 환경을 먼저 구축하고, 안정성을 위해 클라우드 환경으로 전환.
  • 주키퍼 대신 새로운 관리 툴을 도입하여 속도 문제 해결.
• 결론
  • Kraft 의 운영을 통해 카프카의 효율성을 크게 향상시킬 수 있음.

에필로그

이번 컨퍼런스를 통해 많은 경험을 쌓았고, 카카오 개발자들이 예상치 못한 트래픽 증가에 어떻게 대응했는지를 알게 되었으며 제가 제작한 WaveLens의 수백만 챗봇 데이터를 사용자들이 확인할 때 서버에 부하를 줄일 수 있는 방법으로 하이브리드 캐시 도입을 고려해볼 수 있는 계기가 되었습니다. 또한, 주키퍼 기술에 대한 궁금증이 생겨 주키퍼 관련 책을 구매해 읽어보겠다는 동기 부여가 되었던 유익한 시간이었습니다.

현재 WaveLens는 Kafka와 Kraft를 활용하고 있지만, 주키퍼 대신 Kraft를 사용하는 이유와 Kraft의 장점, 그리고 Kraft의 기능을 어떻게 더 효과적으로 활용할 수 있을지를 배우는 기회였으며 이번 컨퍼런스를 통해 WaveLens에 적용된 기술을 한 단계 더 업그레이드할 수 있다는 자신감을 얻었습니다. 정말 많은 것을 얻어가는 if(kakaoAI) 2024 컨퍼런스 였습니다.

실무자 인터뷰 당해버렸다.

이제 판교역으로 돌아가는 버스를 기다리고 있는 중에, 이번 if(kakaoAI) 2024 컨퍼런스에 대한 소감과 배운 점에 대한 실무자 인터뷰를 요청받았습니다. 작년 겨울, 회사 점심시간에 MBC와 함께 진행한 "판교 개발자를 꿈꾸는 주니어에게 개발자란 무엇인가요?"라는 인터뷰를 기억하며, 이번 인터뷰도 매우 즐겁게 진행할 수 있었습니다. 이러한 경험이 또 다른 좋은 기회가 되었고, 오늘 있었던 컨퍼런스를 되새기는 계기가 되었습니다. 매번 컨퍼런스에 참석할 때마다 개발자로서의 시선이 더욱 넓어지고, 현재 하고 있는 개발에서 어떻게 더 발전할 수 있을지를 고민하게 되는 제 자신을 발견하는 것이 좋았습니다. 이 글을 읽고 있는 개발자, 취업 준비생, 직장인 여러분께, 꼭 컨퍼런스에 참석하여 세상을 보는 눈을 넓혀보시길 권장합니다.