2026년 databricks 행사에 다녀왔습니다. 올해도 삼성역에 있는 파르나스 호텔에서 열렸습니다.
올해 행사에는 4천명이 신청했다고 하고 신청 마감도 굉장히 빠르게 되었습니다.
데이터브릭스에 대한 관심이 매년 늘어나는 것 같습니다.
입장 및 키노트
작년에는 회사 업무로 인해 오후에 참석하여서 몰랐는데 오전부터 가니 입장줄이 굉장히 길었습니다.
9시 조금 넘어서 줄을 섰던 것 같고 1시간 넘게 걸렸습니다.
작년에는 이정도로 입장에 병목이 있진 않았다고 들었는데 올해는 참가 인원이 늘어나서인지 꽤 길었던 것 같습니다.
키노트는 9:45 분 부터 시작했는데 입장이 늦어져 앞부분은 못 보았습니다.
TMAP 과 LGU+ 의 발표자분들이 데이터브릭스 활용 사례를 발표하였고, Databricks 발표자분들이 Genie, Lakebase 제품에 대해서 발표하였습니다. Genie의 경우 이번 행사에서 가장 많은 정보를 얻어간 것 같습니다. 데이터브릭스에는 LLM 이 등장하기 전부터 Genie 가 존재했던 걸로 기억합니다. 올해부터 Genie 자체가 많이 개선되었을 뿐 아니라 Genie Code 라는 AI Agent 까지 등장하였습니다.
데이터브릭스는 작년부터 브릭스 환경에서 AI를 활용할 수 있도록 꾸준히 환경을 구축해나가고 있다는 느낌이 들었는데 Agent Bricks, Genie Code 까지 출시되어 관련 세션을 인상 깊게 들었습니다.
Genie Code Article : https://www.databricks.com/blog/introducing-genie-code
Lakebase의 경우 아직 한국 지역에는 출시되지 않았습니다.
세션 참가
올해는 데이터브릭스를 새롭게 도입한 기업들의 사례가 눈에 띄었습니다. 저는 '카카오스타일의 도입기'와 'TMAP의 도입 이후의 진짜 과제' 중 TMAP의 세션을 선택하였습니다.
세션은 기존 하둡 레거시 환경을 매니지드 서비스인 데이터브릭스로 전환하며 겪은 시행착오를 중점적으로 다루었습니다. 아직 전면 전환이 이루어지진 않아 심화 기능 활용보다는 초기 안정화에 초점이 맞춰져 있어서 개인적으로는 아쉬운 부분이 있었습니다.
실제 마이그레이션 과정에서 마주한 병목 지점들을 어떻게 해결해 나갔는지, 그리고 향후 로드맵을 어떻게 그려나가고 있는지에 대한 실무적인 경험을 공유받을 수 있어 유익하였습니다.
DALPAH의 AI Native 온톨로지 구축기
다음으로 'AI Native 온톨로지'라는 주제에 흥미를 느껴 DALPAH의 세션에 참석했습니다.
온톨로지에 대한 많은 지식은 없기도 하였고, 회사의 비즈니스 모델과 직접적으로 연관되어 있어 기술적인 부분을 상세하게 설명하기에는 제약이 있다고 느껴져서 깊게 이해하지는 못하였습니다.
하지만 생소했던 온톨로지 개념이 실제 서비스 운영 단계에서 유용하게 동작하고 있다는 부분이 흥미로웠습니다. 특히 데이터브릭스 환경 내에서 이를 어떻게 구현했는지에 대해서 실무적인 가이드라인을 얻을 수 있었던 유익한 시간이었습니다.
무신사의 Genie를 통한 지표 모니터링 자동화 구축기
무신사는 데이터브릭스를 오래전부터 도입하여 국내에서 가장 잘 활용하는 기업 중 하나로 알고 있습니다. 해당 세션은 참가 희망자의 일부만 참가할 수 있을 정도로 인기가 많았습니다. Genie를 활용한 사례는 거의 없기도 하였고, 실질적인 가이드를 발표해 주셔서 더욱 몰입하게 되는 발표였습니다.
지니의 성능을 고도화하는 과정은 기존에 공감하던 내용이었으나 독자적인 벤치마크를 설계하고, 실험을 통해 성능을 정량적으로 검증해 나가는 과정은 매우 유용하고 인사이트를 주는 내용이었습니다.
카페 24 PRO
카페24의 세션은 특정 솔루션(Databricks) 활용 기술을 넘어, AI가 실제 비즈니스 도메인에서 적용되고 있는지를 잘 보여주는 세션이었다고 생각합니다.
서두에서 다뤄진 '패션을 넘어 전 산업군으로 확장 중인 이커머스 트렌드' 파트를 통해서 도메인 지식이 없어도 다뤄진 내용에 공감이 되었고 몰입할 수 있었습니다. 이미 실효성 있게 구축된 AI 활용 사례들을 구체적이고 전문적으로 공유해 주신 덕분에, 30분이라는 시간이 짧게 느껴질 만큼 많은 인사이트를 얻을 수 있었습니다.
개발자 세션 : Real-time Mode Technical Deep Dive
데이터브릭스의 STAFF SWE 분께서 발표해주시는 세션을 들었습니다.
Apache Spark 4.1에서부터 제공되는 Real-time Mode에 대해서 기존 Microbatch 과의 상세한 설명 및 주요 컨셉, 아키텍처를 발표해 주셨습니다. 사실 30분 안에 이해하기에는 어려운 내용이었지만 기존에 관심이 있던 내용이어서 키컨셉을 개략적으로 알 수 있던 점이 좋았습니다. 이를 기반으로 관련 아티클들을 깊게 공부해보려고 합니다.
https://www.databricks.com/blog/introducing-real-time-mode-apache-sparktm-structured-streaming
https://www.databricks.com/blog/breaking-microbatch-barrier-architecture-apache-spark-real-time-mode
Genie, Genie Code, Bricks Agent
남은 시간은 Databricks의 SA 분들께서 설명해 주시는 세션들을 들었습니다.
실제로 Genie, Genie Code, Bricks Agent 를 활용하는 사례들을 직접 구현해 볼 수 있을 정도로 자세하게 설명해 주셨습니다.
데이터브릭스의 자료들은 직접 따라 할 수 있을 정도의 전문성과 퀄리티, 사례들을 제공해 주는 점이 매번 좋은 것 같습니다.
올해는 확실히 AI Agent에 대한 관심이 많은 점을 데이터브릭스 행사에서도 느낄 수 있었습니다. 관련 세션들에 자리가 부족할 정도로 인원이 많았고 세션에서 발표하는 내용을 바로 따라 하는 분들도 많았습니다.
마치며
개인적으로 이러한 컨퍼런스는 기술적 시야를 넓히고 스스로 환기할 수 있는 기회라고 생각하여 적극적으로 참여하고 있습니다.
업계에서 유능하신 분들의 노하우와 고민이 담긴 세션들을 마주하며, 기술적인 부분들 뿐 아니라 비즈니스 적으로도 많은 인사이트를 얻어가는 것 같습니다.
아직 4월이지만 이번 행사에서 얻은 기운을 바탕으로 또 열심히 달려보겠습니다.