전체 글 (14) 썸네일형 리스트형 [행사] 2026 AI Days Seoul 후기 2026년 databricks 행사에 다녀왔습니다. 올해도 삼성역에 있는 파르나스 호텔에서 열렸습니다.올해 행사에는 4천명이 신청했다고 하고 신청 마감도 굉장히 빠르게 되었습니다.데이터브릭스에 대한 관심이 매년 늘어나는 것 같습니다.입장 및 키노트작년에는 회사 업무로 인해 오후에 참석하여서 몰랐는데 오전부터 가니 입장줄이 굉장히 길었습니다.9시 조금 넘어서 줄을 섰던 것 같고 1시간 넘게 걸렸습니다.작년에는 이정도로 입장에 병목이 있진 않았다고 들었는데 올해는 참가 인원이 늘어나서인지 꽤 길었던 것 같습니다. 키노트는 9:45 분 부터 시작했는데 입장이 늦어져 앞부분은 못 보았습니다.TMAP 과 LGU+ 의 발표자분들이 데이터브릭스 활용 사례를 발표하였고, Databricks 발표자분들이 Genie, L.. Pruning 기법 정리하기 Parquet 포맷을 깊게 이해하고 나서 정리하고 싶었던 Pruning 기법에 대해서 글을 작성하겠습니다.파케이는 공식문서가 존재하였지만 프루닝 기법에 대해서는 공식문서가 존재하지 않아 여러 문서들을 참고하였습니다.이전 포스팅 Parquet 내부구조 이해하기 포스팅 Pruning(가지치기) 기법은 CS 여러 분야에서 쓰이지만 제가 정리하고 싶은 데이터 엔지니어링 분야에서는 아래와 같이 정의합니다.연산 결과에 영향을 주지 않는 데이터를 실행 초기 단계에서 제거하여 불필요한 I/O와 연산을 방지하는 최적화 기법출처 - gemini 기존의 가지치기, 필터링 등의 개념과 유사하여 생소한 개념은 아니라고 느껴집니다.다만 엄밀하게 파일 시스템 관점에서 프루닝을 아래와 같이 세 단계로 나눠보았습니다. 1. Colu.. Parquet 내부구조 이해하기 Parquet 공식문서를 기반으로 내부구조에 대해서 깊게 이해하고자 정리합니다.공식문서 첫 부분인 Overview, Motivation 부터 이해가 쉽지 않았기 때문에 이해한 내용의 흐름에 따라 작성하였습니다.Parquet 정의Apache Parquet is an open source, column-oriented data file format designed for efficient data storage and retrieval. It provides high performance compression and encoding schemes to handle complex data in bulk and is supported in many programming languages and analytics.. 이전 1 2 3 4 5 다음