Databricks (2) 썸네일형 리스트형 [Databricks] Data Intelligence Day Korea 2024 정리글 2024년 기업들이 발표한 데이터브릭스 활용 아키텍처에 대하여 정리한 글 입니다. 작년에는 발표 기업들이 데이터브릭스를 왜 선택하였는지 기존 환경에서 데이터브릭스 도입한 환경 및 이유가 무엇인지와 같이 간단한 배경 위주의 발표였습니다.올해에는 더 나아가 기업들의 직면한 구체적인 데이터 환경, 일일 데이터 처리량, 퍼포먼스 튜닝 결과, 데이터브릭스의 여러 기능들을 도입한 후기에 대하여 수치적으로 자세히 공유해주셨습니다.해당 기업들의 데이터 환경은 어떠하고 기존 환경에서의 한계점과 데이터브릭스를 통해 개선된 사항들에 대하여 흥미롭게 청취하였습니다. 1. 크래프톤데이터 처리량→ 누적 : 20+ PB Data / 200+ DB / 20,000+ Tables→ 일 처리량 : 60+ TB Data / 100,000.. [Databricks] 데이터브릭스 학습하기 1 배경데이터 브릭스 PoC를 위해 찾아본 자료를 정리합니다.해당 글의 자료는 데이터브릭스코리아 유튜브 영상에서 확인할 수 있습니다. 데이터브릭스의 주요 콘텐츠를 키워드로 정리합니다.기존 클라우드 플랫폼에서 제공하는 기능은 대부분 제공하는 것 같습니다.또한, 기존 클라우드 플랫폼을 당장 대체하는 것이 아닌 확장해서 사용해볼 수 있도록 잘 되어있습니다.Main KeywordUnity Catalog- 단일/통합된 보안 및 관리- 공유 → Delta Sharing - DBFS를 학습 → 더 나은 Magic Command 가능보안기존의 SSO 그대로 연동하여 사용 가능Ex. Azure AD 연동하여 추가 설정 필요하지 않음독립적인 작업 환경 및 클러스터- 각 용도에 맞는 노트북 및 클러스터 생성- 노트북에 따른 .. 이전 1 다음
