데이터 엔지니어는 Databricks의 Delta 테이블이 삭제된 파일을 지속적으로 보존하도록 하는 임무를 맡았습니다.
조직의 데이터 보존 정책을 영구적으로 준수하기 위해 기본값인 7일 대신 15일 동안 데이터를 보관합니다.
삭제된 파일의 보존 기간을 올바르게 설정하는 코드 조각은 무엇입니까?

• A. spark.conf.set( " spark.databricks.delta.deletedFileRetentionDuration " , " 15 days " )
• B. spark.sql( " VACUUM my_table RETAIN 15 HOURS " )
• C. from delta.tables import *
  deltaTable = DeltaTable.forPath(spark, " /mnt/data/my_table " )
  deltaTable.deletedFileRetentionDuration = " interval 15 days "
• D. spark.sql( " ALTER TABLE my_table SET TBLPROPERTIES ( ' delta.deletedFileRetentionDuration '
  = ' interval 15 days ' ) " )

Databricks 플랫폼에서 Spark 구성과 관련하여 다음 설명 중 맞는 것은 무엇입니까?

• A. Databricks REST API를 사용하면 작업을 중단하지 않고 대화형 클러스터의 Spark 구성 속성을 수정할 수 있습니다.
• B. 노트북 내에서 설정된 Spark 구성은 동일한 대화형 클러스터에 연결된 모든 SparkSession에 영향을 미칩니다.
• C. 클러스터 UI를 사용하여 대화형 클러스터에 설정한 Spark 구성 속성은 해당 클러스터에 연결된 모든 노트북에 영향을 미칩니다.
• D. 동일한 인터랙티브 클러스터에 대해 동일한 스파 구성 속성이 설정된 경우.

신입 데이터 엔지니어가 silver_device_recordings라는 Lakehouse 테이블에 대한 로직을 구현하는 작업을 진행하고 있습니다.
원본 데이터는 고도로 중첩된 JSON 구조에 100개의 고유 필드를 포함하고 있습니다.
silver_device_recordings 테이블은 여러 필드를 기준으로 매우 선택적인 조인을 수행하는 데 사용될 것이며, 머신 러닝 팀에서도 관련 필드를 기준으로 필터링하는 데 활용될 것입니다. 총 15개의 필드가 필터링 및 조인 로직에 자주 사용될 것으로 예상됩니다.
데이터 엔지니어는 테이블 스키마를 선언하기 전에 이러한 중첩 필드를 처리하는 최적의 접근 방식을 결정하려고 합니다.
다음 중 Delta Lake와 Databricks에 대한 정보를 정확하게 제시하여 그들의 의사 결정 과정에 영향을 미칠 수 있는 것은 무엇입니까?

• A. Delta Lake는 데이터 저장에 Parquet을 사용하기 때문에 Dremel 인코딩 정보를 사용한 중첩 구조를 Delta 트랜잭션 로그에서 직접 참조할 수 있습니다.
• B. Databricks의 스키마 추론 및 진화 기능은 추론된 유형이 하위 시스템에서 사용되는 데이터 유형과 항상 정확하게 일치하도록 보장합니다.
• C. Delta Lake는 기본적으로 테이블의 처음 32개 열에 대한 통계를 수집합니다. 이러한 통계는 선택적 쿼리를 실행할 때 데이터 건너뛰기에 활용됩니다.
• D. Databricks에서 사용하는 Tungsten 인코딩은 문자열 데이터 저장에 최적화되어 있습니다. JSON 문자열 쿼리에 대한 새로운 네이티브 지원이 추가되어 문자열 유형이 항상 가장 효율적입니다.

데이터 엔지니어가 Databricks의 Lakeflow Declarative Pipelines(LDP)를 사용하여 고객 데이터를 수집하는 간단한 데이터 파이프라인을 구축하고 있습니다. 원시 고객 데이터는 클라우드 스토리지에 JSON 형식으로 저장되어 있습니다. 이 작업은 원시 JSON 데이터를 읽어 추가 처리를 위해 Delta 테이블에 쓰는 Lakeflow Declarative Pipelines를 생성하는 것입니다.
어떤 코드 조각이 원시 JSON 데이터를 올바르게 가져와 LDP를 사용하여 델타 테이블을 생성합니까?

• A. import dlt
  @dlt.table
  def raw_customers():
  return spark.read.format( " csv " ).load( " s3://my-bucket/raw-customers/ " )
• B. import dlt
  @dlt.table
  def raw_customers():
  return spark.read.format( " parquet " ).load( " s3://my-bucket/raw-customers/ " )
• C. import dlt
  @dlt.view
  def raw_customers():
  return spark.format.json( " s3://my-bucket/raw-customers/ " )
• D. import dlt
  @dlt.table
  def raw_customers():
  return spark.read.json( " s3://my-bucket/raw-customers/ " )

미국에 본사를 둔 한 소규모 회사가 최근 인도의 컨설팅 회사와 계약을 맺고 인공지능 애플리케이션에 필요한 여러 새로운 데이터 엔지니어링 파이프라인을 구축하기로 했습니다. 이 회사의 모든 데이터는 미국 내 지역 클라우드 스토리지에 저장됩니다.
회사 워크스페이스 관리자는 계약직 직원들이 사용하는 Databricks 워크스페이스를 어디에 배포해야 할지 확신하지 못하고 있습니다.
모든 데이터 거버넌스 고려 사항을 감안할 때, 다음 중 어떤 설명이 이 결정에 정확한 근거를 제시합니까?

• A. Databricks는 대화형 개발 중에 사용자 워크스테이션을 핵심 동력으로 활용합니다. 따라서 사용자는 항상 물리적으로 가까운 지역에 배포된 작업 공간을 사용해야 합니다.
• B. Databricks 워크스페이스는 지역 인프라에 의존하지 않으므로 워크스페이스 관리자에게 가장 편리한 방식을 기준으로 결정해야 합니다.
• C. Databricks는 클라우드 볼륨 스토리지에서 HDFS를 실행하므로 데이터가 저장된 지역에 클라우드 가상 머신을 배포해야 합니다.
• D. 지역 간 읽기 및 쓰기는 상당한 비용과 지연을 초래할 수 있습니다. 가능한 한 컴퓨팅 자원은 데이터가 저장된 지역과 동일한 지역에 배포해야 합니다.
• E. Databricks 노트북은 사용자의 브라우저에서 실행되는 모든 코드를 개방형 인터넷을 통해 가상 머신으로 전송합니다. 따라서 가능한 한 최종 사용자와 가까운 작업 공간 영역을 선택하는 것이 가장 안전합니다.