테이블은 다음 코드로 등록됩니다.

users와 orders는 모두 Delta Lake 테이블입니다. recent_orders 테이블을 쿼리했을 때의 결과를 설명하는 문장은 무엇입니까?

• A. 모든 로직은 쿼리 실행 시점에 실행되며, 쿼리가 시작된 시점의 소스 테이블의 유효한 버전을 조인한 결과를 반환합니다.
• B. 모든 로직은 쿼리 실행 시점에 실행되며, 쿼리가 완료되는 시점에 소스 테이블의 유효한 버전을 조인한 결과를 반환합니다.
• C. 테이블이 정의될 때 결과가 계산되어 캐시됩니다. 캐시된 결과는 소스 테이블에 새 레코드가 삽입될 때마다 점진적으로 업데이트됩니다.
• D. 모든 로직은 테이블이 정의될 때 실행되고 테이블 조인 결과는 DBFS에 저장됩니다. 저장된 데이터는 테이블을 쿼리할 때 반환됩니다.
• E. 각 소스 테이블의 버전은 테이블 트랜잭션 로그에 저장되며, 쿼리 결과는 각 쿼리와 함께 DBFS에 저장됩니다.

데이터 엔지니어가 Lakeflow Spark Declarative Pipelines를 사용하여 고객 데이터 파이프라인을 구축하고 있습니다. 소스는 고객 레코드의 삽입, 업데이트 및 삭제 정보를 포함하는 클라우드 기반 이벤트 스트림이며, 데이터 보존 기간이 제한되어 있습니다. 이러한 변경 사항은 `AUTO CDC INTO` 구문을 사용하여 적용되며, 대상 테이블은 `customer_dim`이라는 SCD Type 1 테이블로 유지됩니다. 데이터 엔지니어는 `customer_dim` 테이블에서 데이터를 스트리밍하여 업데이트 및 삭제 이벤트만 처리하고 데이터를 점진적으로 처리하는 다운스트림 작업을 어떻게 구축해야 할까요?

• A. customer_dim에서 스트리밍할 때 ignoreChanges 플래그를 사용하여 업데이트 및 삭제 중에 파이프라인이 중단되는 것을 방지하십시오.
• B. customer_dim 테이블에서 스트리밍하는 것은 SCD 2 보존 조건에서만 가능합니다.
• C. SCD 1로 저장할 경우, AUTO CDC INTO의 대상에는 업데이트 및 삭제가 포함됩니다. 이러한 작업으로 인해 customer_dim에서 스트리밍이 실패할 수 있습니다. 대신 원본 소스에서 다른 스트림을 생성하십시오.
• D. customer_dim 테이블에서 변경 데이터 피드를 읽고 필터를 적용하여 변경 이벤트에 대해 점진적으로 조치를 취합니다.

매일 밤 실행되는 배치 작업은 클라우드 객체 스토리지 컨테이너에서 모든 데이터 파일을 가져오도록 구성되어 있으며, 해당 컨테이너의 레코드는 YYYY/MM/DD 형식의 중첩 디렉터리 구조로 저장됩니다. 각 날짜의 데이터는 해당 날짜에 소스 시스템에서 처리된 모든 레코드를 나타내며, 일부 레코드는 관리자 승인을 기다리는 동안 지연될 수 있습니다. 각 항목은 제품에 대한 사용자 리뷰를 나타내며 다음과 같은 스키마를 갖습니다.
user_id STRING, review_id BIGINT, product_id BIGINT, review_timestamp TIMESTAMP, review_text STRING 데이터 수집 작업은 이전 날짜의 모든 데이터를 소스 시스템과 동일한 스키마를 가진 대상 테이블 reviews_raw에 추가하도록 구성됩니다. 파이프라인의 다음 단계는 reviews_raw에 삽입된 모든 새 레코드를 중복 제거, 유효성 검사 및 보강이 완료된 테이블로 일괄 기록하는 작업입니다.
이 데이터 배치를 전파하는 데 필요한 컴퓨팅 비용을 최소화하는 솔루션은 무엇입니까?

• A. reviews_raw의 모든 레코드를 다시 처리하고 파이프라인의 다음 테이블을 덮어씁니다.
• B. reviews_raw 테이블의 모든 레코드를 review_timestamp를 기준으로 필터링하고, 지난 48시간 동안 생성된 레코드를 일괄적으로 추가합니다.
• C. Delta Lake 버전 기록을 사용하여 reviews_raw의 최신 버전과 이전 버전 간의 차이점을 가져온 다음, 이러한 기록을 다음 테이블에 기록합니다.
• D. reviews_raw 테이블에 대한 일괄 읽기를 수행하고, user_id, review_id, product_id, review_timestamp와 같은 자연 합성 키를 사용하여 삽입 전용 병합을 수행합니다.
• E. reviews_raw 테이블에 대해 트리거 1회 실행 모드를 사용하여 구조화된 스트리밍 읽기를 구성하여 새 레코드를 배치 작업으로 처리합니다.

데이터 아키텍트가 다양한 비즈니스 요구사항에 맞춰 데이터를 효율적으로 처리하는 Databricks 솔루션을 설계하고 있습니다. 데이터 엔지니어는 어떤 시나리오에서 스트리밍 테이블 대신 구체화된 뷰를 사용해야 할까요?

• A. 웹사이트에서 발생하는 대량의 연속적인 클릭스트림 데이터를 처리하여 사용자 행동을 실시간으로 모니터링합니다.
• B. 데이터베이스 변경 사항을 몇 초 내에 감지하고 대응해야 하는 CDC(변경 데이터 캡처) 파이프라인을 구현합니다.
• C. 여러 개의 대형 테이블에서 복잡한 집계 및 조인을 미리 계산하여 BI 대시보드 성능을 향상시킵니다.
• D. 즉각적인 알림을 위해 1초 미만의 처리 요구 사항으로 Apache Kafka 토픽에서 데이터를 수집합니다.

쿼리 실행 시간이 너무 오래 걸립니다. Spark UI를 조사한 결과, 데이터 엔지니어는 상당한 양의 디스크 스필이 발생했음을 발견했습니다. 사용 중인 컴퓨팅 인스턴스의 코어 대 메모리 비율이 비정상적입니다.
1:2. 데이터 엔지니어가 데이터 유출을 최소화하기 위해 취해야 할 두 가지 단계는 무엇입니까? (두 가지를 선택하십시오.)

• A. 코어 대비 메모리 비율이 더 높은 컴퓨팅 인스턴스를 선택하십시오.
• B. spark.sql.files.maxPartitionBytes 값을 늘립니다.
• C. spark.sql.files.maxPartitionBytes 값을 줄입니다.
• D. 네트워크 대역폭이 더 높은 컴퓨팅 인스턴스를 선택하세요.
• E. 디스크 공간이 더 많은 컴퓨팅 인스턴스를 선택하세요.