【ざっくり解説】Databricksのコンポーネント

ノートブック

コードを記述・実行する環境です。
「Jupyter Notebook」を使った事がある方ならイメージはそれです。

プログラミング言語としてはPython、SQL、Scala、Rを実行できます。

Deltaテーブル

Delta Lakeのデータ形式を使用した表形式データです。

SQLやPySparkで操作できます。

Delta Live Table (DLT)

データの処理を簡単に安全に自動化できるコンポーネントです。

もう少し専門的な言葉を使うと、Databricks 上で ETL/ELT のデータパイプラインを構築・管理 するために設計されたフレームワークです。

他にもデータ品質の監視を自動化できる他、モード（トリガー、連続）を２つ使い分ける事でデータを柔軟に使い分ける事ができます。

Apache Spark

ビッグデータの処理を高速かつ効率的に行う為の分散処理フレームワークです。
※Databricksの直接的なコンポーネントではないようです。関係は大有りですが、Databricksからは独立しているイメージ？

PySpark

Apache SparkをPythonで扱う為のライブラリです。

Auto Loader

クラウドストレージに追加されたデータファイルを効率的に自動で処理するコンポーネントです。

“AWS S3″や”Azure Blob”、”GCS”等を対象とします。
上記のクラウドストレージに新たなデータが追加されると、Delta Lakeに自動でロードしたりします。

比較される機能？として「COPY INTO」がありますが、あちらはコンポーネントというよりSQLで、手動実行が主な利用方法かと思います。

Unity Catalog

Databricksのデータガバナンス機能 で、データのアクセス制御やメタデータ管理を アカウントレベル で一元化することで、複数のワークスペースをまたいで統合的に管理 できます。