機械学習

Delta Lake は、Databricks のレイクハウスのテーブルの基盤を提供する最適化されたストレージ レイヤーです。Time TravelDelta Lake には 「タイムトラベル (Time Travel)」 機能があり、以前...

デフォルトの格納場所dbfs:/user/hive/warehouse例-- customer360を「dbfs:/user/hive/warehouse」に作成CREATE DATABASE IF NOT EXISTS customer3...

結論クラスター プールからのクラスターを使用するジョブクラスターを使用するクラスタープールを使う事でクラスターの起動時間を短縮できます。また、ジョブクラスターはジョブ専用の一時クラスターで、起動時間を最適化できます。"プール"については下記...

結論クラスターイベントログを確認DatabricksのUI載せていいのか分からないので載せませんが、クラスターの設定画面？で対象のクラスターに移動すると"クラスターイベントログ"があります。上記の他にも"クラスタードライバーのログ"というの...

資格取得の為、Udemyの問題を解いていて"SQLエンドポイント"というのが出てきたんで、備忘録として残しておきます。できればDatabricksの公式ドキュメントから答えを探し出したかったんですが、見つからなかったので、ChatGPTを使...

Databricksの資格勉強中にやたら出てくるキーワードなので備忘録として残しておきます。簡単に説明下記の特徴を持っています。バッチ処理と同じ感覚でストリーミング処理ができるフォールトトレランス（障害耐性）が強いさまざまなデータソースに対...

資格勉強の備忘録です。データオブジェクトテーブル：オブジェクトストレージのデータファイルとして格納される行と列のコレクションビュー：1つ以上のテーブル、データソースに対するクエリーカタログ：データベースのグルーピングデータベース/スキーマ：...