結論
- クラスター プールからのクラスターを使用する
- ジョブクラスターを使用する
クラスタープールを使う事でクラスターの起動時間を短縮できます。
また、ジョブクラスターはジョブ専用の一時クラスターで、起動時間を最適化できます。
“プール”については下記記事を参考にしています。
Databricksのプールは、一連の利用可能なインスタンスを保持することで、クラスターの起動時間、スケールアップ時間を削減します。
https://qiita.com/taka_yayoi/items/01d49fe9d1bca3fdade3
参考
【Qiita】Databricksベストプラクティス：プール
https://qiita.com/taka_yayoi/items/01d49fe9d1bca3fdade3
【Qiita】DatabricksのPools
https://qiita.com/taka_yayoi/items/919acd7ef9decf0f61e6
コメント