Databricks Appsのためのローカル仮想環境構築

Databricks Appsでカスタムアプリを開発するためのローカル環境構築手順を詳しく解説。Python3.11.0のインストールからPoetryによるライブラリ管理、デプロイに必要なファイル準備まで、初心者でも分かりやすくステップバイステップで説明します。

はじめに

Databricks Apps（Databricks アプリ）は、一部のリージョンで現在パブリックプレビュー中の機能で、データアプリケーションやAIアプリケーションをDatabricksプラットフォーム上でデプロイすることができます。

[blogcard url=”https://www.databricks.com/jp/product/databricks-apps”][blogcard url=”https://docs.databricks.com/aws/ja/dev-tools/databricks-apps/”]

Databricks AppsにはStreamlitやFlaskなどを用いた「テンプレートアプリ」も用意されていますが、自分好みのアプリケーション（「カスタムアプリ」とよばれる）を構築したければ、ローカル仮想環境を構築する必要があります。

[blogcard url=”https://docs.databricks.com/aws/ja/dev-tools/databricks-apps/configure-env#%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83%E3%81%AE%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97″]

ローカル環境でDatabricks Appsのためのアプリを開発する基本的な手順は以下のとおりです。

　1: ローカルにPythonをインストールする

　2: pip、poetryなどを用いて必要なPythonライブラリをインストールする

　3: アプリのソースコードをapp.pyに書く

　4: Databricks Appsにデプロイする

本ブログ記事では、上記の1、2の部分をステップバイステップで解説します。本記事を読めば、ローカル環境でカスタムアプリを開発するための環境構築の手順がマスターできます！

Pythonをインストールする

まずはPythonをインストールする必要があります。既にインストールされている場合はそれを用いてもよいですが、Databricks Appsではデプロイ後のDatabricks環境におけるPythonバージョンが3.11.0なので、このバージョンに合わせておくのが良いと思います。

以下では、筆者のMacBook Air M1にPython3.11.0をインストールした手順を説明します。

参考にした記事：https://zenn.dev/kenghaya/articles/9f07914156fab5

Pythonバージョンを切り替えたい場面が出てきた時のために、Homebrewでpyenvをインストールしておきます。この部分は自身の環境に合わせて変更可能です。

brew install pyenv

pyenvでPython3.11.0をインストールします。pyenv global 3.11.0 まで実行してください。

pyenv install 3.11.0
pyenv global 3.11.0

3: Poetryをインストール ライブラリ管理のためにPoetryをインストールします。 必ずしもPoetryである必要はなく、むしろpipなどのrequirements.txtでライブラリのバージョンが記述されるツールのほうがいいです（後述）。

curl -sSL https://install.python-poetry.org | python3 -

Pythonライブラリのインストール

Poetryを用いてプロジェクト用のディレクトリを作成し、Pythonライブラリをインストールする手順を説明します。使用しているパッケージ管理ツールによってこのセクションは読み替えてください。

以下をターミナルで実行して、アプリ用の新規プロジェクトを作成します。

poetry new <project-name>
cd <project-name>

仮想環境をPython3.11で統一します。

poetry env use 3.11
poetry install

Streamlitなど、必要なライブラリをインストールします。PoetryはPythonのバージョンに合わせてライブラリのバージョンを自動で決めてくれるのでその点は優れています。

poetry add streamlit
poetry add <Python-library>

デプロイ時に必要になるファイル

ここまでの設定が完了すれば、あとは実際にapp.pyを書いていけばよいです。ただし、最終的にDatabricks Appsにデプロイするにあたり、ローカル環境の時点で準備しておくべきファイルがあるので説明します。

Databricks環境にデプロイするときに必要なのは以下の3つです。

• app.py
  • アプリのソースコードを書くファイル
• app.yaml
  • DatabricksのワークスペースIDやAPIキーなどの環境変数を書いておくファイル
  • ローカル環境では.env に記述しておくと良いと思います
• requirements.txt
  • この名前のテキストファイルである必要があります
  • Poetryを使っている場合はpoetry.lockに依存関係が記録されるので、生成AIに投げるなどしてデプロイ用のrequirements.txt を作成してください
  • はじめからrequirements.txtに依存関係を記録するツール（pipなど）を使うほうが手間がかからなくてよいです

app.yamlの書き方など、より詳細な情報については以下を参考にしてください。

[blogcard url=”https://docs.databricks.com/aws/ja/dev-tools/databricks-apps/app-development”]

おわりに

本記事ではDatabricks Appsで「カスタムアプリ」を構築するためのローカル環境構築の手順を紹介しました。環境構築さえできれば、あとはアプリのソースコードを記述していくだけです！本記事がDatabricks Appsを利用しようとしている方の参考になれば幸いです。