Google Cloud VMインスタンス上にAirbyteをデプロイする

この技術ブログでは、Google Cloud Platform (GCP)のCompute EngineインスタンスにAirbyteオープンソースをデプロイするための詳細な手順を紹介します。Airbyteはデータの統合とパイプラインの設定を容易にする強力なツールです。このガイドでは、公式の手順に従い、リモート環境でのセットアップからデプロイまでを説明します。

はじめに

この技術ブログでは、Google Cloud Platform (GCP)のCompute EngineインスタンスにAirbyteオープンソースをデプロイするための詳細な手順を紹介します。Airbyteはデータの統合とパイプラインの設定を容易にする強力なツールです。このガイドでは、公式の手順に従い、リモート環境でのセットアップからデプロイまでを説明します。

前提条件

・Google Cloud Platformアカウント

・Google Cloud SDKがインストールされているローカルマシン

・GCPプロジェクトが作成されている

・SSH接続が完了している

ステップ 1: DockerとDocker

SSH接続しているVMターミナルで以下のコマンドを実行します。

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add --
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian buster stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
sudo usermod -a -G docker $USE

sudo apt-get -y install docker-compose-plugin
docker compose version

Dockerグループの変更を反映させるため、現在のSSHセッションを閉じて再接続します。

exit

再度SSH接続を行います。

ステップ 2: Airbyteのインストールと起動

SSH接続しているVMターミナルで以下のコマンドを実行します。

mkdir airbyte && cd airbyte
wget https://raw.githubusercontent.com/airbytehq/airbyte/master/run-ab-platform.sh
chmod +x run-ab-platform.sh
./run-ab-platform.sh -bmkdir airbyte && cd airbyte
wget https://raw.githubusercontent.com/airbytehq/airbyte/master/run-ab-platform.sh
chmod +x run-ab-platform.sh

ステップ 3: Airbyteに接続するためのSSHトンネルの作成

ローカルターミナルで以下のコマンドを実行してSSHトンネルを作成し、ローカルマシンからAirbyteに接続します。

gcloud --project=$PROJECT_ID beta compute ssh $INSTANCE_NAME -- -L 8000:localhost:8000 -N -f

これで、ローカルのブラウザで http://localhost:8000 にアクセスして、Airbyteのウェブインターフェースに接続できるようになります。

終わりに

以上で、Google Cloud VMインスタンス上でAirbyteをデプロイし、起動する手順が完了です。Airbyteは強力なデータ統合ツールであり、これを活用することで効率的にデータパイプラインを構築できます。必要に応じて、Airbyteの設定を行い、データの統合を進めてください。

https://docs.airbyte.com/deploying-airbyte/on-gcp-compute-engine