記事では、まずGCP上でのDataiku DSSのセットアップに必要な手順について解説します。具体的には、GCPの仮想マシンインスタンスを作成し、必要な権限設定などを行い、Dataiku DSSのインストールを行います。この記事を通じてDataiku DSSをセットアップし、クラウド上でのデータ分析をより簡単に行うことができます。
目次
はじめに
今回はGCPにDataiku DSSをセットアップしたときの手順を説明します。手順で詰まる部分がある方の参考になれば幸いです。 分かりづらい部分も多いと思うので最終的なイメージをお伝えします。 最終イメージとしてはGCPへのデプロイが成功するとFM(Fleet Manager)へのログイン画面が開きます。
FMにログイン後インスタンスを作成し、Dataikuが使えます。
インスタンスの名前は右上の検索ボックスの左に表示されます。
PC:Windows
公式ドキュメント：Dataiku Cloud Stacks for GCP — Dataiku DSS 11 documentation
前準備
前準備として以下の項目を確認してください。 ＜前準備＞- IAMで権限をサービスアカウントに付与できるユーザー
- Google Cloud SDKをインストール済
- Dokerをインストール済
1.GCPでサービスアカウント作成
二つサービスアカウントを作成します。 ①FMインスタンス用のサービスアカウント作成 FMインスタンスとはFleet Manager instanceのことで、FM(Fleet Manager )はDataikuを使用する前のログイン画面で出てきます。 Dataikuのインスタンスを作成したり管理を行う場所というイメージですね。 詳しい概念の説明は公式ドキュメントに載っています。 それではFMインスタンス用のサービスアカウントを作成しましょう。 「IAM」→「サービスアカウント」→「サービスアカウントの作成」を押し、以下の権限を付与します。ほかには名前などの設定も行います。 ＜権限＞ ・Cloud KMS 暗号オペレータ ・Compute 管理者 ・DNS 管理者 ・サービス アカウント ユーザー ②DSSインスタンス用のサービスアカウント作成 こちらも同様に「IAM」→「サービスアカウント」→「サービスアカウントの作成」を押し、以下の権限を付与します。ほかには名前などの設定も行います。 ＜権限＞ ・Compute 閲覧者 ・Kubernetes Engine 管理者 ・Secret Manager のシークレット アクセサー ・サービス アカウント ユーザ2.DockerコンテナをGoogle Container Registry（GCR）にアップロードする
DataikuをGCP上で実行するには、まずDockerコンテナをGoogle Container Registry（GCR）にアップロードする必要があります。そのためには、GCPにログインし、ストレージ管理者権限を持つユーザーまたはサービスアカウントを使用して、GCRへのアクセスを確保する必要があります。 ＜手順＞ 1.Google Cloud SDK Shellでストレージ権限のあるサービスアカウントでGCPにログインgcloud auth activate-service-account --key-file=サービスアカウントキーパスtype "サービスアカウントキーパス" | docker login -u _json_key --password-stdin https://gcr.io docker pull busybox
docker tag busybox gcr.io//busybox
docker push gcr.io//busybox - Google クラウド コントロールで、プロジェクトに移動し、[Cloud Storage] セクションに移動します。
- バケツを見つけartifacts.
.appspot.comで開ける - 「アクセス許可」タブで、アクセス許可の「追加」をクリックし、プリンシパルとして選択しdss-mail（DSSインスタンスのメール）、役割として「ストレージ管理者」を選択して、「保存」します。
3.GCP上にフリートマネージャーをホストするためのVPCを作成する
こちらの手順は多くなるため公式ドキュメントを参照して下さい。 公式ドキュメント通りに設定すれば問題ないです。 IPアドレスの設定の範囲とはどうすればいいか悩む方もいると思いますがこちらの記事を参考にして下さい。 勘違いしてない？IPアドレスとサブネットマスクの仕組みを図で再確認（3ページ目） | 日経クロステック（xTECH） (nikkei.com) ゼロから学ぶネットワーク入門：50記事で完全解説 | ビズドットオンライン (it-biz.online)4.FMのデプロイ
ここまで完成したらFMのデプロイの準備が整いました。 1.コマンドプロントで実行して、テンプレート ファイルをフェッチします。gsutil cp gs://dataiku-cloudstacks/templates/fleet-manager/11.4.1/fleet-manager-instance.jinja . gsutil cp gs://dataiku-cloudstacks/templates/fleet-manager/11.4.1/fleet-manager-instance.jinja.schema .gcloud deployment-manager deployments create --template fleet-manager-instance.jinja --properties zone:,machineType:,network:,subnetwork:,serviceAccount:,allowedCIDR:,username:,password:,sshKey:"" gcloud deployment-manager deployments create --project= --template fleet-manager-instance.jinja --properties="zone=-a,machineType=,network=,subnetwork=,serviceAccount=,allowedCIDR=,username=,password=,sshKey=''" 
