Technical Articles
Google BigQuery と SAP Datasphere のデータ連携
本ブログでは、Google BigQueryとSAP Datasphere とのデータ連携の設定について解説します。
はじめに
Google BigQueryとSAP Datasphere連携のシステム構成の概要図をご紹介します。
*手順を進めるに当たりGoogle Cloud Platformのアカウントが必要であり、こちらのブログではGoogle Cloud Platformのトライアルアカウントでの設定となります。
*また、本ブログでは以下を前提としています。バージョンの相違にご注意ください。
- SAP Datasphere: 2023.18.67
接続作成に当たり大まかな全体の流れは以下の通りです。
- サービスアカウントの作成
- APIの有効化
- サービスアカウントキーの生成
- リモートテーブルの有効化
- データフローの有効化
- 接続作成
1.サービスアカウントの作成
まず初めに、新しいサービスアカウントを作成します。
サービスアカウントはGoogle Cloudのリソースを使用するために必要なアカウントで、これに付与するアクセス権限によってアクセス可能なリソースを制御することが出来ます。詳しくはこちらを参照ください。(ナビゲーションメニュー> IAMと管理>サービスアカウント>サービスアカウントを作成)
- サービスアカウント名:BigQuery_Datasphere
- 説明:Service Account for Datasphere
次に、「作成して実行」を選択しロールの追加をします。
以下のロールを付与し、「完了」します。
- ロール:BigQueryデータ閲覧者とBigQueryユーザー
作成したサービスアカウントおよび付与したロールはIAMから確認できます。
(ナビゲーションメニュー>IAMと管理>IAM)
2.APIの有効化
Google BigQueryの外部データベースへの接続はBigQuery Connection APIを使用します。そのため、こちらのAPIが有効化されているかを確認するためAPIライブラリーへ移動します。(APIとサービス>有効なAPIサービス)
APIライブラリページ遍移するので、BigQuery Connection APIを検索します。
- 有効化するAPI:BigQuery Connection API
無効になっている場合は、APIを有効にします。
3.サービスアカウントキーの生成
SAP DatasphereからGoogle BigQueryにアクセスするために、サービスアカウントキーの作成を行います。サービスアカウントから「キー」タブに移動し、「新しい鍵を作成」を選択します。
(サービスアカウント>キー>鍵を追加>新しい鍵を作成)
キーのタイプはJSONファイルを選択し「作成」をすると、ローカルにダウンロードされます。
4.リモートテーブルの有効化
Google BigQueryとの接続はデータプロビジョニングエージェントを使用しない接続タイプになります。そのため、サーバ証明書をSAP DatasphereにアップロードをすることでSSL/TLSベースのセキュアな接続を確立することができ、リモートテーブルを有効化することが出来るようになっています。詳細はこちらをご確認ください。
サーバ証明書の取得は以下のダウンロードサイトから行います。
証明書ビューアから証明書のエクスポートを実行します。
証明書の追加は次のパスから出来ます。ローカルディレクトリから証明書を選択し、証明書に関する説明を入力します。(システム>セキュリティ>+証明書を追加)
5.データフローの有効化
Google BigQueryにアクセスしてデータフローを使用する場合はODBC経由となるので、必要なODBCドライバをSAP Datasphereにアップロードする必要があります。詳細はこちらをご確認ください。
ODBCドライバの取得は以下のダウンロードサイトから行います。
ドライバのアップロードは以下のパスから出来ます。サードドライバンに移動し、+アップロードを選択します。(システム>データ統合>サードパーティのドライバ>+アップロード)
※SimbaODBCDriverforGoogleBigQuery_3.0.0.1001-Linux.tar.gzは10月半ばよりサポート予定となっておりますので、現時点では2.3.1.1001をご利用ください。
6.接続作成
接続タイプ一覧からGoogle BigQueryを選択します。(接続>作成>Google BigQuery)
Google Cloud プロジェクトのIDとキーのアップロードを行います。プロジェクトIDは先程ダウンロードしたJSONファイル内から確認できます。
最後に、接続にビジネス名と接続名を付け「接続を作成」します。
以下のように、作成した接続のチェックボックスを選択し、右上にあるチェックを行います。問題なく作成が出来ていれば、このように“接続が有効です”と表示されます。
さいごに
最後までお読みいただきありがとうございました!
以下に参考としてSAP Help Portalのリンクを掲載しておりますので、併せてご確認ください。
- Google BigQuery 接続
- Google BigQuery への接続の準備
- 証明書のアップロード (リモートテーブルに必要)
- サードパーティの ODBC ドライバをアップロード (データフローに必要)