KARTE Datahub と CDP・データ基盤の連携|つなぎ方は置き場所で決まる

KARTE Datahub と CDP・データ基盤のつなぎ方は、データの置き場所で決まります。US か東京の BigQuery は Direct Link、Snowflake などは GCS を挟み、業務ツールへはジョブフローで。

この記事をシェア:
目次 クリックで開く

この記事の要点

  1. KARTE Datahub のデータセットは BigQuery でできています。自社の BigQuery が US か東京リージョンにあれば、Datahub Direct Link で登録して、コピーせずにクエリから参照できます。東京リージョンは、β版の利用オプションをサポートに申し込んで使います。
  2. Snowflake・Databricks・Treasure Data などとは、GCS などのファイルを挟んでジョブフローで受け渡します。業務ツールへ戻すのも、ジョブフローのエクスポートです。
  3. つなぐ前に決めるのは、どこで計算するかです。クエリは既定で US で動きます。東京リージョンで動かすにはβ版のオプションが要り、US と東京のデータは1つのクエリで混ぜられません。

自社データの置き場所ごとの、Datahub とのつなぎ方

自社の BigQuery

US か東京リージョン(asia-northeast1)

  • Datahub Direct Link で外部のデータセットとして登録
  • コピーせずに Datahub のクエリから参照
  • 編集者の権限を渡せば、ジョブフローで書き込める

条件:東京リージョンはβ版の利用オプション(サポートに申し込む)

つまずき:ロケーションが違うデータは1つのクエリで混ぜられない

BigQuery 以外の基盤

Snowflake・Databricks・Treasure Data など

  • GCS などにファイルを置いて受け渡す
  • ジョブフローの「データテーブルへインポート」で取り込む
  • GCS のファイルはフェデレーションテーブルで直接読める

つまずき:鮮度はジョブフローを動かす間隔で決まる

業務ツールへ戻す

Salesforce・ストレージ・BigQuery など

  • ジョブフローの「クエリ実行結果のエクスポート」
  • KARTE の中では、紐付けテーブル・アクションテーブルへ出す
  • BigQuery を読める BI からはデータセットを直接参照

つまずき:インポートかエクスポートの片方だけのサービスもある

出典:KARTE サポートサイト 「Datahub Direct Link を利用する」、「外部サービスのデータ連携をする」、「東京リージョンのデータセットを利用する(β版)」

KARTE Datahub とほかの CDP・データ基盤のつなぎ方は、自社のデータがどこに置いてあるかで決まります。自社で契約している Google BigQuery の US か東京リージョンにあるなら、Datahub Direct Link で登録してコピーせずに参照します(東京リージョンはβ版の利用オプションが要ります)。Snowflake や Databricks、Treasure Data のように BigQuery の外にあるなら、Google Cloud Storage(GCS)などのファイルを挟んで、Datahub のジョブフローで受け渡します。Datahub で作ったデータを Salesforce などの業務ツールへ戻すのも、同じジョブフローの仕事です。

当社は、データ基盤やマーケティングの仕組みの導入を支援する側の会社です。この記事は、KARTE を使っていて、Datahub を自社のデータ基盤とつなぐ設計をするデータやマーケティングの担当の方に向けて書いています。プレイドの KARTE サポートサイトと KARTE Developer Portal に書かれていることをもとに、つなぎ方と、つないだあとで詰まりやすい所をまとめます。KARTE のタグの実装と、料金の金額は扱いません(金額は公開されていません)。

例を1つ決めて、最後まで同じ例で考えます。KARTE で Web 接客をしている通販の会社で、購買のデータは自社の BigQuery の東京リージョンに置いています。購買金額から決めた顧客のランクを KARTE の接客に使い、同じランクを Salesforce の取引先にも戻したい、という会社です(説明のための架空の例です)。

Datahub は BigQuery の上で、取り込み・クエリ・書き出しをつなぐ

KARTE Datahub は、KARTE の外にあるデータを KARTE の中のデータと合わせ、ユーザーに紐付けたり接客に使ったりするための機能です。加工したデータを外のデータベースへ戻すこともできます(KARTE Datahubとは)。技術の土台には BigQuery を採用していて、クエリは SQL で書きます。製品ページには、100種以上のクエリテンプレートがあるとも書かれています(KARTE Datahub 製品ページ)。KARTE のタグで取ったイベントは、Datahub の karte_event テーブルにためられます。

Datahub で作ったデータの使い道は4つです。紐付けテーブルにすれば、KARTE のユーザーに紐付けてセグメントに使えます。アクションテーブルにすれば、商品の情報などをポップアップやメールから参照できます。KARTE Message の配信リストにして、メールや LINE などで送ることもできます。クエリで分析して、外部の BI へつなぐこともできます。

これらを順に動かすのがジョブフローです。ジョブフローには最大8つのジョブを入れられ、追加した順に実行されます。ジョブの種類は「データテーブルへインポート」と「クエリ実行結果のエクスポート」の2つで、どちらも KARTE の中のテーブルか外部サービスを相手に選びます(ジョブフローを設定する)。

Datahub の中でのデータの流れ

取り込む外部サービス・自社の BigQuery・KARTE のイベント(karte_event)
データテーブルDatahub の BigQuery の中。データセットごとに置く
クエリで加工SQL(クエリv2)。ジョブフローで定期実行
出す紐付けテーブル・アクションテーブル・配信リスト・外部サービス

ジョブフロー1つに最大8ジョブ。種類は「データテーブルへインポート」と「クエリ実行結果のエクスポート」の2つ

出典:KARTE サポートサイト 「KARTE Datahubとは」、「ジョブフローを設定する」

例の会社なら、ランクを出すクエリの結果を紐付けテーブルと Salesforce へ出す、1本のジョブフローになります。問題は、購買のデータを Datahub にどう持ってくるかです。

自社の BigQuery は、Datahub Direct Link でコピーせずに参照する

Datahub のデータセットは BigQuery で作られているので、自社で契約している BigQuery(サポートサイトの言い方では「外部BigQuery」)は、Datahub のクエリから直接参照できます。そのため、BigQuery から Datahub へのインポートの設定というものはありません(外部サービスのデータ連携をする)。この仕組みが Datahub Direct Link で、自社の BigQuery のデータと Datahub のデータを、Datahub の管理画面の上で1つにして扱えます(Datahub Direct Link を利用する)。

登録の手順と、渡す権限

手順は2つです。まず自社の Google Cloud のコンソールで、Datahub に見せたいデータセットとテーブルに、KARTE 側のサービスアカウントの権限を付けます。相手のサービスアカウントは、Datahub の[データハブ設定]→[サービスアカウント管理]タブにある「ビルトインGoogleサービスアカウント」です。読むだけなら「BigQuery データ閲覧者」、Datahub のジョブフローから自社のデータセットにテーブルを作ったり既存のテーブルを更新したりするなら「BigQuery データ編集者」を付けます。次に Datahub の[データセット]→[作成]→[外部のデータセットを登録]で、プロジェクトIDとデータセットIDを入れます。データセットIDは「プロジェクトID.データセットID」の形ではなく、データセットIDだけを入れます。登録には数分かかることがあります(外部BigQueryのデータセットを登録する)。

間違えやすいのは2点です。日付ごとに分けたテーブルをまとめて読むワイルドカードテーブルに、Datahub は対応していません。登録したデータセットに含まれていると、中のデータが正しく表示されないことがあります。また、GCS のファイルを読むフェデレーションテーブルを Datahub から参照するときは、上の権限に加えて、そのファイルに対する「Storage オブジェクト閲覧者」の権限が要ります。VPC Service Controls を使っている場合に許可する KARTE 側のプロジェクト番号は、Direct Link のページに載っています。

Direct Link の準備で、誰がどの画面を触るか

自社の Google Cloud の管理者Google Cloud のコンソール
データセット・テーブルの権限ビルトインGoogleサービスアカウントに BigQuery データ閲覧者(書き込むならデータ編集者)
VPC Service Controls(使っている場合)Direct Link のページにある KARTE 側のプロジェクト番号を許可
Datahub の担当KARTE の管理画面(Datahub)
[データハブ設定]→[サービスアカウント管理]ビルトインGoogleサービスアカウントのアドレスを確かめて管理者に渡す
[データセット]→[作成]→[外部のデータセットを登録]プロジェクトIDとデータセットID(データセットIDだけ)を入れる

出典:KARTE サポートサイト 「外部BigQueryのデータセットを登録する」、「Datahub Direct Link を利用する」

東京リージョンのデータは、計算する場所から決める

Direct Link のページには、Datahub 側の BigQuery は US に置かれていると書かれています(2021年5月時点の記述)。自社の BigQuery が US でも東京リージョン(asia-northeast1)でもない場合、Direct Link は使えず、GCS などを介して連携します。

東京リージョンを使うには、サポートに申し込んで、β版の「東京リージョンの利用オプション」を有効にしてもらいます。有効にすると、Datahub のデータセットの保存先やクエリを実行する場所に東京リージョンを選べるようになり、東京リージョンにある自社の BigQuery のデータセットも外部のデータセットとして登録できます。ただし、karte_event テーブルのように Datahub が最初から用意しているデータセットは US のままで、東京リージョンに移せません(東京リージョンのデータセットを利用する(β版))。

クエリは、実行される場所と同じロケーションにあるデータセットしか参照できません。そのため、US のデータセットと東京リージョンのデータセットを1つのクエリで同時に読むことはできません。クエリを実行する場所は、クエリを入れたフォルダの[・・・]メニューの[クエリ実行オプション]で決めます。保存していないクエリや、フォルダに入っていないクエリは US で動きます。違うロケーションへ結果を移すのはジョブフローの役目で、たとえば東京リージョンで動かしたクエリの結果を、US のデータセットへインポートできます。

例の会社のデータを、どのロケーションで計算するか

1

自社の BigQuery のデータは US か東京リージョンにあるか

例の会社:購買のデータは東京リージョン。どちらでもなければ Direct Link は使えず、GCS などを介す

2

KARTE のイベント(karte_event、US)と同じクエリで混ぜる必要があるか

例:Web の閲覧と購買を合わせてランクを出すなら、混ぜる必要がある

混ぜる必要があるサポートに申し込んで東京リージョンの利用オプション(β版)を有効にし、ジョブフローで購買の集計を US のデータセットへ移してから、karte_event と1つのクエリで計算する
混ぜる必要がないサポートに申し込んで東京リージョンの利用オプション(β版)を有効にし、東京リージョンのフォルダで購買だけのクエリを動かす

出典:KARTE サポートサイト 「東京リージョンのデータセットを利用する(β版)」、「Datahub Direct Link を利用する」。例は説明のための架空の会社

Snowflake・Databricks・Treasure Data とは、GCS などのファイルを挟む

BigQuery の外にある基盤とは、ストレージに置いたファイルを、ジョブフローで取り込んだり書き出したりしてつなぎます。Datahub の「接続先」として作れて、インポートもエクスポートも直接できるサービスは、GCS・Amazon S3・Azure Blob Storage・Google スプレッドシート・Salesforce Sales Cloud・SFTP です。エクスポートだけなら、BigQuery へも出せます。ただしスプレッドシートからのインポートは非推奨とされ、代わりにフェデレーションテーブルが勧められています(ジョブフローでよくあるエラーのチェックリスト)。Treasure Data は GCS を経由して、Salesforce Marketing Cloud は SFTP を経由して、間接的に連携できるサービスとして挙がっています。インポートかエクスポートの片方しかできないサービスもあります(外部サービスのデータ連携をする)。

Snowflake と Databricks には、サポートサイトに双方向の手順があります。どちらも、KARTE が払い出した GCS のバケットを中継に使う形で説明されています。Snowflake の場合、Snowflake 側でクラウドストレージ統合と外部ステージを作り、Snowflake の Cloud Storage Service アカウントを Datahub の[サービスアカウント管理]で登録します。Datahub からはジョブフローのエクスポートで GCS に書き出して Snowflake の COPY INTO で取り込み、逆向きは COPY INTO で GCS へ書き出してジョブフローのインポートで取り込みます。ファイルの形式は Parquet が勧められています(Snowflake)。Databricks も同じ流れで、Databricks 側では GCS の外部ロケーションを作ります(Databricks)。どちらのページも、事前に連携を検証するよう書いています。

Snowflake から Datahub へ(逆向きも同じ道を戻る)

SnowflakeCOPY INTO で GCS へ書き出す
KARTE が払い出した GCSkarte-data-(api_key)。ファイルは Parquet を推奨
ジョブフロー「データテーブルへインポート」で取り込む。フェデレーションテーブルで直接読むこともできる
Datahubクエリで加工して、紐付けテーブルや外部サービスへ

出典:KARTE サポートサイト 「Snowflake」、「KARTEが払い出したGCSバケットを利用する」

払い出しの GCS バケットは US と asia-east1 の2つです。Google Cloud のコンソールからは操作できず、gsutil などのコマンドで扱います。累計500GB・ネットワーク月100GBなどの範囲内なら追加料金はかからず、超えるとファイル連携ができなくなる可能性があります(KARTEが払い出したGCSバケットを利用する)。自社で契約している GCS や S3 を接続先にすることもできます。

GCS に置いたファイルは、取り込まずにフェデレーションテーブルとして直接読むこともできます。GCS なら CSV・改行区切りの JSON・Parquet を読めます。作ったあとでスキーマは変えられず、バケットは Datahub の実行プロジェクトと同じリージョンに置きます(フェデレーションテーブルを作成する)。例の会社のように東京リージョンでクエリを動かす場合は、このリージョンの決まりが関わってきます。払い出しのバケットは US と asia-east1 だけで、GCS とのインポート・エクスポートには、クエリを実行するロケーションとバケットのロケーションの組み合わせに制限があります(東京リージョンのデータセットを利用する(β版))。東京で読むファイルは、東京に置いた自社のバケットを使えるかを先に確かめます。どちらの道も、データの鮮度はファイルを書き出して取り込む間隔で決まります。

業務ツールへ戻すのは、ジョブフローの「クエリ実行結果のエクスポート」

DWH(データウェアハウス)で作ったデータを業務ツールへ書き戻す動きは、Reverse ETL と呼ばれます。Datahub でこれに当たるのは、ジョブフローの「クエリ実行結果のエクスポート」です。エクスポート先に外部サービスを選び、接続先を作れば、GCS・S3・Azure Blob Storage・Google スプレッドシート・Salesforce Sales Cloud・SFTP・BigQuery へ出せます(外部サービスのデータ連携をする)。KARTE の中では、紐付けテーブルに出せばユーザーの情報として、アクションテーブルに出せば接客のコンテンツとして使えます(ジョブフローを設定する)。例の会社の「Salesforce の取引先にランクを戻す」は、ランクを出すクエリを選び、エクスポート先に Salesforce Sales Cloud を指定するジョブになります。

BI のツールへは、エクスポートせずにデータセットを読ませる道もあります。Datahub が払い出したサービスアカウントを登録すれば Looker・DOMO などから、外部の Google アカウントに権限を付ければ Tableau Desktop・Power BI Desktop などから、直接参照できます(外部サービスのデータ連携をする)。共有したデータセットは、相手の BigQuery のコンソールには表示されません(KARTE Datahubのデータセットを共有する)。Datahub の中でグラフを作る Datahub BI は、2025年6月に新規の提供を終えています(チャート・ダッシュボード概要)。

ジョブフローを外から動かす API

上流の処理が終わったらジョブフローを動かしたい場合は、API v2 の実行のエンドポイントを使います。必要なスコープは datahub.jobflow.exec です。スコープを追加するのに要る管理画面の権限は「Datahub > データの編集」です(Execute a specific job.)。分あたりの回数制限は Free Plan で10回、Growth で30回です(API のリクエスト回数制限)。リージョンを固定するオプションを使っているプロジェクトは、api-jp.karte.io を使います。次は作例で、トークンとジョブフローのIDは自分のものに置き換えます。

作例:ジョブフローを1本実行する(API v2)

curl -X POST https://api.karte.io/v2/datahub/jobflow/exec \
  -H "Authorization: Bearer <APIトークン>" \
  -H "Content-Type: application/json" \
  -d '{"jobflow_id": "<ジョブフローのID>"}'

ジョブフローを動かす:実行の決め方と、よく出るエラー

ジョブフローは、日時を決めて1回だけ動かすか、「毎月3日 10:00」「毎週日曜日 15:30」「平日 18:00」「毎時15分」のような間隔で繰り返すかを選べます。もう1つの起動のしかたが「特定のデータテーブルが更新されたら実行する」で、2020年11月に加わりました(リリースノート)。ただし、フェデレーションテーブルの元のデータソースの更新や、ワイルドカードテーブルのどれかの更新では動きません。対象のテーブルの更新が1回でも失敗すると、監視が自動で止まります。繰り返しの設定でも、前回のジョブフローが終わっていなければ、その回は飛ばされます(ジョブフローを設定する)。

インポートのルールは「置き換え」と「追加」の2つです。スキーマのエラーが起きやすいのは「追加」で、テーブルのスキーマとジョブで指定したスキーマのデータ型や列名が合わないと失敗します。「置き換え」では、ジョブで指定したスキーマでテーブルのスキーマが上書きされるので、テーブルとジョブのスキーマが違ってもエラーになりません(テーブルのスキーマとジョブフローのスキーマが異なる場合)。スキーマの自動判定は思った型と違う型で読むことがあるので、明示するよう勧められています(ジョブフローを設定する)。

一部のレコードだけを差分で更新したいときは、差分を一時テーブルへ置き換えで入れ、マスタと合わせるクエリの結果でマスタを置き換える、2つのジョブの組み方が示されています(既存データテーブルの一部のレコードを差分更新することはできますか?)。例の会社のランクのように毎回すべての会員分を出し直すデータなら、クエリの結果で毎回「置き換え」れば、この組み方は要りません。

例の会社のジョブフロー(作例)

スケジュール:毎日決まった時刻に繰り返し。1本に入れられるジョブは最大8つ

ジョブ1

データテーブルへインポート

  • インポート元:東京リージョンで動かす、購買を集計するクエリ
  • インポート先:US のデータセットの中間テーブル(置き換え)

役目:購買の集計を karte_event と同じ US へ移す

ジョブ2

クエリ実行結果のエクスポート

  • エクスポート元:中間テーブルと karte_event からランクを出すクエリ
  • エクスポート先:KARTE 紐付けテーブル

役目:ランクを接客の条件に使う

ジョブ3

クエリ実行結果のエクスポート

  • エクスポート元:ジョブ2と同じクエリ
  • エクスポート先:外部サービス(Salesforce Sales Cloud)

役目:取引先にランクを戻す

説明のための架空の例。ジョブの種類と設定項目の出典:KARTE サポートサイト 「ジョブフローを設定する」、「東京リージョンのデータセットを利用する(β版)」

エラーの原文から引く

止まったときは、ジョブフローの実行ログに出るエラーの原文から引きます。サポートサイトにある3つのページ(共通のエラー、ジョブフローでよくあるエラーのチェックリスト、紐付けテーブルのエラー)から、よく当たるものを並べます。

ジョブフローのよくあるエラー(KARTE サポートサイトから)
エラー・症状原因直し方
this running schedule may be hanging.実行時間が一定時間(2022年8月時点で3時間)を超えて止められた扱うデータを減らして実行時間を縮める
Job execution was cancelled: User requested cancellationDatahub の中のリソースを多く使ったクエリを見直すか、扱うデータを減らす
連携元と連携先で型が違う(例:INTEGER と STRING)クエリの結果とテーブルのデータ型が一致しないクエリの中で型をそろえるか、テーブル側の型を合わせる
必須の列に nullnull を許さない列に null を送ったクエリで null を除くか埋める
列名に日本語・先頭が数字・ハイフン連携先によってはエラーになる。ハイフンはクエリ画面では動いてもジョブフローでエラー英数字とアンダースコアの列名にする
Null values aren't permitted in the primary key field紐付けのキーの列に null があるエクスポート元のクエリで null を除く

クエリの CURRENT_DATE() などは既定で UTC で動くので、日本時間の日付で切るなら引数でタイムゾーンを指定します(クエリのCURRENT_DATE()などのタイムゾーンは?)。

つないだあとで効く上限:クエリリソースとテーブルの数

Datahub には、プランに応じた上限があります。自分のプロジェクトの値は[データハブ設定]の画面で確かめます。上限を超えると、新しくレコードを足したりクエリを実行したりできなくなることがあります(KARTE Datahubの制限事項)。

KARTE Datahub の主な上限(制限事項のページから抜粋)
対象指標上限
データセット総レコード数/総データ量1,000万レコード〜/10TB〜(プランによる)
データセット月間使用クエリリソース数10TB〜(プランによる)
データセット最大列数1,000カラム
紐付けテーブル作成できるテーブル数/同時に紐付けるテーブル数50テーブル/40テーブル(1テーブル追加ごとに追加費用の注記あり)
アクションテーブル1テーブルの最大レコード数/最大カラム数20万レコード/20カラム〜
ジョブフロー月間の実行数1,000回〜(結果にかかわらず実行ごとに数える)

総レコード数と総データ量には、karte_event など Datahub が用意するテーブルと、Direct Link で登録した外部のデータセットのテーブルは数えません。例の会社が購買のデータを自社の BigQuery に置いたまま Direct Link で読むなら、その分は総データ量の上限に入りません。ただし、Datahub のクエリで読むなら、読む量は月間のクエリリソースに入ると考えて見積もっておきます(外部テーブルを読む量の扱いは、公式のページに明記が見当たりません)。

クエリリソースは1回の実行ごとに使われ、読む元のデータが大きいほど多く使います。どのクエリが多く使っているかは、[Datahub ホーム]の「実行されたSQL一覧」で、使った量の多い順に見られます。減らし方として公式が挙げているのは2つで、karte_event のように日付で分かれたテーブルは読む期間を狭くすること、毎日長い期間を読むクエリは中間テーブルを作って1日分ずつ差分で更新し、元のクエリを中間テーブルに向けることです(クエリリソース消費量を節約する方法はありますか?)。同じ元のデータから指標をいくつも出すなら、指標ごとにクエリを分けずに1つのクエリでまとめて出すと、元のデータを読む回数が1回で済みます。

作例:1回の読み込みで、ランクに使う指標をまとめて出す(テーブル名・列名は例の会社のもの)

-- 作例:purchase_daily は例の会社の中間テーブル(1日1行に集計済み)
SELECT
  member_id,
  SUM(amount) AS amount_90d,
  SUM(order_count) AS orders_90d,
  MAX(order_date) AS last_order_date
FROM `example_dataset.purchase_daily`
WHERE order_date >= DATE_SUB(CURRENT_DATE('Asia/Tokyo'), INTERVAL 90 DAY)
GROUP BY member_id

一部のプランでは、自社の GCP のサービスアカウントを Datahub に登録し、クエリフォルダごとにそのアカウントで実行させることで、Datahub 側の月間クエリリソースを使わずに済みます(外部Googleサービスアカウントのクエリリソースを使ってクエリを実行する)。

クエリは v2 の書き方で

クエリv1 は2025年2月までに契約したプロジェクトでだけ使え、2025年3月以降の契約はクエリv2 だけです。v1 のサポートは将来廃止され、v2 に置き換える予定とされています(クエリv2を利用する)。v2 で変わった主な点は次のとおりです。

  • パラメータを SQL の中で呼ぶと、型ごとに自動でエスケープされます。Text のパラメータは、自分で引用符で囲まなくても引用符つきで出力されます。Number のパラメータはエスケープされません。
  • 参照するテーブルの名前を、パラメータで直接指定できなくなりました。テーブルを切り替えるときは Liquid の if 文を使います。
  • 未定義のパラメータは、v1 では空の文字列になりましたが、v2 ではクエリの実行時にエラーになります。
  • karte_event などの用意されたテーブルの呼び方が、{% karte_event '20181201', '20181203' %} の形に変わり、引数に BigQuery の関数は書けなくなりました。実行時からの相対の日付は Period パラメータの相対日付で指定します。
  • Liquid の for・if などのタグと、append・plus などのフィルタが使えます。

ほかの CDP・データ基盤と、同じ項目で並べる

Datahub を候補にするときに比べられやすい基盤を、データの置き場所と、KARTE とのつなぎ方で並べます。各社の公式ページに書かれていることだけで、優劣はつけていません。

データの置き場所と KARTE Datahub とのつなぎ方(各社の公式ページから)
製品提供の形データの置き場所KARTE Datahub とのつなぎ方
KARTE DatahubKARTE の製品の1つ。KARTE の各製品とつながるDatahub の中の BigQuery。既定は US、東京リージョンはβ版のオプション。製品ページは日本国内で管理する環境を選べると書いている—
Google BigQueryGoogle Cloud のフルマネージドでサーバーレスのデータウェアハウスデータセットごとに選ぶリージョンかマルチリージョン(US、東京の asia-northeast1 など)US か東京リージョンなら Direct Link で参照。ほかのロケーションは GCS などを介す
SnowflakeAWS・Google Cloud・Azure のどれかの上で動くクラウドのサービスアカウントごとに選んだクラウドと地域払い出しの GCS を挟んで双方向(Snowflake 側はクラウドストレージ統合と外部ステージ)
Treasure Data(Treasure AI)CDP。オールインワンCDP とコンポーザブルCDP の2つの形。2026年4月からブランドは Treasure AIオールインワンは契約で指定した地域の Treasure AI の基盤。コンポーザブルは自社の Snowflake・Databricks・BigQueryKARTE のドキュメントでは GCS を経由する連携と、サイト上でイベントを送る例に挙がる。コンポーザブルCDP を自社の BigQuery の上で使うなら、置き場所は BigQuery なので、US か東京リージョンなら Direct Link の道になる

出典は、KARTE Datahub 製品ページ、東京リージョンのデータセットを利用する(β版)、BigQuery の概要、BigQuery のロケーション、Snowflake のサポートされるクラウドプラットフォーム、Treasure AI のオールインワンCDP、コンポーザブルCDP、トレジャーデータのブランド刷新の発表、KARTE の外部サービスのデータ連携です。BigQuery が置き場所ならコピーせずに参照でき、BigQuery の外が置き場所なら、ファイルの受け渡しを前提に鮮度とジョブフローの回数を見積もることになります。データの置き場所そのものを決める考え方は、BigQuery と dbt を使ったデータ基盤の記事でも書いています。

データをどこに置くかを、Excel のままでよい場合も含めて話した当社の動画です(KARTE に限った話ではありません)。

料金は見積もり。決まり方と、上限から先の費用

KARTE の料金は公開されていません。KARTE のよくある質問によると、料金は使う製品とプランで変わり、月額の基本料金はサイトの月間ユーザー数で変わります。見積もりは、導入したい製品と、過去12か月のサイトの UU 数(ユニークユーザー数)を伝えたうえで、個別に出されます。初期費用もかかります(KARTE よくあるご質問)。製品ページにも金額はなく、見積もりの問い合わせ先が案内されています。

見積もりの前に手元でそろえられるのは、上限の表に出てくる数です。例の会社なら、Datahub に置くデータの量、ジョブフローの月の実行回数、紐付けテーブルの本数、毎日のクエリが読む量です。紐付けテーブルの追加や、払い出しの GCS の無料の範囲を超えた分は、基本の料金とは別に考えます。

最初に、自社の BigQuery のロケーションを確かめる

Datahub とほかの基盤をつなぐ設計は、自社のデータがどのクラウドの、どのロケーションにあるかを確かめるところから始めます。BigQuery の US か東京リージョンにあれば Direct Link、それ以外ならファイルの受け渡しになります。東京リージョンなら、KARTE のイベントと同じクエリで混ぜるかどうかで、ジョブフローの組み方が変わります。例の会社なら、購買のデータセットのロケーションを Google Cloud のコンソールで確かめ、東京リージョンの利用オプションについて KARTE のサポートに問い合わせるのが最初の作業です。

データの置き場所と計算する場所を、自社のデータ基盤と合わせて決めるところは、当社のマーケティングDXの支援で一緒に進められます。KARTE Datahub そのものの入門は、KARTE Datahub の全体像にまとめています。

機能・画面の名前・上限の値は、2026年10月13日に KARTE サポートサイト、KARTE Developer Portal、karte.io と、各社の公式ページで確かめたものです。上限の値はプランによって違うので、自社のプロジェクトでは[データハブ設定]の画面で確かめてください。

データ分析・データ基盤支援

Snowflake・BigQuery・Treasure Dataといったデータ基盤の選定から、基幹・SaaS・広告・POSに散らばったデータの集約、dbtでの指標統一、Lookerなどでのダッシュボード化までを支援します。

AT
aurant technologies 編集

上場企業からスタートアップまで、数多くのデータ分析基盤構築・AI導入プロジェクトを主導。単なる技術提供にとどまらず、MA/CRM(Salesforce, Hubspot, kintone, LINE)導入によるマーケティング最適化やバックオフィス業務の自動化など、常に「事業数値(売上・利益)」に直結する改善実績多数。

この記事が役に立ったらシェア: