埋め込みモデル(Embedding)の選び方|条件で絞り、日本語の品質は自社の質問で比べる

埋め込みモデルは後から替えると全件をベクトルにし直します。だから料金や順位より先に、データを外に送れるか、文書の長さ、次元と保存量で候補を絞り、残りを自社の質問で比べます。2026年10月の主なモデルの次元と料金も載せました。

この記事をシェア:
目次 クリックで開く

この記事の要点

  1. 埋め込みモデルは、後から替えると文書を全部ベクトルにし直します。だから点数や料金より先に、替えずに済む条件で候補を絞ります。
  2. 絞る条件は、データを外のサービスに送れるか、文書の長さと入力の上限、次元と保存量の3つです。
  3. 残った2〜3個を、自社の文書と社員の言い方の質問で比べます。日本語の公開ベンチマーク(JMTEB)は候補を挙げる手がかりです。

埋め込みモデルを選ぶ順番

1. データの置き場所外部のAPIか、自社のクラウドの中か、自前か
2. 文書の長さ入力の上限は512〜128kトークン
3. 次元と保存量次元が倍なら保存量も倍
4. 自社の質問で比べる残った2〜3個を同じ条件で比べる

モデルを替えると、保存済みのベクトルは使えず、全件を作り直す

出典:各社の公式ドキュメント(本文の各節にリンク)

埋め込みモデルは、後から替えると文書を全部ベクトルにし直すことになります。だから、公開ランキングの順位や料金の安さで先に決めるより、替えずに済む条件で候補を絞り、残ったものを自社の文書で比べる方が外れません。条件は、データを外のサービスに送れるか、文書の長さと入力の上限、次元と保存量の3つです。

当社は、社内文書を生成AIで検索できるようにする仕組み(RAG)の導入を手伝っています。この記事は、その仕組みを作る担当の方に向けて書いています。扱うのは、2026年10月時点で使える文章の埋め込みモデルと、その選び方です。画像の埋め込み、モデルの学習、ベクトルデータベースの選び方は扱いません。

埋め込みモデル(Embedding モデル)とは:後から替えると全件を作り直す

埋め込みモデルは、文章を数百〜数千個の数の並び(ベクトル)に変えるモデルです。意味の近い文章ほど近いベクトルになるので、「出張の日当はいくら」という質問に、「日当」の語が無い旅費規程の条文を返せます。ここで拾えなかった文書は、回答を書く大規模言語モデル(LLM)に渡りません。

ベクトルの作り方はモデルごとに違うので、質問と文書は同じモデルでベクトルにしないと比べられません。モデルを替えれば保存済みのベクトルを全部作り直し、次元が変わればベクトルデータベースの索引も作り直すことになります。同じ会社の新旧のモデルでも同じです。Google は、gemini-embedding-001 と gemini-embedding-2 の埋め込みには互換性が無く、2 に移るなら既存のデータをすべて埋め込み直す必要があると書いています(Google)。

以下、架空の例を最後まで使います。社内規程と業務マニュアル、合わせて1,000万トークンを500トークンずつに区切り、2万個のベクトルにする会社です。

2026年10月の主な選択肢

主な埋め込みモデル(出典:OpenAI・Google・Google Cloud・Cohere・Voyage AI・AWS・E5・Ruri)
モデル提供元次元(括弧は短くできる範囲)入力の上限(トークン)100万トークンの料金
text-embedding-3-smallOpenAI1,536(短くできる)8,1920.02米ドル
text-embedding-3-largeOpenAI3,072(短くできる)8,1920.13米ドル
gemini-embedding-2Google3,072(128〜)8,1920.20米ドル
embed-v5.0-pro/fastCohere2,048(256〜)128k0.12/0.08米ドル
embed-multilingual-v3.0Cohere1,024512料金ページで確認
voyage-4-large/4/4-liteVoyage AI1,024(256〜2,048)32,0000.12/0.06/0.02米ドル
Titan Text Embeddings V2Amazon Bedrock1,024(512、256)8,192Bedrock の料金ページ
multilingual-e5-large公開モデル(MIT)1,024512自前なら計算機の費用。Google Cloud では0.025米ドル
ruri-v3-310m公開モデル(Apache 2.0)7688,192自前の計算機の費用

Google の text-embedding-004 は Gemini API で2026年1月14日に停止し、後継は gemini-embedding-2 です。gemini-embedding-001 も2028年5月14日に停止する予定です(廃止予定の一覧)。Google Cloud の Gemini Enterprise Agent Platform(2026年4月に Vertex AI から改称)では、gemini-embedding-001(入力2,048トークン)と text-multilingual-embedding-002 も使えます。Google Cloud の料金表では、gemini-embedding-2 はプレビューの表記です(Google Cloud)。

日本語について公式に書いてあることも、モデルで違います。Ruri v3 は日本語の埋め込みモデルです。Cohere の embed-multilingual-v3.0 は言語の一覧に日本語を載せ、Gemini Embedding 2 は100以上の言語を扱えると説明しています。Titan Text Embeddings V2 は英語に最適化され、ほかの言語はプレビューで、言語をまたぐ検索は結果が落ちると AWS が書いています。

例の1,000万トークンを一度ベクトルにする料金

架空の例。単価×量の計算で、無料枠・割引は含めない

text-embedding-3-small0.2米ドル
multilingual-e5-large(Google Cloud)0.25米ドル
voyage-40.6米ドル
text-embedding-3-large1.3米ドル
gemini-embedding-22.0米ドル

出典:OpenAI、Voyage AI、Gemini API、Google Cloudの料金

図の5つのモデルでは、一度ベクトルにする料金は0.2〜2.0米ドルで、差は最大でも1.8米ドルです。選ぶときに効いてくるのは、作り直しの手間と保存量の方です。

最初に絞るのは、データを外のサービスに送れるか

埋め込みモデルには文書の中身がそのまま送られます。送れない文書があれば、外部のAPIは外れます。送れる場合も、送り先で扱いが違います。

OpenAI の API に送ったデータは、2023年3月1日から、利用者が自分で提供を選ばない限り学習に使われません。ただし既定では、埋め込みでも、不正利用を監視するための記録が最大30日残ります。記録を残さない設定(Zero Data Retention)は OpenAI の事前の承認が要る申請制で、承認されれば埋め込みも対象です(OpenAI)。Azure(Microsoft Foundry)の OpenAI のモデルでは、入力や埋め込みは OpenAI に渡らず、モデルの改善にも使われません(Microsoft Learn)。Amazon Bedrock で他社のモデルを使う場合、モデルの提供元は利用者の入力と出力を見られません(AWS)。Gemini API では、無料の枠で送った内容は製品の改善に使われ、有料の枠で送った内容は使われません(Google)。

どこでベクトルにするか

外部のAPIに送る

OpenAI・Cohere・Voyage AI・Gemini API

  • 始めるのがいちばん早い
  • 学習への利用と記録の日数は各社の規約で確かめる

自社のクラウドの中で使う

Azure・Amazon Bedrock・Google Cloud

  • 契約済みのクラウドの管理の下で使える
  • 選べるモデルはクラウドごとに違う

自前で動かす

multilingual-e5・Ruri v3 など

  • 文書を外に出さずに済む
  • 計算機とその運用が要る

出典:OpenAI、Microsoft Learn、AWS、Google

例の会社が Azure を契約済みなら、Azure の中のモデルから選べば、データの扱いを Microsoft との既存の契約の下で説明できます。一切外に出せないなら、公開モデルを自前で動かす道だけが残ります。

次に、文書の長さとモデルの入力の上限を合わせる

1回に入る長さは、512トークンから128kトークンまで開きがあり、超えた分は切り捨てられることがあります。multilingual-e5-large は、512トークンを超えた分を切り捨てます。Google Cloud も、autoTruncate を false にしない限り、上限を超えた文章を知らせずに切り捨てます(Google Cloud)。長い条文の後半が、気づかないまま検索から消えます。

長い文書は区切って(チャンクに分けて)からベクトルにします。小さすぎると前後の文脈が失われ、大きすぎると1つのベクトルに複数の話題が混ざります。例の会社なら、規程は条ごと、マニュアルは見出しごとに区切れば意味のまとまりとそろいます。ファイル名・ページ・URL・部署も一緒に保存すると、回答の根拠を示せるうえ、「人事部の文書だけ」といった絞り込みもできます。

次元は、点の差より保存量で決める

保存する量は次元に比例します。今の主なモデルは、短くしたベクトルを受け取れます。OpenAI の dimensions、Cohere の output_dimension などで次元を指定します(Cohere)。

短くしても点はあまり落ちません。Google が公開している gemini-embedding-001 の MTEB(埋め込みモデルの公開ベンチマーク)の点は、2,048次元で68.16、768次元で67.99、128次元で63.31です(Google)。

例の2万個のベクトルを保存する量

架空の例。1つの数を4バイト(32ビット浮動小数点)で持つ場合。索引の分は含めない

3,072次元約246MB
1,536次元約123MB
1,024次元約82MB
768次元約61MB

計算:2万個×次元×4バイト

この規模ならどれでも収まります。ただ、文書が100倍なら保存量も100倍になり、速く探すためにデータをメモリに載せるデータベースもあります。質問の側も同じ次元にそろえます。途中で変えると次元が合わずエラーになり、索引から作り直すことになります。

残った2〜3個を、自社の質問で比べる

日本語の品質は、絞ったあとで見ます。手がかりは JMTEB(Japanese Massive Text Embedding Benchmark)で、日本語の28のデータセットで分類・クラスタリング・文の類似度・検索・並べ替えの5種類を測ります。順位は MTEB Leaderboard の日本語の欄にあります(JMTEB、MTEB Leaderboard)。

ただ、公開ベンチマークは自社の略称までは測りません。例の会社で「立替の締め」と聞く社員がいれば、正解は経費精算規程の締め日の条です。こうした正解の分かる質問を社員の言い方で集め、候補ごとに上位5件に正解が入るかを数えます。

自社の質問で比べる手順

1

質問と正解を集める

  • 社員の言い方で
  • 正解の条・ページを決める

2

同じ文書をベクトルにする

  • 同じ区切り方で
  • モデルの決まった入れ方を守る

3

上位に正解が入るか数える

  • 外れた質問の言い方を見る

4

料金と保存量を足して決める

  • 差が小さければ、安く次元の小さい方を選ぶ

間違えやすいのが、質問と文書の入れ方です。モデルが決めた入れ方を守らないと、モデルの差ではなく入れ方の差を測ることになります。

質問と文書で入れ方を変えるモデル(出典:Cohere・E5・Ruri・Google・Voyage AI)
モデル質問と文書の入れ方
Cohere(v3 以降)input_type に、質問は search_query、文書は search_document を指定する(必須)
multilingual-e5質問の頭に「query: 」、文書の頭に「passage: 」を付ける。日本語の文でも付ける。付けないと性能が落ちる
Ruri v3質問の頭に「検索クエリ: 」、文書の頭に「検索文書: 」を付ける
gemini-embedding-001task_type に、質問は RETRIEVAL_QUERY、文書は RETRIEVAL_DOCUMENT を指定する
gemini-embedding-2task_type は使えない。質問は頭に「task: search result | query: 」を付け、文書は「title: 題名 | text: 本文」の形にする(題名が無ければ title: none)
Voyage AIinput_type に query か document を指定する。省略もできるが、検索では指定するよう勧めている

精度が足りないとき、費用や処理で詰まるとき

正解が上位に入っても順番が低いなら、モデルを替える前に並べ替え(リランク)を足します。埋め込みで多めに拾い、リランク用のモデルで並べ直すやり方です。Cohere の rerank-v4.0-pro/fast は多言語のモデルで、料金は検索1回(文書100件まで)を単位に数えます(Cohere、料金)。社内の略称や型番が拾えないときは、キーワード検索と併せて使います。

最初の一括のベクトル化は、急がなければ安く済みます。OpenAI の Batch API は、料金が通常の半額で、24時間以内に終わります。1回に送れるのは5万件までです(OpenAI)。Voyage AI の一括処理は33%引き、Gemini Embedding 2 の一括処理は100万トークンあたり0.10米ドルです。

ベクトルにするときによく出るエラー
起きること原因と対処
エラー 429送りすぎで起きる。待ち時間を延ばしながら再送し、Retry-After があれば従う。急がない分は Batch API で送る(OpenAI)
1回で送りすぎOpenAI は2,048件・合計30万トークンまで(OpenAI)。Google Cloud は250件・2万トークンまでで、超えるとエラー 400 になる。gemini-embedding-001 は1回1件(Google Cloud)。Cohere は96件まで(Cohere)
次元の不一致モデルか次元を途中で変えると起きる。索引から作り直す

まず、自社の文書で3つの条件を書き出す

候補を見比べる前に、外に送れる文書はどれか、いちばん長い文書は何トークンか、全部で何件かを書き出してください。ベクトルの置き先はベクトルデータベースの選び方、全体の構成は社内専用チャットボットの構成に書いています。絞り込みと自社の質問での比較は、当社のAI導入支援で一緒に進められます。

モデル名・次元・入力の上限・料金は2026年10月13日に各社の公式ページで確かめたもので、料金は米ドル建てです。使う前に各社のモデル一覧と廃止予定を確かめてください。

AI活用支援

Claude・ChatGPT・Gemini・Copilotのどれをどの業務に使うかの見極めから、社内のAIチャット環境、権限と情報の扱いの設計、MCPやAPIでの既存システム連携、研修・伴走までを支援します。

AT
aurant technologies 編集

上場企業からスタートアップまで、数多くのデータ分析基盤構築・AI導入プロジェクトを主導。単なる技術提供にとどまらず、MA/CRM(Salesforce, Hubspot, kintone, LINE)導入によるマーケティング最適化やバックオフィス業務の自動化など、常に「事業数値(売上・利益)」に直結する改善実績多数。

この記事が役に立ったらシェア: