AIに業務データを質問する前に｜正解の分かる質問集で読んだ範囲を確かめる

たとえば、営業会議の前に、業務システムにつないだ AI に「9月の成約は何件？」と聞く。AI はシステムから商談を取り出して数え、数秒で答えを返す。担当ごとの内訳まで付いている。資料に貼る前に、念のため一覧の画面で件数を見比べると、数が合わない。AI の答えはどれも言い切りの形で、どこまで信じてよいのかが分からなくなります。

私たち Aurant Technologies は、マーケティングや営業のデータを集めて、施策を決めるところまでを支援している会社です。当社の社内で使っている業務システムに入っている打ち合わせの記録を AI に読ませて分析したときも、記録の取り出しが古い順に500件で切れる作りで、分析したかった6月以降の記録が足りませんでした。全文検索の条件を合わせて、6月以降の記録を取り直しています。

AI に業務システムのデータを取りに行かせて質問するなら、使い始める前に、答えが先に分かっている質問を用意し、AI に読んだ件数と読んだ範囲の最後を書かせて、システムの件数と見比べます。上限で切れた状況もわざと作って流し、切れた答えをその見比べで見分けられるかを、先に確かめておきます。進め方の全体は、次の6つの段です。

決めたいのは、AI が取ってきた答えを使うか、取り直すか

この記事で考えるのは、AI に業務システムへのつなぎ込みを渡し、AI が自分でデータを取り出して答える使い方です。この使い方では、AI がどこまで取り出したのかが、質問した人からは見えません。決めたいのは「AI が賢いかどうか」ではなく、返ってきた答えを会議に使うか、取り直すか、です。

一覧を書き出して AI に貼り付ける使い方なら、どこまで渡したかは自分の手元で分かります。その場合も、貼り付けた件数がシステムの全件数と同じかだけは、渡す前に確かめておきます。

質問集は、正解を先に数えられる質問で作る

次に、答えが先に分かっている質問を集めます。正解は、業務システムの一覧の画面で絞り込んで件数を見たり、一覧を表に書き出して集計したりして、先に出しておきます。正解を出せない質問は、答え合わせができないので入れません。

中身は、ふだん会議で聞く質問から取ります。件数（成約は何件か）、期間で絞る（9月に受注した成約は何件か）、担当や業種ごとに集計する、前年同月と比べる、条件で絞る（ある会社の商談をすべて）、税込に直す、といった質問です。

これに、ふだんは聞かないけれど確かめておきたい質問を足します。一つは、全件を見ないと決まらない質問です。「いちばん新しく作られた商談はどれか」は、一覧の最後まで読まないと答えられません。システムの一覧を作成日の新しい順に並べれば、正解はすぐ分かります。もう一つは、一覧に無いことを聞く質問（粗利、失注の理由、いない担当者の名前）と、データの書き換えを頼む質問です。こちらは、答えられない、書き換えられない、と返してくるかを見ます。

数は、合わせて20問ほどにします。少なすぎると、1問の当たり外れで判断が揺れます。多すぎると、正解を数える手間がかさみ、流し直すのがおっくうになります。

答えには、読んだ件数と読んだ範囲の最後を書かせる

AI に質問するときの指示には、答えと一緒に書いてほしいことを決めておきます。ここで使った指示の中身は、次の4つです。

1. 渡された一覧に書かれていることだけで答える。一覧に無い項目や値は作らない。
2. 答えられない質問は、答えられないと書き、理由を添える。
3. 答えごとに、読んだ件数と、読んだ範囲の最初と最後の日付を書く。
4. 一覧について気づいたこと（件数・期間・項目の欠け）を、答えとは別に書く。

3つ目がいちばん大事です。AI がシステムから取り出すときには、1回に取り出せる件数に上限が決まっていることがあります。たとえば kintone の開発者向けの公式の説明（cybozu developer network「複数のレコードを取得する」）には「一度に取得できるレコードは、500件までです」とあり、条件に合う全体の件数は、取り出す側が求めたときにだけ返る作りになっています。取り出しがこうした作りだと、上限で切れたことに気づかないまま、切れた範囲の中で数えた答えが返ってくることがあります。

上限で切れた状況をわざと作り、同じ質問を流す

AI に取りに行かせる使い方では、本番で切れるのを待ってから慌てるわけにはいきません。そこで使い始める前に、切れた状況を再現して流します。システムから一覧を書き出し、全件を渡す版と、古い順の先頭の一部だけを渡す版の2通りで、同じ質問集に答えさせます。古い順の先頭だけにするのは、上限で切れたときと同じ形にするためです。指示の文には、一部であることを書きません。ここでは、702件の商談の一覧と、そのうち古い順の500件だけを渡しました。

見たいのは、先頭だけの版で答えが違うことそのものではありません。違った答えを、次の節の2か所の見比べで見分けられるかです。

答えと正解を並べ、①読んだ件数と②読んだ範囲の最後を見比べる

答えが返ってきたら、正解と1問ずつ並べて、正しい・違う・答えなかった、の3つに分けます。一覧に無いことを聞く質問と書き換えの依頼は、断ったら正しい、と数えます。並べたのが次の画面で、先頭500件だけを渡した版を開いたところです。

見るのは2か所です。①の読んだ件数を、システムが示す一覧の全件数と比べます。②の読んだ範囲の最後を、システムの一覧を作成日の新しい順に並べたときの、先頭の作成日と比べます。全件を渡した版では、①は702件で全件数と同じ、②は10月10日で、システムで見える最新の作成日と同じでした。先頭500件だけの版では、①は500件、②は6月14日で、どちらも食い違います。

当社の件でも、足りなかったのは、古い順の500件より後ろにある、分析したかった6月以降の記録でした。古い順に切れれば、抜けるのは新しい側です。件数だけでは、何が抜けたのかまでは分かりません。範囲の最後の日付を見れば、いちばん見たい最近の分が入っていないことが、その場で分かります。

この版の AI は、一覧について気づいたことの欄に、6月14日より後に作成された商談は含まれていない、と書き、9月の成約を聞く質問には答えませんでした。それでも、最初の質問「この一覧に商談は全部で何件ありますか」には、「この一覧に商談は全部で500件あります。」と答えています。渡された一覧の中ではそのとおりで、AI の側からは、一覧の外に何件あるかは分かりません。全件数は AI に聞かず、システムの件数と照らします。全件を渡した版では、20問とも正解と合いました。

違った答えは、読んだ範囲との関係で分け、直し方を決める

違った答えと答えなかった質問は、理由ごとに分けます。理由によって直し方が違うからです。先頭500件だけの版で、答えを出すのに要る行が、読んだ範囲に何件入っていたかを質問ごとに数えると、次の図になります。

答えに要る行が全部、読んだ範囲に入っていた2問は合いました。一部だけが入っていた7問では、6問が違う数を言い切りの形で返し、残る1問（前年同月との比較）は答えを保留しました。成約の件数は247件に対して206件、ある会社の商談は13件のうち6件です。違った6問のうち5問は、読んだ500件の中で数え直すと合っている数でした。数え方ではなく、読んだ範囲が足りなかった、ということです。残る1問（流入経路ごとの成約率）は、読んだ範囲の中でも数え違いがありました。答えに要る行が範囲に1件も無かった9月の成約の4問には、AI は答えませんでした。

いちばん〜を聞く3問は、全件を見ないと決まらない質問です。提案中でいちばん古い商談は、古い順の先頭から読むので、答えの1件が読んだ範囲に入ります。いちばん金額の大きい成約は、答えの1件がたまたま500件の中にありました。この2問は合いました。いちばん新しい商談には、読んだ範囲の最後の商談を答えています。合ったからといって、全件を読めたことにはなりません。

直し方は、理由ごとに決めます。読んでいない行があったときは、取り出し方を直します。当社は、取り出しの上限はそのままにして、全文検索の条件を合わせて、6月以降の記録を取り直しました。見たいのが最近の分なら、期間で絞れば上限の内に収まることがあります。収まらないときは、期間を分けて取り出します。条件で絞って取り出したときは、①はその条件に合う件数と、②はその条件での最新の作成日と比べます。読んだ範囲の中の数え違いは、①②では見つかりません。数の大きい集計は、ときどきシステムの集計の画面で出した数と照らします。一覧に無い項目を聞いた3問は、どちらの版でも「無い」と答えました。全件を渡した版の AI は、いない担当者の名前を聞かれて、名前の近い別の担当者の件数を添えています。こうした言い換えはそのまま使わず、人が確かめます。

答えを使うのは、①②がシステムとそろったときだけにする

ここまでの答え合わせを、①②の見比べと並べたのが次の図です。

決まりは一つです。①読んだ件数がシステムの全件数と同じで、②読んだ範囲の最後がシステムで見える最新の作成日と同じときだけ、数を答える質問の答えを使います。1つでも食い違えば、その回の答えはまとめて使わずに取り直します。先頭500件だけの版では、違った7問と答えなかった5問が、この決まりで取り直しの側に入りました。たまたま合っていた4問も取り直しになりますが、本番では正解が手元に無く、どれが合っているかは分かりません。まとめて取り直すほうが確かです。

②を、データを取り出した日ではなく最新の作成日と比べるのは、取り出した日までに新しい商談が作られていないことがあるからです。この一覧でも、最後の商談は取り出した日の3日前に作られたものでした。

一覧に無いことを聞く質問と書き換えの依頼は、読んだ件数とは関係なく、断ったかを見ます。この質問集では、どちらの版も4問とも断りました。ただ、書き換えは、断るかどうかを AI の判断に頼る形にはしません。AI に業務システムを読ませるときは、渡す権限を読むだけにして、書き換えや削除はそもそもできないようにしておきます。

データが増えたら、同じ質問集を流し直す

使う条件は、一度決めたら終わりではありません。データが増えると、上限にかかる質問が変わります。今日は取り出しの上限に収まっている絞り込みも、半年後には収まらないかもしれません。

質問集は捨てずに残し、四半期に一度は同じ質問で流し直します。データの件数が取り出しの上限の8割を超えたときも、時期を待たずに流し直します。四半期と8割は、ここでの決めの値です。正解は、流し直すその日の画面で数え直します。前回の正解を使い回すと、データが増えた分だけ、正解のほうがずれます。

この進め方が受け持たないこと

この答え合わせで分かるのは、用意した質問について、その日のデータで AI がどう答えたかと、切れた答えを①②で見分けられたかまでです。ここで流したのは、同じ質問集をそれぞれ1回ずつで、同じ答えが毎回返る保証はありません。質問の言い方を変えたり、一覧の列が増えたりすれば、答えも変わります。全件を渡して20問とも合っても、もっと件数の多い一覧で同じように合うとは限りません。読んだ範囲の中の数え違いは、①②では見つかりません。また、業務システムの権限で見えない行は、AI が読む一覧にも、画面の全件数にも出てこないので、この方法では見つけられません。誰の権限で取り出すのかは、別に決めておきます。

画面と図は、商談の一覧と20問の質問集から作れる

画面と図は、商談の一覧（商談ID、作成日、会社名、業種、担当、商材、流入経路、状況、受注日、税抜の金額の10列、702件）と、20問の質問と正解から作りました。正解は、表計算の絞り込みと集計で出せる数です。答えたのは別の AI の担当で、指示の文と質問と一覧だけを渡し、件数や金額の計算にはプログラムや表計算を使わせず、一覧を読んで答えさせました。全件の版の担当は、一覧の行数を確かめるためにコマンドを1回使ったと記録しています（計算には使っていない、とのことです）。先頭500件の版は、最初の1回が手順どおりに流れなかった（全件を読んだ担当が答えた）ため、先頭500件の一覧だけを別の担当に渡して流し直しました。どちらの版も1回ずつで、正解は渡していません。指示の文には一部であることを書いていませんが、渡したファイルの名前は、先頭500件だと分かる名前でした。

まずは、よく聞く質問を5つ書き出し、先頭だけの版で①②を確かめる

明日からできるのは、会議でよく聞かれる質問を5つ書き出して、業務システムの一覧の画面で正解を数えておくことです。1つは「いちばん新しく作られたものはどれか」にします。次に、一覧を書き出して古い順の先頭だけを残したものを用意し、全件と先頭だけの2通りで AI に同じ5問を聞いて、読んだ件数と読んだ範囲の最後を書かせます。先頭だけの版で①②が食い違うことを確かめておけば、AI に取りに行かせて使うときも、同じ2か所を見て、使うか取り直すかを決められます。

業務データを AI で読む仕組みづくりや、使う条件を決める答え合わせは、当社のデータ分析の支援で一緒に進められます。