AI名寄せ診断——マージ実行の前に「重複率と放置コスト」を数字で知る
AI名寄せ診断とは、マージを実行する前に、AIが実データを読み取り専用で調査し、「どれだけ重複していて、統合すると何件になるか」を実測の数字と推奨条件3案で示す機能です。名寄せの検討が進まない最大の理由は「うちのデータがどれくらい汚れているか、誰も数字で言えない」ことにあります。診断はこの数字を、データを1件も書き換えずに手に入れる手段です。この記事では診断の中身と、レポートの数値に「AIの申告値を一切使わない」という設計判断を解説します。
AI名寄せ診断とは——実行前の健康診断
「重複、多そうだよね」という感覚は社内の全員が持っています。しかし感覚では、稟議も優先順位も動きません。「顧客マスタ52,000件のうち、会社名と電話番号でまとめると4,800件が重複で、統合すると47,200件になる。うち住所が食い違うグループが120組ある」——ここまで言えて初めて、名寄せは検討テーブルに載ります。AI名寄せ診断は、この一段落を実データから自動で作る機能です。
診断が答える問いは3つです。第一に重複の量——何件が何件になるのか。第二に重複の質——どの列のどんな揺れが原因か(「株式会社山田製作所」と「(株)山田製作所」の法人格揺れなのか、全半角なのか、担当者の手入力ブレなのか)。第三に取るべき条件——どの列をどう正規化して突き合わせるべきか、の候補3案です。放置コストは金額ではなく件数と実例で示します。重複グループの実物——同じ会社が3行に割れている現場——を見せられることが、どんな試算表より説得力を持つからです。
そして診断は徹頭徹尾、読み取り専用です。調査で実行されるすべての問い合わせは読み取り専用の枠の中で走り、制限時間と取得行数の上限が掛かっています。診断によってデータが1件でも変わることはありません。「まず診てもらう」ことのハードルを、技術的にゼロまで下げてあります。
使いどころは大きく3つあります。
- 導入検討の前——「うちに名寄せは必要か」を、営業トークではなく自社データの実測で判断する
- 大掃除の設計前——初回のデータクレンジングの規模感(対象件数・条件の当たり)を見積もる
- 運用中の定期健診——名寄せ運用後も重複は流入し続けるので、汚れの再蓄積を定点観測する
3つの入り口——既存の箱・コネクタ・CSVアップロード
診断の対象データは、3通りの方法で用意できます。
- 既存の名寄せの箱——連載第1回で作った作業台のデータをそのまま診断します。すでに取り込み済みなら、すぐ始められます
- コネクタから作る——診断用の箱を新しく作り、コネクタからデータを引き込んでから診断します
- CSVをアップロード——手元のファイルから診断します。ファイルは10分間だけ有効な署名付きURLで外部非公開のストレージへ直接送られ、サーバ以外からは読み出せません。接続設定なしで診断だけ試したい場合の最短ルートです
もうひとつ、入り口に「このデータの意味をAIに伝える」という自由記述欄があります。これは診断の精度を大きく左右する仕掛けです。「lastnameが『ご担当者』の行は人名なしの匿名リード」「自社ドメインのメールは社内テスト」「商談化済みの行はマージ不可」——中身を知っている人にしか分からない背景をここに書くと、AIはそれを最優先の前提として調査し、テスト行の除外や匿名値の扱いを診断に織り込みます。書いた内容はレポートに「診断の前提」として記録されるので、後から読む人にも判断の文脈が残ります。
この欄は、いわばデータにまつわる暗黙知の置き場です。名寄せの失敗の多くは「その値は特別な意味を持つ」という現場の常識をツールが知らないことから起きます。診断の入り口でそれを書き出してもらう設計は、AIのためであると同時に、属人知識を文書化する最初の一歩でもあります。
AIの調べ方——プロファイル・仮説・実測のループ
診断の中でAIは、データを一瞥して印象を語るのではなく、専用の道具を持ってデータの中を調査します。進み方は人間のデータ分析者とよく似ています。
- ① 全列プロファイル——行数、各列の値の埋まり率・ユニーク数・サンプル値を最初に一望します。「電話番号は3割しか埋まっていない」といった土地勘をまず作る工程です
- ② 仮説と検証——読み取り専用の問い合わせを自由に発行し、表記揺れの実態(全半角・法人格・空白の混入)を確かめます
- ③ 条件の実測——「会社名の揺れを吸収して電話番号が一致」といった候補条件を実データでシミュレーションし、件数変化・重複グループ数・危険シグナルを測ります
- ④ 実例の確認——その条件で実際にまとまるグループの実物を取り出して、妥当かどうかを確かめます
- ⑤ レポート提出——期待した結果が出なければ列や正規化を替えて再検証し、最後に条件3案と所見をまとめて提出します
このループには規律が課されています。実測していない数値・実例をレポートに書いてはいけないこと、候補条件は必ず3案(安全重視・推奨・積極的)作って全案を実測してから比較すること、そして調査の道具を呼べる回数に上限があり、上限に達したら現時点の結論をまとめて終えることです。回数上限は暴走の予防であると同時に、「調べ尽くすより、要点を実測して早く返す」という診断の性格を決めています。実際の所要時間は通常1〜3分です。
調査の過程は、リアルタイムのログとして全部見られます。AIがどんな問い合わせを発行し、何が返り、どう考えを変えたか——ブラックボックスにしないことが、レポートの数字を信じてもらう最初の条件だと考えています。
数字はAIの申告を信じない——サーバ再実測の設計
診断でいちばん重要な設計判断がここです。レポートに載る数値と実例は、AIが書いたものを使いません。AIがレポートを提出すると、サーバがレポート内の各案の条件を受け取り、同じデータに対して自分で測り直し、その実測値をレポートに差し込みます。AIの役割は「どの条件を測るべきか」を決めることまでで、「測った結果がいくつか」は機械が答えます。
AIは条件を選び、数字はサーバが測る。診断レポートの件数・グループ数・危険シグナルは、すべて提出後にサーバが再実測した値。
なぜここまでするのか。生成AIは調査や説明は得意でも、長い作業の末に数字を転記する場面でミスをすることがあるからです。「52,340件」を「52,430件」と書いても、AIは気づきません。しかし診断の数字は、この後の意思決定と、実行後の結果照合の基準になります。だから数字の経路からAIを外し、条件→数値の変換を機械の仕事に固定しました。
もうひとつ地味に重要なのが、診断の数字を後段のマージエンジンと同じ意味論で測ることです。たとえば「条件に使う列のどれかが空欄の行は、一致しないものとして扱う」という規則。空欄同士を『同じ値』とみなしてしまうと、電話番号が未入力の会社同士が全部1グループにまとまる、という馬鹿げた集計になります。診断がこの規則を実行エンジンと共有しているから、「診断で見た数字」と「実行した結果の数字」が一致します。診断だけ良い数字が出て実行するとズレる——という不信の芽を、計測の定義レベルで摘んであります。
レポートの読み方——3案の比較と危険シグナル
診断レポートは4つの部品でできています。診断サマリ(何がどれだけ重複していて、どの案を推奨するか)、列の解釈(AIが各列をどんな意味のデータと読んだか——ここが違っていたら列名を見直して再診断するのが正しい使い方です)、条件3案の実測比較、そしてまとまる実例です。中心になる3案は、性格の違いで並びます。
| 案 | 条件の性格 | 向いている場面 | 残るリスク |
|---|---|---|---|
| 安全重視 | 複数の列の一致を要求する厳しめの条件 | 誤マージが業務に直結する基幹データ。最初の1回 | 拾い漏れが多め。重複が残る |
| おすすめ | 吸収する揺れと要求する一致のバランス型 | 多くの顧客マスタ・リードデータ | グレーな候補は承認キューで人が判断する前提 |
| 積極的 | 正規化を強めに効かせて広く拾う条件 | 展示会リストなど、多少の誤りより網羅を優先する場面 | 誤ってまとまるグループが混ざりやすい |
各案には件数の変化(何件→何件)、重複グループ数、削減行数に加えて、危険シグナルが付きます。これは「同じとみなしたグループの中で、住所や電話番号が食い違っている組がいくつあるか」という実測値です。同名の別会社を誤って束ねると、グループ内の住所が食い違う——この予兆を、確定前に数えて見せます。実在の例では「プラート」という名称の法人が愛知・栃木・福岡に3社あります。名称だけの突合がどれほど危ないかは、この1例で十分伝わるはずです。
実例も各案に付きます。「この条件だと、この3行がまとまります」という現物を見て、業務の目で「それは正しい」「それは別会社だ」と確かめる——数字と現物の両方で判断できることが、レポートを会議で使える資料にしています。
診断で終わらせない——そのまま名寄せ処理へ
診断レポートには、各案に「この案で名寄せ処理を作る」というボタンが付いています。押すと、その案の条件——どの列を、どの正規化で、どう突き合わせるか——がそのまま名寄せ処理として作成され、名寄せフローの画面で内容の確認・編集・実行に進めます。診断が使った条件の形式と、実行が使う条件の形式が同じだから、レポートで見た数字がそのまま実行の見込みになります。
診断から実行までの道のりを並べると、こうなります。
- 診断——重複の量と質を実測し、条件3案から1つ選ぶ
- 名寄せ処理の作成——選んだ案の条件が、編集できる形でそのまま処理になる
- 全件シミュレーション——「もしマージしたら」を全量で確かめる
- 承認——確信度の高いものは自動、グレーな候補は人が裁く
- 実行と書き戻し——確定した統合だけが元サービスへ反映される
ここから先は、この連載の後続回で扱う世界です。処理を作ったら全件シミュレーションで「もしマージしたら」を全量で確かめ(約600万件を90秒で回した実測があります)、承認キューでグレーな候補を人が裁いてから、実行と書き戻しに進みます。診断は入り口であって出口ではない——測って終わりのアセスメントレポートではなく、そのまま実行に接続する設計になっているのがナヨセルの診断です。
なお、AI名寄せ診断は商談前のデータ健康診断としてもお使いいただけます。手元のCSVでまず試したい方はお問い合わせから、料金の考え方は料金プランをご覧ください。
よくある質問
診断でデータが書き換わることはありませんか?
ありません。診断の調査はすべて読み取り専用の枠内で実行され、書き込みは一切発生しません。制限時間と取得行数の上限も掛かっているため、業務システム側に負荷をかけ続けることもありません。
どれくらい時間がかかりますか?
データの規模と汚れ方によりますが、通常1〜3分です。進行中は「AIの調査ログを見る」からリアルタイムで調査過程を確認できます。
AIはデータの中身をどこまで見ますか?
列名だけでなく中身も参照します。精度の高い診断には値の実態(揺れ方・欠損・代用値)の観察が不可欠だからです。そのうえで、調査の全過程はログに残り、提案はあくまで叩き台で、マージの確定は人の承認なしに行われません。
レポートの数字はどこまで信用できますか?
レポートの件数・グループ数・危険シグナルは、AIの申告値ではなくサーバが条件を受け取って再実測した値です。さらに計測の定義を実行エンジンと共有しているため、診断の数字と実行結果の数字が一致するように作られています。
診断の結果、名寄せが不要とわかることもありますか?
あります。重複がごく少ない、あるいは重複よりも欠損の補完(法人番号や住所の付与)が先だと分かるケースです。その場合も「何を先にすべきか」が実測付きで残るので、診断が無駄になることはありません。
料金プランと導入支援の内容がわかる
資料をご用意しています
サービス概要から料金プラン、2ヶ月の導入支援の進め方まで
まとめた資料を無料でダウンロードいただけます。