データ品質管理とは?完全性・正確性・適時性の確認方法と進め方

会議で示された売上の数字が、資料によって少しずつ違う。名簿を数え直すと、同じお客様が二つの名前で載っていた。画面は整っているのに、肝心の項目が空欄のまま集計から漏れていた。データを使って仕事をしていると、このような場面に一度は出会います。多くの場合、原因はデータを扱う人の注意不足というより、データそのものが「使える状態」かどうかを確かめる仕組みがなかったことにあります。この、データが使える状態かどうかを確かめ、保ち続けるための取り組みが、データ品質管理です。
データ品質管理は、難しい専門技術の話に見えますが、考え方はそれほど複雑ではありません。料理にたとえると、どれほど腕のよい料理人でも、傷んだ食材や足りない食材からは良い料理を作れません。データも同じで、分析や報告書、AI(人工知能)の活用といった「料理」の前に、素材であるデータが、必要なものがそろっているか、事実と合っているか、必要なときに新鮮かを確かめる必要があります。この三つの問いにあたる観点が、本記事の副題にある完全性、正確性、適時性です。
本記事では、データ品質管理をまったく知らない方を想定して、基礎から順に説明します。最初に、データ品質管理とは何か、なぜ必要なのかを確認し、品質が悪いと現場で何が起きるかを見ます。次に、品質を構成する観点を整理したうえで、完全性、正確性、適時性を一つずつ、どのように確認するのかを掘り下げます。さらに、一貫性、一意性、妥当性といった周辺の観点、データ品質を管理する流れ、データの流れのどこで確認するか、問題が見つかったときの対応、体制の作り方、よくある誤解と失敗を扱い、最後に初心者が小さく始めるための手順を示します。
読み終えたときには、自分の身近なデータを一つ選び、完全性・正確性・適時性の三つの観点でどこを見ればよいかを言葉にでき、最初の確認表を作れる状態を目指します。なお、本記事の内容は一般的な考え方の整理です。必要な品質の水準や運用の方法は、業務の内容、システム構成、契約、社内の規程によって変わるため、実際の導入にあたっては自社の状況に照らして決めてください。文中の件数や割合は、説明のための仮定です。
1. データ品質管理とは何か?なぜデータの品質を管理する必要があるのか?
データ品質管理とは、データがこれから使う目的に対して十分に信頼できる状態かどうかを、決まった観点と手順で確認し、問題があれば直し、状態を保ち続ける取り組みです。
1.1 料理の素材にたとえて考えるデータ品質
データ品質を最初に理解するには、素材と料理の関係で考えると分かりやすくなります。レストランの厨房では、仕入れた食材をそのまま調理に回すことはありません。数や鮮度、傷みの有無を確認し、使えるものと使えないものを分けてから調理に入ります。これは、素材が悪ければ、その後の工程でどれだけ丁寧に調理しても、完成品の質に限界があることを経験的に知っているからです。
データの仕事でも同じ構造があります。売上の集計や顧客の分析、需要の予測といった「調理」は、入力されたデータという「素材」の上に成り立っています。素材に欠けや誤りや古さがあれば、集計の計算が正しくても、出てくる結論は信頼できません。ところが、データは見た目には食材のように傷みが分かりにくく、整った表やグラフになると、あたかも正しい情報であるかのように見えてしまいます。だからこそ、見た目ではなく決まった観点で確かめる習慣が必要になります。
データ品質管理は、この「仕入れの確認」と「保管の管理」を、データについて行う活動だと考えると理解しやすくなります。仕入れの確認は、新しくデータを取り込むときの確認にあたり、保管の管理は、すでに蓄積されたデータが時間とともに劣化していないかの点検にあたります。どちらも、使う人が安心して使える状態を保つという一つの目的につながっています。
1.2 データの品質は、完璧さではなく目的への適合で決まる
初心者が最初につまずきやすいのは、データ品質を「間違いが一つもないこと」と考えてしまう点です。現実のデータは、人が入力し、複数のシステムを通り、時間とともに変わるため、まったく誤りのない状態を保つことはほとんどできません。完璧を目指すと、確認に膨大な手間がかかり、かえって続かなくなります。
一般には、データ品質は「その用途で困らない水準を満たしているか」で捉えるのが実務的だとされています。たとえば、月ごとの売上傾向を見るだけなら、前日分の数字が少し古くても判断には支障がないかもしれません。しかし、在庫の引き当てを毎時間行う業務では、数時間前の在庫数は危険です。同じデータでも、使う目的によって求められる水準は異なります。したがって、データ品質管理の第一歩は、このデータを何のために使うのかを確認し、その目的に必要な水準を決めることになります。
たとえばSYPのインサイト記事「データ品質とは?定義・評価軸・改善手順をやさしく整理」では、データ品質を完璧さの競争ではなく、利用目的に対して意思決定に耐える状態として捉える考え方が紹介されています。目的を起点にするという点は、本記事の考え方とも一致しています。
1.3 品質管理、品質保証、データガバナンスとの位置づけ
データ品質管理に似た言葉として、品質保証やデータガバナンスがあります。混同しやすいため、役割の違いを整理しておきます。一般的な整理では、品質管理は、実際のデータを確認して問題を見つけ、直す活動を指します。これに対して品質保証は、問題が起きにくい作り方や基準そのものを整える、より広い枠組みを指します。ソフトウェア開発の分野でも、テストは品質を確認する手段であり、QA(品質保証)は品質を保つ枠組みである、という整理がよく使われます。
データガバナンスは、さらに広く、データを誰が管理し、誰が使ってよく、どのルールで扱うかを定める仕組みを指します。データ品質管理は、このガバナンスの中で、品質の基準を決め、守られているかを確認する部分を担います。つまり、ルールの枠組みがガバナンス、そのルールに沿って品質を確かめる実務が品質管理、というおおまかな関係になります。
初心者のうちは、この三つの言葉を厳密に区別する必要はありません。大切なのは、データの品質は個人の注意力に頼るものではなく、基準と手順と担当者を決めて仕組みとして支えるものだという点です。以降の章では、その仕組みを構成する要素を、一つずつ具体的に見ていきます。
1.4 品質管理の対象は、データの値だけではない
データ品質管理というと、表の中の値を直す作業を思い浮かべがちですが、対象はそれだけではありません。値の背後には、値を作る入力の画面、値を運ぶ連携の処理、値を集計する計算の定義、値を扱う人の運用ルールがあります。値だけを直しても、これらの仕組みが変わらなければ、同じ誤りがまた生まれます。
そのため、データ品質管理は、結果としてのデータを確認する活動と、問題が生まれにくい作り方を整える活動の、両方を含むと考えるのが実務的です。ITにおけるQA(品質保証)を扱った解説記事「ITにおけるQA(品質保証)とは?」では、品質は最後の確認だけで決まるのではなく、要件や設計、レビューといった前工程の積み重ねで決まるという見方が示されています。ソフトウェアの話ですが、データでも、後から直すより、作られ方を整える方が効果的だという点は共通しています。
初心者の段階では、まず結果のデータを確認することから始めて構いません。確認を続けるうちに、同じ種類の問題が繰り返される場所が見えてきます。その場所が、入力や連携や定義といった作られ方を見直すべき箇所です。確認と作り方の改善を行き来させることで、品質は少しずつ安定していきます。
2. データ品質が悪いと、現場では何が起きるのか?
データ品質の問題は、画面の上では目立たないまま業務に入り込み、気づいたときには判断の誤りや手戻りとして現れます。
2.1 数字が合わず、会議が止まる
もっとも身近な影響は、数字が合わないことです。部門ごとに集計した売上が一致しない、同じ指標なのに資料ごとに値が違うといった状況では、会議の時間が議論ではなく数字の確認に使われてしまいます。原因をたどると、データそのものの誤りではなく、集計の対象や期間、除外条件といった定義の食い違いであることも少なくありません。
この種の食い違いは、一度起こると、毎回の会議で再発しやすい性質があります。誰がどの数字を正とするかが決まっていないため、担当者が個別に調べて説明し、その場では収まっても、次の資料では別の担当者が別の方法で集計します。結果として、数字に対する信頼が下がり、データを見て判断すること自体が避けられるようになります。
データ品質管理が目指すのは、特定の数字を正しくすること以上に、同じ定義で測り続けられる状態をつくることです。そのためには、指標の意味や計算方法を共有し、どのデータが元になっているかを明らかにしておく必要があります。数字の食い違いは、データの質と定義の質の両方を見直す合図として捉えるのがよいでしょう。
2.2 見えない欠損が判断をゆがめる
欠損は、データが入っていない状態を指しますが、厄介なのは、欠損した部分が結果の表の上では「存在しないもの」として扱われ、見えなくなる点です。たとえば、あるお客様の属性が入力されていなければ、その属性で絞り込んだ集計からは静かに除外されます。除外された件数が少なければ影響は小さいのですが、特定の経路や特定の担当者の入力だけが欠けている場合、集計の結果に偏りが生まれます。
偏りのある欠損は、全体の欠損の割合だけを見ても気づきにくいものです。たとえば、全体としては欠損が少なくても、特定の店舗の分だけ丸ごと入っていなければ、その店舗は分析から消えてしまいます。そのため、欠損を調べるときは、全体の割合に加えて、どこに偏っているかを見る視点が欠かせません。
欠損の影響を受けるのは、人の判断だけではありません。後の章で述べるように、AIや自動化の仕組みに使うデータでは、欠損が特定の層に偏っていると、その層に対する判断だけが不正確になることがあります。見えにくい欠損を見えるようにすることが、データ品質管理の最初の仕事の一つです。
2.3 古い情報と重複が生む誤った対応
古い情報は、最新だと思い込んで使われるときに問題になります。画面に表示されている在庫数や顧客の状況が、実は数時間前、あるいは前日の状態だったという場合、その数字に基づいた判断は一歩遅れます。営業担当者が古い連絡先に連絡する、すでに完売した商品を案内するといった形で、顧客に直接影響することもあります。
重複もまた、見過ごされやすい問題です。同じ顧客が二つの登録を持っていると、案内が二重に届く、売上や購入履歴が分散して顧客像がゆがむ、顧客数が実際より多く見えるといった問題が起こります。重複は、表記の揺れ、たとえば法人格の有無や全角と半角の違いによって生じることが多く、見た目では別の対象に見えるため、機械的に見つけるのが簡単ではありません。
古さと重複に共通するのは、データ自体は「存在している」ため、エラーとして検知されにくい点です。システムが正常に動いていても、中身は使えない状態になり得ます。だからこそ、システムが動いているかではなく、データの中身が目的に合っているかを確認する、独立した仕組みが必要になります。
2.4 分析やAIに使うほど影響が広がる
データを分析やAIに使う場面が増えるほど、品質の影響は大きくなります。人が表を見て判断する場合は、おかしな数字に気づいて立ち止まることもできます。しかし、自動で集計し、自動で判断を出す仕組みでは、おかしなデータもそのまま取り込まれ、結論に反映されます。
特にAIの学習や予測に使うデータでは、欠損の偏りや古い情報、定義の食い違いが、そのまま判断の偏りや精度の低下として表れる可能性があります。一般に、モデルの工夫より先に、データの質を整えることが重要だとされるのは、このためです。
また、データの利用者が増えるほど、一つの誤りが多くの場所に波及します。同じ元データから多数の資料や画面が作られている場合、元の誤りを直さない限り、すべてに誤りが残ります。こうした波及を考えると、データ品質管理は、個々の資料を直す作業ではなく、元になるデータの状態を管理する活動だと分かります。
2.5 問題は、見つかるのが遅いほど直す費用が大きくなる
品質の問題には、見つかる時期によって、直すための手間が大きく変わるという性質があります。入力の時点で見つかれば、その場で入力し直すだけで済みます。取り込みの時点で見つかれば、その処理を止めて、元のデータを確認すれば足ります。しかし、集計や報告に使われた後で見つかった場合は、誤りを含む資料をすべて探し出し、関係者に知らせ、直した資料を出し直す必要があります。
特に、データを受け取って次の処理に流す仕組みでは、誤りが下流へ進むほど、影響を受ける場所が増えます。見つかった時点でそのデータがどこまで使われたかを調べるのも、手間のかかる作業になります。
この性質を踏まえると、データ品質管理では、問題が起きた後の対応だけでなく、できるだけ上流で早く見つける仕組みに投資する意味が分かります。具体的には、後の章で述べる入力時の確認、取り込み時の自動確認、変化を知らせる監視を、データの流れの早い段階に置くことになります。
3. データ品質にはどのような観点があり、完全性・正確性・適時性とは何を指すのか?
データ品質は一つの数字ではなく、複数の観点の組み合わせで捉えます。その中でも、完全性、正確性、適時性は、最初に押さえたい三つの観点です。
3.1 品質を構成する観点の全体像
データ品質の観点は、資料によって数え方や呼び方が少しずつ異なりますが、よく挙げられるものがあります。前述の解説記事では、正確性、完全性、一貫性、一意性、適時性(鮮度)、妥当性、目的適合性という観点が整理されており、どこが崩れているかを切り分けて考えることが勧められています。
この整理を、日常の言葉に直すと次のようになります。正確性は「事実と合っているか」、完全性は「必要な項目や件数がそろっているか」、一貫性は「定義や表記がそろっているか」、一意性は「同じ対象が重複していないか」、適時性は「必要な時点で最新か」、妥当性は「決められた範囲や形式に収まっているか」、目的適合性は「使い道に必要な粒度と範囲があるか」です。
観点を分けて考える利点は、問題の原因を切り分けやすくなることです。数字がおかしいという漠然とした不安を、欠けているのか、古いのか、重複しているのか、定義が違うのかというように具体的に分解できれば、対策も具体的になります。
3.2 完全性、正確性、適時性は何を問うのか
本記事が中心に据える三つの観点は、それぞれ別の失敗を防ぎます。完全性は、必要なものが欠けていないかを問う観点です。項目の空欄だけでなく、本来あるはずの行そのものが取り込まれていない場合も含まれます。見えない欠けを見つけることが、完全性の役割です。
正確性は、入っている値が事実と合っているかを問う観点です。入力の間違い、変換の間違い、連携の間違いによって、値は存在していても事実とずれることがあります。値が入っていることと、値が正しいことは別だという点が重要です。
適時性は、必要な時点で最新の状態になっているかを問う観点で、データ鮮度とも呼ばれます。値が正しくても、古ければ判断には使えません。この三つは、「そろっているか」「合っているか」「新しいか」と言い換えられ、料理でいえば、足りない食材はないか、食材は本物か、食材は新鮮か、という確認にあたります。
3.3 三つ以外の観点は、どのように位置づければよいのか
完全性、正確性、適時性だけでデータ品質のすべてが決まるわけではありません。たとえば、同じ顧客が二重に登録されている場合、各項目は埋まっていて、値も間違っておらず、更新も新しくても、顧客数の集計はゆがみます。これは一意性の問題です。また、売上の定義が部門ごとに違う場合は、各数字が正確でも比較は成立しません。これは一貫性の問題です。
こうした観点は、三つの観点を補う位置づけです。初心者のうちは、まず完全性、正確性、適時性の三つで基本の健康診断を行い、その結果や業務の要請に応じて、一貫性、一意性、妥当性を足していく進め方が現実的です。最初からすべてを測ろうとすると、手間が増えて続かなくなります。
どの観点を重く見るかは、データの用途によって変わります。日々の運用判断では適時性が重く、月ごとの経営判断では定義の一貫性が重いといった具合です。観点の優先順位は、後の章で述べる品質管理の流れの中で、目的から逆算して決めていきます。
3.4 用途から、重く見る観点を選ぶ
観点がいくつもあると、どれを重く見るべきか迷います。判断の手がかりは、そのデータが使われる場面で、何が起きると一番困るかを考えることです。請求書を作るデータなら、金額や宛先が事実と違うことが最も困るため、正確性が重くなります。毎朝の在庫の確認に使うデータなら、古いことが最も困るため、適時性が重くなります。
一方、顧客の傾向を分析するデータなら、特定の層の属性が欠けていることが最も困るため、完全性が重くなります。複数の部門の数字を比べる経営の報告なら、定義が食い違うことが最も困るため、一貫性が重くなります。このように、用途と困りごとを結び付けると、観点の優先順位が自然に決まります。
この考え方を使えば、すべての観点を同じ水準で管理する必要はないと分かります。重い観点には厳しい基準と高い頻度の確認を置き、軽い観点には緩やかな確認で足ります。限られた手間を、影響の大きいところに集中させることが、続けられる品質管理の基本です。
4. 完全性はどのように確認すればよいのか?
完全性の確認は、必要な項目が埋まっているかと、本来あるはずの件数がそろっているかの二つを、決まった基準で数えることから始まります。
4.1 完全性には「項目の欠損」と「行の欠落」がある
完全性という言葉は、二つの異なる状態を含んでいます。一つは項目の欠損で、行は存在するものの、その中の特定の欄が空欄になっている状態です。たとえば、顧客の登録はあるが、連絡先の欄が空であるような場合です。もう一つは行の欠落で、本来あるはずの行そのものが存在しない状態です。たとえば、ある日の注文が一件も取り込まれていないような場合です。
この二つは、見つけ方が異なります。項目の欠損は、データの中を調べれば見つけられます。必須の欄を数えて空欄の割合を出すといった方法です。これに対して行の欠落は、データの中だけを見ても分かりません。存在しない行は、存在しないからです。元のシステムの件数や、前日までの推移、別の資料の件数と突き合わせて、初めて足りないことに気づけます。
初心者が見落としやすいのは、後者の行の欠落です。項目が埋まっていると安心してしまいますが、取り込みの途中で一部が落ちていれば、全体の結果は静かに小さくなります。完全性を確認するときは、必ず項目の欠損と行の欠落の両方を意識し、件数の突き合わせを確認に含めることをお勧めします。
4.2 空欄の種類を分けて考える
空欄は、一種類ではありません。同じ空欄でも、原因によって意味が異なります。たとえば、そもそも入力する必要がない項目が空の場合は、問題ではありません。入力すべきなのに入れ忘れた場合は、欠損です。入力しようとしたが、該当する値がなかったので空にした場合もあります。システムの不具合で値が失われた場合は、その原因を直す必要があります。
これらを区別せずにすべて空欄として数えてしまうと、数字の意味が曖昧になります。そこで、確認の前に、どの項目が必須で、どの項目が条件付きで必須で、どの項目が任意なのかを決めておきます。条件付きで必須とは、たとえば法人のお客様の場合だけ会社名が必須になるといった項目です。この区分を決めておくと、本当に問題のある欠損だけを数えられるようになります。
また、「未入力」と「該当なし」を、画面上で区別して入力できるようにしておくことも有効です。空欄のままでは意味が分からないため、入力時に選択肢を用意して、意味のある値を入れてもらうと、後から確認しやすくなります。データベースの世界では、値が入っていない状態をNULL(値が入っていない状態)と呼びますが、その意味を運用で決めておくことが大切です。
4.3 確認の方法:必須項目の割合と、件数の突き合わせ
完全性を数値で確認する基本は、欠損率の計算です。必須の項目について、空欄の件数を、確認の対象とした件数で割れば、欠損率が得られます。ここで重要なのは、割る側である分母を何にするかを、先に決めることです。対象を、すべての登録にするのか、直近で更新されたものだけにするのか、特定の条件に当てはまるものだけにするのかで、数字の意味が変わります。
たとえば、十件の顧客の登録のうち、必須の連絡先が二件で空欄なら、欠損率は二割です。ただし、この数字は、必須の項目だけを分母にした場合の話で、任意項目を含めると数字が変わってしまいます。
※数値は説明のための仮定であり、実際の業務やデータの実績を示すものではありません。
行の欠落については、元データの件数と取り込み後の件数を突き合わせる確認が基本です。取り込みの前後で件数が一致するかを確かめ、一致しない場合は、その差が意図した除外によるものか、取りこぼしによるものかを調べます。あわせて、日ごと、週ごとの件数の推移を見て、急な減少がないかを確認する方法も有効です。
4.4 欠損の偏りと原因を見る
全体の欠損率が低くても、安心はできません。欠損が特定の入力経路、特定の拠点、特定の期間に集中していないかを見る必要があります。これは、全体の平均だけでは、一部の深刻な問題が隠れてしまうためです。切り口を変えて、経路別、拠点別、期間別に欠損率を並べて見ることで、偏りが浮かび上がります。
偏りが見つかったら、原因を切り分けます。入力画面の項目が見つけにくい、入力の手間が大きい、担当者への周知が不足している、連携の仕組みが特定の項目を渡していない、といった原因が考えられます。原因が入力の仕組みにあるなら、画面や運用を変えることで、欠損を根本から減らせます。
後から欠損を埋める作業は、手間がかかり、確実性も低くなります。そのため、可能な限り、入力の時点で必須チェックをかける、取り込みの時点で拒否や警告を出すといった、入口で防ぐ設計を併用します。確認は、欠損を見つける手段であると同時に、入口の設計を見直す材料でもあります。
4.5 欠損を埋めるときの注意
欠損が見つかったとき、空欄を何かの値で埋めたくなることがあります。しかし、埋め方を誤ると、かえって品質を下げます。たとえば、空欄を「ゼロ」で埋めると、本当にゼロなのか、分からないのかが区別できなくなり、平均などの集計がゆがみます。意味のない文字で埋めると、後で本当の値と見分けられなくなります。
一般的には、まず元のデータや担当者に確認して、本当の値を取り戻す方法が最も確実です。取り戻せない場合は、「不明」であることを明示して残し、集計から除くのか、別の扱いにするのかを、ルールとして決めておきます。統計的な方法で推定した値を補う場合もありますが、その場合は、推定した値であることが分かるように印を付けておきます。
補う作業は、必ず記録を残します。いつ、誰が、どの方法で補ったのかが分かれば、後から結果の見方を判断できます。補う方法は、データの用途によって許される範囲が異なるため、データオーナーと相談して決めることが望ましいでしょう。
5. 正確性はどのように確認すればよいのか?
正確性は、データが事実と一致しているかを問う観点で、完全には証明できないため、照合やサンプル調査、整合のルールを組み合わせて確かめます。
5.1 正確性は「事実との一致」を問う
正確性は、データに入っている値が、現実の事実と合っているかどうかを問う観点です。たとえば、顧客の電話番号が実際の番号と一致しているか、商品の価格が正しい価格か、注文の数量が実際の注文と合っているかといったことです。
完全性が「あるかないか」を数えられるのに対して、正確性は「合っているかどうか」を判断する必要があるため、確認の難しさが異なります。値が入っているかどうかは機械的に判定できますが、その値が事実と合っているかは、事実を確認できる別の情報と照らし合わせなければ分かりません。
この性質のため、正確性は、完全性や適時性に比べて、確認に手間がかかります。どの項目の正確性が業務にとって重要かを見極め、重要な項目に絞って確認することが現実的です。たとえば、請求に関わる金額や、連絡に使う連絡先のように、誤りが直接の損失や手戻りにつながる項目から優先します。
5.2 確認の方法:照合、サンプル調査、整合ルール
正確性を確かめる主な方法は三つあります。一つ目は、信頼できる別の資料との照合です。たとえば、帳票や契約書、元のシステムの値と、データの値を突き合わせます。照合の相手が信頼できるかどうかが前提になりますが、確実性の高い方法です。
二つ目は、サンプル調査です。全件を照合するのは現実的でないことが多いため、一部の件数を抜き出して詳しく確認し、誤りの割合を推定します。抜き出し方に偏りがあると推定がゆがむため、無作為に近い形で選ぶ、重要な区分ごとに選ぶといった工夫が必要です。
三つ目は、整合ルールによる確認です。値そのものの正誤は分からなくても、値同士の関係から矛盾を見つけられる場合があります。たとえば、出荷日が注文日より前になっている、数量と単価と金額の関係が合わないといった場合です。こうしたルールで確認すれば、全件を機械的に調べられます。ただし、ルールで見つかるのは矛盾が明らかな誤りだけで、すべての誤りを検出できるわけではありません。
5.3 誤りは、入力、変換、連携のどこで生じるのか
正確性の問題は、データが生まれてから使われるまでの、さまざまな場所で発生します。最初は入力の段階です。人が入力する際の打ち間違いや、勘違い、項目の取り違えが起こります。次に変換の段階です。データの形式を変える、複数の表を結合する、値を計算する処理の中で、ロジックの誤りや型の変換の誤りが混入します。さらに、複数のシステム間で連携する段階です。送り手と受け手で、項目の意味や単位の前提が食い違うと、値は届いていても意味が変わってしまいます。
たとえばSYPの「複数システム間データ連携でよくある失敗」では、同じ項目名でも部門ごとに意味や計算方法が異なることがあるため、項目名だけで判断せず業務上の意味まで確認する必要があることや、どのシステムを正しい情報源とするかを決めておく必要があることが述べられています。
原因が生じる場所を知っておくと、確認を置く位置が決まります。入力に原因があるなら入口の検証を、変換に原因があるなら変換後の検証を、連携に原因があるなら連携の前後の突き合わせを強化します。誤りを見つけたときに、どの段階で生じたかをたどれるよう、データの来歴を残しておくことも、正確性の管理では重要です。
5.4 正確性は完全には証明できないことを理解する
正確性について、初心者が理解しておくべき大切な点は、完全な証明はできないということです。値が事実と一致していることを、すべての件で確かめるには、すべての件を現実と照合するしかありません。それは多くの場合、費用や時間の面で現実的ではありません。
そのため、正確性の管理は、誤りがないことを証明する活動ではなく、誤りが業務に影響しない水準に収まっていることを、確からしさとして確認する活動になります。サンプル調査の結果から誤りの割合を推定し、それが許容できる範囲かを判断します。許容できる範囲は、データの用途によって異なり、請求や安全に関わる項目では厳しく、傾向をつかむだけの項目では緩やかになります。
また、誤りを完全になくそうとするよりも、誤りが見つかったときに、早く気づき、影響範囲をつかみ、直せる仕組みを整える方が、実務では効果的です。入力時の検証、変換後の整合確認、定期的なサンプル調査を組み合わせて、誤りの混入を減らしつつ、残った誤りを早期に発見するという考え方で進めます。
5.5 単位、通貨、税の扱いをそろえる
正確性の問題として、見落とされやすいのが、単位や通貨、税の扱いの違いです。数量が個数なのか箱数なのか、金額が税込なのか税抜なのか、通貨が円なのかドルなのかが混ざると、各値は入力した人にとっては正しくても、合計や比較をすると誤った結果になります。
前述の解説記事では、データ品質が問題になる場面として、重複と単位の混在が挙げられており、税込と税抜が混ざった誤った合計が生まれる例が示されています。このような混在は、値が存在し、形式も正しいため、機械的な検知では見つかりにくいという特徴があります。
対策は、単位や通貨、税の扱いについて統一のルールを決め、データを取り込む時点でそろえることです。そろえられない場合は、単位を示す項目を別に持たせ、どの単位で入っているかを値と一緒に管理します。入力の画面にも単位を明示しておくと、入力の段階での取り違えを減らせます。
6. 適時性はどのように確認すればよいのか?
適時性は、データが必要な時点で最新の状態になっているかを問う観点で、最終更新の時刻と、必要な時点との差を見て確認します。
6.1 データ鮮度は、速さではなく必要な時点への間に合いで決まる
適時性は、データ鮮度とも呼ばれます。ここで誤解されやすいのは、鮮度を「できるだけ新しいほど良い」と考えることです。実際には、鮮度は、データを使う目的の時点に間に合っているかで評価します。月次の報告に使うデータなら、月末の締めに間に合う更新で十分です。毎時間の在庫の判断に使うデータなら、時間単位の更新が必要になります。
SYPの「データ鮮度をどう理解するか?」では、データ鮮度は絶対的な速さではなく、利用文脈に対する相対的な適時性で評価されるべきだとされ、更新頻度や遅延とは区別して扱われています。何でも即時に更新しようとすると、仕組みが複雑になり、運用の費用も増えるため、用途ごとに必要な鮮度を割り当てる考え方が示されています。
この考え方を使えば、適時性の確認は、まず「このデータは、いつまでに最新である必要があるか」を業務ごとに決めることから始まります。その基準がなければ、遅れているのかどうかを判断できません。
6.2 最終更新時刻と、出来事の発生時刻の差を見る
適時性の基本的な確認方法は、最終更新時刻を記録し、現在の時刻や必要な時点との差を見ることです。画面や報告に、このデータがいつの時点のものかを表示すれば、利用者は自分で古さを判断できます。KPI(重要業績評価指標)の画面でも、最終更新の時刻やデータの出どころを表示すると、利用者の信頼につながるとされています。
もう一つ見るべきなのは、出来事が実際に起きた時刻と、それがデータとして使えるようになった時刻の差です。たとえば、店頭で商品が売れた時刻と、それが集計の画面に反映された時刻の間には、取り込み、変換、集計といった工程による遅れが入ります。この差を測れば、遅れの大きさが分かります。
遅れを測るときは、平均値だけでなく、時々生じる大きな遅れにも注意します。平均では問題がなさそうに見えても、特定の時間帯にだけ極端に遅れる場合、その時間帯の判断は古いデータで行われることになります。そのため、遅れの最大値や、基準を超えた回数も併せて見ることが推奨されます。
6.3 遅れが生じる箇所を、工程ごとに特定する
遅れを減らすには、どの工程で時間を失っているかを突き止める必要があります。データが生まれてから使われるまでには、収集、転送、変換、集計、表示といった複数の工程があり、遅れはその、どこでも起こり得ます。全体の遅れだけを見ていても、改善の手がかりは得られません。
たとえば、元のシステムでの更新が遅いのか、夜間にまとめて取り込む方式のため待ち時間が生じているのか、集計の処理が重く時間がかかっているのか、画面の更新間隔が長いのかによって、対策は変わります。ETL(抽出・変換・ロードというデータを集めて整える一連の処理)の方式を、一括で行うものから細かく刻むものに見直すといった対策も、遅れの原因が取り込みにある場合に有効です。
なお、鮮度を上げることには、費用と複雑さが伴います。すべてのデータを高い鮮度にするのではなく、業務への影響が大きいデータだけを高い鮮度にするという優先順位付けが現実的です。遅れの原因を工程ごとに分解し、費用に見合う箇所から改善するという進め方になります。
6.4 速報値と確定値を分けて見せる
データによっては、時間がたってから値が確定するものがあります。たとえば、売上は当日の速報値が出た後、返品や訂正を反映して確定値になります。速報値は早く見られる利点がありますが、後で変わる可能性があります。
この違いを区別せずに表示すると、利用者が速報値を確定値と思い込み、後で値が変わったときに混乱します。そのため、画面や報告では、どの値が速報で、どの値が確定かを明示します。速報値を使う場面では、後で変わり得ることを理解したうえで使うルールを決めておきます。
適時性の管理は、更新の速さを競うことではなく、利用者が自分の判断に使ってよいデータかを正しく見分けられるようにすることです。最終更新の時刻、速報と確定の区別、更新が止まったときの警告といった情報を、利用者に分かる形で提供することが、適時性を支える実務になります。
6.5 日付と時刻の基準をそろえる
適時性を測る際に、よく起こる誤りの一つが、日付と時刻の基準の不一致です。システムによって、日本時間で記録するもの、世界共通の時刻で記録するもの、日付だけで時刻を持たないものが混ざっていると、遅れの計算がずれます。
たとえば、夜間に取り込む処理で、取り込みの時刻が日付をまたぐと、どの日の分のデータなのかが曖昧になります。また、時刻の記録がシステムの内部の時計に依存している場合、時計のずれが遅れの測定に影響することもあります。
対策は、記録する時刻の基準を一つに決め、どのシステムでも同じ基準で記録することです。基準を決めたうえで、画面に表示するときに利用者の使う時刻に直します。日付の切り替わりの時刻、つまり業務上の一日を何時で区切るかも、定義書に明記しておくと、日ごとの集計のずれを防げます。
7. 一貫性・一意性・妥当性は、三つの観点とどのように組み合わせて確認するのか?
完全性、正確性、適時性に加えて、一貫性、一意性、妥当性を見ると、三つだけでは見つからない問題を拾えるようになります。
7.1 一貫性:定義と表記をそろえる
一貫性は、同じ対象や同じ指標が、システムや部門をまたいで同じ定義、同じ表記で扱われているかを問う観点です。たとえば、売上を税込で数えるのか税抜で数えるのか、計上の日を注文日とするのか出荷日とするのかが、部門ごとに違うと、各部門の数字は正確でも、比較や合算ができません。
表記の面でも一貫性は重要です。会社名の「株式会社」の有無、全角と半角、略称の違いなどがそろっていないと、後に述べる重複の原因になります。表記をそろえる作業を、一般にデータの正規化や標準化と呼びます。
SYPの「データ正規化とは?」では、正規化は、同じ情報の重複を減らして更新対象を明確にし、値の食い違いを防ぎやすくするための設計原則とされています。一方で、正規化だけでデータ品質が保証されるわけではなく、入力検証や制約と組み合わせる必要があることも述べられています。一貫性は、定義書や用語集で意味を共有することと、システム側で表記をそろえることの両面で支えます。
7.2 一意性:重複を見つけ、名寄せする
一意性は、同じ対象が二重に存在していないかを問う観点です。重複には、識別番号まで完全に同じ行が複数ある場合と、表記が揺れていて別の対象に見える場合があります。前者は、識別番号に一意の制約をかけることで防げます。後者は、名前や住所、電話番号などの組み合わせから、同じ対象かどうかを判断する必要があり、これを名寄せと呼びます。
名寄せでは、どのような条件を満たしたときに「同じ」とみなすかを、あらかじめ決めます。名前が同じでも別人の可能性があり、住所が同じでも別の世帯の可能性があるため、条件が緩すぎると別の対象を誤って統合し、厳しすぎると重複が残ります。完全に自動で判断せず、迷う候補は人が確認する運用を併用することが一般的です。
重複は、集計の二重計上という形でも現れます。複数の表を結合した際、一対多の関係を考慮せずに合算すると、同じ金額が何度も数えられてしまいます。この種の重複は、データそのものではなく、集計の方法に原因があります。重複を調べるときは、データの中の重複と、集計時の二重計上の両方に注意が必要です。
7.3 妥当性:値の形式と範囲が決められたルールに収まっているか
妥当性は、値がルール上おかしくないか、つまり決められた形式や範囲に収まっているかを問う観点です。たとえば、生年月日が未来の日付になっている、数量が負の値になっている、郵便番号の桁が合わない、といった場合です。こうした値は、正しいかどうか以前に、ルールに反しているため、機械的に検知できます。
妥当性のルールは、データの意味を知っている人が決める必要があります。許される値の範囲、形式、選択肢の一覧は、業務の内容によって異なるからです。ルールを定めたうえで、違反の件数や割合を数えれば、妥当性の状態を数値で追えます。
注意したいのは、ルールに収まっていることが、正しいことを意味しない点です。数量が範囲内でも、実際の数量と違えば正確性の問題です。妥当性は、明らかにおかしな値を機械的に除く第一段階の防御として位置づけ、正確性の確認と組み合わせて使うのが適切です。
7.4 観点同士はつながっている
ここまでの観点は、独立しているわけではなく、互いに影響し合います。表記が一貫していなければ、重複を見つけにくくなります。欠損が多ければ、妥当性や重複の判定の精度も下がります。更新が遅れれば、一時的に重複や食い違いが生じることもあります。
そのため、問題が見つかったときは、その観点だけを見て対症療法をするのではなく、他の観点に原因がないかを疑います。たとえば、重複が多いなら、表記の統一が不十分でないかを確かめます。値の食い違いが多いなら、更新の遅れで一時的に差が出ていないかを確かめます。
観点の関係を理解すると、確認の順序も見えてきます。まず、あるべき項目と件数がそろっているか、すなわち完全性を確かめ、その次に形式や範囲のルール、すなわち妥当性を確かめます。そのうえで、表記と定義をそろえて重複を除き、最後に事実との一致、すなわち正確性と、必要な時点への間に合い、すなわち適時性を確かめるという流れが、実務では扱いやすい順序とされています。
8. データ品質管理は、どのような流れで進めればよいのか?
データ品質管理は、目的の確認、基準の定義、測定、判定、対応、改善という循環として進めると、確認が単発で終わらずに続きます。
8.1 目的の確認から始める
データ品質管理の最初の作業は、データを確認することではなく、そのデータを何のために使うのかを確認することです。目的が決まって初めて、どの観点をどの水準で確認すればよいかが決まります。目的を決めずに確認を始めると、見るべきでない項目まで丁寧に調べたり、肝心の項目を見逃したりします。
具体的には、そのデータがどの業務の、どの判断に使われているのかを聞き取ります。たとえば、顧客データなら、請求書の送付に使うのか、営業の連絡に使うのか、分析に使うのかで、重要な項目が異なります。請求書の送付が目的なら、住所と宛名の正確性が重く、分析が目的なら、属性の完全性が重くなります。
目的を確認する際には、データを使う人と、データを作る人の両方から話を聞くと、見落としが減ります。使う人は、何に困っているかを知っていますが、作る人は、どこで崩れやすいかを知っているからです。この聞き取りの結果が、後の品質ルールの出発点になります。
8.2 定義、測定、判定、対応、改善の循環
目的が決まったら、次は品質を測る基準を定義します。どの項目を、どの観点で、どの計算で測るかを書き出します。そのうえで、定期的に測定し、結果を事前に決めたしきい値と照らして判定します。問題があれば対応し、原因を調べて改善し、改善の効果を再び測定で確かめます。
この流れは、一度行って終わりではなく、循環させることが重要です。データは日々増え、変わり、システムや業務も変更されるため、一度きれいにしても、時間とともに品質は劣化します。測定を定期的に繰り返すことで、劣化の兆しを早く捉えられます。
SYPの先ほどの記事では、品質を上げる最小の進め方として、目的の固定、定義の固定、責任の明確化、監視の最小運用、問題が起きたときの扱いの決定という要素が挙げられており、道具の導入よりもこれらをそろえることが安定につながるとされています。ここで見た循環の考え方と重なる内容です。
8.3 品質ルールの書き方
測定の基準を、品質ルールとして文章にします。ルールには、対象のデータ、観点、判定の条件、しきい値、担当者を含めます。たとえば、「顧客データの連絡先は、必須であり、空欄の割合が基準を超えたら要対応とする」というように、誰が読んでも同じ判断ができる形に書くことが大切です。
ルールを曖昧に書くと、人によって判定が変わってしまいます。たとえば、「できるだけ新しく保つ」では基準にならず、「毎朝の業務開始までに前日分が反映されている」のように、確認できる形にします。また、ルールの根拠となる業務上の理由を一言添えると、後から見直すときに、なぜその基準なのかが分かります。
ルールは、最初から数多く作る必要はありません。重要なデータの、重要な項目に絞り、少数のルールから始めるのが現実的です。ルールが多すぎると、確認の負担が増えて続かなくなり、結果として形骸化します。見続けられる数に絞ることが、運用のコツです。
8.4 現状を知るためのプロファイリング
品質ルールを作る前や、新しいデータを扱い始めるときには、データの現状を調べるプロファイリングが役立ちます。プロファイリングとは、データの中身を統計的に調べ、各項目の欠損の割合、値の種類、分布、形式の揺れなどを把握する作業です。
この作業で、想定していなかった問題が見つかることがよくあります。たとえば、ある項目に想定外の値が混ざっている、特定の期間だけ値が極端に少ない、同じ意味の値が複数の表記で入っている、といった事実です。現状が分かれば、現実に即した品質ルールとしきい値を決められます。
プロファイリングは、一度行って終わりではなく、新しい取り込み元を追加したときや、システムを変更したときにも行うとよいでしょう。データの性質が変わっていないかを確かめる、定点観測の役割も果たします。
8.5 測定の頻度としきい値の考え方
測定の頻度としきい値は、データの変化の速さと業務への影響から決めます。毎日大量に更新されるデータは、毎日確認する必要があるかもしれませんが、月に一度しか変わらないデータを毎日確認しても意味は薄いでしょう。業務への影響が大きいデータほど、頻度を高くし、基準を厳しくします。
しきい値は、最初から厳密に決める必要はありません。プロファイリングで得た現状の値を基準にして、それより悪くなったら知らせる、という仮の設定から始めます。運用しながら、通知が多すぎる、少なすぎるといった実感をもとに、調整します。
また、一つの数値だけでなく、傾向も見るとよいでしょう。基準を超えていなくても、少しずつ悪化していれば、将来の問題の兆しです。正常、注意、要対応のように段階を分けておくと、基準を超える前に動くことができます。しきい値は、業務や環境の変化に合わせて、定期的に見直します。
9. 品質の確認は、データの流れのどこで行えばよいのか?
確認は一か所にまとめず、入力、取り込みと変換、蓄積後と利用という、データの流れの複数の段階に置くと、問題を早く、原因に近い場所で見つけられます。
9.1 入口で防ぐ:入力時の確認
もっとも効果的で費用が小さいのは、問題のあるデータを入れさせない入口の確認です。入力画面で、必須項目の未入力を知らせる、形式に合わない値を弾く、選択肢から選ばせる、既存の登録との重複を警告するといった工夫があります。
入口の確認が効果的なのは、誤りが入った後で直すよりも、入る前に防ぐ方が、費用も手間も小さいからです。いったん下流のシステムに流れた誤りは、波及先を調べて直す必要があります。入口で防げれば、その手間は発生しません。
ただし、入力時の確認を厳しくしすぎると、入力する人の負担が増え、かえって適当な値で埋められてしまうことがあります。たとえば、必須にしたために、意味のない文字で埋める人が出る場合です。入力のしやすさとのバランスを考え、本当に必要な項目だけを必須にし、入力の意味を画面で補足するなどの配慮が必要です。
9.2 取り込みと変換で確かめる:ETLの中の確認
複数のシステムからデータを集めて整える段階は、品質の確認に適した場所です。ここではETLと呼ばれる処理が行われ、元のデータを取り出し、使いやすい形に変換し、保存先に読み込みます。
ETLに関する解説記事「ETLとは?抽出・変換・ロードの意味、流れ、設計ポイントを整理」では、変換の段階で表記の揺れ、欠損値、重複、データ型の不一致、キーの不整合といった問題を整理することや、運用の段階で処理時間、件数、欠損率、異常値率、エラー数を監視して異常時にアラートを出す仕組みが挙げられています。これらは、取り込みと変換の段階が、品質の確認と相性がよいことを示しています。
この段階の確認では、取り込みの前後の件数の突き合わせ、必須項目の欠損の確認、形式や範囲の確認を自動で行います。また、同じ処理を何度やり直しても同じ結果になるよう、再実行を安全にしておくことも、品質を守るうえで重要です。やり直しのたびに重複が生まれるような設計だと、確認以前に品質が崩れてしまいます。
9.3 蓄積後と利用時に点検する
データを蓄積した後や、利用する時点でも、点検は必要です。蓄積されたデータは、時間とともに古くなったり、元のシステムの変更で意味が変わったりします。そこで、定期的に欠損率、重複率、更新の遅れなどを測り、前回との変化を見ます。
DWH(データウェアハウス、分析のためにデータを集めて蓄える仕組み)の解説記事「データウェアハウスとは?役割・仕組み・データレイクとの違い」では、整形の工程で型変換、名寄せ、欠損補正、重複排除、マスタの統一が必要になることや、部門ごとに指標の定義が違うと数字が食い違うため共通の定義を持つことが重要だと述べられています。蓄積する場所で定義を固定する意義が、ここに表れています。
利用の時点では、BI(業務データを集計して見やすく示す分析ツール)の画面などで、最終更新の時刻やデータの出どころを表示し、利用者が状態を判断できるようにします。利用者自身が違和感に気づいたとき、報告できる窓口を用意しておくことも、現場の目を品質管理に生かす有効な方法です。
9.4 監視とアラートで、変化に気づく
確認を自動で回すだけでなく、異常を知らせる仕組みも必要です。件数が急に減った、欠損率が急に上がった、更新が止まったといった変化を検知して、担当者に通知します。
ここで大切なのは、データが届いたかだけでなく、いつも通りかを見ることです。AIのデータの流れを扱う解説記事「AIデータパイプラインとは?」では、必須の列、型、欠損の割合、値の範囲を工程ごとに段階的に検証することや、件数や欠損率、カテゴリの比率の急な変化を監視することが述べられています。処理が成功していても、中身が変わっていれば問題なので、成否だけでなく中身の状態も監視します。
アラートは、多すぎると見られなくなります。重要度を分けて、すぐ対応が必要なものだけを即時に通知し、その他は定期の報告にまとめるなど、受け取る側の負担を考えた設計にします。誰に届き、誰が対応するかを決めておかないと、アラートが鳴っても誰も動かないことになります。
9.5 計測データと学習用データの品質
利用者の行動を記録する計測データや、AIの学習に使うデータでは、品質の考え方に特有の注意点があります。計測データは、後から取り直せないことが多く、記録の漏れや重複がそのまま分析の誤りになります。A/Bテストの計測基盤を扱った解説記事「A/Bテストの計測基盤設計」では、イベントの欠落、重複、順序の逆転、必須の属性の欠損を監視すること、また計測のエラーは統計では補正できないため検知と修正を優先すべきだと述べられています。
AIの学習に使うデータでは、運用を始めた後に、入力されるデータの傾向が学習時から少しずつ変わっていくことがあります。機械学習のパイプラインを扱った解説記事「機械学習パイプラインとは?」では、入力データの状態や予測の分布を監視し、特定の入力の急増や欠損の増加を捉える重要性が述べられています。入力の傾向の変化を、データドリフトと呼びます。
どちらの場合も、データを取得する時点の品質が、後のすべての結果を左右します。後から直せないデータほど、入口の確認と、継続的な監視に重点を置くことになります。
10. 品質の問題が見つかったとき、どのように対応すればよいのか?
問題が見つかったときは、使い続けてよいかを先に判断し、そのうえで原因を切り分け、記録を残して直し、再発を防ぎます。
10.1 止める、補正して進める、注記つきで進める
問題が見つかった直後に決めなければならないのは、そのデータを使い続けてよいかどうかです。選択肢は、大きく三つに分けて考えられます。一つ目は、使用を止める方法です。影響が大きく、誤った判断のおそれが高い場合に選びます。二つ目は、補正して進める方法です。誤りの内容と直し方が明確で、短時間で補正できる場合に選びます。三つ目は、注意書きを付けて進める方法です。影響が限定的で、利用者が状況を理解したうえで使える場合に選びます。
どれを選ぶかは、問題の重大さと、データの用途によって異なります。請求のように誤りの影響が大きい用途では止める判断が必要になることがあり、傾向を見るだけの用途では注意書きで十分な場合もあります。この判断の基準を、事前に決めておくことが大切です。問題が起きてから議論していると、対応が遅れます。
前述の解説記事でも、問題発生時の扱いとして、止める、補正して進める、注記つきで進めるという判断ルールを短く定めておくことが挙げられています。あらかじめ決めておけば、担当者が迷わず動けるため、被害の拡大を抑えられます。
10.2 原因を切り分ける
対応の方針が決まったら、原因を調べます。原因の候補は、入力、変換、連携、定義の変更、システムの不具合などです。切り分けのコツは、データの流れをさかのぼることです。問題が見つかった場所のデータが誤っているなら、その一つ前の段階では正しかったのかを確かめ、どの段階で誤りが入ったかを絞り込みます。
この作業には、データがどこから来て、どう加工されたかを示す来歴の記録が役立ちます。記録がなければ、調査は手探りになり、時間がかかります。変換の処理や定義を変更した履歴も残しておくと、変更の後で急に品質が落ちた場合に、原因を探しやすくなります。
また、同じ問題が他にも起きていないかを確認します。一つの欠損や誤りが見つかったとき、同じ原因による問題が、他の項目や他の期間にも広がっていることがあります。影響範囲を把握しておくことで、直し漏れを防げます。
10.3 修正の原則:元から直し、記録を残す
誤りを直す際は、表示や集計の側だけで直さず、元のデータや処理の側から直すのが原則です。集計の側だけで補正すると、同じデータを使う別の場所には誤りが残ります。また、手作業で一部だけを直すと、次に取り込みを行ったときに、誤りが再び戻ってしまうことがあります。
修正する前には、元の状態を保存し、何をどう直したかを記録します。これは、直した結果が間違っていた場合に戻せるようにするためと、後から説明できるようにするためです。修正の記録は、監査や問い合わせの場面でも役立ちます。
大量のデータを直す場合は、直す前に一部で試し、結果を確認してから全体に適用する進め方が安全です。一括の修正は、誤りがあると影響が大きいため、小さく試して確かめる習慣が役立ちます。
10.4 再発を防ぐ
問題を直しただけでは、同じ問題が再び起きる可能性があります。再発を防ぐには、原因に対する対策を取ります。入力の画面に原因があるなら、画面を直す。変換の処理に原因があるなら、処理を直し、確認を追加する。定義のずれが原因なら、定義書を更新して共有する、といった具合です。
あわせて、今回の問題を見つけられなかった理由も振り返ります。確認の仕組みがなかったのか、あったが見られていなかったのか、基準が緩すぎたのかを調べ、確認の仕組みを強化します。
問題とその対応を記録しておき、定期的に見返すと、繰り返し起きる問題の傾向が分かります。傾向をもとに、根本的な対策を優先的に行うことで、対応に追われる状態から、問題を減らす状態へ移行できます。
10.5 データクレンジングとは何をすることか
見つかった誤りを直す作業は、一般にデータクレンジングと呼ばれます。クレンジングには、表記を統一する、重複を統合する、形式を直す、明らかな誤りを訂正する、空欄を補うといった作業が含まれます。データを洗い、使える形に整える作業というイメージです。
クレンジングは、データ品質管理の一部ですが、すべてではありません。クレンジングで一度きれいにしても、入力や連携の仕組みが変わらなければ、また汚れが溜まります。掃除と同じで、汚れを落とす作業と、汚れが付きにくい環境を整える作業の両方が必要です。
また、クレンジングの前には、現状を調べるプロファイリングで、どのような問題がどの程度あるかを把握します。把握せずに直し始めると、直す必要のないものまで手を入れてしまったり、元に戻せなくなったりします。作業の前後で、直した件数と内容を記録し、結果を確認する進め方が安全です。
11. データ品質管理は、誰がどのような体制で進めればよいのか?
データ品質は、情報システム部門だけの仕事ではなく、データを作る人、使う人、管理する人が役割を分けて担うことで続きます。
11.1 定義の責任者と、運用の担当者を分ける
データ品質の管理では、二つの役割を分けて考えると運用が安定します。一つは、そのデータの意味と品質の基準を決め、守る責任を持つ人で、一般にデータオーナーと呼ばれます。もう一つは、日々の測定や監視、問題の一次対応を担当する運用担当者です。
この二つを分ける理由は、基準を決める判断には業務の知識が必要で、日々の確認には作業の継続が必要だからです。データオーナーは、業務に近い部門の責任者が務めることが多く、運用担当者は、情報システム部門やデータ担当が務めることが多いとされています。
コンテンツの運用を扱った解説記事「コンテンツガバナンスとは?」でも、内容の正確性や更新、承認に責任を持つオーナー、構成や表現を整える編集者、基準を満たしているかを確認するレビュー担当者といった役割の分担が整理されています。対象はコンテンツですが、責任者と確認する人を分けるという考え方は、データ品質にも当てはまります。
11.2 入力する人と使う人を巻き込む
データ品質は、システムだけで決まるのではなく、データを入力する現場の人の行動に大きく左右されます。そのため、現場の入力者を巻き込むことが重要です。入力の目的が分からないまま作業していると、項目が空欄になったり、適当な値が入ったりしやすくなります。
入力者に品質の大切さを伝えるには、入力したデータが、どの業務でどう使われているかを示すのが効果的です。自分の入力が、請求や在庫の判断に使われていると分かれば、入力の質が変わります。また、入力の結果を本人にフィードバックし、欠損が多い項目や直してほしい点を共有することも有効です。
使う人からの声も大切です。利用者は、数字の違和感に最初に気づく立場にあります。違和感を報告する窓口を作り、報告への対応状況を伝えることで、現場の目が品質管理を支える仕組みになります。
11.3 情報システム部門、事業部門、外部の支援者の分担
実際の進め方では、情報システム部門、事業部門、場合によっては外部の支援者が、それぞれの得意な部分を担います。事業部門は、データの意味と、必要な品質の水準を決めます。情報システム部門は、確認の仕組みの構築と運用を担います。外部の支援者は、仕組みの設計や構築を支援し、技術的な知見を提供します。
外部に委託する場合に注意したいのは、基準を決める責任まで任せてしまわないことです。何をもって品質が良いとするかは、業務を知っている発注側が決めなければなりません。外部の支援者には、その基準を測り、見える形にする仕組みを作ってもらうという分担が適切です。
データエンジニアリングの全体像を扱った解説記事「データエンジニアリングとは?」では、データガバナンスとデータ品質管理の項で、重複や誤りの除去、異なる情報源の形式統一、自動検証、統計的なプロファイリングによる異常検知といった取り組みが挙げられています。どこまでを自社で行い、どこから支援を受けるかを、こうした取り組みの一覧に照らして検討するとよいでしょう。
11.4 ルールと定義の置き場を決める
品質のルールや指標の定義は、書いて終わりにせず、誰でも見られる場所に置き、最新版が一つに決まっているようにします。複数の版が出回っていると、人によって基準が変わり、品質管理そのものが混乱します。
置き場には、定義書、用語集、データの一覧とその説明などがあります。各項目の意味、取りうる値、更新の頻度、責任者を書いておくと、新しく担当になった人も理解しやすくなります。変更があった場合は、変更の理由と日付を履歴として残します。
また、定義の変更を黙って行わないことも大切です。基準を変更すると、過去の数字との比較ができなくなる場合があります。変更するときは、影響を受ける人に知らせ、いつから新しい定義になるかを明確にします。
11.5 外部のデータや委託先から受け取るデータ
自社で作ったデータだけでなく、取引先や外部の委託先から受け取るデータにも、品質の管理は必要です。外部のデータは、自社の入力ルールの外で作られているため、形式や定義が自社と異なることがあります。受け取ったデータをそのまま取り込むと、問題が一気に自社のシステムに入ってしまいます。
対策は、受け取る前に、データの形式、必須の項目、取りうる値の範囲、更新の頻度を取り決めておくことです。受け取る時点で、取り決めどおりかを確認し、外れている場合は受け入れずに差し戻す、または別の領域に隔離する仕組みにします。
取り決めは、文書にして双方で共有し、変更があるときは事前に知らせてもらう約束にします。データの提供元が項目を追加したり、意味を変えたりしたときに気づけないと、静かに品質が崩れます。受け渡しの境界での確認は、外部との連携で特に重要な品質管理の要所です。
11.6 品質の状態を、関係者に見える形で共有する
品質管理の取り組みが続くかどうかは、成果が関係者に見えているかに左右されます。測定結果を担当者だけが持っていると、取り組みの価値が周囲に伝わらず、優先度が下がってしまいます。
そこで、品質の状態を、簡単な表やグラフで定期的に共有します。欠損、重複、更新の遅れの状態を、正常、注意、要対応の三段階などで示し、前回からの変化も見えるようにします。専門知識のない人にも分かる言葉と見せ方にすることが大切です。
共有の場では、数字を報告するだけでなく、見つかった問題と、対応した内容、次に行うことを伝えます。そのことで、現場の人が、自分の入力や運用が品質にどう影響しているかを理解できます。品質の状態を見える形にすることは、責任の所在を明確にし、改善の動機を生み出す効果があります。
12. データ品質管理でよくある誤解と失敗には、どのようなものがあるのか?
データ品質管理の失敗の多くは、完璧を目指す、道具に頼る、定義を共有しない、測るだけで終わる、といった典型的なパターンに当てはまります。
12.1 すべてを完璧にしようとする
もっとも多い失敗は、すべてのデータを完璧にしようとすることです。対象が広すぎると、確認の作業が終わらず、成果が見えないまま息切れします。データの品質は、目的に必要な水準で十分であり、全データを同じ水準にする必要はありません。
対策は、優先順位を付けることです。業務への影響が大きいデータ、誤りが起きたときに困るデータから始めます。たとえば、請求や出荷に直接関わるデータは優先度が高く、参考情報として使うデータは、緩やかな管理で足ります。
また、一度で完成させようとせず、小さく始めて、効果を確認しながら広げます。範囲を絞った最初の取り組みで、仕組みの作り方や運用の勘所をつかむと、次の対象に展開するときに役立ちます。
12.2 道具を入れれば解決すると考える
品質管理の道具やサービスは数多くありますが、道具を導入すれば品質が良くなるわけではありません。道具は、決められた基準に従って確認を自動化するものであり、基準そのものや責任者を決めてはくれません。
基準が曖昧なまま道具を入れると、大量の警告が出るだけで、誰も対応しないという状態になりがちです。まず、何を守るのか、どの水準を目指すのか、誰が対応するのかを決め、そのうえで必要な範囲を自動化するのが順序です。
最初は、表計算ソフトや簡単な問い合わせで、欠損や重複を数えるだけでも十分です。SQL(データベースへの問い合わせに使う言語)で件数を数える簡単な確認から始め、必要が高まったら、専用の仕組みを検討する進め方が、費用の面でも無理がありません。
12.3 定義が共有されないまま測る
指標の定義が共有されないまま測ると、数字を比べても意味がありません。たとえば、欠損率の分母が人によって違えば、同じデータでも異なる数字が出ます。
これを防ぐには、各指標について、何を数えるか、何で割るか、どの期間を対象にするか、どの項目を含むか、を一行で書ける形にして共有します。KPIダッシュボードの開発を扱った解説記事「KPIダッシュボード開発とは?」でも、指標名、計算式、対象データ、更新頻度、担当者を記した定義書を作ることで、指標の信頼性を守ることが述べられています。
定義は、作った後に守られているかも確認します。システムの改修で、計算の方法が静かに変わってしまうことがあります。定義と実際の処理が一致しているかを定期的に確かめ、ずれていれば、どちらかをそろえます。
12.4 測るだけで終わり、改善につながらない
測定を始めても、結果を見るだけで、対応や改善につながらない場合があります。この状態では、数字の報告が形式的な作業になり、いずれ誰も見なくなります。
測定が改善につながるためには、結果が出たときに、誰が何をするかが決まっている必要があります。しきい値を超えたら誰に通知され、誰が原因を調べ、いつまでに直すのかを決めておきます。また、改善の結果が数字に表れたかを確認し、効果があったことを関係者に共有すると、取り組みへの支持が広がります。
逆に、数字を良くすること自体が目的になってしまう失敗にも注意します。たとえば、欠損率を下げるために、意味のない値で空欄を埋めるといった行為です。数字は良くなっても、データの質は改善していません。指標は、データが目的に使えるかを知るための手段であることを、関係者で確認しておきます。
12.5 例外を無視したルールの作り込み
品質ルールを厳密に作り込みすぎて、業務の例外を無視してしまう失敗もあります。たとえば、全員に必須としたため、本当に値がない人の入力ができなくなる、形式を厳しくしたため、実際に存在する例外的な表記が弾かれる、といった場合です。
現実の業務には、例外が必ずあります。例外を無視したルールは、現場で守れず、守れないルールは形骸化します。ルールを作るときは、現場の担当者に、例外がどのくらい、どんな形で起こるかを聞いておきます。
例外が起こりうる場合は、例外を許可する条件と、例外であることを記録する方法を、ルールに含めます。たとえば、理由を記入すれば空欄を許可する、といった設計です。例外を把握できる形で残しておけば、例外の増加が新たな問題の兆しになることもあります。
13. 初心者はどこから始め、どのように広げていけばよいのか?
初心者は、重要なデータを一つに絞り、完全性・正確性・適時性の確認表を作って、小さな運用を回すところから始めるのが現実的です。
13.1 重要なデータを一つ選ぶ
最初の一歩は、対象を絞ることです。業務への影響が大きく、問題が起きると困るデータを一つ選びます。顧客の一覧、商品の一覧、受注の記録などが候補になります。選ぶ基準は、このデータがおかしくなると、誰が困るかを考えることです。
対象を選んだら、そのデータを使う業務と、使う人、作る人を書き出します。誰がどのように入力し、どのシステムを通って、どの画面や資料で使われているのかを、簡単な図にしておくと、確認する場所が分かります。
最初から詳しく調べる必要はありません。一枚の紙に収まる範囲で、データの流れと、困りごとを整理するだけでも、品質管理の足場になります。
13.2 三つの観点で確認表を作る
次に、完全性、正確性、適時性の三つの観点で、確認表を作ります。完全性では、必須の項目と、確認する件数の突き合わせ先を書きます。正確性では、照合できる資料と、抜き取りの方法を書きます。適時性では、いつまでに最新である必要があるか、最終更新の時刻をどこで見るかを書きます。
それぞれの確認に、担当者と、確認する頻度を付けます。頻度は、データの変化の速さと、業務への影響で決めます。最初は少なめにして、続けられる頻度から始めます。
確認表は、まず手作業で使ってみて、使いにくい点を直します。試すことで、基準が厳しすぎる、項目が足りない、といった点が分かります。その後、繰り返す確認を自動化すれば、無駄が少なくなります。なお、確認に使うテスト用のデータの作り方を扱った解説記事「テストデータ設計をどう進めるか?」では、正常系、異常系、境界値という観点でデータを組み立てる考え方が述べられており、確認ルールの動作を試すデータを用意する際の参考になります。
13.3 小さな運用を回して広げる
確認表を使い始めたら、一定の期間回して、結果を見ます。最初の測定結果は、現状の基準値として記録します。この基準があれば、その後の改善の効果や、悪化の兆しを比べられます。
問題が見つかったら、影響の大きいものから対応します。対応の結果を測り直して、改善を確認します。これを繰り返し、安定してきたら、対象のデータや観点を一つずつ広げます。一度に広げず、定着を確認しながら進めるのが、続けるコツです。
複数のシステムをまたぐデータや、ほかのシステムとの連携がある場合は、連携部分の確認も加えます。システム同士をつないだ後の動作を確かめる考え方は、結合テストの解説記事「結合テストとは?」で、接続面でデータの意味が保たれるかを確かめる工程として整理されています。データの流れが変わったときの確認の参考になります。
13.4 外部の支援を使う場面を見極める
自社だけで進めるのが難しい場合は、外部の支援を使う選択肢もあります。たとえば、複数のシステムのデータを整理して取り込む仕組みが必要な場合や、確認の自動化を作り込む場合です。ただし、基準を決める責任は自社に残し、支援を受ける範囲を明確にします。
たとえばSYPのデータエンジニアリングのサービスページでは、まず要件定義でビジネス目標とデータの課題をヒアリングし、その後、収集とETL、処理、保存、品質保証と進み、導入後も保守と最適化を続けると案内されています。外部の支援を検討する際は、こうした進め方の例を参考に、自社で何を決め、何を任せるのかを整理するとよいでしょう。サービスの詳細は、データエンジニアリングのサービスページで確認できます。
支援を選ぶ際は、品質の基準をどのように合意し、どのように報告してもらうかを確認します。測定の結果を定期的に共有してもらい、自社の担当者が見て理解できる形にしておくと、委託後も品質の状態を自社で把握し続けられます。
13.5 最初の一か月でやることの整理
最後に、初心者が最初の期間に行うことを、順に整理します。まず、対象のデータを一つ決め、使う業務と困りごとを書き出します。次に、三つの観点の確認表を作り、手作業で一度測ります。その結果を、現状の基準として記録します。
続いて、見つかった問題のうち、影響の大きいものを一つ選び、原因を調べて対応します。対応の前後で測り直し、改善を確認します。その結果と、気づいた点を関係者に共有します。
この一連の流れを一度経験すると、品質管理が、特別な技術ではなく、確認と記録と改善の積み重ねであることが実感できます。その実感が、次の対象へ広げるときの土台になります。完璧を目指さず、続けられる形で小さく回すことが、最も確実な進め方です。
まとめ
データ品質管理は、データを利用する目的に対して、信頼できる状態を維持するための確認と改善の取り組みです。データ品質を考える際に重要なのは、すべてのデータを完璧にすることではなく、実際の業務や分析に必要な水準を満たしているかどうかを判断することです。代表的な評価観点には、必要な情報が不足なくそろっているかを確認する「完全性」、記録された内容が事実や正しい値と一致しているかを確かめる「正確性」、情報が適切なタイミングで更新されているかを見る「適時性」があります。これらの観点を理解することで、データの信頼性を具体的に評価し、改善すべき課題を明確にできます。
さらに、データ間で矛盾が生じていないかを確認する「一貫性」、同じ情報が重複して登録されていないかを見る「一意性」、形式や業務上のルールに適合しているかを判断する「妥当性」も重要です。これらを組み合わせることで、基本的な三つの観点だけでは発見しにくい問題にも対応できます。効果的なデータ品質管理を実現するには、利用目的の確認、品質基準の定義、測定、判定、問題への対応、継続的な改善という一連の流れを繰り返すことが大切です。また、データの入力時、システムへの取り込み時、蓄積後の各段階に適切な確認を設けることで、問題の早期発見と影響の拡大防止につながります。
実際に問題が発生した場合には、処理を一時停止する、誤ったデータを補正する、問題点を注記したうえで利用を続けるなど、状況に応じた対応方法を事前に決めておく必要があります。ただし、一時的な修正だけでは同じ問題が繰り返される可能性があるため、発生原因を特定し、入力方法や業務手順などの根本的な改善につなげることが重要です。最初から大規模な管理システムを構築する必要はありません。まずは業務上重要なデータを一つ選び、完全性・正確性・適時性を中心とした簡単なチェック表を作成し、欠損の有無、件数の整合性、最終更新時刻などを定期的に確認することから始めましょう。小さな確認と改善を積み重ねることで、データを安心して活用できる環境を着実に整えられます。






























%2520%25C2%25B7%2520804%25C3%2597528%25401x.png%3Fv%3D1790848512224&w=1080&q=75)
