ダークデータとは？あなたの企業にも多く眠っているかもしれません！

そもそもダークデータって何？

価値がわからないデータ

データというのは私達の生活はもちろん、企業の経営など様々な場所で生まれています。ときには思い出として、ときには会社の経営状況や今後のための資料として、何かしらの形で日々誕生しています。とはいえ、一口にデータといっても日常的に使われるものもあれば、逆に使われずに放置されているものもあります。

放置されているデータのことを、ダークデータといいます。

データは日々生まれてきていますが、時が経つにつれて次第にそのデータはガラクタのような扱いを受けてしまうのです。そしていつしか、ダークデータの一つとなってしまうのです。

意外にもすぐそこにあるかも？

ダークデータを語る上で最も良い実例が防犯カメラの映像です。防犯カメラの映像はときに犯人逮捕の重要な証拠にもなります。しかし、その大半は特に意味のないデータとされることが多いです。そうしたデータは次第に廃棄されてしまうのです。

もちろんダークデータといわれるものは防犯カメラの映像の他にも色々あります。ダークデータの大半は、いざというときには重要な役割を果たすが、それ以外では特に必要とされていないデータのことなのです。

データにも種類があるって知ってた？

クリーンデータ

実はデータにも種類があることを皆さんはご存知でしょうか。ダークデータと呼ばれるものがあるように、それ以外の別の名前で呼ばれるデータというものがいくつか存在します。

ちなみに私達が普段仕事などで活用されているデータのことをクリーンデータと呼んでいます。

仕事の業務はもちろん、最近ではビッグデータとしてあらゆる視点から分析する際に用いられています。そうした分析などで用いられるデータをクリーンデータといいますが、その割合は全世界に存在しているデータのたった2割にしか過ぎません。つまり、ビッグデータとして色々分析しているように思えますが、実際は世界の2割のデータのみで分析しているということになるのです。

ダークデータにも使い物にならないものが、、、

クリーンデータが2割しかないということは、残りの8割がダークデータということになってしまいます。しかし同じダークデータでも、ほとんど使い物にならないデータというものがあります。

そしてそのデータのことをROTデータといいます。重複しているデータやかなり古いデータ等は基本的にROTデータとされています。

ちなみにこのROTデータはデータ全体の3割といわれています。先程のクリーンデータと今のROTデータそれぞれの割合を差し引いたとしても、世界のデータの半分はダークデータという計算になります。

ダークデータについてどう思っている？

ほとんどの人はダークデータは重要だと答えている

では、ダークデータに対してデータを扱う人たちはどう思っているのかについて解説していきます。

昨年の5月、Splunk Services Japanがアメリカや中国、日本などの主要7カ国のIT関係者などを対象にダークデータに関する調査を行いました。そこで明らかとなったのは、ほとんどの人がデータは非常に重要なものだと回答していることです。

特に将来成功する上では、データは必要不可欠だと回答している人が多く、ほとんどの人はデータの存在については非常に重要なものだと認識しています。とはいえ、それでも半分以上ダークデータがある現在、なかなかその活用に苦慮しているという人も少なくありません。

ダークデータが少ない国は〇〇！

また、この調査でもう一つ大きなことがわかりました。それは、現在ダークデータが比較的少ない国は中国であることです。中国といえば現在経済において最も勢いのある国として知られており、現在でもその勢いは衰えていません。では、なぜ中国では比較的ダークデータが少ないのでしょうか。

その理由は、他の国と比べてAIを始めとする人工知能に関する技術などが進んでいるためです。経済活動はもちろん、あらゆる場面でAIを導入している中国ではダークデータが発生することがあまりなく、同時にデータを扱う人もダークデータに関して強い意識を持っているとされています。

なぜダークデータがこんなに多いのか

データを解析するにも色々問題が、、、

ダークデータが増えた要因として解析する際の手間や人員、そしてコストなど様々なことが考えられます。いずれかが絡んできてしまった結果、ダークデータが増えてしまうのです。

実際に先程紹介した調査でもデータ解析をするにも人員が不足していたり、データが多すぎるためなかなか解析ができないという人が多くいました。実際にデータの数は膨大にあり、半数とはいえ簡単に処理できない量なのです。

データを扱う人間にも事情がある

そしてもう一つ、データを扱う人にも様々な事情があります。

会社が成長するにはデータが必要不可欠ですが、データを本格的に活用するには業務改革などの抜本的な対策が必要となる場合があります。そうした大きな動きが必要になると、社内からは現状維持を希望する人が出てきます。このような事情からダークデータを活用できないという事例もあります。

新しいことを始めると最初は不慣れなこともあり、失敗ばかり続いてしまいます。失敗を恐れず積極的にチャレンジする人もいれば、逆に失敗を恐れる人も当然ながら存在します。

そうした要因も、ダークデータが半数以上占めてしまう原因の一つなのです。

ダークデータを有効活用するには

AIがダークデータを救う？

では、どうすればダークデータをうまく活用できるのでしょうか。最も良い解決方法としてはAIを活用することです。実際に中国ではAIが様々な分野で活用されていることで、結果的に他国と比べてダークデータが比較的少ないとされています。

データ解析をAIが行うようにすれば、コストや人員、そして時間などの手間も大きく省くことができ、ダークデータを今まで以上に活用することができます。

とはいえその領域に達するには、AI自体を十分にデータ分析ができるレベルにする必要があり、そこまでに至る手間がかかってしまうという可能性も少なからずあります。

ダークデータは人間の手でも、ある程度はなんとかできる

ダークデータは人間の手でも対処することはできます。

しかし、社内にデータに長けている人材が少ないことが現状であり、先程の調査でもそのようなことを口にする人も少なからず存在していました。

そこで活躍するのが、データ分析を専門としている企業です。実際に世界にはデータ解析を専門とする企業がいくつか存在します。データ解析専門の企業と手を組むことで、より多くのダークデータを活用することができます。

ダークデータは宝の巣窟

世界を変えるなにかがそこに秘められている

データというのは、いわゆる宝物が記されたヒントのようなものです。単体ではなんの変哲もないものでも、他のものと組み合わせることで宝を示す重要なものとなる場合もあります。

特に会社のデータというのは、成功に必要なデータが隠されていることが割と多いです。そうしたことから、最近ではダークデータは宝の巣窟だといわれることがあります。

しかしデータといっても、中には個人情報などの重要なデータもあります。特に最近ではコンプライアンスに対して非常にシビアになってきていますので、データを扱う際は細心の注意を払う必要が出てきています。

最後に

よくニュースで食品ロスやリサイクルなど、実体のあるものに対して取り上げられることが多いです。

しかしその一方で、ダークデータを始めとする実体のないものでもロスが出てきています。なんとかしなければいけないのはわかっているものの、実体がないためなかなか実感が湧かないのも事実です。

これからのIT社会では、ダークデータを始めとするデータのロスが非常に多くなるはずです。そしてそれと同時に、それらをうまく活用するデータのリサイクルという動きもまた、重要なものとなってくることでしょう。