カテゴリから探す
Geekly
コラム
技術・
テクノロジー
職種・
ポジション
Web・
ゲーム
転職準備
転職活動
  1. HOME
  2. Geekly Media
  3. 技術・テクノロジー
  4. ダークデータとは?あなたの企業にも多く眠っているかもしれません!
  • 技術・テクノロジー

ダークデータとは?あなたの企業にも多く眠っているかもしれません!

ダークデータという言葉を皆さんはご存知でしょうか。単純に言葉だけで聞くと犯罪などの良からぬことが絡んでそうなイメージがありますが、実際は違います。しかしこのダークデータが、現在世界的にも大きな課題となっていることは意外と知られていません。今回はそんな謎に包まれたダークデータについて解説していきます。

2020年4月27日

  • twitter
  • facebook

そもそもダークデータって何?

 

価値がわからないデータ

 

 

データというのは私達の生活はもちろん、企業の経営など様々な場所で生まれています。ときには思い出として、ときには会社の経営状況や今後のための資料として、何かしらの形で日々誕生しています。とはいえ、一口にデータといっても日常的に使われるものもあれば、逆に使われずに放置されているものもあります。その放置されているデータのことを、ダークデータと言います。

言葉だけで捉えると良からぬイメージが浮かぶかもしれませんが、要するにガラクタのようなものです。データは日々生まれてきていますが、時が経つにつれて次第にそのデータはガラクタのような扱いを受けてしまうのです。そしていつしか、ダークデータの一つとなってしまうのです。

 

意外にもすぐそこにあるかも?

 

ダークデータを語る上で最も良い実例が防犯カメラの映像です。防犯カメラの映像はときに犯人逮捕の重要な証拠にもなります。しかしその大半は特に意味のないデータとされることが多いです。そうしたデータは次第に廃棄されてしまうのです。

もちろんダークデータと言われるものは防犯カメラの映像の他にも色々あります。ダークデータの大半は、いざというときには重要な役割を果たすが、それ以外では特に必要とされていないデータのことなのです。

 

データにも種類があるって知ってた?

 

 

クリーンデータ

 

実はデータにも種類があることを皆さんはご存知でしょうか。ダークデータと呼ばれる物があるように、それ以外の別の名前で呼ばれるデータというものがいくつか存在します。ちなみに私達が普段仕事などで活用されているデータのことを、クリーンデータと読んでいます。

仕事の業務はもちろん、最近ではビッグデータとしてあらゆる視点から分析する際に用いられています。そうした分析などで用いられるデータをクリーンデータと言いますが、その割合は全世界に存在しているデータのたった2割にしか過ぎません。つまりビッグデータとして色々分析しているように思えますが、実際は世界の2割のデータのみで分析している、ということになるのです。

 

ダークデータにも使い物にならないものが、、、

 

クリーンデータが2割しかないということは、残りの8割がダークデータということになってしまいます。しかし同じダークデータでも、ほとんど使い物にならないデータというものがあります。そしてそのデータのことを、ROTデータと言います。重複しているデータかなり古いデータ等は基本的にROTデータとされています。

ちなみにこのROTデータはデータ全体の3割と言われています。先程のクリーンデータと今のROTデータそれぞれの割合を差し引いたとしても、世界のデータの半分はダークデータという計算になります。

 

無料転職相談に登録してダークデータを上手に利用しよう

 

ダークデータについてどう思っている?

 

ほとんどの人はダークデータは重要だと答えている

 

 

ではダークデータに対してデータを扱う人たちはどう思っているのかについて解説していきます。

昨年の5月、Splunk Services Japanがアメリカや中国、日本などの主要7カ国のIT関係者などを対象にダークデータに関する調査を行いました。そこで明らかとなったのは、ほとんどの人がデータは非常に重要なものだと回答していることです。

特に将来成功する上では、データは必要不可欠だと回答している人が多く、ほとんどの人はデータの存在については非常に重要なものだと認識しています。とはいえそれでも半分以上ダークデータがある現在、なかなかその活用に苦慮しているという人も少なくありません。

 

ダークデータが少ない国は〇〇!

 

また、この調査でもう一つ大きなことがわかりました。それは現在ダークデータが比較的少ない国は中国であることです。中国といえば現在経済において最も勢いのある国として知られており、現在でもその勢いは衰えていません。ではなぜ中国では比較的ダークデータが少ないのでしょうか。

その理由は、他の国と比べてAIを始めとする人工知能に関する技術などが進んでいるためです。経済活動はもちろん、あらゆる場面でAIを導入している中国ではダークデータが発生することがあまりなく、同時にデータを扱う人もダークデータに関して強い意識を持っている、とされています。

 

なぜダークデータがこんなに多いのか

 

データを解析するにも色々問題が、、、

 

なぜこれほどまでダークデータが増えているのか、気になる人も多いはずです。ダークデータが増えた要因としては様々ありますが、その多くは解析するにあたって出てくる手間人員、そしてコストです。このどれかが絡んで来てしまった結果、ダークデータが増えてしまうのです。

実際に先程紹介した調査でも、データ解析をするにも人員が不足していたり、データが多すぎるためなかなか解析ができないという人が多くいました。実際にデータの数は膨大にあり、半数とはいえ簡単に処理できない量なのです。

 

データを扱う人間にも事情がある

 

 

そしてもう一つ、データを扱う人にも様々な事情があるのです。確かに会社が成長するにはデータが必要不可欠ですが、それらを本格的に活用するには業務改革などの抜本的な対策が必要となる場合があります。そうした大きなことになると、当然社内からはこのままのほうが良い、と現状維持を希望する人が出てきます。そうした事情からダークデータを活用できないという事例もあります。

新しいことをしようとすると、最初は不慣れなこともあり失敗ばかり続いてしまいます。失敗を恐れず積極的にチャレンジする人もいれば、逆に失敗を恐れる人も当然ながら存在します。そうした要因も、ダークデータが半数以上占めてしまう原因の一つなのです。

 

ダークデータを有効活用するには

 

AIがダークデータを救う?

 

 

ではどうすればこのダークデータをうまく活用できるのか、ということになります。最も良い解決方法としては、AIを活用することです。実際に中国ではAIが様々な部分で活用されていることで、結果的に他国と比べてダークデータが比較的少ないとされています。

データ解析をAIが行うようにすれば、コストや人員、そして時間などの手間も大きく省くことができ、それでいてダークデータも今まで以上に活用することができます。とはいえその領域に達するには、AI自体が十分にデータ分析などができるレベルまでにする必要があるため、そこまでに至る手間がかかってしまうという可能性も少なからずあります。

 

ダークデータは人間の手でもある程度はなんとかできる

 

ではAI以外で他に方法はないのかという疑問が生まれますが、結論から言うとあります。というのも、AI以外となると最終的には私達人間の手でどうにかするということになります。しかし、社内にデータに長けている人が多くないのが現状であり、先程の調査でもそのようなことを口にする人も少なからず存在していました。

そこで活躍するのが、データ分析を専門としている企業です。実際に世界にはデータ解析を専門とする企業がいくつか存在します。そのような企業と手を組むことで、より多くのダークデータを活用することができます。

 

ダークデータは宝の巣窟

 

今回はダークデータとはなにか、そしてダークデータに対して世界は今どう考えているかなどについて解説しました。

 

世界を変えるなにかがそこに秘められている

 

 

データというのは、いわゆる宝物が記されたヒントのようなものです。単体ではなんの変哲もないものでも、他のものと組み合わせることで宝を示す重要なものとなる場合もあります。特に会社のデータというのは、成功に必要なデータが多く隠されていることが割と多いです。そうしたことから、最近ではダークデータは宝の巣窟だと言われることが多いです。

しかしデータといっても、中には個人情報などの重要なデータもあります。特に最近ではコンプライアンスに対して非常にシビアになってきていますので、データを扱う際は細心の注意を払う必要が出てきています。

 

最後に

 

よくニュースなどでは食品ロスやリサイクルなど、実体のあるものに対して取り上げられている事が多いです。しかしその一方で、ダークデータを始めとする実体のないものでもロスが出てきています。なんとかしなければいけないのはわかっているものの、実体がないためなかなか実感が湧かないのも事実です。

これからのIT社会では、ダークデータを始めとするデータのロスが非常に多くなるはずです。そしてそれと同時に、それらをうまく活用するデータのリサイクルという動きもまた、重要なものとなってくることでしょう。

無料転職相談に登録してダークデータの知識を活かせる会社に転職しよう

 

どーばー

Geekly Media
ライター

この記事が気に入ったら
シェアしよう!

  • twitter
  • facebook
0

関連記事

求人数×IT業界での紹介実績数で、納得の転職をサポート。IT業界専門だからこそできる提案力を実感してみてください。