最近、ITのみならずビジネス分野の記事でもよく見かける「ビッグデータ」というキーワード。そうした記事を読んでいくと、大方のものには最後のまとめに、「企業にはデータサイエンティストが求められる」とか「データサイエンティストが不足している」などと書かれていることが多いようです。
つまり、ビッグデータのような情報の海から有用な意味を見出すには専門的なテクニックが必要であり、それを体得している人材が「データサイエンティスト」で、そうした人材はこれまで意識して育てられてこなかったので、人材プールが不足している、というわけです。
なるほど、そうだろうなと思います。データがたくさんあっても、それを分析する人材がいないと無意味です。分析のノウハウを社内で磨いてこなかった企業も、多いことでしょう。
しかしデータ分析の実務を想像すると、素朴な疑問が浮かぶのです — 数が少ないとされるデータサイエンティストを運よく獲得できると、その企業は安泰なのでしょうか。
確かに、大規模なデータから探索的に分析を行い、隠れた意味を把握するには、統計分析の知識を中心とした専門的な分析技術を習得し、状況に応じてそれらを使いこなせる必要があります。
この「状況に応じて」というところがポイントで、既知であるさまざまなアルゴリズムの中から、分析する状況にあった手法を取捨選択し、出力された結果を読み解く技術が要求されるのです。
では、その技術を習得し使いこなせる「データ分析ができる専門人材」がつまり「データサイエンティスト」だとして、その人はどんなコンテキストでも万能に分析できるものなのでしょうか。
特に科学技術の分野では、ビジネスの分野でいまのように騒がれるずっと以前から、データはそれこそビッグでした。だから、スーパーコンピュータのようなものがないと最先端の分析研究ができないわけです。それなら例えば、ヒトゲノム（DNA）のデータ分析を手掛けているデータサイエンティストは、小売店のPOSデータの分析者にも簡単になれるものなのでしょうか。
どんな分野の分析においても、「どう分析するか」よりも「何を見たいのか」のほうが問題ではないでしょうか。そのとき、単にデータサイエンティストを連れてきただけでは「何を」が欠けてしまいます。
また、これもどんな分野の分析でも同じですが、データ分析の結果というものは、実際は試行錯誤の末の産物です。マスコミやベンダーなどが示す事例で見かける「美しい結果」より前に、実は無数の「取るに足らない結果」が出力されています。分析担当者が毎日、それこそ実験を繰り返すようにいろいろなことを考え試してはじめて、意味のある有益な出力が得られるのが、現実のデータ分析なのです。
さらに、別の問題もあります。
従来の統計分析手法は「パターンを見つける」ことを主な目的としています。よく言われる「ビールを買う男性が一緒にオムツを買っていく」という逸話も、アマゾンなどのネットショップで頼まなくても表示される「レコメンド」も、すべてパターン分析の結果です。
一方、ビジネスの文脈では、パターンも大事ですが、実はそれにもまして、顧客や見込み客がなにかの拍子に変容する「きっかけ」を見つけるのが大事なことが多いと思いませんか？興味を持っていなかった人が興味をもつ「きっかけ」、その逆に興味を持っていた人が興味を失う「きっかけ」、そういうものがビジネスにより重大な影響を与えると思いませんか？
そうした「きっかけ」は、従来型の統計分析手法ではとても見つけにくいのです。なぜなら、パターンにならないほど「頻度が小さくてランダム」だからです。みなさんにとって大事な「きっかけ」って、そう何度もありませんよね？
このように、データ分析においては確かに専門知識は重要ですが、それを持っている人が一発で答えを導出できるわけではないのです。必ず、試行錯誤を伴います。
ですから、みなさんの会社でデータサイエンティストが必要ならば、「自社のことを知らない人を探して採用する」よりも、社内にいるロジカル思考のできる人材を選定して勉強してもらい、育てること。そして彼らが活動できる業務環境やデータ管理基盤を社内に整備してあげること。これらを優先して行うべきと、わたしは考えます。
そのうえで、経営者は活動をウォッチしながら、期待半分程度で、ホンモノの成果が出るのを気長に待つことです。