Synapse Diary

ビッグデータによる解析で注目されているのは、文字列解析です。

数値解析はこれまでも行われてきましたが、非定型で定量化されていない文字列のデータをどう解析するかは大きな課題でした。しかし、いろいろ解析手法が編み出されてきており、かつIT技術の進歩によって膨大なデータを取り扱えるようになっていることから、現実的に使える分析になっています。

これまでR言語による分析をはじめたと書いてきましたが、今回は具体的な文字列解析に関する内容を書いておこうと思います。

文字列の類似度を定量化する

２つの文字列を比較して、どの程度類似しているかを定量化します。いろいろ手法はあると思っていますが、とりあえず使いやすそうなのは「レーベンシュタイン距離」です。

レーベンシュタイン距離（レーベンシュタインきょり）あるいは編集距離（へんしゅうきょり）は、情報理論において、二つの文字列がどの程度異なっているかを示す数値である。具体的には、文字の挿入や削除、置換によって、一つの文字列を別の文字列に変形するのに必要な手順の最小回数として与えられる。

レーベンシュタイン距離 – Wikipedia

R言語の場合、「MiscPsycho」というパッケージにレーベンシュタイン距離を計算できる関数が用意されています。R言語ってこういうパッケージで簡単に用途を広げられるのが素晴らしいですよね。

aとbの文字列の類似度を計算する場合
library(MiscPsycho)
string(a,b)

文字列の全てではなく特定のキーワードを抽出する

文字列の比較を行うにしても、全てを単純に比較するより単語を抽出した方が効果的な場合もあります。そういう場合は、名詞だけを取り出してみましょう。

R言語では、「RMeCab」というパッケージで簡単に名詞などに分解するような、形態素解析を行うことが可能です。

aの文章を形態素解析する場合
library(RMeCab)
result <- RMeCab(a) # 形態素に分解したリストが生成される
unlist(result) # リストを表示

基本的な操作は以下の資料を参考にしました。

ちなみに、Macの環境でRMeCabのインストールがうまくいかなかったので、以下のリンクを参考に実施しました。

RMeCab – RとLinuxと…

これで、文字列の類似度を比較することもできるし、形態素解析を組み合わせて、比較の精度を向上させることだってできます。しかも、パッケージを２つインストールするだけで、R言語上ですぐに実行できるのだから、本当に良い世の中になったものです。勉強するための資料もインターネット上にたくさん存在しているし。利用しないともったいない。

今度は、株価分析もやろうかなーと思っていますよ。

前回の記事で、データアナリティクスを実際にやるためにR言語を学習し始めたと書きました。

「ヤバい予測学」を読んで「R」を学んだら、データアナリティクスの可能性を肌で感じた | Synapse Diary

引き続き、R言語を触っています。やってみて思ったことは、「実際に触っていると、分析の切り口が思い浮かぶ」「やりながら分析方法が改善されていく」ということです。

最初は、「何となくこういうことを分析したい」というところから始まったのですが、少しずつプログラムを組んでいくと、「ここをこうすれば、具体的な分析結果までいけるのでは？」と思いついたり、作ってる途中で「ここを変えれば、もっと良い分析ができるのでは？」と閃いたりします。

意思決定に影響を与えるデータ分析を行うために

「会社を変える分析の力」では、データサイエンティストに求められる条件は、「どんな分析をするか構想する力」であり、その結果として組織の意思決定に影響を与える必要があると書かれていました。

データ分析が注目されていますが、一番高いハードルが、「結局分析して何の役に立つのか？」という点に応えるための、一連の流れを創りだすことにあります。そのためには、分析ノウハウも当然必要ですが、業務に結びつけるイメージも同時に持つ必要があります。

人のタイプにもよると思いますが、個人的にはやはり分析ツールや方法を実際に知らないと、意思決定に結びつけるまでイメージするのは難しいと思います。そして、R言語を弄ぶことで、漠然と描いていた、データ分析から意思決定までの流れが少しずつ具体的にイメージできることを体感しました。

データ分析には限界がある

また、R言語を触ってみるとデータ分析には当然ながら限界があることもわかります。ある程度、人手でカバーしたり、完璧をもとめず有用な分析結果を取り出すよう、「割り切る」部分も求められるわけです。

そういうことも含めて、データから良い分析結果を取り出すまでのフローを設計することが、データサイ分析の現場では求められます。

今回、文字列の類似度を計算したり、クラスター分析したりしてみましたが、文字列の類似度も完璧に機械化できるわけではなく、人間の感覚とは違います。また、クラスター分析だっていろんな手法があり、自分がイメージするように綺麗にクラスターとして分けてくれるわけではありません。こういう壁にぶつかるとイライラしてきますが、一定の限界を受け入れなければいけないわけです。

それと同時に、クラスター分析にいろんな手法があり、それを改善する方法もいろんな人が研究してるんだなーと感心もしました。奥が深い、統計分析の世界。。。。

まだR言語の書籍買わず、ネットで調べただけですが、フリーツールで、膨大な情報があるというのは、本当にありがたい時代だなって実感します。

Slideshareあたりで参考にした資料を貼っておきます。とりあえずこれらを読めば、いろいろ分析に着手できますよ。

ビッグデータやデータアナリティクスという言葉が、すっかりバズワードになっている気がしますが、実用的なネタはそれほど多くなかったり、まだ実際の業務で当たり前に使うってレベルではありません。むしろ、これからもっと実用的なレベルになっていくんだと思います。

「ヤバい予測学」を読むとデータ分析したくなる

ヤバい予測学 ― 「何を買うか」から「いつ死ぬか」まであなたの行動はすべて読まれている

posted with ヨメレバ

エリック・シーゲル 阪急コミュニケーションズ 2013-12-18

Amazon

Kindle

「ヤバい予測学」を読んだのですが、予測に必要なアナリティクスのアプローチや実例を、丁寧に順を追って説明してくれます。シンプルな予測モデルの作成にはじまり、複合的な予測モデルの組み合わせによる精度向上、人工知能の実態なども具体的な分析のイメージを与えてくれます。

合わせて述べられる豊富な実例は、自分の業務などにどう活かせるかを考えながら読ませてくれるので、すごい刺激を受けます。

組織的にどうやってデータアナリティクスを導入していくか、という点では「ビッグデータ・アナリティクス時代の日本企業の挑戦」が面白いですが、具体的なデータ予測の中身を学ぶのであれば、「ヤバい予測学」の方が良いです。

分析したくなって「R言語」の学習をはじめた

「ヤバい予測学」を読んで、たまらなく分析してみたくなったので、統計解析ソフト「R言語」をインストールして、勉強してみることにしました。

The Comprehensive R Archive Network
[browser-shot url=”http://cran.r-project.org/” width=”600″ height=”450″]

少し触ってみてわかりましたが、基本的な統計分析ができるようになっていますし、数千行にもおよぶデータ群を読み込ませても、ヒストグラムなども簡単に解析できます。複雑な計算でも、スクリプトを書けばできますし、構文もそんな難しくありません。ただ、データモデルはちょっと独特な感じがしますね。

いろいろ試行錯誤しながら、文字列の類似度を評価して、クラスター分析してみました。文字列の類似度を計算するメソッドが用意されていることにも、驚きを覚えました。コマンドひとつで実施できるわけですから。

文字列の類似度を測る(1) レーベンシュタイン距離｜Colorless Green Ideas

それ以外にも、全然業務に関係ないけど、株価予測とか企業の倒産確率とか面白そうだなーと思ってます。

R言語を用いた自己回帰モデルによる株価予測を試してみた – Yuta.Kikuchiの日記
Rで学ぶ『構造型モデル de 倒産確率推定』

知識として理解することも重要だけど、実際に自分で触ってみると「実感」としての理解が進みますよね、やっぱり。データアナリティクスは、改めていろんな可能性が広がってるなって思いました。

しばらく分析ネタに飢えていると思うので、良い分析ネタがあれば、誰か教えてください。