Synapse Diary

Prophetの勉強のために、いろいろ分析ネタを探しているのですが、今日は変化点の抽出です。

テーマは、あいみょんやOfficial髭男dismがいつ頃からブレイクしたのか、Prophetの変化点抽出の機能で可視化したいと思います。

前半部分は、前回の記事と同じコードを使っています。

花粉症が増えているのか、ProphetでGoogleトレンドを分析した

まずはGoogleトレンドのデータを抽出

あいみょんとOfficial髭男dismを、Googleトレンドで検索した結果がこちらです。

グラフでぱっと見た感じだと、あいみょんは2018年初め、Official髭男dismは2019年の半ばぐらいからでしょうか。

あいみょんを分析

トレンドに分解すると、こんな感じです。ここで見ても、2018年で上がり始め、2019年を過ぎたころにピークを迎え、今は少し落ち着いてます。

で、今回のメインである変化点抽出。基本的には、こちらのサイトのコードを拝借しました。

Facebookの予測ライブラリProphetを用いたトレンド抽出と変化点検知 – Gunosyデータ分析ブログ

可視化したグラフとコードがこちらです。

[python]
import seaborn as sns

# add change rates to changepoints
df_changepoints = gt_data.loc[m.changepoints.index]
df_changepoints[‘delta’] = m.params[‘delta’].ravel()

# get changepoints
df_changepoints[‘ds’] = df_changepoints[‘ds’].astype(str)
df_changepoints[‘delta’] = df_changepoints[‘delta’].round(2)
df_selection = df_changepoints[df_changepoints[‘delta’] != 0]
date_changepoints = df_selection[‘ds’].astype(‘datetime64[ns]’).reset_index(drop=True)

# plot
sns.set(style=’whitegrid’)
ax = sns.factorplot(x=’ds’, y=’delta’, data=df_changepoints, kind=’bar’, color=’royalblue’, size=4, aspect=2)
ax.set_xticklabels(rotation=90)
[/python]

[python]
figure = m.plot(forecast)
for dt in date_changepoints:
plt.axvline(dt,ls=’–‘, lw=1)
plt.ylim(0,100)
plt.show()
[/python]

変化点はこんな感じになっています。

0 2017-03-12
1 2017-10-29
2 2017-12-31
3 2018-02-25
4 2018-04-22
5 2019-02-10
6 2019-04-07

グラフと照らし合わせながらみると、2017年10月～2018年4月ぐらいまでで連続して変化点が生じているので、このあたりがブレイクポイントかなと。

Wikipediaのディスコグラフィーと見比べると、「君はロックを聴かない」から「満月の夜なら」あたりでしょうか。

あいみょん – Wikipedia

Official髭男dismを分析

次はヒゲダンです。こちらは念のため、「Official髭男dism」と「ヒゲダン」の両方を見てみました。

最近は「ヒゲダン」の方が多いんですね。ただ、ブレイク時期を見るには「Official髭男dism」の方がよさげなので、こちらで分析進めます。

あいみょんと同じように、まずはトレンドの分解から。

大きな変化点は、2018年の後半あたりにある気がしますね。

次は変化点抽出です。同じグラフはこちら。

変化点はこんな感じになっています。

0 2017-09-03
1 2017-10-29
2 2018-04-22
3 2018-06-24
4 2018-08-19
5 2018-10-14
6 2018-12-09
7 2019-02-10
8 2019-04-07

こうみると、2018年過ぎたころから立て続けに変化点が訪れており、その都度Googleトレンドの値が徐々に上がっているのがわかります。最後、ガッと上がっているのが2019年4月ですね。

同じようにディスコグラフィーを見ると、メジャーデビューしたのが2018年4月なので、そのあたりがちょうどGoogleトレンドの上昇傾向の開始と合致します。そして、Pretenderの発売が2019年5月なので、この発売と合わせて急上昇していったように見えます。

Official髭男dism – Wikipedia

ということで、Prophetで変化点抽出を見てみました。目視でグラフで見るだけでは感じなかった、トレンドの変化を抽出することができました。逆に、違和感みたいなところもあるので、使い方次第というか、実データや背景などと組み合わせて読み解く必要もありそうです。

今年は花粉症が軽い感じだな、と思っていたのですが、一方で毎年花粉症の人は増えているという報道を目にした覚えもありました。実際どうなんでしょう？

ふと気になってGoogleトレンドで過去の経緯を調べてみました。Googleトレンドで日本の「花粉症」で検索された結果がこちらです。

[python]
from pytrends.request import TrendReq
pytrends = TrendReq(hl=’ja-JP’, tz=360)

kw_list = ["花粉症"]

# 全期間を取得
pytrends.build_payload(kw_list, cat=0, timeframe=’all’, geo=’JP’, gprop=”)
df = pytrends.interest_over_time()

%matplotlib inline
df.plot(figsize=(15, 3), lw=.7)
[/python]

毎年2月ぐらいに大きくなる、というのを繰り返しています。そのピークの山は年ごとに違っているようです。全体で増えているのかどうかは、ちょっとわかりづらいですね。

これを、トレンドに分解してみます。FacebookのProphetを使いました。

[python]
import pandas as pd # DataFrame
from fbprophet import Prophet # prophet

gt_data = pd.DataFrame()
gt_data[‘ds’] = df.index
gt_data[‘y’] = df[kw_list].values

# Prophetモデルの構築
m = Prophet(weekly_seasonality=False)

# 学習
m.fit(gt_data)

# 将来30日間を予測
future = m.make_future_dataframe(periods=30)
forecast = m.predict(future)

m.plot_components(forecast)
[/python]

全体のトレンドでみると、やはり右肩上がりになっています。増えている感じがしますね。

そして、年間の推移でみると、1～3月は盛り上がり、それ以外はほぼ低迷な状況です。イネ花粉など春以外にも花粉症はあると言われていますが、春の花粉症以外はそれほど強い関心にはなっていないんですかね。

ということで、Googleトレンドで見る限りは、この5年間ほどで花粉症は全体として増えているようです。

Facebookが開発した時系列解析パッケージのProphetは、結構便利なのでいろいろ使い方を考えています。

超簡単に時系列予測するデータ分析方法は知っておいて損はない

で、こちらの記事を見つけたので、模倣して分析させていただきました。

あまりに暑いのでProphetで140年分の気温を分析した

全く同じだと芸がないので、対象データは岐阜のものにしました。こちらの気象庁のサイトで、対象拠点を岐阜にするだけなのですが・・・。

気象庁|過去の気象データ・ダウンロード

140年で気温はどんどん上昇している

気象庁のデータは1870年代からあります。こんなに昔から統一フォーマットで公開されているデータというのも、非常に貴重ですね。

こちらが実際の140年分の日次データです。

これだけ長い期間での推移をみると、全体で上昇しているのがわかります。やはり、元ネタの記事と同じように、岐阜でも気温は右肩上がりかな,、というのがわかります。

こちらはデータを、トレンドに分解したものですが、これも同じです。

140年で3度ほど気温が上がっています。そりゃ暑いと思うわけですね。

今年はやはり暖冬だった

次は直近の気温の推移を描画します。過去2年のデータと予測（30日分）がこちらです。

昨年の冬と比べても、今年の冬は信頼区間（80％）を超えて平均気温が高い日が多かったことがわかります。

ということで、Prophetで簡単に気温を可視化し、傾向を分析したり、予測することができました。Prophetって本当便利ですね。