kobblog@livedoor

酒とライブな日々(?)って感じの日記でしょうか。

www.flickr.com
kobakou's photos More of kobakou's photos

年始はデータ分析三昧?! / #talbeau を使って散布図を描くの注意点

年始早々がんばってTableauを使ってみています。 gacco: ga063 社会人のためのデータサイエンス演習 (https://lms.gacco.org/courses/course-v1:gacco+ga063+2017_11/about ) の課題を解くのに、無理にでもTableauを使って、使い方に慣れようという、習うより慣れろ作戦。

ここの課題の中にもあるのですが、散布図を書いて、線形回帰のトレンドラインを引いて見る、ということはExcelでも簡単にできるので、わざわざTableauを使うことは無いのですが、Tableauで描くことで大きなメリットがあります。

それは、散布図から「外れ値」を見つけ、簡単にそれを除外して、トレンドラインを再確認する、という「分析プロセス」か容易に回せることです。

公式のTableauのチュートリアルはこちら

Trend Lines https://www.tableau.com/learn/tutorials/on-demand/trend-lines

outlier

ところが、私が実際に触っていてハマった点があったので、いつかの自分のためにメモを残すことにしました。

散布図の書き方その1

散布図を書く際に一番手軽なのは、2つのメジャーを選び、Analysisから集約を外す方法です。が、この方法で作った場合、任意のプロットを外れ値として除外する、といったことができないことに気づきました。

method1-1

method1-2

散布図の書き方その2

正しい散布図の描き方は、2つのMeasureを選択し、散布図を描いた後、固有の値「ID」をDetailとして設定することです。これでIDごとにSUMされた値で(=すべてバラバラに)プロットされ、さらに外れ値を「除外」できるようになりました。

method2-1

method2-2

「散布図を書く」という点では最初の方法でも目的を達成できるのですが、その後の「データとの対話」には、2番めの方法で描くのがポイントとなるようです。

サンプルで作ったワークブックは Tableau Public からアクセス可能です。

https://public.tableau.com/shared/BHXMXZXG8?:display_count=yes

やっぱり埋め込みたいな〜(Qiitaにも埋め込みたかったがぱっとはできず... 結局このblogに書くことに。)

お正月休み、別に暇なわけじゃないですよっ!

J-Debit の「キャッシュアウトサービス」はどうなんだろうと思い、お勉強を兼ねて #data で調べてみた

正月休みで奥さんと話していて知ったのですが、しばらく前のニュースだったようですが、2018年から、J-Debitが「キャッシュアウトサービス」という新サービスを始めるそうですね。

J-Debit「キャッシュアウトサービス」開始に向け、運用ルールやシステムの整備が進む ≪ ペイメントナビ - カード決済、PCI DSS、ICカード・ポイントカードの啓蒙ポータルサイト

イオンのレジがATMに?2018年4月からの新サービス「キャッシュアウト」 - ライブドアニュース

確かに、学生の頃 ( ~20年前! ) 欧州を旅行していて現金が足りなくなったときに、クレジットカードで支払ったついでに現金をお釣りとして多めにもらう、というのをやったことがありました。クレジットカードで支払う金額を任意に指定できたので、お買い物金額+端数とちょっと多めに金額を支払うとお釣りを現金でもらえたんですよね。ちなみに、J-Debitは皆さん知っていますか? いわば店頭のレジを銀行のATMとして利用するような感覚で、支払いが可能なシステムで、私が利用したことがあるのは、クレジットカードの限度額を超えてしまうような高額のお買い物をするときで、家電量販店でパソコンを買う時、くらいでした。当時はパソコンもすごく高かったし、限度額も低かったのです汗 確かJ-Debitで払うとポイントも現金同等でつくが、クレジットカードだと数%さがるよ、なんてインセンティブもあったと思います。

そもそも使えるお店も少なく、さらに認知も少ないため、使うチャンスが一向に増えない、あのサービスです。ちょっと記事を探していたら、やはり苦戦しているようですね。

デビットカード:決済1億件突破 クレジット提携で利用増 - 毎日新聞

でも、本当はどうなのかな?この「キャッシュアウトサービス」が起死回生になるだろうか? 冬休みの時間を利用して、J-Debit加盟店の状況がどんなもんなのか、調べてみることにしました。

J-Debit加盟店一覧を入手

日本デビットカード推進協議会が、J-Debitナビ というサイトを作っていて、そこから加盟店検索ができたので、そこからデータを入手してみました。↑の記事には端末は30万以上あるとありますが、このサイトには、合計3.5万店舗ほどの情報が掲載されていました。端末数≠店舗なのかな?

シンプルなTableで検索結果が取得できますので、それをpythonを使ってcsvにして、'shoplist.csv'として保存しました。一応、あんまり早くアクセスしすぎると迷惑かなと思い、1ページ取得することに、2秒待つようにしてみました。

可視化して考察してみる

可視化は Tableau を使ってやってみました。成果物を Tableau Public というサービスを使って公開できるというのもやってみたかったのです。...が、なぜかこのBlogにうまく貼り付けられない涙 動的に見たい方は jdebit_v10.4 - Kou Kobayashi | Tableau Public からどうぞ。

カテゴリーや店名にまつわる文字列は一部 split などして、ざっくりまとめつつ、、まず加盟店の分布を確認。とにかく店舗数という点では、東京のタクシーが圧倒的!どうも個人タクシーなどは協会名くらいしか登録されていないようで、うまく数えられていないような気がします。

Pref x Category

次は「タクシー・鉄道」除外して、全国の分布を見てみました。全国的に対応しているように見える業態は

  • 宿泊施設・旅行関係
  • 家電
  • 衣服
  • 時計・眼鏡・宝飾

あたりが見えてきます。やはり高額商品系の方が多いんでしょうね。

Category on Map

ただ、店名まで見ていくと、例えば、エディオン(家電)で、1109店舗あったりと、チェーン的な展開をしている業種/店舗での対応数が抜き出てくるということが分かってきました。大体そういう店は「エディオン xx店」などとなっているため、店名を空白で区切って見ることにしてみたのがこちらです。

Shop alliance

店舗のカテゴリーを色分けで表現すると、単一のものと、いくつもの色分けがされているものが見つかりました。そういったものの店名(Shop name Split 1)を見ると、「大阪商業振興センター」「四丁目プラザ」「、、、進行組合」といったものが多くでてきました。なるほど、商店街等でまとめて導入しているんですね〜 なるほど面白かったです。Tableau上で簡単な計算式を作ってデータを加工もできるのでこういうときは便利だなと改めて。

本当は、さらに Geocoding API - 住所から緯度経度を検索

といったAPIを使って、店名から住所を特定して細かくみてみたいところもあったのですが、3万件 x 5sec = 数日 となってしまい、、冬休みの時間も限られているので、一旦ここまででまとめます。次は、Scrapyとかも試したいな。

まとめ=狙い目は田舎のホテル/旅館?

  • J-Debuitが使えるお店は
    • 宿泊施設・旅行関係
    • 家電量販店
    • 衣服
    • 時計・眼鏡・宝飾 といった高額商品を扱う店が多い
  • 大型グループの店舗などが加盟店の数を稼いでいる状況だが、店舗検索によると、店舗としては3.5万店舗程度で、決して多いとはいえない
  • また「面展開」という意味では、商店街などで積極的に導入しているケースもある

じゃぁ、こういう場所でもともとのきっかけだった「キャッシュアウトサービス」が役に立つ=呼び水になるのだろうか? ただ、そもそも対応しているような店舗がある場所はどうもATM(もしくはコンビニATM)がいくらでもありそうに感じています。(本当はここも「データ」で見たいところでしたが)

唯一ある!としたら「田舎」のホテル/旅館かな? 先日、広島の宮島に旅行に行った際も、US旅行とは大違いで、すごくおしゃれな店ですらカードが使えずほぼ「現金生活」だった思い出しました。小さな規模のお店でお土産買ったり、アクティビティ体験などする際にまだまだ現金は必要そうですからね。もし外国人旅行客がホテル/旅館のカウンタをATM代わりに利用でき、そこで明日の現金を調達できるとしたら、悪くないんじゃないか!、、あ、でも、J-Debit使うには日本の銀行の口座が必要ですね。ダメじゃん 涙

訪日外国人を狙うなら

一方で、こんな記事も見つけました。

台湾金融カードによるATM現金引き出しサービス・ショッピングサービスの全国展開を加速 ≪ ペイメントナビ - カード決済、PCI DSS、ICカード・ポイントカードの啓蒙ポータルサイト

JapanTaxiが「全国タクシー」アプリにQR決済「JapanTaxi Wallet」機能を搭載 ≪ ペイメントナビ - カード決済、PCI DSS、ICカード・ポイントカードの啓蒙ポータルサイト

やっぱり外国人旅行客狙いは、J-Debitに頼らず、独自で始めるところは初めますよね。

この「現金レス」(に向かう) 時代で、こんな中途半端なサービスで「注目度向上・利用活性化」させたいという J-Debit は、Fintech の動きのなかで、大丈夫なのかなと思わざるを得ませんでした。銀行と「日本デビットカード推進協議会」でも考え方は違うんだろうなぁ。。

繰り返しになりますが、インタラクティブにフィルタしたりできるチャートがありますので、何か他の気付きがあれば教えてください!

jdebit_v10.4 - Kou Kobayashi | Tableau Public

Tableauデータ分析~入門から実践まで~
小野泰輔
秀和システム
2017-03-25

続きを読む

2018年 明けましておめでとうございます

明けましておめでとうございます!!

今年は、まったく年末感のない年越しとなりましたが、一応近くのお寺に初詣などもしてきました。短いですが正月休みを活用して、2017年やり残したことをハンズオンしたり、2017年の整理・アウトプットをして、年明けからの生活の助走としたいと思っております。

完成品

なお、aiboの画像は http://aibo.sony.jp/download/ から利用させていただきました。最近、初めて見た時よりも、だんだんカワイイように思えてきました。

本年もよろしくお願いします!

2017年 ライドまとめ [430km]

2017年は自転車関連でもいろいろなことがありました。今年は、がんがん自転車に乗っている会社同僚と知り合い、初めて輪行のチャレンジし、stravaも使い始めました。自転車をがんがんやっている方と一緒に走り出すと、いろいろ触発もされることも多く、ついにロードバイクデビュー。そして、後半には、奥多摩ツーリングでの初めての「激坂」を体験 ... つらかった〜

Strava My Stats | 2017

Distance 431.4 km
Time 25h 51m
Elev Gain 6,327 m
Rides 22


2018年もいろいろなところにいけるといいなと。が、もう少し鍛えないといかんかもなぁ。地元にも結構な坂があることが、Stravaのを見ていて分かったので、そこら辺をぐるぐる走ってみるのもありかも〜 あ、本当は Zwift も試したい

カスイチ ( 霞ヶ浦一周 )

97.2km | 4:52:33 | 493m

kasu1

江ノ島

93.2km | 5:31:40 | 1,112m

enoshima

奥イチ ( 奥多摩、秋川渓谷〜都民の森 )

91.7km | 5:32:25 | 2,965m

oku1

※ iframe で https のコンテンツを貼り付けられないため、致し方なく画像貼り付けにしました..


2017年ライブ 振り返り - 3 Solo and 3 Fes

毎年恒例と思っていたら、2016年は振り返りすらしていなかったライブ。今年はちゃんと振り返ってみます。

こうしてみるとなぜか年始年明けと年末が多かったですね。厳選していいライブに行けたような気がします。中でも、つい先週クリスマスの夜に、久しぶりに参加した布袋は良かったなぁー 40超えてやっと布袋の歌詞やMCが染みてくるようになりました。毎年毎年、1mmでも先に進む努力を続けている、こうしてまだまだ活躍している55歳。見習わねば!!

3 Artists

3 Festivals

  • 2017/3/26 Pink Spring Final @ 幕張メッセ
    • ... , BAD RELIGION, THE OFFSPRING
  • 2017/4/7 GENERATION AXE / A NIGHT OF GUITARS @ Zepp Tokyo セットリスト
    • Tosin Abasi, Zakk Wylde, Nuno Bettencourt, Yngwie J. Malmsteen, Steve Vai
  • 2017/8/20 Summer sonic 2017 @ 幕張メッセ blog記事 セットリスト
    • THE STRUTS, CIRCA WAVES, fox capture plan, ROYAL BLOOD, MAN WITH A MISSION, BABY METAL, FOO FIGHTERS

Imago
Be The Wolf
Audig
2016-02-26


Paradox(通常盤)
布袋寅泰
Universal Music =music=
2017-10-25

CONCRETE AND GOLD [CD]
FOO FIGHTERS
ROSWELL RECORDS/RCA
2017-09-15

それにしてもMuseの太っ腹な(ソーシャル)メディア戦略はスゴイなぁ。いくらでもYoutubeで最新のライブビデオが楽しめます。最高のライブクオリティがあってできることだろうな〜 Youtubeのビデオ見ていいなと思った方は、是非チャンスがあったら生のライブに行かれることをおすすめします!

ロゴまで陶器調で感心した #ロハコデザイン のビオレu

数年前からLOHACOは消費財メーカーと協業で、LOHACOオリジナルの商品デザインの商品を販売しています。コンセプトは「暮らしになじむデザイン」です。

https://lohaco.jp/event/movie/kurashidesign/

コンセプトの紹介ページが見当たらなかったので、思い出す範囲で書くと、、、

通常商品は店舗に陳列される前提でパッケージがデザインされています。だからドデカイ商品名や宣伝文句が店頭で目立つようにデザインされます。特に消費財はそのパッケージのままおうちの棚にストックされることも多いでしょう。それってうざったいですよね。どうせ最近は通販でそういった商品を買うのだから、外装のパッケージは店頭向けではなく、おうちむけにしようよ、という試みです。

すばらしいですよねー。無印良品とかでもシャンプーのシンプルでクールな詰替えボトルなんかもあってわざわざそれに詰め替えて使っている人なんかもいるんだと思います。

で、最近トイレ用にビオレuのハンドソープを使っているのですが、そのデザインが陶器のトイレとあう陶器柄になっています。いいですね。で、並んだそのボトルを見て、ふと気づいたのが、「ロゴまで陶器の絵付けっぽくぼんやりしてる!」写真はピンぼけじゃないです!


【数量限定】花王 ビオレu泡ハンドソープ マイルドシトラスの香り 本体250ml 1セット(柄違い3個入)ポーセリンデザイン

https://lohaco.jp/product/4576935/

ロゴマークって、企業や商品の顔=アイデンティティですし、その利用には企業はとても気を使っていると思います。結果、厳密な利用・掲示ルールなんかがあるのが普通なのですが、そのロゴをぼかしてしまうとは!非常に正しい使い方と思うのですが、その判断って結構すごいんじゃなかなと感心したのでした。花王さんすごいな〜 細かい話でした。

訪問者数

    Archives
    Categories
    記事検索
    Recent Comments
    Recent Trackbacks
    twitter
    • ライブドアブログ