スマホでもRで統計解析

こんなのが出ています。

RConsole RconsoleAndroidiphone, android 端末両方でFree, Premiumバージョンが有ります。Premiumバージョンの方は広告が出ないバージョンでそれ以外の機能の差はありません。ので、広告が気にならない方はFreeバージョンでも問題ないでしょう。スマホでもRですか、しかも無料です。

パッケージはプレインストールされているものだけで新たなパッケージはインストール不可となっています。が、とりあえずglmとか時系列とかクラスタリングはできそうですし生存時間分析も入っていますのであらかた出来るんじゃないでしょうか。グラフ昨日はナシ、Stanとかjags, bugsは無理です。あまり多くを求めてはいけません。

 

まあいずれにしてもスクリプトも書けそうですし統計解析もできる高機能な関数電卓と思っていればなかなか使えるんじゃないでしょうかね。Bon appétit!

 

共分散構造分析・構造方程式モデル まとめ


某サイトでも少し言及されていましたが、共分散構造解析、構造方程式モデリングに関する解説サイト、及び解説本を紹介します。数多くのわかりやすいHPサイトが有ります。

 

“Rで共分散構造分析・構造方程式モデル”

http://www.okada.jp.org/RWiki/?R%A4%C7%B6%A6%CA%AC%BB%B6%B9%BD%C2%A4%CA%AC%C0%CF%A1%A6%B9%BD%C2%A4%CA%FD%C4%F8%BC%B0%A5%E2%A5%C7%A5%EB

 

以下はPDFファイルがダウンロードされます。

共分散構造分析の基礎と実際 —-基礎編—-(PDF)

これも。

共分散構造分析 – 行動データ科学研究分野(PDF)

 

以下はPPTファイルです。これも図解(そもそもパス図とかでわかりやすいですが)されていてわかりやすいです。

因子分析と共分散構造分析 – 行動データ科学研究分野

 

書物としてはこれが初学者にとっては非常にわかりやすいのですが、大学教養レベルの線形代数、多変量解析、因子分析等、統計解析に関する基礎知識が必要です。

 

 

あとは共分散構造分析で大変有名な豊田先生の本が多数あります。入門編を一例として紹介します。

 

これくらいあれば学習環境としては十分です。あとは張り切って勉強していきましょう。

 

データサイエンティストと発達障害関連その2

昨日クローズアップ現代で統計学、ビッグデータ、データサイエンティストに関するテーマの番組が放映されていました。こちら

ノイズとシグナルの狭間で | クローズアップ現代 スタッフの部屋:NHK http://www.nhk.or.jp/gendai-blog/100/160827.html

ちょっと誇張していたのかな、と思います。なんでも魔法のように解決するかのような文言でしたが魔法ではなくてサイエンスですのである確率を持っています。また成果が出ないことも当然科学ですからありうるわけで、そのあたりの理解は必須です。

それともう一つ高機能自閉症スペクトラム(現在はアスペルガー症候群の名前から変わったらしい)に関する番組があさイチ!で去年放映されていたようです(知りませんでした)。この模様がYoutubeにアップされていますので御覧ください。1時間あるのでそれほど興味のある人ではない限りは、端折りながらでいいと思いますが。

小売における統計解析・マイニングツール導入の可能性と展望

昔から言われていることかもしれませんが、一応言及しておきます。

データマイニングについては昔からその活用が指摘されていて本にもなっています。2004年くらいでしょうか。その頃の書籍もたくさんあったと思います。図書館に行けば少し古めの本がおいて有りそうですのでたやすく見つけることが出来ると思います。

しかしながらその頃はまだビッグデータ的な概念や技術、インフラもなかったので簡単な統計手法を用いて簡単に予測する程度にとどまっていました。まあこれでもやってない業種はいまだに有って、この手法だけでも改善の余地は大いにあるわけですが。

そして現在、標記に関するニュースですがインドの製造、小売業がSASの統計ツール導入、というニュースです。インドでSASであるからニュースになるのか、インドで初であるからニュースになるのかその辺の経緯は不明ですが、とにかく先進的であることには変わりないでしょう。

製造ITニュース ビッグデータ:インドの宝飾品大手がSASのデータ分析関連ソフトを導入――サプライチェーン合理化に活用 – MONOist(モノイスト) http://monoist.atmarkit.co.jp/mn/articles/1306/28/news069.html

一方で日本ではどうか、SAS導入は大企業や医学部を中心とした大学、と言った程度に留まっています(非常に高価なのももちろんあるのですが)。特に上述のように小売業に最もこの手法には強みがあると思います。特に食品などのデッドラインが定まった商品ではいかに瞬時に売りさばくかがクリティカルになってきます。その意味での在庫管理はもっと合理化がなされてしかるべきなわけです。現在の状況から鑑みても食品廃棄及びロスの際立った多さからは、そのような合理化はなされているとはいえず、まだまだ改善余地は大いにあると思っています。

しかしながらそのようなアナリティクスに関するニュースは表立って出て来ません(ニュースになると優位性がなくなるのでみんな黙っているだけかもしれませんが…いやそうでもないか)。

とにかく日本では一部を除いて後進的であると言わざるを得ません。結局表立つような経営者は前の記事でも述べたように体育会系ヤンキー気質の人達が多いからでしょう。未だかつて論理的思考に基づいた経営者は本当に数十人と言った感じです。経営者の皆さん、もっとクレバーになって論理的思考に基づいたディシジョンをしてみませんか?

以上手前味噌なステマでした。良い週末を。

 

データジャーナリズムで日本を変えよう

これまでの日本のマスメディアの問題点はさんざん議論されてきました。主なものでも下記の通り非常に残念な問題を抱えています。

●記者クラブの問題点 「画一報道」相手組織対クラブ組織という取材の形が常態化すると、画一的な報道が横行する。

「ぬるま湯」独自取材への意欲を失い、発表情報を無批判に右から左へ垂れ流すだけの仕事に疑問を感じなくなる。

「癒着」発想や思考法まで取材相手の当局や大組織に似てしまう危険がある。毎日相手の話ばかりを聞いていれば洗脳もされる。

「閉鎖性」様々な便宜供与はメディア側の既得権益と思いがちだが、本質は国民(読者、視聴者)の既得権益なのだ。外国のメディアやフリーのジャーナリストにも解放されるべきである。

●新聞社において記者・編集サイドと経営サイドが近すぎてジャーナリストの独立性が保たれていない。

●匿名記事が多く、責任の所在がはっきりしていない。
●誤報、虚報に対しての謝罪、検証が不十分である。

(日本のメディアと海外メディアの比較 – メディア・マスコミ – 教えて!goo http://oshiete.goo.ne.jp/qa/6052984.html より)

勿論これらは氷山の一角です。他にも不毛な速さ、スクープ至上主義など。日本のマスメディアのクレバーさがいかに足りないかがわかるかと思います。

そんな中、最近オープンデータをソースにして新たな知見に基づいて記事にするデータジャーナリズムが出てき始めています。これならば誰もが思いついた時に好きなように記事にできると思います。但し論理的思考、サイエンス思考が必須です。そこから質的量的な議論が可能になるわけです。

これまでの日本のマスメディアの非常に悪しき行為、スクープ第一主義等から脱却するための、賢者の議論がこのデータジャーナリズムでなされると思います。そのためにデータジャーナリストも洗練されるべきでしょう。データサイエンティストと同様、これもポスドク等の博士研究者がなれる分野であるとも言えます。

拙記事で恐縮ですが

オリンピック強化費はメダル獲得数をどの程度増やすか : アゴラ – ライブドアブログ http://agora-web.jp/archives/1474767.html

オリンピック強化費を最も効率的に使っている国はどこか? : アゴラ – ライブドアブログ http://agora-web.jp/archives/1477321.html

もある意味データジャーナリズムと言えます。またこのデータジャーナリズムは今に始まった話ではなく、Honkawa氏によるウェブサイト

社会実情データ図録 Honkawa Data Tribune http://www2.ttcn.ne.jp/honkawa/index.html

もこのデータジャーナリズムの範疇であると言えます。昔からあるわけです。

 

他の簡単な参考記事を以下に列挙しておきます。

マスコミ、出版 – Yahoo!ニュース http://dailynews.yahoo.co.jp/fc/economy/publishing/

朝日新聞デジタル:【ネット】オープンデータを使った市民ジャーナリズムの可能性 – デジタル http://www.asahi.com/digital/mediareport/TKY201211090419.html

データジャーナリズムから学ぶ、データからのストーリーテリング。データジャーナリズムに関する初めての教科書「Data Journalism Handbook」がリリース! | BI for everybody. http://bi4everybody.com/2012/04/data-journalism-handbook/

 

真実は何なのか、という当たり前の欲求です。これからはデータジャーナリズムとサイエンス思考で、日本を変えていけるはずです。

ロゴ、アイキャッチ画像、本文を改定、野球を統計解析する

ホームページ(トップページ)のロゴレター、アイキャッチ画像を変更いたしました。またそれに則して本文もわかりやすく改定しています。是非皆様のご愛顧をよろしくお願いいたします。

また本日のスタッツ関連のニュースも掲載します。何かと色々語られる野球のデータに関するものです。

NEWSポストセブン|今年は飛ぶと評判の統一球 データ上は「変わったとはいえぬ」 http://www.news-postseven.com/archives/20130528_190606.html

統一球によるホームラン増は事実なのか、きちんと統計解析してそれは変わっていないことを証明しています。サイエンティフィックにはもう少し言及するべきと考えますが、一般向けには読みやすくなっています。

以前はこんな記事もありました。

ビッグデータ化するスポーツ界 #BLOGOS http://blogos.com/article/41654/

野球のセオリー 実は錯覚であることが判明 http://mimizun.com/log/2ch/news/1229761042/

上記2つはとかくその場の印象で語られやすい野球の言葉(セオリーという言い方をしていますが和訳すると理論であり、サイエンスの世界で使われるものと全く異なります。最も近いのはmythではないでしょうか)を数値を用いてサイエンティフィックに解明した記事です。特に後者の記事については当初はご覧のとおりかなり叩かれている文言も目立ちます。あたかも筋道立てて事実を究明しそれを説得ているのに、感情的に詰られる(なじる:非難する)といった言った理不尽なやり取りかのようにも見えます。元ネタが2chだということもありますが…。

スポーツにはモチベーションは非常に重要な部分であり、否定しません。一方で上記の証明は必須です。その住み分けをきちんとするべきでしょう。これからの日本のスポーツは従前のままでは進歩はしません。上記のようなインテリジェンスを持ち合わせるべきと考えます。

 

学術論文を用いた統計解析Tips予定

Scientific-Global.netでは近々学術論文を用いた統計解析のTips集を公表いたします。ここで着目するのはその学問分野ではなく、統計解析がどのようなときに使われているのか、を重点的に解説しようと思います。その使い方をマスターすれば他の分野でも応用がいくらでもきくのでは、と思われます。

今後数回にわたって不定期ですが解説して行きたいと思います。よろしくお願いします。