Rではじめるビジネス統計分析 という本を執筆しました！ 内容は、以下のような感じです。 御社のビッグデータから隠れた“X(宝)"を見つけ出せ! 2013年以降、企業内部で肥大化したビッグデータ(構造化されてない大量のデータ)を利用する動きが活発になってきて…

久しぶりにCRANにアップしようと思ったら、R CMD checkで以下のようなのが出てきたのでメモ。 * checking R code for possible problems ... NOTE [関数名]: no visible binding for global variable '[変数名]' ...注意されてる変数を関数内で初期化すれば…

RでHadoopを使うパッケージは、RHadoopとかRHIPEとかありますが、 単純にHDFS上のデータを読み書き出来るだけのシンプルなものが欲しかったのでパッケージを作って公開してみました。 http://crantastic.org/packages/rHadoopClient JavaとかPigで一次集計し…

先日やったRでHTMLレポート配信を、パッケージ化して公開しました！ [R] knitr+sendmailR でHTMLレポート配信 - yokkunsの日記 sendmailRで画像付きHTMLメールを送る - yokkunsの日記 Rでレポートメール 準備 修正版sendmailRのインストール $ git clone git…

前回は、R Advent Calendar 2012 : ATNDに間に合わせるために、現バージョンではHTMLメールが送れない問題と、画像が表示されない問題について苦肉の策をとらざるを得なかった。さすがにあのままじゃちょっと残念な感じなので、これらの問題に対応してみた。…

先日作ったChangeAnomalyDetectionパッケージを使ってHadoop上のデータの異常検知する仕組みを考えてみる。 今回は、以下のようにhadoop上にデイリーで蓄積される購買履歴のようなデータを想定する $ hadoop fs -ls /user/yokkuns/buying_history | head Fou…

時系列的な振る舞いの変化点を検出するためのパッケージを作ってみました。 CRAN: http://cran.r-project.org/web/packages/ChangeAnomalyDetection/ github: https://github.com/yokkuns/r-AnomalyDetection Usage changeAnomalyDetection(x, term = 30, sm…

費用対効果の最大化するためのデータマイニング手法であるUplift ModelをRで実装してパッケージ化してみました。 Uplift Modelling: 費用対効果の最大化を目的とした最新のデータマイニング手法 - yokkunsの日記 Google Code Archive - Long-term storage fo…

ある程度の規模のネットワークでは、内部にサブネットワーク（コミュニティ）が形成されることがある 例えば、大学のネットワーク図を描くと、何となく学部だったりサークルのグループが見えてくる このよなコミュニティの抽出方法として、辺の媒介中心性を…

ベイジアンネットワークとは 事象間の連関を確率的な仮定として、有向グラフを用いて表す方法。 ネットワーク構造は、DAGでなければならないという制約がある。（原因と結果が循環的な構造になってしまうのを避けるため）ベイジアン・ネットワークをデータ分…

行動科学などの領域では、重さや長さのように直接観測可能な特性だけでなく、「先高感」「知能」「ブランドイメージ」のように直接測定出来ない特性である構成概念（潜在変数）を扱う必要がある。 構造方程式モデリングは、構成概念や観測変数の性質を調べる…

先日、RFinanceYJで取得したデータをxtsに変換するエントリを書きましたが、無事取り入れて、CRANにアップしました。あと、ついでに、調整後終値も取得するようにしました。 インストールと読み込み > install.packages("RFinanceYJ") > library(RFinanceYJ)…

Rでテキストマイニングをする場合、RMecabや、RCaBoChaがあるんですが、事前にMecabやCaBoChaをインストールする必要があり、これから始める人にはちょっと敷居が高いところがあるかと思います。 RMeCabとRCaBoCha - yokkunsの日記 RCaBoChaの64bit版が公開…

今回は、データ解析の基本である線形単回帰分析の復習をしてみる lm関数 Rには、線形回帰分析を行う関数として、lmが用意されている lm(formula, data, weights, subset, na.action) formula : モデルの形式 data : データセット weights : 説明変数に重みを…

2010年5月22日に、第5回R勉強会＠東京（Tokyo.R#05）を開催しました！以下、内容です。 Rによるやさしい統計学 : 第15章 回帰分析 （@doradora09） 諸事情により、今回は、テキストを@doradora09にお願いしました:) 回帰分析について、「Rによるやさしい統計…

第4回R勉強会＠東京（Tokyo.R#04）を開催しました！ 第4回R勉強会＠東京（Tokyo.R#04） : ATND 自分の発表資料は以下です。Tokyo.R#04View more presentations from yokkuns.次回は、テキストを進める役を@doradora09に譲って、自分はLT枠でやろうかなとか考…

2010/03/27（土）に、第3回R勉強会＠東京(Tokyo.R#03)を開催します！ - 第3回R勉強会＠東京(Tokyo.R#03) : ATND 第3回R勉強会＠東京を開催します。 今回は、より多くの方に参加してもらおうと、思い切って土曜3時間にしてみました！ 内容 1.分散分析 発表者 …

第2回R勉強会＠東京開催しました！ 第2回R勉強会＠東京 : ATND 発表資料 2 つの平均値の比較 （@yokkuns : 自分） R-study-tokyo02View more presentations from yokkuns. LT1 : Rで機械学習ニューラルネットワークのパッケージを試す (@nokuno) Tokyo R 2 M…

先日、R勉強会＠東京のLTで紹介した、Rパッケージの「RFinanceYJ」をCRANに登録しました。 CRAN - Package RFinanceYJ 登録の手順は、本当に簡単で、ftp://cran.r-project.org/incoming にアップロードしてcran@r-project.org にその旨をメールするだけです…

ちょっと遅くなってしまいましたが、無事、第１回R勉強会＠東京を開催しました。 第１回R勉強会＠東京 : ATND 今回初めての主催だったんですが、まさかRの勉強会で満員以上になるとは思ってなかったのでびっくりしました。 自分が気に入った言語とかソフトウ…

先月、Google グループというものを作ったのですが、第1回を1月27日（水）に開催します！ 第１回R勉強会＠東京 : ATND 日時 :2010/01/27 19:30 - 21:00 定員 :14 人 会場 :関東ITソフトウェア健保会館 B1F B室 （東京都新宿区百人町2-27-6）記念すべき第１回…

最近、何故かRという統計・解析用のプログラミング言語を使っているんですが、何となく、CRAN（perlのCPANみたいなやつ）を眺めてたら、twitteRというパッケージを発見した。 CRAN - Package twitteR インストールと読み込み > install.packages("twitteR") …

前回、CaBoChaのインストールまで完了して、いざRCaBoChaを入れようと思ったら、64bit版がない！という悲しい状態でしたが、開発者のishidaさんにお願いしたところ、2日ほどで対応してくれました。ありがとうございます。 Google グループ さて、公開された…

先日（MeCabをyumでインストール@CentOS - yokkunsの日記）CentOSにMeCabとか入れていたのだが、仮想マシンの容量がいっぱいになってしまい、Rが入れられなかったので、新規でFedora11の仮想マシンを作成した。 今回は、ディスク容量を15Gにしたので大丈夫 M…