2011/11/26に、第2回Japan.Rを開催しました！ http://www.japanr.org/ Japan.Rは、全国のRコミュニティが合同で開催するイベントで 各地域コミュニティの紹介や情報交換、Rユーザ同士の交流等を目的として開催しています。今年もR研究集会と合同で開催しまし…

Opening Talk 「統計カリキュラム 第１回−一般化線形モデル−」 (講師： @isseing333さん） (発表30分 + 議論30分) Tokyo webmining統計学部 第1回v2 View more presentations from Issei Kurahashi 「医療分野におけるデータマイニングを始める前に知ってお…

2011/10/22に、第18回R勉強会＠東京（#TokyoR）を開催しました！ http://atnd.org/events/21050 以下、内容です。 資料はアップされ次第、更新します！ @aad34210 「はじめてのR 」（20分） 概要 : Tokyo.Rでは高度な手法が紹介されていますが、いざ使いたく…

ベイジアンネットワークとは 事象間の連関を確率的な仮定として、有向グラフを用いて表す方法。 ネットワーク構造は、DAGでなければならないという制約がある。（原因と結果が循環的な構造になってしまうのを避けるため）ベイジアン・ネットワークをデータ分…

第17回R勉強会＠東京（#TokyoR）を開催しました！ 第17回R勉強会＠東京（#TokyoR） : ATND 以下、メモです。 発表枠 @teramonagi: Rによるデータサイエンス第１２章「時系列」 (30分程度) 概要 : テキスト「Rによるデータサイエンス」に沿ってRでの時系列の…

第16回R勉強会＠東京（Tokyo.R#16）を開催しました！ 第16回R勉強会＠東京（Tokyo.R#16） : ATND 内容 @sleipnir002:Rで学ぶデータサイエンス５パターン認識 8,9k-近傍法、学習ベクトル量子化 概要:教科書の内容にそって、上記のアルゴリズムの勉強をします…

第13回 データマイニング+WEB ＠東京で、異常検知について発表してきました。 第13回 データマイニング+WEB ＠東京 ( #TokyoWebmining 13th)－Mahout・大規模解析・ビジネス展開 祭り－ Tickets, Sun, Jun 26, 2011 at 12:00 AM | Eventbrite 発表資料は以下…

第12回 データマイニング+WEB ＠東京 ( #TokyoWebmining 12th)−機械学習MapReduce・大規模R解析 祭り− に参加してきました。 http://tokyowebmining12.eventbrite.com/ 以下、メモです。 1.「MapReduce〜入門編：仕組みの理解とアルゴリズムデザイン〜」 (講…

先日、R言語で生存時間分析をやってみたが、この方法論は、マーケティングにも応用されている。 例えば、以下のような事を分析が出来る。 顧客はいつ去ってしまいそうか 顧客は次回、別の顧客セグメントに移りそうか 顧客在籍期間を長くするor短くする要因 …

行動科学などの領域では、重さや長さのように直接観測可能な特性だけでなく、「先高感」「知能」「ブランドイメージ」のように直接測定出来ない特性である構成概念（潜在変数）を扱う必要がある。 構造方程式モデリングは、構成概念や観測変数の性質を調べる…

5/1付けで、DeNA に入社し、本日初出勤してきました。お昼にチームのメンバーと食事をし、そこでまぁ、自己紹介等あったのですが、ホントに、良くこんな凄い面子が揃ったもんだなぁという感じでした（笑）午後から、配属になった部署のミッションや自分のこ…

生存時間分析 ある時点から興味のあるイベントが起きるまでの時間とイベントとの間の関係に関する分析。 以下のような解析を行う 生存率の推定（Kaplan-Meier曲線） 2郡の生存率の比較 （Log-Rank検定） 生存率と共変量との関係の解明 (Cox回帰) また、イベ…

@isseing333 線形判別分析（と非線形をちょっと） Tokyo r 201104 View more presentations from Issei Kurahashi 大学4年生でパパになった @kos59125: R と .NET Framework 資料 : RDotNet.pdf - Google ドライブ 自己紹介 大学院生なので、懇親会タダ Nago…

2008年に入社し、3年勤めてきたヤフー株式会社を本日退職しました。ヤフーを退職というと、いろいろアレな話もあったりしますが、僕自身は、上司、同期、後輩(途中で引き抜かれたけど)全てに恵まれ、とても良い3年間を過ごすことができたと思います。 これま…

Rで、多変量時系列解析であるベクトル自己回帰（VAR）をやってみる。 とりあえず、動かしてみる > library(vars) > data("Canada") > library(vars) > data("Canada") > print(Canada[1:5,]) prod e U rw [1,] 405.3665 929.6105 7.53 386.1361 [2,] 404.639…

Pigパッケージの配置 $ tar zxvf pig-0.8.1.tar.gz $ sudo mv pig-0.8.1 /usr/local/ $ sudo chown -R hadoop:hadoop /usr/local/pig-0.8.1 $ sudo ln -s /usr/local/pig-0.8.1 /usr/local/pig Pig環境設定 $ export PIG_HOME=/usr/local/pig $ sudo -e /etc…

Hadoop徹底入門を購入したので、早速CentOSにHadoopをインストールしてみる。 最新は、hadoop-0.21.0だが、Pigが現在Hadoop-0.20系しかサポートしていないみたいなので、hadoop-0.20.2を入れる http://hadoop.apache.org/common/releases.html JVMのインスト…

報告が遅くなりましたが、Rパッケージガイドブック という書籍を執筆しました！！ まぁ、執筆といっても、50テーマ中3テーマですが（笑） 暇な時は全然書かず、年末忙しい時期にヒーヒー言いながら書くという無計画っぷりでしたが、何とか完成させることが出…

第2回さくさくテキストマイニング勉強会で発表してきました！ 第2回「にこにこ」改め さくさくテキストマイニング勉強会 : ATND 初心者向けの勉強会ということで、先日開発•公開したYjdnJlpパッケージの紹介をしてきました。 Sakuteki02 yokkuns View more p…

久しぶりに、yum updateを実行したところメモリが足りませんなどという悲しい理由で失敗し、さらに悲しい事に動かなくなった。 $ sudo yum install git-svn Loaded plugins: fastestmirror RPMのデータベースを見に行ったまま返ってこない そこで、RPMデータ…

先日、RFinanceYJで取得したデータをxtsに変換するエントリを書きましたが、無事取り入れて、CRANにアップしました。あと、ついでに、調整後終値も取得するようにしました。 インストールと読み込み > install.packages("RFinanceYJ") > library(RFinanceYJ)…

先日作った、YjdnJlpパッケージとcaretパッケージを使って、簡単なテキスト分類作れないかなーと思い、実験。 読み込み > library(YjdnJlp) Loading required package: XML Loading required package: RCurl Loading required package: bitops > library(car…

RFinanceYJで、xts型のデータを返す関数を追加するためのメモ インストールと読み込み > install.packages("xts") > library(xts) 要求されたパッケージ zoo をロード中です サンプルデータ > data(sample_matrix) > head(sample_matrix) Open High Low Clos…

Rでテキストマイニングをする場合、RMecabや、RCaBoChaがあるんですが、事前にMecabやCaBoChaをインストールする必要があり、これから始める人にはちょっと敷居が高いところがあるかと思います。 RMeCabとRCaBoCha - yokkunsの日記 RCaBoChaの64bit版が公開…

今回は、線形重回帰分析。内容は、Rによるデータサイエンス - データ解析の基礎から最新手法までの7.3節に沿ってやります。 重回帰分析とは 説明変数が複数ある回帰分析を、重回帰分析と呼びます。説明変数のデータをX、目的変数をY、誤差をE、係数をAと表す…

今回は、データ解析の基本である線形単回帰分析の復習をしてみる lm関数 Rには、線形回帰分析を行う関数として、lmが用意されている lm(formula, data, weights, subset, na.action) formula : モデルの形式 data : データセット weights : 説明変数に重みを…

ATNDに、イベント検索APIというのがあったので、2010年に行われたイベント情報を取ってきて、MDSで可視化してみた。 ATND API リファレンス 多次元尺度法（MDS） 個体間の親近性データを2次元あるいは3次元空間に類似したものを近く、そうでないものを遠くに…

先日の第1回 にこにこテキストマイニング勉強会（#nicoTextMining）に参加してきた - yokkunsの日記の中で、@bob3bob3さんの、ことばネットワークが印象的だったので、とりあえず、ネットワーク分析を復習してみる。 今回は、次数中心性とPageRankを使ったネ…

第1回 にこにこテキストマイニング勉強会に参加してきました。 第1回 にこにこテキストマイニング勉強会 : ATND AntiBayesian : 「テキストマイニングの歩き方」 すみません、遅刻して、入ってすぐ終わってしまいました。内容としては、前回のTokyo.Rでの発…

オブジェクト指向は、人によって理解が違って、それを上手く共有出来ないと凄い認識違いが起きたりするので、ここで自分の考え方をまとめてます。 ここでいうオブジェクト指向は、クラスベースのオブジェクト指向のことです。 制限と拡張 オブジェクト指向は…