datamining » 刘思喆 @ 贝吉塔行星

数据挖掘之R与SQL

八 182011

今天看到老同学@JulieJulieJulieJulie 的浪漫求婚，真的很浪漫、很唯美、很感动。正如评论说的，我们又相信爱情了！于是，小兴奋，睡不着，爬起来补一篇文章。

## 正文开始

最近在数据挖掘专业网站 KDnuggets 上刊出了2011年度关于数据挖掘/分析语言流行度的调查，不出意料R、SQL、Python果然排在了前三位。当然有看官说了，参与调查的样本数量太少，而且以登录KDnuggets网站的用户为主，样本的信息显然是有偏的。实话说，我也对KDnuggets网站的Poll持保留态度，但它的结果毕竟代表了某一类人群的使用偏好，尤其是在语言角度。

我们看排名前5位的语言：

R：世界范围内的标准统计语言，以快速更新的算法，灵活的编程，广泛的扩展，绚丽的图形著称，遵循GPL协议的开源软件
SQL：大部分企业使用的，数据仓库、集市的通用查询语言，在大型数据应用上有极大的优势，同时也是数据分析/挖掘的基础
Python：传说中的Google的三大开发语言，适用于粘合一些复杂应用，我这里工作暂时没有涉及过
Java：太多的应用都基于Java的，不然Oracle也不会花上74亿美元收购SUN了
SAS：曾经的数据分析领域老大，当然现在市场份额依旧非常高。但SAS昂贵的使用费用迫使更多的分析工作者转到了开源领域，比如R

后四种语言同R语言还都有一些关系，闲扯起来还真是没完没了，这里就不再赘述，各位可以在搜索引擎上搜索R+XXX。如果我们将范围限制在数据挖掘这个主题，R同SQL的关系则变得非常非常紧密。

众所周知，R的强项在于灵活的算法，以及开发速度，但其所有的计算都是在内存中进行，一旦数据量达到了内存上限，基本上就是叫天天不灵，叫地地不应了。所以在使用R做数据挖掘时，就必须考虑使用其他的数据工具弥补R在这方面的劣势。尤其是在商业应用上，不能搭建R环境的条件下，SQL语言是提供挖掘结果的不二选择。

支持SQL的商用数据库比如Oracle、DB2性能优异，但对系统的占用非常厉害，假如本地装了Oracle，又开了点其他应用，2G的内存很快就会吃到1.5G甚至以上，再想用R做分析那只能用“捉襟见肘”这个词来形容了。当然如果在办公条件下有相应的服务器环境最好，在某些应用环境下，甚至可以通过本地多开R进程来达到并行计算的目的。

或者本地分析比较多，但数据量又时常上到百兆，虽然R也能够处理，但依然建议将数据移植到本地构建的轻量数据库环境，比如MySQL环境。从我的经验上看，虽然MySQL对比Oracle、DB2来说小巧很多，但在同R语言配合的本地应用上，性能更加有保证。

有了支持SQL的数据库环境，就要聊一聊R语言到底和SQL有什么关系：

各大数据库厂商已经开发了相关的支持R语言的数据挖掘套件，比如Oracle的RODM，Teradata的 teradataR等。
R本身就可以通过扩展包来对数据库执行SQL，这时你可以把R语言作为调度环境。R的计算过程结果可以直接作为参数传递到数据库中，并将相应的结果返回，供R环境使用。
通过sqldf包，在R内部使用标准SQL对数据进行预处理，包括group by，order by，join，where等操作。
当然R最重要的用途是将数据挖掘的结果转义为标准SQL语言，利用数据库来实现挖掘结果。当然有人说了，不是有pmml可以将模型嵌入到数据库么？！扯！到现在我也没见pmml成为应用标准，老老实实的将模型结果转义到SQL才是王道。比如用于概率预测的Logistic回归或者分类模型的Tree-based Models，这些模型的转义工作都不难，这样最终的工程实施都脱离了R环境，更具通用性，且利用了数据库的高速性能。

说句题外话：不知道哪位看官见过70万字符长度的庞大SQL语句——是的，你没看错，70w，R转义的，可以执行，对于数据库而言不过是半分钟的事情。

史上最强悍的数据挖掘介绍

数据挖掘 3 Responses »

十二 072010

（我承认，这个是标题党！）

今儿看到 Ajay Ohri 那儿推荐了多伦多大学 S. Sayad 教授的关于数据挖掘的一个在线介绍。这个介绍包含了完整的数据挖掘过程，以及数据挖掘技术的分类，并且每一项都可以通过超链接到相应的分支。让人爱不释手，大赞之！

S. Sayad 教授在数据挖掘过程定义上同从比较流行的 CRISP-DM（Cross Industry Standard Process for Data Mining）有些区别：

Problem Definition
Data Preparaion
Data Exploration
Modelling
Evaluation
Deployment

(但个人认为这两种说法其实没有脱离问题的本质，是一致的)。

而重头戏则是关于数据挖掘（统计分析）技术的两大领域

描述
推断

挖掘（分析）技术的对应关系（超链接的脑图？），

首先是——描述：

然后是——推断：

最后是 S. Sayad 教授的数据挖掘在线 intro，请猛击之！

再补一句：关于数据挖掘软件的介绍，没有 R，抱怨一下～～

附1：

标准的“商业”数据挖掘过程：

Business Understanding
Data Understanding
Data Preparaion
Modelling
Evaluating
Deployment

固定链接：http://www.bjt.name/2010/12/toronto-data-mining-intro/‎

Oracle数据库开始支持R语言

数据挖掘, 杂七杂八 8 Responses »

六 082010

一则令人兴奋的简讯：

据Oracle官方博客最近更新的 New R Interface to Oracle Data Mining Available for Download，甲骨文开始正式支持R语言在Oracle数据库中的应用（简单的非官方说法是：甲骨文贡献了一个提供Oracle和R之间接口的附加包）。

援引博客中对R-ODM(R-Oracle Data Mining)的介绍：

R-ODM is especially useful for:

Quick prototyping of vertical or domain-based applications where the Oracle Database supports the application
Scripting of “production” data mining methodologies
Customizing graphics of ODM data mining results (examples: classification, regression, anomaly detection)

众所周知，R在实现原型算法方面有着不可替代的巨大优势。诚然，通过R实现的一般性数据挖掘算法都可以嵌入到数据库中，但Oracle提供的这个接口，极大地提高了挖掘算法的部署效率。

今天（2010.06.08），CRAN上更新了RODM包的1.0-2版本，支持Windows、Linux、MacOS X系统。

下面是RODM包帮助文档中的一个例子，可以初步地体会算法高效的部署：

### GLM Regression
## Not run:
x1 <- 2 * runif(200)
noise <- 3 * runif(200) - 1.5
y1 <- 2 + 2*x1 + x1*x1 + noise
dataset <- data.frame(x1, y1)
names(dataset) <- c("X1", "Y1")
RODM_create_dbms_table(DB, "dataset")   # Push the training table to the database

glm <- RODM_create_glm_model(database = DB,    # Create ODM GLM model
                             data_table_name = "dataset",
                             target_column_name = "Y1",
                             mining_function = "regression")

glm2 <- RODM_apply_model(database = DB,    # Predict training data
                             data_table_name = "dataset",
                             model_name = "GLM_MODEL",
                             supplemental_cols = "X1")
windows(height=8, width=12)
plot(x1, y1, pch=20, col="blue")
points(x=glm2$model.apply.results[, "X1"],
       glm2$model.apply.results[, "PREDICTION"], pch=20, col="red")
legend(0.5, 9, legend = c("actual", "GLM regression"), pch = c(20, 20),
                col = c("blue", "red"),
                pt.bg =  c("blue", "red"), cex = 1.20, pt.cex=1.5, bty="n")

RODM_drop_model(DB, "GLM_MODEL")            # Drop the model
RODM_drop_dbms_table(DB, "dataset")   # Drop the database table
RODM_close_dbms_connection(DB)
RODM_close_dbms_connection(DB)

说一句题外话：
R的影响力除了在统计分析领域（SAS、SPSS、Statistica已经都开始支持R接口）外，已然发展到了商业数据库领域。

永久链接：http://www.bjt.name/2010/06/oracle-data-mining-r/

从一等奖出现的概率看中国福利彩票的公正性

杂七杂八 No Responses »

七 262009

深圳福彩3000万巨奖诈骗案发生后，好多朋友开始质疑中国福利彩票的公正性，并向我询问福利彩票是不是真的如传闻那样–福利彩票自产自销？。由于身在中福彩的原因，很多支持福彩公正的内情不太合适发布在网上，但–数据一汇总，上帝也会发笑。这篇博文从一等奖中奖概率分布的角度给各位童鞋聊聊福彩的公正性。

现在每一期的福彩双色球销售额大概是2亿左右（已持续很长时间），每注双色球为2元，就是说每期双色球的销售大概会有1亿人次参与。

在随机选择，且每次抽取都是等概率的的假定条件下，理论的重复彩票注数的分布（0注至41注）如下：

一等奖是完全随机出现的，那么在假设条件下，一等奖同时出现五注的概率最高，六注、四注其次，再次为七注、三注，类推……当然理论上，没有中奖（0注）和中12注以上的概率相比其他情形低了很多。

那么我们再看一看福利彩票双色球每期中一等奖（2008年1月1日至2009年7月23日）的实际分布情况：

有童鞋看出端倪了：实际数据的分布同理论上的分布是不一致的！理论上的一等奖出现概率最大在出现五注的位置，而实际上一等奖出现的最大概率出现在了两注的位置。

为什么会出现这样的情况？主要是因为我们最开始的假设是有问题。

双色球每期销售会有1亿人次的彩民参与？不可能！双色球的覆盖度没有那么大。

一些彩民为了提高中奖概率（或者说迷信一些选号方法），会采用”复式”、”胆拖”、”倍投”等方式投注，当然大部分彩民还是会老老实实的买一注。综合考虑到这些因素以后，凭经验估计样本量应该为现在的一半左右，即5000万。这样看来较为合理的一等奖中奖概率理论上分布为：

此时理论分布同实际分布已经非常相似。

实际双色球一等奖分布的右边尾巴上恰恰显示了”复式”、”胆拖”、”倍投”的投注效果。

再插一句：

深圳福彩3000万大奖诈骗犯身份曝光一文中提到：

警方调查发现，程某先是编写了一个可以自动运行的木马软件，然后利用与福彩中心合作的机会，进入福彩中心机房，植入自动运行的木马程序。一旦摇奖结果出来，这个程序会自动将程某所购买的彩票修改成一等奖的号码。

这里可以推测程某天真地以为满足兑大奖的条件为：

数据库里的数据正确；
实体彩票存在。

恩，没有问题！但，这两个条件可是通过很多很多很多的手段来监管的。

KDnuggets 关于数据挖掘软件的调查

数据挖掘 1 Response »

五 262009

5月份，KDnuggets 给出了近六个月用于实际数据挖掘（非评估）项目中使用的挖掘工具调查，共364个投票人。

SPSS （PA）和 SAS（BA）没啥可说的，老牌的商业数据分析软件商，尤其是 SPSS，去年就是 KDnuggets 这项调查的第一位，SPSS 的销售常拿这个说事；
Excel（spreadshit），可进行“简单数据操作”的 MS 产品；
RapidMiner，比较流行的开源数据挖掘软件；
R ? 为数据分析而生的开源软件。说到这儿，我突然卡壳了，它能做的事情太多……。R 更贴近于数据的本质（继续鼓吹）～～