金沙电玩城全新手机版下载|2022最新入口

新兴生态系统:数据科学与机器学习App分析

2017-09-04
标签: 数据科学    机器学习    App分析   

  

新兴生态系统:数据科学与机器学习App分析


  编辑:Gregory Piatetsky, KDnuggets 本文为36大数据独译,译者ya楠

  本文中大家将对现有大数据的顶级工具做项测验:Python和R语言,谁更适用于Spark/Hadoop和深度学习,并确定一个新兴的大数据深度学习生态系统。

  上个月,大家对第18届KDnuggetsApp的调查结果进行了一次报道:数据分析、数据科学、机器学习中的新领导者、趋势和惊喜。

  本文将更详细的考察哪些工具能够相互之间友好合作,哪些工具则兼容性较差。大家还发现了一个新兴的Python友好型工具生态系统,这些工具通常被应用在数据科学的两大前沿:大数据(Spark / Hadoop)和深度学习。

  本文的末尾有一个匿名数据集的链接——欢迎读者对数据进行分析,然后将结果发布或者发送给我。

  首先,让大家来看一下顶级工具之间的联系。

  大家选取了投票超过500票的工具(今年有11项入选)。

  衡量两个特征之间的关联程度有很多种方法,比如卡方分析或T检验,但此次大家仍然沿用了在2015年和2016年分析时采用的相对简单的方法。此处先定义一个“Lift”

  Lift (X & Y) = pct (X & Y) / ( pct (X) * pct (Y) )

  其中pct(X)表示选择X的用户百分比。

  Lift(X&Y)> 1表示X&Y 一起出现的频率比预设中两者相互独立要大;Lift=1表示X&Y 一起出现的频率恰好等于预设中两者相互独立,Lift<1表明X&Y 一起出现的频率小于两者相互独立的情况(负相关)。

  为了更直观的看到与1之间的差距,大家定义

  Lift1 (X & Y) = Lift (X & Y) – 1

  表1将排名前11的工具的Lift1值进行了两两比较,并筛选出关联度绝对值abs(Lift1) 大于15%的情况。

  

大数据


  图1:数据科学、机器学习高级工具关联度表,2017

  注:绿色表示正相关,红色表示负相关。

  标签Lift1上文已说明;条形的宽度与Lift1的大小成正比。

  大家注意到,Python不仅与Anaconda、Tensorflow和scikit- learn(不出所料)有显著的正相关,另外与Spark还具有显著正相关关系。

  在比较流行的工具中,R语言相较于Python则关联性较弱。

  除了Tableau之外,RapidMiner与其他顶级工具基本上都处于负相关关系,Excel用户也喜欢Tableau。而与Spark关系最密切的是Tensorflow 和scikit-learn。

  Python聚类、Spark、Anaconda、Tensorflow和scikit- learn经常被一起使用,它们似乎形成了基于Python的大数据和深度学习生态系统的核心。

  Python vs R语言

  接下来大家将研究使用Python或者R语言的前30个工具的亲和度。

  用 with_Py(X)= %表示使用Python的工具X,with_R(X) % 表示使用R语言的工具X。可视化亲和度的过程中,大家采取一个非常简单的方式:Bias_Py_R(X) = log2(with_Py(X)/with_R(X)) ,若值为正则表明该工具更多使用了Python,当值为负则表明该工具更倾向于使用R语言。大家可以校正Python和R的相对频率,但由于它们在2017年的使用频率几乎相等,所以这种校正也是微不足道的。

  

大数据


  表2:数据科学、机器学习前30位高级工具与Python vs R语言的关联度(2017)

  条形图的长度为上文所定义的Bias_Py_R,条形图的高度与工具的受欢迎程度成正比。

  大家注意到,与Python契合度较高的工具不仅包括大家预期的Scikit,PyCharm和Anaconda,而且还包括深度学习工具Keras和Tensorflow,特别是Spark和Scala。

  与R语言契合度较高的工具包括SAS Base,微软工具(预计自微软购买Revolution Analytics后),Weka和Tableau。

  接下来,大家检查不同工具在大数据和深度学习中的效果

  在KDnuggets 2017 Software Poll中,33%的受访者使用了Spark / Hadoop工具,32%使用了深度学习工具。完整的工具列表可在以下图表中查看。

  对于每个工具X,大家计算与Spark / Hadoop工具(垂直轴)共同使用的频率以及Deep Learning工具(横轴)共同使用的频率。

  

大数据


  图3:深度学习vs Spark / Hadoop与顶尖数据科学,机器学习工具的亲和力(2017年)

  圆形尺寸对应于各工具的使用份额,颜色与Python(蓝色)与R(橙色)相对应。

  大家在图表的右上角注意到一组与Python相关的蓝色圆圈,包括scikit-learn,PyCharm,Anaconda,Java和Unix工具,这些工具更常用于Spark / Hadoop和深度学习工具。

  这表明了一个Python-友好型的大数据/深度学习生态系统。

  大家注意到Scala是与 “大数据”相关度最高的工具。

  为了使图3更精确,它只包括至少获得200票的工具,及深度学习和Spark / Hadoop工具。请参阅下表1获取所有至少获得100票以上工具的更多详细信息。

  

大数据


  表1:深度学习vs Spark / Hadoop与顶尖数据科学,机器学习工具的亲和力(2017年)

  下面是一个以CSV格式输入匿名的轮询数据的链接

  N:记录号(随机,记录不按投票顺序)

  地区:usca:美国/加拿大、euro:欧洲/亚洲、Itam:拉丁美洲、afme:非洲/中东、aunz:澳大利亚/新西兰

  Python:如果投票(最后一列)包含Python,则为1,否则为0

  R语言:如果投票包含“R语言”,则为1,否则为0。大家使用“R语言”而不是R来简化正则表达式匹配

  SQL语言:如果投票包含“SQL语言”,则为1,否则为0。

  RapidMiner:如果投票包括RapidMiner,则为1,否则为0。

  Excel:如果投票包含Excel,则为1,否则为0。

  Spark:如果投票包括Spark,则为1,否则为0。

  蟒蛇:如果投票包括蟒蛇,则为1,否则为0。

  Tensorflow:如果投票包括Tensorflow,则为1,否则为0。

  scikit-learn:如果投票包括scikit-learn,则为1,否则为0。

  Tableau:如果投票包括Tableau,则为1,否则为0。

  KNIME:如果投票包括KNIME,则为1,否则为0。

  深度:如果投票包含深度,则为1,否则为0。

  Spark / Hadoop:如果投票包括Spark / Hadoop,则为1,否则为0。

  ntools:工具的数量

  投票:选票列表,以分号分隔“;”

  让我知道你的想法!


【了解更多BI商业智能大数据分析平台2022最新入口,商业智能解决方案以及商业智能App下载请访问速鸿官网/】

金沙电玩城全新手机版下载是一家专注于为企业提供 BI商业智能大数据分析智能分析智能App以及 数据挖掘 等服务的大平台

咨询热线:020-37267822

电话logo 020-37267822

邮箱logo suhong@suhongkeji.com

地址logo 广州市天河区珠江东路16号高德置地G座23楼
二维码
金沙电玩城全新手机版下载 版权所有

金沙电玩城全新手机版下载|2022最新入口

XML 地图 | Sitemap 地图