Spark 实现wordcount

发布时间:2017-7-9 7:09:49编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"Spark 实现wordcount ",主要涉及到Spark 实现wordcount 方面的内容,对于Spark 实现wordcount 感兴趣的同学可以参考一下。

   在打开的scala命令行中依次输入以下几个语句:

val lines = sc.textFile("/home/hadoop/scala-2.11.5/wordcountText/*.txt", 2)val words = lines.flatMap(line => line.split(" "))val ones = words.map(w => (w,1))val counts = ones.reduceByKey(_+_)counts.foreach(println)

   部分wordcount输出结果,可以发现,spark默认的单词计数是乱序的:

  


上一篇:中国程序化购买广告解析:RTB/DSP/Ad Exchange/SSP/DMP,思维导图
下一篇:802.11 (b/g/a/n/ac)

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。

好贷网好贷款