50 分别使用python,java和scala写wordcount

分别使用python,java和scala写wordcount,能说下优势和劣势会更好

请先 登录 后评论

最佳答案 2018-04-28 14:49

先来说下优势和劣势吧,java的优势是使用的人比较多,各种技术都支持,但是写起来代码比较多,

scala的优势是能够使用函数式编程,但是国内使用的人偏少,项目对接的时候会出现java工程师看不懂scala代码,导致项目不能很好地推进,python的优势是在于算法,提供了各种的算法,这也是搞算法,搞人工智能的人用这个语言,这个语言也比较简练,上手也是比较快的。

python代码

1. import logging  

2. from operator import add  

3.   

4. from pyspark import SparkContext  

5.   

6. """ 

7. @version: 

8. @software: PyCharm 

9. @file: test_python_word_count.py 

10. @time: 18-4-28 上午10:39

11. @author:韩利鹏 

12. """  

13.   

14. logging.basicConfig(format='%(message)s', level=logging.INFO)  

15.   

16. test_file_name = "/data/work/python-workspace/hualv/spark/test-data.txt"  

17. out_file_name = "/data/work/python-workspace/hualv/spark/spark-out"  

18.   

19. # Word Count  

20. sc = SparkContext("local","Simple App")  

21. # text_file rdd object  

22. text_file = sc.textFile(test_file_name)  

23. # counts  

24. counts = text_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)  

25. counts.saveAsTextFile(out_file_name)  

好尴尬,后面写不上了,只能贴这么长了

请先 登录 后评论

其它 0 个回答

  • 1 关注
  • 0 收藏,91 浏览
  • 芳芳 提出于 2018-04-28 12:13

相似问题