5-小白学习大数据之Java实现UFO数据统计
上一个记录了使用Python实现UFO数据的统计案例,下面使用Java来开发一下UFO数据的统计。
Read on →工作学习中的点点滴滴。
上一个记录了使用Python实现UFO数据的统计案例,下面使用Java来开发一下UFO数据的统计。
Read on →除了使用Java去开发Hadoop任务处理逻辑,还可以使用其他语言进行开发,例如: Python,这一次我们使用Python编写Mapper和Reduce,来处理UFO目击事件的数据。数据源可以到网上下载。
Read on →编写第一个WordCountJob程序,用来统计文件内每个单词的数量,通过这个小例子,了解一下Hadoop程序开发的过程。
Read on →Read on →因为我安装的Hadoop版本是3.3.6,与老的版本有些不同。
记录一下学习笔记,文章写的不好,如果有建议或意见请指教。
本地环境我使用的是docker的centos7的镜像搭建的(这里推荐使用centos8), 也可以使用虚拟机,安装方式大同小异。