Need help with HadoopDemo?
Click the “chat” button below for chat support from the developer who created it, or find similar developers for support.

About the developer

longyinzaitian
157 Stars 79 Forks 24 Commits 0 Opened issues

Description

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等

Services available

!
?

Need anything else?

Contributors list

# 419,349
Java
6 commits

HadoopDemo

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等


运行环境:

java 1.8
hadoop1.1.2
zookeeper3.4.5
采用伪分布模式下eclipse工具进行开发的java project。


org.conan.myhadoop.hdfs

该包下是HDFS类的基本操作。包括文件的创建,复制,删除, 查看数据,文件重命名,从hdfs下载文件到本地系统等
请参考我的博客:Hadoop-利用java API操作HDFS文件


org.conan.myhadoop.mr

该包下是一个单词统计的MapReduce任务类。
完成对文件中单词的统计。
请参看我的博客:Hadoop-MapReduce初步应用-统计单词个数


org.conan.myhadoop.mr.kpi

该包下是一个web日志的分析的四个MapReduce任务类。
完成对一天中粉丝日志网站的web日志的分析。包括独立IP统计、资源访问次数统计、每小时访问量统计、客户端类型统计。
请参看我的博客:Hadoop-web日志信息挖掘MapReduce简单应用


org.conan.myzk

该包下是对zookeeper工具的简单使用。
需要安装zookeeper。代码中使用的是zookeeper3.4.5版本。
请查看我的博客:Zookeeper命令行以及java API简单使用


org.longyin.myhadoo.hive

该包下是Hive的简单示例。
代码中使用的Hive版本是0.9.0
请参看我的博客:Hive-命令行基本操作和java API简单操作


source目录

source目录内是项目中使用到的资源文件


最后感谢代码原创作者@bsspirit。
原项目地址:请点击这里
原项目采用eclipse+Maven构建的。我在原有基础上没有使用Maven。使用eclipse构建。

提示:

各位在学习代码时,需要把代码中相关的配置信息改成自己对应的配置信息。例如主机地址、端口号等。

We use cookies. If you continue to browse the site, you agree to the use of cookies. For more information on our use of cookies please see our Privacy Policy.