- 浏览: 24258 次
- 性别:
- 来自: 上海
最新评论
环境
hadoop1.2.0
CentOS release 6.4
jdk1.7.0_25
配置
配置ssh互信,java环境等
初始化
13/08/28 16:40:04 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = node04vm01/192.168.15.146
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.0
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013
STARTUP_MSG: java = 1.7.0_25
************************************************************/
13/08/28 16:40:04 INFO util.GSet: Computing capacity for map BlocksMap
13/08/28 16:40:04 INFO util.GSet: VM type = 64-bit
13/08/28 16:40:04 INFO util.GSet: 2.0% max memory = 932118528
13/08/28 16:40:04 INFO util.GSet: capacity = 2^21 = 2097152 entries
13/08/28 16:40:04 INFO util.GSet: recommended=2097152, actual=2097152
13/08/28 16:40:05 INFO namenode.FSNamesystem: fsOwner=hue
13/08/28 16:40:05 INFO namenode.FSNamesystem: supergroup=supergroup
13/08/28 16:40:05 INFO namenode.FSNamesystem: isPermissionEnabled=false
13/08/28 16:40:05 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
13/08/28 16:40:05 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
13/08/28 16:40:05 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
13/08/28 16:40:05 INFO namenode.NameNode: Caching file names occuring more than 10 times
13/08/28 16:40:05 INFO common.Storage: Image file of size 109 saved in 0 seconds.
13/08/28 16:40:05 INFO common.Storage: Storage directory /home/hue/hdfs/name has been successfully formatted.
13/08/28 16:40:05 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/hue/hdfs/edits/current/edits
13/08/28 16:40:05 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/hue/hdfs/edits/current/edits
13/08/28 16:40:05 INFO common.Storage: Storage directory /home/hue/hdfs/edits has been successfully formatted.
13/08/28 16:40:05 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node04vm01/192.168.15.146
************************************************************/
启动
验证
http://node04vm01:50030
http://node04vm01:50070
hadoop1.2.0
CentOS release 6.4
jdk1.7.0_25
node04vm01 | 192.168.15.146 | master | NameNode,SecondaryNameNode,JobTracker |
node04vm02 | 192.168.15.147 | slave | DataNode,TaskTracker |
node04vm03 | 192.168.15.148 | slave | DataNode,TaskTracker |
node04vm04 | 192.168.15.149 | slave | DataNode,TaskTracker |
node04vm05 | 192.168.15.150 | slave | DataNode,TaskTracker |
配置
配置ssh互信,java环境等
<configuration> <property> <name>fs.default.name</name> <value>hdfs://node04vm01:9000</value> </property> </configuration>
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.name.dir</name> <value>/home/hue/hdfs/name</value> </property> <property> <name>dfs.name.edits.dir</name> <value>/home/hue/hdfs/edits</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hue/hdfs/data</value> </property> </configuration>
<configuration> <property> <name>mapred.job.tracker</name> <value>node04vm01:9001</value> </property> </configuration>
node04vm01
node04vm02 node04vm03 node04vm04 node04vm05
初始化
bin/hadoop namenode -format
13/08/28 16:40:04 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = node04vm01/192.168.15.146
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.0
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013
STARTUP_MSG: java = 1.7.0_25
************************************************************/
13/08/28 16:40:04 INFO util.GSet: Computing capacity for map BlocksMap
13/08/28 16:40:04 INFO util.GSet: VM type = 64-bit
13/08/28 16:40:04 INFO util.GSet: 2.0% max memory = 932118528
13/08/28 16:40:04 INFO util.GSet: capacity = 2^21 = 2097152 entries
13/08/28 16:40:04 INFO util.GSet: recommended=2097152, actual=2097152
13/08/28 16:40:05 INFO namenode.FSNamesystem: fsOwner=hue
13/08/28 16:40:05 INFO namenode.FSNamesystem: supergroup=supergroup
13/08/28 16:40:05 INFO namenode.FSNamesystem: isPermissionEnabled=false
13/08/28 16:40:05 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
13/08/28 16:40:05 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
13/08/28 16:40:05 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
13/08/28 16:40:05 INFO namenode.NameNode: Caching file names occuring more than 10 times
13/08/28 16:40:05 INFO common.Storage: Image file of size 109 saved in 0 seconds.
13/08/28 16:40:05 INFO common.Storage: Storage directory /home/hue/hdfs/name has been successfully formatted.
13/08/28 16:40:05 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/hue/hdfs/edits/current/edits
13/08/28 16:40:05 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/hue/hdfs/edits/current/edits
13/08/28 16:40:05 INFO common.Storage: Storage directory /home/hue/hdfs/edits has been successfully formatted.
13/08/28 16:40:05 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node04vm01/192.168.15.146
************************************************************/
启动
bin/start-all.sh
验证
http://node04vm01:50030
http://node04vm01:50070
bin/hadoop fs -mkdir /test/input bin/hadoop fs -put ~/test/senseandsensibility/chapter1.txt /test/input/ bin/hadoop jar hadoop-examples-1.2.0.jar wordcount /test/input /test/output
发表评论
-
[实验]avro与non-avro的mapred例子-wordcount改写
2013-09-03 16:15 1000avro非常适合用于hadoop。在开发的时候可能有这样的场景 ... -
[实验]hadoop例子 trackinfo数据清洗的改写
2013-09-03 10:42 1040之前的“trackinfo数据清洗”例子中为使用combine ... -
[笔记]hadoop tutorial - Reducer
2013-09-03 10:15 702引用Reducer reduces a set of inte ... -
[实验]hadoop例子 trackinfo数据清洗
2013-09-02 17:24 2529业务场景: 假设用户在某处(例如某个网页或者某个地点)的活动会 ... -
[环境] hadoop 开发环境maven管理
2013-09-02 17:02 1432贴一下整理的maven管理配置(待补充) <proj ... -
[笔记]avro 介绍及官网例子
2013-09-02 14:22 3838Apache Avro是一个独立于编程语言的数据序列化系统。旨 ... -
[实验]hadoop例子 在线用户分析
2013-08-30 15:54 857一个简单的业务场景和例子。由wordcount例子改写。 业 ... -
[笔记]hadoop mapred InputFormat分析
2013-08-30 13:43 1220Hadoop MapReduce的编程接口层主要有5个可编程组 ... -
[笔记]hdfs namenode FSNamesystem分析
2013-08-30 09:18 1114NameNode在内存中维护整个文件系统的元数据镜像,用于HD ... -
[笔记]hdfs namenode FSImage分析1
2013-08-29 15:10 1832元数据文件fsimage的分析 fsimage为元数据镜像文件 ... -
[实验]单机hadoop配置
2013-08-28 14:16 572环境: hadoop1.2.0 配置 修改conf/core ... -
[问题解决]hadoop eclipse plugin
2013-08-27 09:22 936环境: hadoop 1.2.0 问题: eclipse报错& ...
相关推荐
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置
资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...
详细描述了 实验室环境下 hadoop集群环境的配置情况 对于实验是的同学们又一定帮助
【实验一】Ubuntu/Centos通用的hadoop集群搭建实验(来自OUC) 具体内容和步骤: 1. 成功创建Linux的虚拟机操作系统(Ubuntu或Centos)作为namenode,并设置好虚拟网卡、使用net方式使虚拟机可以访问互联网。 2. 完成...
Linux操作系统下,使用三台虚拟机搭建Hadoop集群,包括实验环境变量的配置,Hadoop集群的安装及测试详细步骤。
从配置Linux IP 到hadoop集群安装的详细步骤附带linux命令,最后总结安装中常见的错误,以及处理办法。
实验2 Hadoop伪分布式集群模式 8 1 实验目的 8 2.实验设备 8 3.实验内容 8 4.实验原理 8 6. 实验操作步骤 9 7.练习题 16 实验3 Hadoop完全分布式集群模式 16 1 实验目的 17 2.实验设备 17 3.实验内容 17 4.实验原理 ...
linux下hadoop集群搭建,很不错的资料,欢迎下载
该方法把Ambari及其运行环境和配置构建成Docker镜像,并把多节点容器的运行和Hadoop集群的部署过程写成Shell脚本,只需一条命令,即可实现集群的自动化部署。实验结果表明,该方法简单可靠并极大地提高了集群部署的...
在宿主机上创建了两台VM的虚拟机,宿主机系统为XP,两台虚拟机系统为Ubuntu,进行了Hadoop的集群配置。亲自做的实验。
这个是我做实验时候用的配置文件,和大家共享了 这个是我做实验时候用的配置文件,和大家共享了 工4台机器,一台当NameNode和JobTracker ,另外3台当tasktracker 和 datanode.
实验1:Hadoop 安装与配置管理 4 1.1【实验目的】 4 1.2【实验环境】 4 1.3【实验过程】 4 Step1:基础设施. 5 Step2:各服务器安装JDK 7 Step3:各服务器的网络设置 8 Step4:在namenode安装Hadoop 9 Step5:修改Hadoop...
它可以使用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。hadoop的框架最核心的设计就是HDFS和MapReduce,HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了...
1.掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能,鉴于目前...需要在一台机器上模拟一个小的集群,因此,需要通过本实验掌握在单机上进行Hadoop的伪分布式安装方法。
了解 Hadoop 的关键配置选项 掌握动态管理节点方法 学习HDFS基本命令 HDFS实践 2.2【实验环境】 安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可 以使用ESXi,在管理上比较方便。ESXi还...
从Hadoop配置文件入手,经历大量的实验,以求通过改变一些配置参数以提高Hadoop集群的性能。 从Hadoop作业调度入手,优化集群作业调度算法。
hadoop分布式环境搭建的完整详细的实验报告,基于Hadoop的伪分布式安装,3个节点的分布式集群的安装和配置说明。很详细,值得借鉴
实验目的: 1.安装VMware Workstation Pro,应用相关操作 2.在虚拟机中安装Linux Centos7.4 3.静态网络地址的配置,所有主机的网络能够正常使用,相互能够正常连接 4.完成主机名的配置,正确设定永久有效的主机名 二...
1. Hadoop的基本结构和包含部分 2. 云存储虚拟平台的搭建 3. Hadoop的环境配置 4. 建立Hadoop集群的实验 5. Hadoop单机模式 6. Hadoop伪布式模式 7. Hadoop完全分布式模式