`
notejs
  • 浏览: 9705 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

MapReduce运行异常-- org.apache.hadoop.mapred.FileAlreadyExistsException

 
阅读更多

MapReduce运行异常-- org.apache.hadoop.mapred.FileAlreadyExistsException

描述: 输出文件已经存在

异常

14/03/26 23:00:52 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/03/26 23:00:52 INFO mapred.JobClient: Cleaning up the staging area hdfs://xxx/opt/liveEpg/hadoop/hadoop_tmp/hadoop_hadoop/mapred/staging/allen/.staging/job_201312291735_0013
14/03/26 23:00:52 ERROR security.UserGroupInformation: PriviledgedActionException as:allencause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://xxx/mr/sort/sort_out already exists
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://xxx/mr/sort/sort_out already exists
at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:137)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:887)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
at smiple.Sort.main(Sort.java:84)

解决办法:

将输出目录中相关文件删除,我一般直接将输出目录删了

命令:hadoop fs -rmr /mr/sort/sort_out

分享到:
评论

相关推荐

    hadoop0.23.9离线api

    org.apache.hadoop.mapred.gridmix.emulators.resourceusage org.apache.hadoop.mapred.jobcontrol org.apache.hadoop.mapred.join org.apache.hadoop.mapred.lib org.apache.hadoop.mapred.lib.aggregate org....

    avro-mapred-1.7.8-SNAPSHOT-hadoop2

    org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected at org.apache...

    MapReduce-Code:Hadoop平台下的MapReduce源码分析

    MapReduce源码分析(主要四大模块,其他表示父目录下的.java文件的总称):1.org.apache.hadoop.mapred(旧版MapReduceAPI):( 1).jobcontrol(job作业直接控制类)(2 ).join :(作业作业中用于模仿数据连接处理...

    Elasticsearch for Hadoop

    Using the old API – org.apache.hadoop.mapred Going real — network monitoring data Getting and understanding the data Knowing the problems Solution approaches Approach 1 – Preaggregate the ...

    apache hadoop 2.7.2.chm

    apahe hadoop2.7.2 官方文档,离线版 General Overview Single Node Setup Cluster Setup Hadoop Commands Reference FileSystem Shell ...mapred-default.xml yarn-default.xml Deprecated Properties

    Apress - Pro Hadoop

     MapReduce主要在org.apache.hadoop.mapred,实现提供的接口类,并完成节点通信(可以不是hadoop通信接口),就能进行MapReduce运算。  目前这个项目还在进行中,还没有到达1.0版本,和Google系统的差距也非常大...

    Hadoop权威指南(第2版).

    MapReduce主要在org.apache.hadoop.mapred,实现提供的接口类,并完成节点通信(可以不是hadoop通信接口),就能进行MapReduce运算。 目前这个项目还在进行中,还没有到达1.0版本,和Google系统的差距也非常大,...

    warc-hadoop:Hadoop 的 WARC(Web 档案)输入和输出格式

    它提供了用于在 MapReduce 作业中读取 WARC 文件的 InputFormats 和用于写入 WARC 文件的 OutputFormats(支持“旧” org.apache.hadoop.mapred和“新” org.apache.hadoop.mapreduce API)。 WARC 文件用于记录...

    MapReduceV1:TaskTracker端启动Task流程分析

    Task的运行是在一个与TaskTracker进程隔离的JVM实例中执行,该JVM实例是通过org.apache.hadoop.mapred.Child来创建的,所以在创建ChildVM实例之前,需要做大量的准备工作来启动Task运行。一个Task的启动过程,如下...

    MapReduceV1:JobTracker处理Heartbeat流程分析

    我们基于Hadoop1.2.1源码分析MapReduceV1的处理流程。这篇文章的内容,更多地主要...JobTracker与TaskTracker之间通过org.apache.hadoop.mapred.InterTrackerProtocol协议来进行通信,TaskTracker通过该接口进行远程调

    MapReduce Tutorial 思考总结

    文章目录Prerequisites(前置条件)Overview(概览)Inputs and Outputs(输入和输出)MapReduce – User Interfaces(MR的用户接口)MapperHow Many Maps?ReducershufflesortSecondary SortReduceHow Many Reduces?Reducer ...

    ann-mapred:人工神经网络分布式实现

    Accumulo是用Java编写的,并在Hadoop分布式文件系统(HDFS),这是流行的Apache Hadoop项目的一部分工作。Accumulo支持高效存储和检索的结构化数据,包括查询范围,并提供支持使用Accumulo表作为输入和输出的...

    实战部署Hadoop3.0高性能集群最佳手册

    Hadoop概述:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是:HDFS和...

Global site tag (gtag.js) - Google Analytics