如何重跑：
当fail的task环境具备以后，就可以对单独的task进行重跑了。重跑的方式为:
上到task出错的tasktracker机器 上
在该tasktracker上找到fail的task运行时的目录环境
在 tasktracker中，对于每一个task都会有一个单独的执行环境，其中包括其work目录，其对应的中间文件，以及其运行时需要用到的配置文件等
这些 目录是由tasktracker的配置决定，配置选项为: mapred.local.dir. 该选项可能是一个逗号分隔的路径list，每个 list都是tasktracker对在其上执行的task建立工作目录的根目录。比如如果mapred.local.dir=/disk1 /mapred/local,/disk2/mapred/local，那么task的执行环境就是mapred.local.dir /taskTracker/jobcache/job-ID/task-attempt-ID
找到该task的执行工作目录后，就可以进入到 该目录下，然后其中就会有该task的运行环境，通常包括一个work目录，一个job.xml文件，以及一个task要进行操作的数据文件(对map来 说是split.dta，对reduce来说是file.out)。
找到环境以后，就可以重跑task了。
cd work
hadoop org.apache.hadoop.mapred.IsolationRunner ../job.xml
这样，IsolationRunner就会读取job.xml的配置（这里的job.xml相当 于提交客户端的hadoop-site.xml配置文件与命令行-D配置的接合），然后对该map或者reduce进行重新运行。
到这里为止，已经实现了task单独重跑，但是还是没有解决对其进行单步断点debug。这里利用到的其实是jvm的远程 debug的功能。方式如下：
在重跑task之前，export一个环境变 量：export HADOOP_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8888"
这 样，hadoop的指令就会通过8888端口将debug信息发送出去
然后在自己本地的开发环境IDE中（比如 eclipse），launch一个远程调试，并在代码中打一个断点，就可以对在tasktracker上运行的独立map或者reduce task进行远程单步调试了。
最新评论