环境变量可以理解程序运行的系统环境，用户可以对自己的运行环境进行定制，其方法就是修改相应的系统环境变量。
用JAVA实现的Map-Reduce程序可以通过Hadoop提供的编程接口访问作业的配置信息，而streaming程序不能使用JAVA编程接口，因此，streaming框架通过设置环境变量的方式给mapper、reducer程序传递配置信息。常用的环境变量如下：
HADOOP_HOME
计算节点上配置的Hadoop路径
LD_LIBRARY_PATH
计算节点上加载库文件的路径列表
PWD
当前工作目录
dfs_block_size
当前设置的HDFS文件块大小
map_input_file
mapper正在处理的输入文件路径
mapred_job_id
作业ID
mapred_job_name
作业名
mapred_tip_id
当前任务的第几次重试
mapred_task_id
任务ID
mapred_task_is_map
当前任务是否为map
mapred_output_dir
计算输出路径
mapred_map_tasks
计算的map任务数
mapred_reduce_tasks
计算的reduce任务数
最新评论