03_MapReduce框架原理_3.2 Job提交流程(源码)

2021/12/16 22:09:59

编程Tag： 源码 提交 XML 集群 job MapReduce 03 Staging

本文主要是介绍03_MapReduce框架原理_3.2 Job提交流程(源码)，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

Hadoop 2. Job提交流程(源码) 1. 客户端 执行Driver类的main方法 2. var configuration = new Configuration 读取配置文件 Configuration: core-default.xml, core-site.xml, mapred-default.xml, mapred-site.xml, yarn-default.xml, yarn-site.xml, hdfs-default.xml, hdfs-site.xml 3. val bool: Boolean = job.waitForCompletion(true) 提交job到集群,并且等待他完成 4. submit() 5. connect() 建立连接,获取集群代理对象 提交Job return new Cluster(getConfiguration()) 读取配置文件,建立集群代理 initialize(jobTrackAddr, conf) 判断是本地运行环境 还是 yarn集群运行环境 6. return submitter.submitJobInternal(Job.this, cluster) 提交Job 到 指定集群 1. Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf) 在指定集群中 创建staging(暂存)目录,并返回路径 示例 ： file:/tmp/hadoop/mapred/staging/dxm1446706250/.staging 2. JobID jobId = submitClient.getNewJobID() 获取JobID 3. Path submitJobDir = new Path(jobStagingArea, jobId.toString()); 根据Jobid 创建Job提交路径 示例 : file:/tmp/hadoop/mapred/staging/dxm870750042/.staging/job_local870750042_0001 4. copyAndConfigureFiles(job, submitJobDir); 上传 configure files, libjars, jobjars, and archives pertaining(相关文档) 到指定路径 rUploader.uploadResources(job, jobSubmitDir) 5. int maps = writeSplits(job, submitJobDir) 根据输入文件,计算切片,并生成切片规划文件，并上传到stag路径 job.split job.splitmetainfo 6. writeConf(Configuration conf, Path jobFile) 上传 job.xml 到stag路径 conf.writeXml(out) 7. status = submitClient.submitJob( jobId, submitJobDir.toString(), job.getCredentials()) 提交job,并返回提交状态 8. return isSuccessful() Job完成,返回 true
点击查看代码 



                   


                   

                        这篇关于03_MapReduce框架原理_3.2 Job提交流程(源码)的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
                    

                     

                 
                

                
                    

                

                
 
                
                

                    

                        
相关编程文章

                        更多>
                    

                    
                    
                    
                


            

        


        

             


    

        
    




             

        


    

    
    
        


    

        

            

            

            


        

        

            

                本站官方QQ
                

                    
官方QQ:

                    
23002807

                

            

            
        

        

           
            

                沪ICP备2023033072号-1
                
                  
                 
                
            

            

                      
                
            

        

    







    
    
    


        
        扫一扫关注最新编程教程