一.oozie的介紹：oozie可以被稱為一個調度系統，具體可參照此篇博文：http://shiyanjun.cn/archives/684.html 以上這篇博文將oozie的功能和使用方法介紹的很詳細 二.oozie執行后續監控：可以將oozie的執行結果寫入MySQL數據表中，通過本地的sh mysql.sh可以查看oozie的執行情況： 1.執行時長統計：
select tp.app_name ,ta.id ,(unix_timestamp(tb.end_time) - unix_timestamp(tb.created_time))/60 long_minutes ,date_format(adddate(date(ta.nominal_time),interval -1 day),'%Y%m%d') data_datefrom ( select * from COORD_JOBS ---oozie job的報表 where status='RUNNING' -- and app_name like 'ods%') tp inner join ( SELECT * FROM COORD_ACTIONS ---oozie action的list報表) ta on tp.id = ta.job_id AND tp.last_action_number=ta.action_number inner join ( select * from WF_ACTIONS --oozie每個action執行時間報表 where id like '%hive%') tb on ta.external_id = tb.wf_idorder by long_minutes desc LIMIT 50;上述代碼可用于查看執行時長較長的任務名稱，便于優化代碼。 2.用于檢查任務狀態
select -- ta.id, concat('oozie job -rerun ',tb.id,' -action ',ta.action_number) as cmd ,tb.app_name,ta.status from (select * from oozie.COORD_ACTIONS where status not in ('SUCCEEDED') ) ta inner join ( SELECT * FROM COORD_JOBS where (app_name like '%fact%' or app_name like '%rpt%' or app_name like 'dim_%' or app_name like 'ods%' or app_name like 'dw%') and status = 'RUNNING' ) tb on ta.job_id = tb.id -- where ta.status not in ('WAITING','READY')order by status ,app_name;3.查指定任務，用于獲得job名以及包含多少action
SELECT app_name,concat('oozie job -rerun ',id,' -action ',last_action_number),status as rerun FROM COORD_JOBS where (app_name like '%yezhu%') and status = 'RUNNING'4.當需要重刷歷史數據時，需要rerun多天action時，可用以下方法：
update coord_jobs set concurrency=3 ---并發的數量，應考慮集群難度，不要太高 where id in ( '0402926-161231135848541-oozie-bigd-C' ); commit ;5.oozie中job不能重復，需要檢查是否多啟動job時，用以下方法：
SELECT app_name,count(1) cnt FROM COORD_JOBS where status = 'RUNNING' group by app_name having cnt >1 或者 SELECT app_name,count(distinct id) cnt FROM COORD_JOBS where (app_name like '%fact%' or app_name like '%rpt%' or app_name like 'dim_%' or app_name like 'ods%' or app_name like 'dw%' ) and status = 'RUNNING' group by app_name having cnt >1 ;6.如果想更改某些action的狀態，可用以下方法：
update oozie.COORD_ACTIONS set status='SUCCEEDED'where id in ( '0047657-160714171251022-oozie-bigd-C@75'---action名字,'0047657-160714171251022-oozie-bigd-C@73','0047657-160714171251022-oozie-bigd-C@74','0047657-160714171251022-oozie-bigd-C@72');commit ;如果看過oozie配置文檔就會發現，oozie需要配置三個文件：job.PRoperties,coordinator.xml,workflow.xml 此外應該還有一個需要定時執行的文件，假設文件名為test.sql ，這四個文件調試好后，放在本地目錄中，需要上傳到hadoop文件目錄中：假設本地目錄是/home/datadev/oozie_jobs/rpt/test（文件夾名字最好和sql文件一致）目錄中的文件分別是： job.properties,coordinator.xml,workflow.xml，test.sql 則hadoop上應建一個和本地相同名稱的文件夾
在hadoop上創建文件夾 hadoop fs -mkdir oozie/rpt/testgrep 'rpt--' *2.hadoop dfs -put -f * oozie/rpt/test --全部傳過去如果重復覆蓋3. hadoop fs -put -f job.properties oozie/rpt/test/ --只傳job.properties這一個文件4. hadoop fs -ls oozie/rpt/test/ --查看文件夾內容5. hadoop fs -ls oozie/rpt/test/test.sql --查看文件內容oozie常見命令操作：
1、測試任務 oozie job -config job.properties -dryrun 2、正式提交運行一個任務 oozie job -config job.properties -run 3、殺死一個任務 oozie job -kill job_id 4、殺死一個action oozie job -kill job_id -action action_number 5、重跑一個action oozie job -rerun job_id -action action_number 6、更新coordinator oozie job -update job_id有時候更新完代碼后用update不管用，只能把jobkill 了重新跑。
新聞熱點
疑難解答
