文章来源：加米谷大数据大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。
目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。
Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端，当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml，然后使用Oozie提交本次任务，Oozie会托管此任务流。
改编原文:Ruben Foresti， Stefano Rossi， Matteo Magnani， Corrado Guarino Lo Bianco， Nicola Delmonte. Smart Society and Artificial Intelligence: Big Data Scheduling and the Global Standard Method Applied to Smart Maintenance . Engineering， 2020，6:835-846.
10 月 30 日下午，2021 WeDataSphere 社区大会在深圳湾科技生态园创新广场顺利举行。这“三驾马车”给 Hadoop 创始人 Doug Cutting 很大的启发，于是，他在 2006 年写出第一个 Hadoop 引擎。
trigger_rule:定义依赖的触发规则，包括选项如下:{ all_success | all_failed | all_done | one_success | one_failed | none_failed | none_failed_or_skipped | none_skipped | dummy} default is all_success。
#大数据#简介 Smart Kettle是针对上述企业的痛点，对kettle的使用做了一些包装、优化，使其在web端也能具备基础的kettle作业、转换的配置、调度、监控，能在很大一定程度上协助企业完成不同业务场景下数据的ETL（抽取、转换、加工）的能力。
