简介 DolphinScheduler是一个分布式、易扩展、可视化的DAG(有向无环图)工作流任务调度系统。 它支持多种部署方式、易于扩展、性能优异,并且广泛应用于各个领域。无论是大数据处理、数据分析还是ETL流程管理,DolphinScheduler都能提供高效、可靠的解决方案。 主要特征
易于部署:提供Standalone、Cluster、Docker和Kubernetes等多种部署方式,方便用户根据实际需求选择合适的部署环境。
易于使用:用户可以通过Web UI、Python SDK和Open API等多种方式创建和管理工作流,同时支持拖拽操作构建ETL过程,使得非技术人员如系统管理员和分析师也能轻松使用。
高可靠高可用:采用多主多从的去中心化架构,原生支持横向扩展,确保系统的高可靠性和高可用性。
高性能:性能优于其他编排平台,每天可支持千万级任务,满足大规模数据处理的需求。
Cloud Native:支持编排多云/数据中心工作流,同时支持自定义任务类型,增加了系统的灵活性和可扩展性。
版本控制:对工作流和工作流实例(包括任务)进行版本控制,方便用户进行任务管理和追踪。
多种状态控制:支持工作流和任务的多种状态控制,如暂停、停止、恢复等,提高了任务管理的灵活性。
多租户支持:支持多租户环境,方便不同用户或团队在同一系统上进行任务调度和管理。
补数支持:提供补数功能,支持并行或串行回填数据,方便用户对历史数据进行处理和更新。
<mpcpc class="js_cpc_area res_iframe cpc_iframe" data-category_id_list="1|16|17|2|21|24|28|29|31|35|36|37|39|41|42|43|46|47|48|5|50|51|55|56|57|58|59|6|60|61|62|63|64|65|66|67|68|7|8" js_editor_cpcad="" src="https://www.kinber.cn/zb_users/upload/2025/02/20250212215129_19634.png" data-id="1739156713887">
应用场景
DolphinScheduler广泛应用于金融、电信、保险等领域,支持在Hadoop、Spark、Flink等主流大数据平台上运行的任务。
例如,在金融行业,DolphinScheduler可以高效地处理和分析大量的数据,为金融行业的数据工作流程提供高安全性和可靠性。
在电信行业,DolphinScheduler可以支持每天处理大量的数据,满足电信行业的需求。
在保险行业,DolphinScheduler可以提供一个高效的工作流管理系统,更快速、准确地处理数据,生成用于更好决策的洞察力。
如需了解更多信息,可以访问其官方网站或查阅相关的技术文档。
GitHub地址
https://github.com/apache/dolphinscheduler
官方网站
https://dolphinscheduler.apache.org/
官方文档
https://dolphinscheduler.apache.org/en-us/docs/3.2.2
安装部署
DolphinScheduler提供Standalone、Cluster、Docker、Kubernetes四种部署方式。以Docker为例。
安装Docker
sudo apt updatesudo apt install -y docker.io docker-compose
拉取镜像
sudo docker pull apache/dolphinscheduler-standalone-server
启动服务
sudo docker run --name dolphinscheduler-standalone-server \ -p 12345:12345 -p 25333:25333 -d \ apache/dolphinscheduler-standalone-server
服务启动后,在浏览器访问IP::12345/dolphinscheduler/ui,默认账号密码为admin/dolphinscheduler123
本文链接:https://www.kinber.cn/post/4823.html 转载需授权!
推荐本站淘宝优惠价购买喜欢的宝贝: