×

Docker搭建一款开源的工作流任务调度系统

hqy hqy 发表于2025-02-12 21:51:00 浏览16 评论0

抢沙发发表评论

[_tag[_tag1_]_]


简介



DolphinScheduler是一个分布式、易扩展、可视化的DAG(有向无环图)工作流任务调度系统。

它支持多种部署方式、易于扩展、性能优异,并且广泛应用于各个领域。无论是大数据处理、数据分析还是ETL流程管理,DolphinScheduler都能提供高效、可靠的解决方案。



主要特征



易于部署:提供Standalone、Cluster、Docker和Kubernetes等多种部署方式,方便用户根据实际需求选择合适的部署环境。

易于使用:用户可以通过Web UI、Python SDK和Open API等多种方式创建和管理工作流,同时支持拖拽操作构建ETL过程,使得非技术人员如系统管理员和分析师也能轻松使用。

高可靠高可用:采用多主多从的去中心化架构,原生支持横向扩展,确保系统的高可靠性和高可用性。

高性能:性能优于其他编排平台,每天可支持千万级任务,满足大规模数据处理的需求。

Cloud Native:支持编排多云/数据中心工作流,同时支持自定义任务类型,增加了系统的灵活性和可扩展性。

版本控制:对工作流和工作流实例(包括任务)进行版本控制,方便用户进行任务管理和追踪。

多种状态控制:支持工作流和任务的多种状态控制,如暂停、停止、恢复等,提高了任务管理的灵活性。

多租户支持:支持多租户环境,方便不同用户或团队在同一系统上进行任务调度和管理。

补数支持:提供补数功能,支持并行或串行回填数据,方便用户对历史数据进行处理和更新。

<mpcpc class="js_cpc_area res_iframe cpc_iframe" data-category_id_list="1|16|17|2|21|24|28|29|31|35|36|37|39|41|42|43|46|47|48|5|50|51|55|56|57|58|59|6|60|61|62|63|64|65|66|67|68|7|8" js_editor_cpcad="" src="https://www.kinber.cn/zb_users/upload/2025/02/20250212215129_19634.png" data-id="1739156713887">




应用场景



DolphinScheduler广泛应用于金融、电信、保险等领域,支持在Hadoop、Spark、Flink等主流大数据平台上运行的任务。

例如,在金融行业,DolphinScheduler可以高效地处理和分析大量的数据,为金融行业的数据工作流程提供高安全性和可靠性。

在电信行业,DolphinScheduler可以支持每天处理大量的数据,满足电信行业的需求。

在保险行业,DolphinScheduler可以提供一个高效的工作流管理系统,更快速、准确地处理数据,生成用于更好决策的洞察力。

如需了解更多信息,可以访问其官方网站或查阅相关的技术文档。

GitHub地址

https://github.com/apache/dolphinscheduler

官方网站

https://dolphinscheduler.apache.org/

官方文档

https://dolphinscheduler.apache.org/en-us/docs/3.2.2




安装部署



DolphinScheduler提供Standalone、Cluster、Docker、Kubernetes四种部署方式。以Docker为例。

安装Docker

sudo apt updatesudo apt install -y docker.io docker-compose

拉取镜像

sudo docker pull apache/dolphinscheduler-standalone-server

启动服务

sudo docker run --name dolphinscheduler-standalone-server \ -p 12345:12345 -p 25333:25333 -d \ apache/dolphinscheduler-standalone-server

服务启动后,在浏览器访问IP::12345/dolphinscheduler/ui,默认账号密码为admin/dolphinscheduler123

login

home

workflow-definition

workflow-tree

monitor


打赏

本文链接:https://www.kinber.cn/post/4823.html 转载需授权!

分享到:


推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

 您阅读本篇文章共花了: 

少长咸集

群贤毕至

访客