源啟數(shù)據(jù)集成平臺優(yōu)先采用原生工具進行數(shù)據(jù)集成,同時支持數(shù)據(jù)速遞、DATAX、 BitSail、JDBC、Flink CDC等多種數(shù)據(jù)集成方式;支持文件、關(guān)系型數(shù)據(jù)庫、MPP、大數(shù)據(jù)平臺等雙向集成;支持數(shù)據(jù)遷移、數(shù)據(jù)同步等場景;支持全量、增量抽?。恢С址謳旆直淼?;支持自定義腳本模板以及動態(tài)配置腳本流程;支持SQL函數(shù)、動態(tài)脫敏。源啟數(shù)據(jù)集成平臺可為企業(yè)采集、存儲、處理任意數(shù)據(jù),實現(xiàn)數(shù)據(jù)完全共享、持久可用,并提供靈活適配,支持動態(tài)擴展。
幫助客戶通過可視化任務(wù)配置,實現(xiàn)對多源異構(gòu)的數(shù)據(jù)源采集,基于Flink CDC的實時數(shù)據(jù)采集,統(tǒng)一管理各類數(shù)據(jù)采集任務(wù)、統(tǒng)一調(diào)度批量采集任務(wù)、全流程監(jiān)控數(shù)據(jù)采集過程,實現(xiàn)數(shù)據(jù)采集效率、安全性的提升,實現(xiàn)數(shù)據(jù)完全共享,發(fā)揮數(shù)據(jù)資產(chǎn)價值。
支持文件、關(guān)系型數(shù)據(jù)庫、MPP、大數(shù)據(jù)平臺等雙向集成。
通過頁面的任務(wù)信息配置、數(shù)據(jù)源配置、目標配置即可完成數(shù)據(jù)集成任務(wù)配置,保存配置之后會按照模板生成任務(wù)作業(yè)腳本,按模板編排生成完整的作業(yè)。同時支持對模板和模板編排的配置,可靈活定義數(shù)據(jù)采集過程。
在任務(wù)配置中統(tǒng)一對任務(wù)進行配置和管理,在調(diào)度平臺中統(tǒng)一執(zhí)行批量采集任務(wù),在實時任務(wù)監(jiān)控業(yè)務(wù)統(tǒng)一管理實時任務(wù)的執(zhí)行。
源啟數(shù)據(jù)集成平臺主要包含參數(shù)配置、預(yù)處理配置、版本管理、任務(wù)監(jiān)控等功能。
-
參數(shù)配置
包含動態(tài)參數(shù)的查詢、新增、修改、刪除,可以實現(xiàn)對動態(tài)參數(shù)的管理,并能夠根據(jù)業(yè)務(wù)場景的需要來定義跟隨任務(wù)配置的參數(shù),滿足客戶靈活適配各類采集任務(wù)的需求。
-
預(yù)處理配置
包含預(yù)處理腳本配置和預(yù)處理組配置等,可以實現(xiàn)對文件類型的數(shù)據(jù)源進行數(shù)據(jù)清洗和數(shù)據(jù)處理,滿足客戶對文件類型的數(shù)據(jù)源進行數(shù)據(jù)預(yù)處理的需求。
-
版本管理
包含版本發(fā)布、版本比較、版本恢復(fù)等,可以實現(xiàn)對數(shù)據(jù)采集任務(wù)作業(yè)腳本版本管理的業(yè)務(wù)價值,滿足客戶對任務(wù)作業(yè)腳本的版本管理需求。
-
任務(wù)監(jiān)控
包含批量任務(wù)監(jiān)控和實時任務(wù)監(jiān)控等,可以實現(xiàn)對批量數(shù)據(jù)采集任務(wù)全流程的狀態(tài)和數(shù)據(jù)量進行監(jiān)控,實現(xiàn)對實時任務(wù)的啟停管理、任務(wù)狀態(tài)查看、對應(yīng)Flink作業(yè)狀態(tài)查看,滿足客戶對數(shù)據(jù)采集任務(wù)狀態(tài)監(jiān)控和管理的需求。
-
可視化任務(wù)配置
批量任務(wù)、實時任務(wù)均可通過頁面完成任務(wù)的配置和修改,所見即所得的任務(wù)配置方式極大地提高了數(shù)據(jù)采集任務(wù)的配置效率,從而提高整體的任務(wù)執(zhí)行效率。
-
支持多源異構(gòu)的數(shù)據(jù)采集
支持文件、關(guān)系型數(shù)據(jù)庫、MPP、大數(shù)據(jù)平臺等雙向集成,支持MySQL、PG、Oracle、DB2、SQL Server、達夢、易鯨捷等多種國內(nèi)外關(guān)系型數(shù)據(jù)庫。
-
支持多種數(shù)據(jù)同步方式
支持多種數(shù)據(jù)同步方式,優(yōu)先采用原生工具進行數(shù)據(jù)集成,同時支持數(shù)據(jù)速遞、DATAX、BitSail、JDBC等方式。
-
支持動態(tài)參數(shù)配置
用戶可以根據(jù)業(yè)務(wù)需要定義任務(wù)中需要的參數(shù)。這些自定義參數(shù)會在對應(yīng)任務(wù)類型的任務(wù)配置頁面顯示,可以定義默認值或提供可選值。用戶可以通過參數(shù)代碼在腳本中引用該動態(tài)參數(shù)。
-
支持模板定制和模板編排定制
模板是處理數(shù)據(jù)采集任務(wù)中某一個步驟的腳本范例,模板編排是處理整個數(shù)據(jù)采集任務(wù)的一個腳本序列。數(shù)據(jù)采集任務(wù)單獨的每一步和整體的序列都是可以定制的。用戶可以根據(jù)業(yè)務(wù)需要定制自己的模板和模板編排,適配多種復(fù)雜的業(yè)務(wù)場景。
-
全流程任務(wù)監(jiān)控
提供全流程的任務(wù)監(jiān)控功能,在批量任務(wù)監(jiān)控頁面可以查看每一次任務(wù)執(zhí)行的監(jiān)控信息。任務(wù)執(zhí)行的每一個節(jié)點、全程狀態(tài)、各節(jié)點的數(shù)據(jù)量信息均有監(jiān)控,在實時任務(wù)監(jiān)控頁面可實時查看實時任務(wù)的運行狀態(tài)。
-
源啟金融級數(shù)字底座
中國電子依托全棧自主安全計算產(chǎn)業(yè)鏈,采用新一代技術(shù)架構(gòu),為金融及重點行業(yè)打造的數(shù)字化新型基礎(chǔ)設(shè)施
體驗產(chǎn)品 -
云原生分布式核心業(yè)務(wù)系統(tǒng)
充分利用分布式、微服務(wù)、智能化等最新科技成果,采用創(chuàng)新性設(shè)計推出的云原生分布式數(shù)字化銀行核心業(yè)務(wù)系統(tǒng)
體驗產(chǎn)品 -
業(yè)務(wù)建模驅(qū)動的企業(yè)架構(gòu)轉(zhuǎn)型
“既企業(yè)級、又敏捷化、又精益化”的新企架
體驗產(chǎn)品 -
源啟數(shù)據(jù)資產(chǎn)平臺
覆蓋采、存、管、算、用的數(shù)據(jù)全生命周期,一站式的數(shù)據(jù)資產(chǎn)管理解決方案
體驗產(chǎn)品