Hubble是一款大規模高并發支持靈活查詢的實時查詢引擎,具有高可用、可橫向擴展、健壯性的特點,支持數據自動均勻分布、支持索引及事務控制、支持REST、SQL、SDK等接口,支持上千個用戶并發的進行實時查詢。
Hubble:大規模高并發支持靈活查詢的國產HTAP產品
人工智能和大數據一直作為孿生兄弟相互支撐,生產與離線分析各自獨立的傳統信息化結構已經無法支撐AI的發展,每個異構數據庫產品之間的同步和數據冗余;業務的實時性需要流數據框架;ML越來越多作為核心業務部件被部署在流程中自動化完成……這些都會帶來很多問題,因此限制了大數據企業應用的發展。新一代數據驅動業務提出了數據湖等全新架構,而數據湖不僅僅是低成本的存儲,更應是面向生產交易等數據科學處理的核心計算框架。
憑借7年來在分布式計算集群的沉淀,及三家大型銀行核心交易系統的實踐驗證,天云大數據推出了百萬原生代碼規模的HTAP產品:Hubble,可以實現混合交易分析處理,一款既能支持OLTP,又能支持OLAP的產品
Hubble查詢引擎具有下列特性:
Hubble具有包括Java、Python、Scala SDK,RESTFul API,SQL等多種讀寫接口,可同時滿足FTP、MQ、Sqoop、Flume、Kafka等多種數據接入方式,同時支持天云自有交換平臺的數據接入。同時利用多種多樣的接口可向各類業務應用推送需要的數據。支持全量導入、增量導入數據、讀取數據支持分頁等細節功能。
保持數據事務一致性,對ACID的有效支撐。事務控制層可以支持安全的使用并發的多線程。可以支持對一個數據對象或方法在讀寫上的提交與回滾。在事務完成時,無論成功或者回滾,數據在多個節點都會處于一致的狀態。
為了更好的查詢效率和對各種數據類型有更好的支持,Hubble索引包含了多種數據類型的索引,這些數據類型包括:Byte、Short、Integer、Long、Float、Double、Decimal、Precision、String、Date、Instant等,有了這些數據類型,索引就可以根據業務實際需要來進行選擇,緊密的和業務結合在一起。
通過持久化接口將數據在Hubble中持久化。Hubble原生支持了多種數據類型,這些類型包括:String、Character、Boolean、Byte、Short、Integer、Long、Float、Double、Decimal(擁有三位小數的數字)、Precision(擁有6位小數的數字)、Date、UUID。