HTAP產品Hubble

Hubble:大規模高并發支持靈活查詢的國產HTAP產品

人工智能和大數據一直作為孿生兄弟相互支撐，生產與離線分析各自獨立的傳統信息化結構已經無法支撐AI的發展，每個異構數據庫產品之間的同步和數據冗余；業務的實時性需要流數據框架；ML越來越多作為核心業務部件被部署在流程中自動化完成……這些都會帶來很多問題，因此限制了大數據企業應用的發展。新一代數據驅動業務提出了數據湖等全新架構，而數據湖不僅僅是低成本的存儲，更應是面向生產交易等數據科學處理的核心計算框架。
憑借7年來在分布式計算集群的沉淀，及三家大型銀行核心交易系統的實踐驗證，天云大數據推出了百萬原生代碼規模的HTAP產品：Hubble,可以實現混合交易分析處理，一款既能支持OLTP，又能支持OLAP的產品

Hubble查詢引擎具有下列特性：

• 與hadoop生態圈緊密結合，可與其他hadoop組件進行無縫集成。
• 支持數據和用戶的高擴展，水平擴展非常容易。支持高效穩定的海量數據存儲，可有效支持上億行、上百萬列、上萬個版本，支持對數據自動分片。
• 具有容錯性的數據分發和備份，對索引分片，并對每個分片創建多個副本。每個副本都可以對外提供服務。一個副本的異常不會對整個集群提供索引服務造成影響。
• 支持高可用性和熱備份。
• 支持對數據進行各種高級查詢，包括交集、聯集、排除、通配符、范圍、分頁、排序、Group等。
• 讀寫嚴格一致，支持ACID（ACID指數據庫正確執行的四個基本要素，包括:原子性，一致性，隔離性，持久性）和最終一致性。支持事務的提交和回滾，有效保障了數據的完整性。
• 數據查詢的秒級毫秒級響應，從而支持OLTP。

Hubble具有包括Java、Python、Scala SDK，RESTFul API，SQL等多種讀寫接口，可同時滿足FTP、MQ、Sqoop、Flume、Kafka等多種數據接入方式，同時支持天云自有交換平臺的數據接入。同時利用多種多樣的接口可向各類業務應用推送需要的數據。支持全量導入、增量導入數據、讀取數據支持分頁等細節功能。

保持數據事務一致性,對ACID的有效支撐。事務控制層可以支持安全的使用并發的多線程。可以支持對一個數據對象或方法在讀寫上的提交與回滾。在事務完成時，無論成功或者回滾，數據在多個節點都會處于一致的狀態。

為了更好的查詢效率和對各種數據類型有更好的支持，Hubble索引包含了多種數據類型的索引，這些數據類型包括：Byte、Short、Integer、Long、Float、Double、Decimal、Precision、String、Date、Instant等，有了這些數據類型，索引就可以根據業務實際需要來進行選擇，緊密的和業務結合在一起。

通過持久化接口將數據在Hubble中持久化。Hubble原生支持了多種數據類型，這些類型包括：String、Character、Boolean、Byte、Short、Integer、Long、Float、Double、Decimal（擁有三位小數的數字）、Precision（擁有6位小數的數字）、Date、UUID。

• 采用分布式架構解決數據的安全性、穩定性，相對于傳統關系型數據庫，大大提高了數據的存儲容量。
• 支持數據和用戶的高擴展，水平擴展非常容易。支持高效穩定的海量數據存儲，可有效支持上億行、上百萬列、上萬個版本，支持對數據自動分片。
• 具有容錯性的數據分發和備份，對索引分片，并對每個分片創建多個副本。每個副本都可以對外提供服務。一個副本的異常不會對整個集群提供索引服務造成影響。
• 支持對數據進行各種高級查詢，包括交集、聯集、排除、通配符、范圍、分頁、排序、Group等。
• 讀寫嚴格一致，支持ACID。支持事務的提交和回滾，有效保障了數據的完整性。
• 數據查詢的秒級毫秒級響應，從而支持OLTP。
• 可與其他組件可以做到輕松集成，既可以與業務系統結合，將讀數據放到Hubble端，來做讀寫分離，為業務系統減負，也可通過大數據平臺hadoop和spark進行ETL處理，從而支持OLAP。
• 良好的開發規范和完善的文檔支持，降低了開發人員的使用門檻，無需關心Hubble的底層。

• 利用Hubble低延時、高性能、海量存儲等特性，滿足需要從海量的歷史和實時數據中秒級獲取有效信息的場景。
• 在分布式背景下，數據量不斷的增長，需要高速的讀寫，并有復雜的ETL需要的場景。
• 用戶使用頻率非常高，重要程度僅次于核心應用，對數據的丟失以及服務的中斷零容忍的場景。
• 對數據的一致性有要求的場景。