星環(huán)科技分布式時序數(shù)據(jù)庫TimeLyre 9.2發(fā)布:原生多模態(tài)、高性能計算、極速時序回放分析

轉載 新聞稿 | 2024年08月01日
星環(huán)科技分布式時序數(shù)據(jù)庫TimeLyre 9.2發(fā)布:原生多模態(tài)、高性能計算、極速時序回放分析 ......

在當今數(shù)據(jù)驅動的世界中,多模態(tài)數(shù)據(jù)已經成為企業(yè)的重要資產。隨著數(shù)據(jù)規(guī)模和多樣性的不斷增加,企業(yè)不僅需要高效存儲和處理這些數(shù)據(jù),更需要從中提取有價值的洞察。工業(yè)領域在處理海量設備時序數(shù)據(jù)的同時,還需要聯(lián)動分析警報信息、設備關系、組織信息等關系數(shù)據(jù)或圖數(shù)據(jù);金融領域除了常見的行情和訂單流時序數(shù)據(jù)外,還會采用地理信息、實時新聞、氣象數(shù)據(jù)等多種類型的數(shù)據(jù)輔助決策。然而,要充分挖掘和利用這些多模態(tài)數(shù)據(jù),傳統(tǒng)單一模型的時序數(shù)據(jù)庫已顯得力不從心,無法滿足現(xiàn)代多元應用場景中企業(yè)對數(shù)據(jù)使用的復雜需求。

Transwarp TimeLyre是星環(huán)科技自主研發(fā)的企業(yè)級分布式時序數(shù)據(jù)庫,具備高吞吐實時寫入、時序精準查詢、超高數(shù)據(jù)壓縮率等特點,可以支持海量時序數(shù)據(jù)的存儲、查詢、分析,有效支撐能源、制造、金融領域等多種時序數(shù)據(jù)業(yè)務場景。

近日,TimeLyre正式發(fā)布V9.2版本,支持海量時序數(shù)據(jù)的同時,具備原生的多模態(tài)數(shù)據(jù)混合存儲能力,能夠整合和處理不同類型的數(shù)據(jù),幫助企業(yè)實現(xiàn)數(shù)據(jù)的多維分析。同時提供高性能分析、熱溫冷數(shù)據(jù)分層存儲、極速時序數(shù)據(jù)回放分析等新功能,可以有效支撐大規(guī)模時序數(shù)據(jù)湖、投研一體化平臺、時序數(shù)據(jù)中臺等新場景,充分滿足企業(yè)對多模態(tài)數(shù)據(jù)存儲分析的需求,助力企業(yè)發(fā)揮數(shù)據(jù)深層價值。

原生多模態(tài)架構,支持時序數(shù)據(jù)與關系數(shù)據(jù)模型混合存儲

TimeLyreV9.2采用原生多模態(tài)架構,來自多種數(shù)據(jù)源的時序和關系數(shù)據(jù)經由統(tǒng)一的接口以批量或實時的方式存入統(tǒng)一的存儲引擎中,通過統(tǒng)一的高性能計算引擎Quark進行讀取和分析,支撐上層模型加工、批處理、在線分析、高性能讀取等場景,助力企業(yè)更全面、更多維度的數(shù)據(jù)分析應用。

不同于傳統(tǒng)方案為不同類型的數(shù)據(jù)單獨部署和使用不同的數(shù)據(jù)庫產品,TimeLyre以原生的多模態(tài)架構高效實現(xiàn)了多種數(shù)據(jù)模型的轉化流轉與關聯(lián)分析,具有復雜度低、開發(fā)和運維成本低、數(shù)據(jù)處理效率高等優(yōu)勢。

高性能C++計算引擎,向量化計算,顯著提升數(shù)據(jù)分析性能

依托于星環(huán)科技統(tǒng)一的多模型數(shù)據(jù)管理平臺架構,TimeLyre在計算引擎中納入了高性能C++計算引擎技術,通過使用向量化計算,充分利用了現(xiàn)代CPU的SIMD指令集,借助列式掃描減少了IO開銷。同時采用高性能數(shù)據(jù)傳輸格式,實現(xiàn)了數(shù)據(jù)零拷貝,減少了序列化和反序列化的開銷,并借助列式存儲和高壓縮率,減少了網絡傳輸?shù)臄?shù)據(jù)量,便于數(shù)據(jù)更快速地接入高性能C++分析引擎。通過采用高性能分析計算引擎,可以幫助用戶顯著提高數(shù)據(jù)處理能力和效率,更快獲取分析結果,加速決策過程,降低能耗和硬件成本,幫助用戶在數(shù)據(jù)驅動的商業(yè)環(huán)境中保持領先。

熱溫冷數(shù)據(jù)自動分層存儲,降低存儲成本,優(yōu)化資源配置

TimeLyre提供全新的熱溫冷數(shù)據(jù)分層存儲方案,統(tǒng)一接收外部應用的數(shù)據(jù)寫入和數(shù)據(jù)查詢,內部按時間或指定條件將熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)進行自動轉換。對于熱數(shù)據(jù),可以實現(xiàn)毫秒級查詢性能,提供5倍以上數(shù)據(jù)壓縮率;溫數(shù)據(jù)支持百毫秒查詢性能,提供15倍以上壓縮率;冷數(shù)據(jù)提供30倍以上數(shù)據(jù)壓縮率,滿足數(shù)據(jù)批量加工需求。熱溫冷數(shù)據(jù)的分層僅需在建表時通過DDL指定,無需后期運維,即可實現(xiàn)定期后臺自動分層。同時支持指定數(shù)據(jù)存儲在不同的存儲介質上,進一步降低綜合存儲成本,優(yōu)化資源配置。

支撐分布式極速時序回放分析引擎TransMatrix,助力時序數(shù)據(jù)回放分析

TransMatrix是星環(huán)研發(fā)的分布式投研系統(tǒng),用戶可以將多種數(shù)據(jù)結構、多種頻率(高、中、低頻)的數(shù)據(jù)按照時間順序進行回訪;支持原生多模態(tài)數(shù)據(jù)源回放,可以從星環(huán)TDH中直接讀取和加工數(shù)據(jù)源,除了時序和關系數(shù)據(jù)之外,還支持文本數(shù)據(jù)、圖數(shù)據(jù)、圖片數(shù)據(jù)等,同時允許用戶借助Python開源生態(tài)對多模態(tài)數(shù)據(jù)進行加工和分析;內置豐富的時序算子庫,支持自定義算子開發(fā)與共享;采用事件驅動的編程范式,提供生成式算子開發(fā)接口;提供算子拼接接口與豐富的內置表達式,支持用戶自定義表達式;通過分布式任務實現(xiàn)多租戶負載均衡、提供分布式任務配置接口,可實現(xiàn)任務拆分、批量運行、大規(guī)模采樣等大型任務。

新場景:大規(guī)模時序數(shù)據(jù)湖引擎,助力企業(yè)應對海量時序數(shù)據(jù)

用戶可以基于TimeLyre構建大規(guī)模時序數(shù)據(jù)湖,海量時序數(shù)據(jù)通過流式引擎進入數(shù)據(jù)湖內,依托TimeLyre完成ODS層、DW層、維度層數(shù)據(jù)加載與處理,通過豐富的API接口和開源生態(tài)接口支撐上層應用開發(fā)、風險識別、模型訓練、實時展示、數(shù)據(jù)智能、時序分析等業(yè)務場景。以TimeLyre為核心構建時序數(shù)據(jù)湖,充分利用了產品對海量實時數(shù)據(jù)的存儲與查詢分析能力,實時寫入性能可達每節(jié)點千萬測點,實時查詢性能可達每節(jié)點10000QPS。結合流、批計算引擎,滿足業(yè)務對端到端秒級時效性的要求。同時支持時序數(shù)據(jù)與關系數(shù)據(jù)高效關聯(lián)分析、提供完善的SQL支持與靈活可變的Schema定義,為用戶提供全面、高效、靈活的數(shù)據(jù)管理分析平臺。

新場景:投研一體化平臺技術底座,搭建分布式投研框架

面向金融投研場景,TimeLyre可以作為投研一體化平臺的技術底座,助力企業(yè)搭建分布式投研框架。底層依托時序數(shù)據(jù)庫TimeLyre及其內置的分布式投研計算引擎TransMatrix構建投研平臺核心技術底座,通過標準數(shù)據(jù)接口、因子開發(fā)接口、策略開發(fā)接口和分布式任務開發(fā)接口對接上層業(yè)務模型,助力企業(yè)在一體化平臺內實現(xiàn)數(shù)據(jù)泰索、因子研究、策略回測等應用開發(fā)。

新場景:投研數(shù)據(jù)中臺數(shù)據(jù)底座,實現(xiàn)多源數(shù)據(jù)分層管理

依托TimeLyre構建投研數(shù)據(jù)中臺,參考標準數(shù)據(jù)分層結構,可將數(shù)據(jù)分為數(shù)據(jù)源層、基礎數(shù)據(jù)層、投研標準層、業(yè)務模型層與收益報表層。在數(shù)據(jù)源層負責從數(shù)據(jù)廠商、交易所數(shù)據(jù)、用戶因子數(shù)據(jù)等外部數(shù)據(jù)源同步數(shù)據(jù),可以做到將原始的行情或因子數(shù)據(jù)以完全一致的形式同步入投研數(shù)據(jù)中臺;基礎數(shù)據(jù)層負責完成數(shù)據(jù)的校驗、清洗與加工,生成干凈的基礎投研數(shù)據(jù);投研標準層負責將這些數(shù)據(jù)統(tǒng)一成面向投研過程的標準表模型以及數(shù)據(jù)結構模型,為用戶屏蔽掉不同來源數(shù)據(jù)在字段名、字段類型等方面的差異;業(yè)務模型層負責生成面向特定研究過程的因子與數(shù)據(jù);收益報表層負責生成面向投研收益評價的因子與數(shù)據(jù),可以將策略的研究結果、投研結果以報表的形式存在時序模型或關系模型中。

依托TimeLyre構建投研數(shù)據(jù)中臺可以對接豐富的外部數(shù)據(jù)源,實現(xiàn)多層次外部數(shù)據(jù)錄入,支持以投研領域常見的文件形式加載數(shù)據(jù)、從主流數(shù)據(jù)庫(MySQL、Oracle等)進行數(shù)據(jù)同步、通過類似SQL的API接收交易所實時行情、通過Kafka統(tǒng)一接受數(shù)據(jù)等多種數(shù)據(jù)接入方式。同時為了應對數(shù)據(jù)實時和批量更新的需求,提供專業(yè)的ETL工具,可以實現(xiàn)數(shù)據(jù)的一鍵重入,開啟一鍵重入即可自動觸發(fā)多層次數(shù)據(jù)加工,實現(xiàn)投研數(shù)據(jù)的自動更新,并通過統(tǒng)一的API提供給業(yè)務人員進行研究使用。

賦能業(yè)務:TimeLyre助力某光伏企業(yè)打造批流一體時序數(shù)據(jù)湖方案

某光伏企業(yè)為解決數(shù)據(jù)孤島問題,依托星環(huán)科技分布式時序數(shù)據(jù)庫TimeLyre構建批流一體的時序數(shù)據(jù)湖。首先通過數(shù)采設備從數(shù)據(jù)源系統(tǒng)中獲取原始數(shù)據(jù),統(tǒng)一經由Kafka消息系統(tǒng)匯入數(shù)倉平臺的數(shù)據(jù)接入區(qū),并通過TimeLyre自帶的流處理引擎Slipstream將數(shù)據(jù)加載到內部的貼源層,實現(xiàn)時序數(shù)據(jù)、關系數(shù)據(jù)等多模態(tài)數(shù)據(jù)的統(tǒng)一存儲。數(shù)倉內部通過統(tǒng)一的計算引擎和SQL引擎將數(shù)據(jù)加工到不同的層次,包括標準表DWD層、中間表MID層、模型表DWS層、維度表DIM層和業(yè)務寬表ADS層等,用以支撐上層業(yè)務報告、BI報表、數(shù)據(jù)智能、實時分析對比、三維展示等應用場景。值得注意的是數(shù)倉平臺以TimeLyre為核心,僅通過TimeLyre一個數(shù)據(jù)庫,就實現(xiàn)了時序數(shù)據(jù)、關系數(shù)據(jù)從貼源層到應用層的加工、分析和查詢。

項目基于星環(huán)大數(shù)據(jù)技術實現(xiàn)了光伏數(shù)據(jù)的統(tǒng)一接入,包括設備測點數(shù)據(jù)的實時接入以及管理數(shù)據(jù)、巡檢圖片、運行日志等數(shù)據(jù)的全量接入,目前已實現(xiàn)基地3300多臺設備、近30萬測點數(shù)據(jù)的秒級入庫。并且方案具備水平擴展能力,未來增加硬件資源,也可順利接入新建場站數(shù)據(jù)。

同時依托星環(huán)科技時序數(shù)據(jù)庫、批處理引擎和分析庫構建的光伏數(shù)據(jù)底座,可以實現(xiàn)各類數(shù)據(jù)的存儲和數(shù)倉模型加工,通過統(tǒng)一的計算引擎和統(tǒng)一的數(shù)據(jù)接口,支撐各類可視化數(shù)據(jù)應用的構建,方便光伏實驗實證分析人員利用大數(shù)據(jù)技術開展數(shù)據(jù)對比分析、設備性能查詢、運行曲線查看等日常工作。

此外基于星環(huán)一體化平臺與數(shù)據(jù)資產管理,實現(xiàn)了全平臺數(shù)據(jù)的統(tǒng)一授權、開發(fā)、治理、開放、審計,讓各部門的開發(fā)人員,可以快速便利的獲得所需的數(shù)據(jù)資源,并基于高性能的時序數(shù)據(jù)湖平臺進行數(shù)據(jù)分析。

標簽:TimeLyre

用戶名:  密碼:  沒有注冊?
網友評論:(請各位網友遵紀守法并注意語言文明,評論僅供參考不代表本站立場)