随着物联网、车联网和工业互联网等的迅速发展,时序数据被广泛应用在各行各业,包括工业制造、经济金融、环境监测、医学、农业生产、硬件和软件系统监控等领域都在大量使用时序数据揭示研究对象的趋势性、规律性、异常性。同时,在人工智能的浪潮下,时序数据作为大数据、机器学习、实时预测基础数据的作用日益凸显。各类应用产生的时序数据量爆炸式增长,呈现出海量性、关联性、时效性、实时性等特征,对数据库写入、存储、分析性能以及实时性提出了更高的要求,如何管理海量的实时数据、从中挖掘价值,是时序数据库需要解决的重要问题。
transwarp timelyre是星环科技自主研发的企业级分布式时序数据库,其支持分布式水平扩展,同时具有极高的压缩率可以支持海量时序数据的存储,提供高吞吐实时写入、时序精确查询、多维检索等功能,可以有效支撑物联网、能源制造、金融量化交易领域等多种时序数据业务场景。
近日,timelyre正式发布v9.1版本,通过原生分布式架构、5-20倍无损数据压缩能力、每秒千万级数据吞吐能力、优异的查询分析性能、丰富的生态支持、灵活的部署方式,为海量时序数据的高效存储、快速查询、便捷计算提供了有力支撑,大幅降低了企业硬件成本,保障了时序数据查询分析的实效性,满足了时序数据在各类复杂业务场景的应用需求。同时新版本还提供一站式国产化替代凯发k8官网的解决方案,可以实现influxdb的平滑替换,助力企业打造自主可控数据平台。
原生分布式架构,集群灵活扩展,轻松实现海量时序数据存储分析
timelyre采用原生分布式架构,支持集群在线扩缩容,可满足海量时序数据存储和分析需求。timelyre的存储组件timelyrestorage主要由分布式数据管理系统与时序存储引擎构成。
*分布式数据管理系统负责分布式元信息的一致性存储与分布式集群管理,基于raft协议保证数据一致性与高可用性。
*时序存储引擎使用类似lsm-tree的技术,提供高吞吐的实时插入、高性能的时序数据检索,同时会对时序数据进行多种编码和压缩,保持整体数据的高压缩率。
在计算方面,timelyre采用星环科技分布式向量化计算引擎crux实现快速读取批量存储文件、高速响应数据查询等功能。同时基于用于数据仓库和交互式分析的分布式编译器quark,提供完整的sql编译支持,兼容通用开发框架和工具,使得timelyre可以轻松融入企业数据仓库或数据湖体系,为企业提供高性价比和高度可扩展的凯发k8官网的解决方案。此外,quark支持分布式计算可以同时在多个时序存储间平衡业务流量,能够有效地为客户端屏蔽掉集群细节,并且解决了时序存储超时或宕机后无法执行任务的问题。
高吞吐、高并发,实现单节点每秒千万级数据写入的极致性能
timelyre支持实时、批量等多种数据写入方式。实时写入具备高吞吐、高并发,每秒千万级数据点插入的性能,可以保证数据检索的实效性,是企业搭建实时数仓的极佳选择。此外,timelyre支持通过sql、文件载入、api以及多种工业物联网通信协议实现数据入库,满足各种复杂业务场景的多样化需求。
高水平无损数据压缩,实现超高数据压缩率,大幅降低硬件成本
timelyre采用行业领先的高水平数据压缩优化技术,在常见的时序数据上可实现5-20倍的压缩率,提高了资源的利用率,大幅降低用户硬件成本。timelyre提供多场景数据灵活、高效的压缩凯发k8官网的解决方案,不仅支持snapyy、gzip、lzo、zstd等常用压缩算法,还支持通过delta编码将数据作为连续样本之间的差异来存储,同时也支持行业特征编码,根据检测值数据类型、分布范围,数据集中度进行特定的编码,通过内置多种数据压缩方式进一步提升时序数据压缩效果。
数据处理性能增强,提供时序数据存储分析极速体验
时序数据存储方面,timelyre内置多种索引结构,检索性能达到毫秒级的低延迟响应。数据分析方面,timelyre支持通过标准sql进行数据分析,降低用户使用门槛。并且支持主流的sql模块化扩展,兼容通用开发框架和工具,支持事务特性,保证数据的准确性。通过使用分布式向量化计算引擎,timelyre支持海量时序数据的计算与分析,覆盖关联查询、聚合查询、嵌套查询等多种复杂sql分析功能,提供复杂场景构筑能力。基于星环科技多模型统一技术架构,timelyre时序数据可以与星环不同模型的数据统一存储管理和联合分析,打破数据存储管理屏障,实现多模型数据的统一融合。
国产软硬件异构平台灵活部署,提供全面的安全和运维保障
timelyre采用星环科技自主研发的存算分离架构,基于容器技术,支持业内主流的操作系统和芯片,满足各类信创软硬件环境需求。并且可支持x86架构和各种国产芯片架构的混合架构,能够运行在异构cpu架构以及多种操作系统混合部署的集群环境中,最大化利用硬件资源,让用户逐步实现国产化平滑替代。
timelyre内置配套的安全授权、用户权限控制等相关安全功能,可以有效保障系统数据和访问上的安全。
*在用户权限认证上,基于sasl提供plain与gssapi两种认证方式,同时提供用户组概念,便于通过平台实现统一管理与操作;
*在数据权限上,基于角色的访问控制(rbac)机制,使用户能够通过将权限分配给角色并将角色分配给用户或组来授权用户,支持库级/表级以及列级/行级访问权限控制,同时支持20多种脱敏算法,具备优秀的数据隐私保护能力;
*数据加密上,支持基于ssl/tls两类协议进行数据加密,确保数据传输过程的安全。
一站式国产化替代凯发k8官网的解决方案,助力企业打造自主可控数据平台
为符合国家信创战略要求,助力企业实现软件自主可控,timelyre提供了influxdb一站式国产化替代凯发k8官网的解决方案。timelyre对influxdb有良好的兼容性,可以实现在不修改业务代码的情况下,将运行在influxdb中的业务和数据平滑地迁移至timelyre,并且在迁移过程中可以保证监控系统在线持续运行,充分保障迁移过程安全稳定进行。
替换influxdb涉及接口兼容度、高可用性、中间件与应用层软件兼容性等多个问题,timelyre采用两段式的替代方案,保障原系统和服务的低成本、安全、平滑迁移。
*第一阶段:替换influxdb的数据库服务,完成influxql到timelyre标准sql的改造工作,实现原有业务逻辑脚本的平滑替换;
*第二阶段:替换influxdb配套的grafana等运维监控组件,借助星环科技多模数据平台监控软件aquila insight、大数据安全管理软件guardian等组件,完成对既有业务系统的完全国产化替换。
打造实时高性能时序数据平台,赋能能源制造行业数据湖建设
能源制造业数字化转型是数字经济的重要环节。某能源头部企业现有大量的智能化工业设备,设备检测具有测点多、频率高、数据安全要求高等特点。
传统关系型数据库数据入库慢、存储资源消耗大、查询计算效率低,而开源时序数据库可运维性、可扩展性较差,无法支撑复杂分析业务,同时也面临数据安全问题,均无法支撑智能工业设备实时产生的大量时序数据。
该企业基于星环科技timelyre的实时数据存储、分析能力,打造了高性能时序数据平台。通过星环科技实时流计算引擎slipstream实时的将散布在数万传感器中的时序数据抽取到timelyre中,以此为基础进一步开展行业算子计算、实时作业管理等实时分析,以及时序数据检索、时序数据开发等。同时利用星环科技分布式分析型数据库argodb进行湖仓集一体化建设,实现了大数据灵活分析、离线作业管理等功能,进一步增强了企业业务数据离线分析能力。
项目建成后极大提升了时序数据存储性能,实现了每秒千万级流数据插入,入库性能提升十倍以上;实现了高性能查询,时序数据快速查询能够毫秒级返回结果,查询性能提升十倍以上;大幅提升数据压缩效率,数据平均压缩率达到10倍,有效节约企业硬件成本;联合分布式分析型数据库argodb满足了之前未能实现的实时数仓与离线数仓联合查询的业务需求。
携手头部券商,打造量化投研一体化平台,提升投研效率
金融行业数据往往具有数据架构大、数据频率高、实时性强等特征。某头部券商客户使用python进行数据处理分析,受技术所限只能进行单机程序部署,不仅需要购买昂贵的高配置单机服务器满足性能和存储需求,还需要业务人员具有较高的技术水平完成复杂查询分析的编写,此外该技术架构也无法完成多年高频数据的分析,导致丧失部分交易机会,整体收益率显著下降。
针对该券商客户遇到的高频交易数据入库存储困难、因子数据分析函数复杂、业务人员技术水平要求高、硬件购置成本高等痛点,星环科技基于timelyre打造了量化投研一体化平台transquant。
通过timelyre tools和workflow实现多源数据接入,包括存储在oracle/mysql中的数据、以hdf5和pkl格式存储的用户因子数据以及第三方数据等,将这些数据统一存储在timelyre时序数据库中,并通过星环科技智能量化投研平台transquant对这些数据进行量化回测和因子研究,实现海量数据的复杂分析。
该平台提供丰富的数据接口,通过python api与原系统通信,支持多数据源多数据格式迁移导入,实现用户业务的平滑迁移扩展,支撑多种金融应用场景。同时,timelyre作为分布式时序数据库大大提升了系统运算能力,提供亿级数据的高速运算,相同场景下达到pandas单机性能的百倍以上。此外,特别支持了客户应用过程中使用的上千列因子数据表,并提供了节点横向扩展能力。最终通过运用围绕timelyre的系列产品实现了对金融行业海量时序数据入库、存储、复杂分析的全面支持。
