目前市面上的chatbi通常使用的是nl2sql的技术路径,即通过大语言模型直接生成sql,这种凯发k8官网的解决方案容易出现数据查询准确率低(准确率在60%-70%,如果跨表查询会更低),数据口径不统一等问题。nl2sql工具想要落地到真实工程上,需要具备完备 bi能力、极速的交互速度、保证结果的正确性等。
数势科技swiftagent在大模型和ai agent加持下,通过建立业务指标、人货场标签等易于理解的语义层,将自然语言解析到指标和标签语义(natural language to metrics&label),即可实现相比chatbi更精准的数据洞察,解决大模型对底层业务语义难理解的问题。此前,数势科技推出swiftagent 2.0版本,其在1.0版本基础上做到了五大亮点升级。
亮点一:统一语义层的构建(unified data semantics)
数势科技swiftagent 2.0构建了统一的指标与标签语义层,即natural language to metrics label to sql,实现两段式数据洞察。第一段解决大模型对底层业务语义难理解和幻觉的问题,建立行业标准、指标、人货场标签等易于理解的语义层;第二段解决企业各部门数据口径统一的问题,有效避免数据脏乱差等现象,将传统的经验决策升级为以数据为核心的智能决策。chatbi通常使用nl2sql(自然语言到sql)技术容易出现数据查询准确率低(准确率在60%-70%,如果跨表查询会更低),数据口径不统一等问题。
亮点二:用户可干预(human in the loop)
数势科技swiftagent 2.0可通过更自然的方式引导用户,如当用户提出“我想看一下最近的销售情况。”这种模糊的数据查询,swiftagent会给出“最近7天销售额”、“本月北京地区销售额”等选项,供用户选择,用户还可以根据提示重新提问,最终得到他真正想要看的分析内容。
此外,swiftagent 2.0还可以通过用户“点赞”和“踩”的反馈进行强化学习,不断纠正错误、调整查询,从而更懂用户所想所需,也让分析更准确,chatbi无法了解和正确引导用户的问答方式。
亮点三:持续反思学习(continued reflection learning)
swiftagent2.0可将所有使用用户过往的问答分析沉淀到知识库,加上上文提到的强化学习结果,在之后其他用户相似的问询场景中,直接提供结论并提供思考过程。这种不断反思学习的能力,也发挥了大模型最大的特点。随着时间的推移不断进步,swiftagent2.0可以变得更加聪明、好用,并更贴近业务需求。
亮点四:多源数据链接(diverse data connection)
swiftagent2.0还实现了多源异构的数据接入,不仅能接数仓,还能导入文本、excel、图片、音视频等非结构化知识,满足全面分析思路。如:“美国数据反映劳工市场有降温迹象,减息预期加强,推动金价上涨,导致黄金etf产品持仓量持续升高。”
亮点五:数据计算加速引擎 (hyper computing acceleration)
swiftagent2.0采用了数势科技独创的数据计算加速引擎,可以实现秒级数据查询,真正实现实时的人机交互。
1)底层选用了starrocks、doris等数据分析引擎作为执行引擎,在大宽表查询、跨模型关联查询和物化视图等方面性能更好;
2)结合对数据加工和使用场景进行了一系列优化,提供基于视图的预计算能力和基于预计算结果的查询优化能力;
3)数据虚拟化技术,将数据定义和物理数据(业务)解耦,实现指标/标签灵活加工使用,无需排期开发;
总之,当下chatbi的解决方式无法解决口径混乱问题,数势科技swiftagent在大模型和ai agent加持下,通过建立业务指标、人货场标签等易于理解的语义层,将自然语言解析到指标和标签语义(natural language to metrics&label),可以帮助企业管理层及个人更高效准确的获取数据、分析数据,助力科学决策的落地与实施。