相比于去年的百模大战,今年大模型的热潮有了放缓的迹象,从拼模型参数转向了拼应用,大家对向量数据库的关注也转向了应用落地。
随着大语言模型爆发,向量数据库成为GenAI时代新宠儿。根据DB-Engines的数据,在过去36个月中,向量数据库一直是最受欢迎的数据库类别。
来自DB-Engines网站
Gartner在去年预测,向量数据库的采用率即将大幅上升,预计到2026年,30%的企业将把向量数据库集成到其生成式AI模型中。
向量数据库为什么这么受欢迎?向量数据库在GenAI时代将扮演怎样的角色?企业如何应用向量数据库?如何选择合适的向量数据库?近期ITPUB就上述问题采访了矩阵起源相关专家,一起探讨向量数据库的发展趋势和应用实践。
向量数据库将走向产业深处
相比于去年的百模大战,今年大模型的热潮有了放缓的迹象,从拼模型参数转向了拼应用,大家对向量数据库的关注也转向了应用落地。
向量数据库并不是一个全新的事物,向量化功能一直都是机器学习处理非结构化数据的重要技术手段,在2017年上一波AI发展的时候,也有一些向量检索应用,但是由于场景有限需求不足,并没有快速发展起来。向量数据库支持模糊搜索,能够与大语言模型结合起来做查询、检索,帮助大模型落地,挖掘数据的价值,这两年随着大模型发展而受到关注。
矩阵起源研发VP赵晨阳认为,过去一年时间,大家对待向量数据库越来越趋于理性,更关注如何落地应用。
如今文本、图片、音频、视频等半结构化、非结构化数据占比越来越高,且不断快速增长。在政企行业的智能化转型过程中,文档、图像和音/视频数据分析需求日益增加。然而,处理和分析大规模的文档、图像和音/视频数据面临着存储、检索和计算的挑战。
传统数据库针对结构化数据的精确匹配进行了优化,而向量数据库,支持专门的向量索引,擅长对复杂的高维数据执行高级相似性搜索,并提供查询复杂数据所需的高性能,为政企机构提供了复杂高维数据查询分析能力。
例如,在过去,企业一般通过ES对文档进行全文检索,现在也可以通过向量数据库模糊匹配的方式快速获取有用的信息。向量数据库也可以在极短时间内通过比较各自的向量,快速找到数据库中与给定图像在视觉上相似的所有图像。
而在处理音视频时,通过对音视频进行向量化处理,可以实现以图搜图、以音/视频频搜音/频,结合大模型语义理解能力,还能实现自然语言搜图和音/视频。
例如,在安防监控场景,可以通过自然语言对某个时段或者某个场景下的视频特征进行分析。在城市监控系统中,向量数据库可以实时分析摄像头捕捉的视频流,检测人群聚集、交通事故或其他异常事件。系统可以自动标记和存储这些事件,供后续分析和处理。同时,数据库可以与其他系统集成,如在警务系统提供全面的情报支持。
赵晨阳指出,有了向量数据库,不需要像过去那样对图像、音/视频进行大量特征抽取,可以直接用向量的方式,通过大语言模型结合自然语言搜索能力进行检索和分析。向量数据库为企业处理非结构化数据提供了更加灵活有效的方法,简化了数据处理流水线,通过向量匹配的方式快速找到想要的结果,提升了企业数据利用效率,放大了数据价值。
目前来看,向量数据库有非常广泛的应用场景,比如RAG、图像相似性搜索、推荐引擎优化、客户体验个性化、异常检测、搜索引擎和欺诈检测等方面都有了落地应用。
专有vs多模,超融合带来更好体验
数据库行业为应对向量化需求的增长,正在加紧“生产”向量功能,既包括独立的专有向量数据库,也包括在其他数据类型中支持向量检索的多模型数据库。
专有的向量数据库专为GenAI、搜索和检索增强生成(RAG)应用程序而设计,一般拥有先进的索引和散列技术,在向量嵌入中进行存储、索引和搜索具有优势,但是在支持第三方工具和生态方面不如多模数据库。
矩阵起源数据库负责人高斌指出,客户在落地AI应用的时候,基本都会使用向量数据库之外的一些传统数据库功能,比如精确检索的功能,以及第三方生态集成,此时,专有向量数据库不能很好满足需求,多模数据库是更好的选择。
多模型数据库的发展相当迅速。Forrester公司的一项新研究发现,到2026年,75%的传统数据库(包括关系型数据库和NoSQL数据库)将在其产品中加入向量功能。
但是多模数据库也有不同的类型,比较常见的像基于开源数据库PG支持向量检索的插件模式,赵晨阳介绍,如果需要集成难度低,快速落地向量数据库应用,这种插件模式是比较好的选择,但是长期来看可能带来较高的维护成本,因为向量数据库的算法迭代非常快,算法的迭代需要针对向量数据库内核和数据存储结构做大量优化,如果采用开源数据库+插件模式,最终性能会受限于社区插件开发的节奏。
另一类是超融合数据库,矩阵起源MatrixOne是其中的代表。今年,MatrixOne新增了向量数据库引擎,为企业提供简单易用、低成本的向量数据库解决方案。
高斌介绍,企业在选择向量数据库时,除了关注高可用、稳定性、扩展性等数据库通用能力,也会关注向量数据库的功能。很多时候,向量数据库需要结合关系型数据库和其他NoSQL数据库一起使用,像MatrixOne这样的超融合数据库,可以支持关系、文本、JSON、向量等多模数据处理,能够把用户多个应用统一到一个平台上,精简企业IT架构,降低使用门槛和开发、维护成本。
未来,矩阵起源会根据技术发展和用户需求打造适合用户的超融合数据库,超融合并不是一个固定的概念,也没有严格的边界。“随着功能越多,系统复杂度会上升,我们会保证增加功能时尽量降低系统的复杂度,为客户提供简单易用、高性能、高可用的数据库。”高斌说。
小结:未来不止于向量数据库
赵晨阳指出,从文本、图片到音视频等多模态发展,对数据处理能力提出了更高的要求。未来结合GPU、TPU等新硬件是向量数据库的发展方向。
现在越来越多的企业想要应用AI/大模型,但是很多企业对人工智能的了解和相关技术储备存在不足,直接应用向量数据库有较高门槛,更希望有一个简单易用的端到端AI解决方案。
算力、算法(模型)和数据是GenAI时代应用AI的三大要素,矩阵起源正致力于构建数据智能全域操作系统MatrixOS,该系统将由大规模异构算力纳管调度平台MatrixDC、超融合异构数据管理平台MatrixOne(超融合数据库)和AI智能体应用开发平台MatrixGenesis三部分组成,打造链接算力、数据、知识、模型与企业应用的AI Native软件平台,简化数据和算力之间的连接和管理,提供简单易用的端到端AI解决方案。
今年重磅推出的AI智能体应用开发平台MatrixGenesis,提供大模型运营和AI智能体开发,辅助用户标注和模型微调,结合MatrixOne向量数据库为企业提供更加灵活易用的端到端AI解决方案,帮助企业把算力、数据和应用场景结合起来更好地构建GenAI应用。
当前,生成式AI的应用还在初级阶段,更多的价值还在等待挖掘探索,矩阵起源为企业提供了趁手的平台和工具,帮助企业更好地走进GenAI时代。