向量数据库这杯“啤酒”与“泡沫”
脑极体 2023-07-28 09:23:51

就像啤酒注定要有泡沫,每一场淘金热都不缺被捧上了时代风口的人。


(相关资料图)

大模型这一波热潮中,向量数据库就是那个幸运儿。

一方面,技术层面并没有太大突破。向量数据库并不是一种特别新的数据库技术,在AI领域已经应用了七八年,谷歌在2015年就宣布使用RankBrain语义检索来处理搜索任务。相比N家的卡、液冷的算、全光的网、升级的存,向量数据库在技术方面并没有特别亮眼的突破。

而另一方面,向量数据库的投资热潮又特别旺盛。在上半年成了创业公司、云计算厂商、老牌数据库公司,以及投资人们“群起而攻之”的风口,Pinecone、Chroma 和 Weviate 等向量数据库初创公司都获得了融资,有的融资额高达上亿美元。这在全球经济不明朗的投资形势下,还是非常亮眼的成绩。

不同于GPU卡那样短期内需求坚挺、供不应求,加上摩尔定律的约束,即使有泡沫,也是铁做的。也不同于存算网这类“新基建”,长期投入的战略价值,得到了庙堂和民间的一致重视。

向量数据库,更多是作为一种AI基础技术和产品,开始为大众所知晓。

仅凭这样,就在投资市场上一飞冲天,多少有点让人不安。加上最近,大训模型的热度开始降温,ChatGPT访问量下降,更多大模型已经到地里田间矿井“干活儿”去了。

不禁让人好奇,随着大模型的风口下沉,向量数据库的投资概念还能飞多久,会不会倏忽而来,倏忽而去,留下喝了“一嘴泡沫”的公司和投资人,在风中凌乱呢?

我们就来好好品一品,这一杯啤酒和泡沫。

技术的啤酒

训大模型、用大模型,离不开一系列AI基础设施,所以,作为基础设施之一的向量数据库,确实有点东西。引入向量数据库,是能喝到真材实料的“啤酒”的。

这就有必要先说说这个技术本身。

数据库不用多说,是必不可少的IT基础设施,用于存储和查询各种数据,可以看作是数据的“硬盘”。那么,向量数据库就是更适合AI体质的“硬盘”,有几个特质来说明这一点:

1.必要性。

向量数据库,顾名思义就是专门用于存储和管理向量数据。作为一种数据结构,每个向量都包含多个维度,每个维度代表不同的特征或属性,比如图像的颜色、文本词汇的出现频率等。而AI算法,要从图像、音频和文本等海量的非结构化数据中学习,提取出以向量为表示形式的“特征”,以便模型能够理解和处理。因此,向量数据库比传统的关系型数据库,更适合AI 应用。

2. 高效率。

每个元素都有一个索引,便于访问或修改数值。基于此,向量数据库可以通过将分组和索引,快速找到与给定查询最接近的嵌入,实现高效的相似性搜索,同时减少存储和计算成本。

相比传统单机插件式数据库,向量数据库的检索规模可以提升十倍,支持百万级每秒查询(QPS)的峰值能力,同时延迟控制在毫秒级。

想象一下,如果没有高效的搜索技术支持,一个大语言模型动辄数十亿、上百亿参数,只能处理有限数量的输入数据,无法搜索更大的数据库,那么在AIGC、搜索、广告推荐算法等任务的性能表现就会受限。

一个公开数据是,通过使用云向量数据库,QQ音乐人均听歌时长提升3.2%;腾讯视频有效曝光人均时长提升1.74%;QQ浏览器成本降低37.9%,这些数据的变化就在于检索效率、运行稳定性、运营效率、推荐算法等有了较大的提升。

3.需求大。

随着产业智能化的加速,以及大模型和其他 AI 应用的爆发,各行各业的AI用例不断增多,由此带来了汹涌的数据洪潮和存算任务,向量数据库嵌入向量的长度不受限制,具有良好的扩展性,可以根据AI用例和模型而变化,更好地处理大规模数据集。

而且,向量数据库可以拓展大模型的时间边界和空间边界,让大模型在训练完成后,也可以访问向量数据库的最新信息,了解最近发生的事情。

总的来说,向量数据库就是更适合AI体质的数据库,在AI任务上效果拔群,在机器学习领域中日益流行。

那么问题来了,一些在AI领域积淀已久的科技大厂,如谷歌、微软、Mate以及BAT等大厂,都有向量数据库的技术积累,也都可以向外输出相关能力和产品。此外,一些基于开源技术的数据库创业公司,如Pinecone、Weaviate、Odrant、Chroma近年来打开了市场知名度。

可以说,市场上并不缺乏向量数据库的产品和解决方案。那么2023年,这杯技术啤酒,是怎么咕嘟咕嘟冒出泡沫的呢?

浪潮之巅的泡沫

向量数据库的市场现状,说是“从0到1”,并不为过。

首先,大众市场的认知度才刚刚打开。

此前,向量数据库更多是AI企业在使用,今年才开始为大众所熟知,这离不开一些AI相关企业的推波助澜。今年 3月的 NVIDIA GTC 大会上,黄仁勋首次提及向量数据库,强调向量数据库对大语言模型的重要性。

不是所有企业都有能力自建大模型所需要的基础设施,通过MaaS(模型即服务)业务来训练应用大模型是更灵活的选择,这就要求云厂商提供全栈基础设施。

百度、京东、腾讯、华为等,都在自家的大模型完整基础设施中,提到了向量数据库。目前,云厂商的MaaS业务才刚刚开始走向市场,大模型的产业落地不是一蹴而就的,向量数据库的接受度和规模究竟有多大,还是个未知数。

第二,向量数据库的技术,还没经历“卷生卷死”的迭代。

Pinecone是闭源的领跑者,其他竞争者要么是开源的,比如Weviate,要么是巨头,包括头部云厂商和甲骨文、IBM等老牌数据库厂商,开始构建AI数据库的产品和解决方案。

大厂扎堆竞技,这意味着,如果技术没有大的突破,就会陷入高密度的同质化竞争,从蓝海快速进入红海。而如果技术有颠覆式变革,很多技术壁垒不高、客户认知不强的新入局创业者,很难跟开源生态或技术巨头PK,容易被大浪淘沙。

最后,向量数据库的成本,还没有降到“可规模复制”的程度。

无论是自建向量数据库,还是通过MaaS服务接入,都还达不到“付费可用”的程度。一般来说,企业需要先将非结构化的私密数据进行向量化,产生一个向量的矩阵,再存储到向量数据库里,来供大模型学习和检索。这个过程涉及到大量的工程化,会耗费企业许多开发人员、时间成本。

这就需要云厂商或数据库厂商,提供全链路的工具,来帮助企业完成整个数据向量化、大模型接入的工作,以及减少后续运维的难度。比如Pinecone就凭借良好的开箱即用的产品体验,获得了非常大的增长,B轮估值达到7.5亿美元。

谷歌云、腾讯云、京东云等也都基于内部应用的多年积累,推出了一系列面向外部的工具、框架和应用。但只是迈出了从无到有的第一步,真正成熟还需要让各家“卷起来”。

可以看到,现在这个阶段,热捧向量数据库,确实有AIGC、大模型、云服务等多方面的现实需求,但从“概念普及”到“真正可用”之间,还有不短的距离。这之间的地带,就是泡沫生长的地方。

江湖路远,风高浪急,没有想清楚的创业公司或行业用户,还是别贸然“带资进组”了。

啜饮时代的精酿

如果你是数据库厂商,或者是着急布局大模型和AI应用的企业,希望早点将啤酒喝到嘴里,怎么办呢?

笃定远一点的未来,有些赛道的泡沫比例是相对少的,需求格外旺盛。

市场方面,国产化替代是不错的选择。

科技博弈背景下,加上我国数据库产业的日益繁荣和技术突破,金融、电信、能源、交通等关键基础行业的企业,在数据库选型时,都开始倾向于国产,以保障数据的稳定性和安全性。

国外厂商在向量数据库上有着更早的探索和积累,国产数据库要补齐短板是需要时间的。

目前,BATH这类实力较强的国內科技企业,沉淀了向量数据库的核心自主技术,与其合作研发和定制化开发,针对某些具体场景,提供特定优化的向量数据库产品,加入国产化替代的赛道是成本更低、风险更可控、市场需求明确的选择。

策略方面,加入云生态不要独行。

鉴于向量数据库的商业化前景还不明朗,有业内人士表示,与其投资新的向量数据库项目,还不如关注现有数据库中,有哪些加上向量引擎可以变得更加强大。

云数据库就是其中之一,上云用数赋智是大势所趋,很多政企客户往往会选择公有云或行业云来满足其业务需求,将数据迁移到云上,对云数据库的关注度和接受度上升。

腾讯云、华为云等大型云厂商,具有较高的品牌认知度和市场接受度,具有云原生、AI原生的技术栈和产品体系,经历了海量场景的淬炼和深度优化,和这类云生态一起掘金向量数据库,是更稳妥的方式。

和AI、大模型一样,向量数据库要品出味道,离不开时间的窖藏和酝酿。是在大训模型的热度下降后,像泡沫一样湮灭,还是作为啤酒精酿沉淀下去,等待成为下一代数字基础设施的刚需,被行业客户所啜饮,是留给数据库玩家和买家的选择题。

向量数据库这杯“啤酒”与“泡沫”

2023-07-28 09:23:51

ps制作1寸照片步骤(如何用ps制作1寸照片)

2023-07-28 08:51:09

光大宏观:企业盈利加快修复的驱动力是什么?

2023-07-28 08:05:47

TC Energy(TRP.US):2023年Q2财报实现营收28.51亿美元

2023-07-28 07:26:22

最新《猴痘防控方案》发布 确诊病例经评估后可居家隔离

2023-07-28 06:08:21

dnf传承控魂女神(地下城传承控魂女神怎么得到)

2023-07-28 04:58:09

如何降低资产负责率 如何降低资产负债率

2023-07-28 01:52:51

人间风雨情哪年拍的(人间风雨情大结局是什么大结局人物最终结局)

2023-07-27 23:18:10

合约情人片尾曲是什么_合约情人片尾曲

2023-07-27 21:58:35

礼县公路段召开2023年养护示范创建活动现场观摩会

2023-07-27 21:05:21

巨婴啃老,养母寻亲困扰

2023-07-27 20:58:30

【真相|微评】知识产权保护竟也成了美国的“武器”

2023-07-27 20:42:18

周郎赔了夫人又折兵概括(怎么理解周郎妙计安天下,赔了夫人又折兵)

2023-07-27 19:56:02

取流密钥(ivms4200取流密钥是多少)

2023-07-27 19:30:16

雷锋 就在身边

2023-07-27 19:17:01

预计2024年亮相,兰博基尼Urus PHEV内饰谍照曝光

2023-07-27 19:07:21

“杜苏芮”来势汹汹 晋江沿海风力持续加强

2023-07-27 19:04:00

车上装个电子狗真的有用吗 曾经的车载神器)

2023-07-27 18:43:27

我国将在106个社区开展完整社区建设试点

2023-07-27 18:41:07

@所有人,丹凤再添康养休闲遛娃好去处!

2023-07-27 18:14:14

多地充电站掀起涨价潮?连充电桩也涨价,新能源怎么突然不香了?

2023-07-27 18:07:31

A股半日大涨,北向资金流入超155亿,地产股掀涨停潮

2023-07-27 18:09:16

青海:半挂车冲出路面2人被困 消防紧急救援

2023-07-27 18:07:14

宝丰县巡察整改成果运用篇:强监督 抓落实 推动巡察反馈问题整改到位

2023-07-27 18:11:48

vs好用么(跪求现在VS可以用的全图外挂)

2023-07-27 17:39:11

从敬礼娃娃到轮椅男孩,这些励志少年将走入心仪大学

2023-07-27 17:18:17

国光连锁(605188)龙虎榜数据(07-27)

2023-07-27 17:08:19

清远高新区调研园区及企业

2023-07-27 17:12:58

外汇爱好者必看:最新的国际外汇平台排名

2023-07-27 16:47:01

中国短视频市场环境分析与用户行为调查:平台用户对于个性化的算法推荐评价总体较为满意,47.1%用户表示一般满意

2023-07-27 17:00:45

国产电影持续走热!点燃观众观影热情

2023-07-27 16:37:53

榆树公安告破沉积42年命案积案

2023-07-27 16:33:01

石英股份回应“印度禁止石英砂矿出口”传闻:网传报道不实

2023-07-12 12:16:44

离婚可以要求对方赔偿哪些费用

2023-07-12 11:54:51

上半年业绩大增资本市场却不买账?晶澳科技回应:经营正常

2023-07-12 11:14:55

张飞VS李逵,谁更胜一筹?三个回合比下来,结果与你想的不一样!

2023-07-12 11:05:48

公告!陕西澄合合阳煤炭开发有限公司复产

2023-07-12 10:23:19

用完 U 盘到底能不能直接拔?多年疑问终于解开了!

2023-07-12 09:59:02

宁河区深入实施乡村振兴全面推进行动 发展“五大种业” 打造“种业硅谷”

2023-07-12 09:41:59

保险业“降息”众生相:从3.5%到3%,寿险利率下调引发狂欢,新人可月入40万?

2023-07-12 09:03:43

银河电子:拟对外投资设立子公司

2023-07-12 08:39:30

国产麒麟OS及CPU杀入光伏电站“大脑”:稳定可靠 减少进口依赖

2023-07-12 08:07:18

中国天楹揽下3462万欧元海外销售合同 环保+新能源双轮驱动毛利率升至23.64%

2023-07-12 06:07:58

最强会长黑神第二季(关于最强会长黑神第二季介绍)

2023-07-12 03:38:20

昂利康:七月份开始执行集中采购 这对公司左益产品的收入和利润将会产生一定影响

2023-07-11 23:56:39

海口一车主自称吃了龙眼“被酒驾”,结局亮了……

2023-07-11 22:07:59

天合光能:拟出资43亿元投建13GW单晶拉棒及配套项目

2023-07-11 21:06:17

中联重科:跨界收购业绩惨淡的路畅科技,后欲拆分子公司“借壳”上市,频频资本运作是为何?

2023-07-11 20:36:04

视频| 闲置4年的电动车在家突然起火,消防提醒:不充电也有自燃危险

2023-07-11 19:50:57

面向未来的“契约”:专访《无畏契约》中国总负责人黄凌冬

2023-07-11 18:50:37

东阿阿胶:中成药集采既是挑战也是机遇 公司会密切关注集采的政策动向

2023-07-11 18:12:50

交个朋友正式上市,更名生效,总市值超24亿

2023-07-11 17:52:42

图文1600晨钟暮鼓,就是最美的诗词歌赋[7P]

2023-07-11 17:05:52

辽阳租房提取公积金可线上办理

2023-07-11 16:36:13

自行车环城赛 环北京职业公路自行车赛

2023-07-11 16:04:24

联想电脑蓝屏怎么解决

2023-07-11 15:43:19

全国网友跟随“东方甄选”游历大美青海!

2023-07-11 15:13:47

五家“庆字号”发电企业参与碳交易

2023-07-11 14:36:39

15516-1999甲醛的测定(15516)

2023-07-11 13:58:48

国际乒联公布最新世界排名:樊振东重返男单世界第一

2023-07-11 13:17:45

湖北五峰滑坡事故已造成2人死亡 现场仍在搜救7名失联人员

2023-07-11 12:47:25

国航回应飞机颠簸:一名旅客和一名乘务员受伤

2023-07-11 12:02:26

独居老人不开空调热进ICU,牙都咬断两颗!网友:“天天和父母的‘顽固节约’斗争”

2023-07-11 11:32:33

倒车雷达CE认证标准是什么?

2023-07-11 10:54:35

智慧芽入驻苏州大数据交易所 13款数据产品深度赋能科技创新

2023-07-11 10:21:25

大数据时代,学生需要怎样的通识教育?

2023-07-11 10:13:30

今日入伏:2023年三伏天具体时间表、起止时间 最新天气预报

2023-07-11 09:50:21

北路智控07月10日被深股通减持3.28万股

2023-07-11 09:27:22

释放夏日多巴胺,乐享浦东滨江夜生活

2023-07-11 09:05:28

飞行模拟视景系统:三天“造”一个机场

2023-07-11 08:17:14

重返“百亿时代”板上钉钉?暑期档票房大爆发,“大黑马”就是“她”!

2023-07-11 07:50:35

没想到吧?弗拉霍维奇近3赛季意甲进34球,仅次劳塔罗&因莫比莱

2023-07-11 06:15:18

从事专业皮肤护理产品相关业务 敷尔佳(301371.SZ)拟首次公开发行不超4008万股

2023-07-11 05:19:15

7月10日基金净值:交银品质增长一年混合A最新净值0.9017,涨0.47%

2023-07-11 02:08:03

王者荣耀端午节哪些皮肤返场

2023-07-10 22:42:46

欠邮贷2个月会上征信吗

2023-07-10 21:49:15

2023年甘肃省普通高校招生征集志愿第1号公告

2023-07-10 21:05:22

济南酥锅的来历 济南酥锅

2023-07-10 20:07:01

大千生态: 德邦证券股份有限公司关于大千生态环境集团股份有限公司使用部分闲置募集资金暂时补充流动资金的核查意见

2023-07-10 19:15:26

乘联会崔东树:签订承诺书并不是搞价格垄断、不允许企业降价

2023-07-10 19:19:30

河南省科技馆周六开放吗?

2023-07-10 18:50:33

读书说明文1000字范文

2023-07-10 18:13:04

财政部拟发行不超380亿元储蓄国债,利率最高2.97%

2023-07-10 17:40:55

国潮饰品,出圈!

2023-07-10 17:03:12

谁说大学生只知追求央国政?又一新兴行业成热门,家长尊重但不支持

2023-07-10 17:07:58

空调行业调研 家用中央空调市场规模及发展趋势分析2023

2023-07-10 16:20:52

调查:过半艺术家认为AI作图无用 无法融入工作流程

2023-07-10 15:56:17

公元前12897年3月23日,凡湖,子正冬至,古蜀立国。

2023-07-10 15:21:53

硅基材料用量进入爆发初期,比克电池提出三点性能展望

2023-07-10 15:05:11

宜科自动化拟冲刺资本市场,辅导券商为华泰联合证券

2023-07-10 14:41:28

为什么不买小米的洗衣机

2023-07-10 13:57:13

水体紊动对铜绿微囊藻营养盐和光利用的干预机制研究 关于水体紊动对铜绿微囊藻营养盐和光利用的干预机制研究介绍

2023-07-10 13:01:44

任汇川获批担任三星财险董事长 市场规模或盈利能力能否实现质的提升?

2023-07-10 12:14:23

国产折叠屏手机,只卖国内?海外92%市场被三星拿走

2023-07-10 12:02:23

中国材料大会引众多企业参展 既忙技术创新又不忘揽才引智

2023-07-10 11:08:42

巴彦淖尔市公安局党委委员、副局长袁德富一行深入磴口县公安局调研督导环食药侦工作

2023-07-10 10:50:29

锂电池板块持续走高 联创股份20CM涨停

2023-07-10 10:21:19

在这场国际论坛上,海南把生态文明故事讲给世界听

2023-07-10 10:24:33

普鲁斯特早就预见了《追忆似水年华》的命运

2023-07-10 09:42:28

上能电气等41股近五日获机构净买入

2023-07-10 09:23:43