在近期結(jié)束的機(jī)器之心 AI 技術(shù)論壇上，一場(chǎng)以向量數(shù)據(jù)庫(kù)為主角的主題論壇引發(fā)業(yè)內(nèi)廣泛關(guān)注。該論壇不僅罕見(jiàn)地匯集了國(guó)內(nèi)向量數(shù)據(jù)庫(kù)賽道內(nèi)的各式公司，更是邀請(qǐng)到行業(yè)巨頭 Zilliz 參會(huì)。

現(xiàn)場(chǎng)，Zilliz 合伙人、技術(shù)總監(jiān)欒小凡進(jìn)行了一次揭秘式的前沿思考，為業(yè)界各開(kāi)發(fā)者提供了不同于以往的參考。

欒小凡表示，海量非結(jié)構(gòu)化數(shù)據(jù)檢索面臨以下挑戰(zhàn)：

非結(jié)構(gòu)化數(shù)據(jù)的理解成本更高，基于規(guī)則的處理方案難以適應(yīng)；

海量非結(jié)構(gòu)化數(shù)據(jù)的處理性能和成本越來(lái)越關(guān)鍵；

不同于傳統(tǒng)數(shù)據(jù)處理，非結(jié)構(gòu)數(shù)據(jù)缺乏好的工具，如 ETL、數(shù)據(jù)庫(kù)、數(shù)倉(cāng)

而處理非結(jié)構(gòu)化數(shù)據(jù)的核心是概率。欒小凡解釋道，非結(jié)構(gòu)化的處理是相似度，NLP 中根據(jù)上下文推斷可能性，圖像處理關(guān)注像素的相似度；而相似度的核心是概率，理解概率的本質(zhì)是基于大量數(shù)據(jù)進(jìn)行 Pretrain 和 Finetune。

隨后，欒小凡進(jìn)一步解釋了概率對(duì)于檢索意味著什么。他表示，搜索和生成是一體兩面，搜索是選擇題，生成是填空題，本質(zhì)都是概率問(wèn)題。那么，概率對(duì)于檢索意味著什么？想要做對(duì)搜索，本質(zhì)需要挖掘兩種信息：領(lǐng)域內(nèi)知識(shí)和領(lǐng)域外知識(shí)。領(lǐng)域外知識(shí)見(jiàn)得越多，泛化能力越強(qiáng)，領(lǐng)域內(nèi)知識(shí)見(jiàn)得越大，生成越精確。因?yàn)?Pretrain+Finetune 成為了搜索和生成共同的煩事。而搜索的特殊性在于，因?yàn)橹�道答案范圍，所以可以利用概率提前�?gòu)建范圍，本質(zhì)是利用 Corpus 的相似性概率。

接下來(lái)，欒小凡著重介紹了從概率 1.0 時(shí)代到 3.0 時(shí)代的主流算法變化，包括 TF-IDF、Word2Vec、BERT 等。在此過(guò)程中，向量數(shù)據(jù)庫(kù)的出現(xiàn)，極大地加速了稠密向量查詢性能，使得在生產(chǎn)中落地向量檢索成為了可能。從業(yè)務(wù)效果角度來(lái)看，盡管單純的向量檢索要強(qiáng)于單純的關(guān)鍵詞打分，然而這并非最優(yōu)實(shí)現(xiàn)。選擇向量檢索只是由于 cross encoder 等算法代價(jià)過(guò)高的無(wú)奈折中之舉。欒小凡強(qiáng)調(diào)，向量檢索不應(yīng)該只是簡(jiǎn)單傳統(tǒng)數(shù)據(jù)庫(kù)+向量檢索 Library，隨著場(chǎng)景的不斷發(fā)展，向量數(shù)據(jù)庫(kù)應(yīng)該從單純的數(shù)學(xué) recall 轉(zhuǎn)向更加復(fù)雜的業(yè)務(wù) recall。

在此背景下，向量數(shù)據(jù)庫(kù)未來(lái)發(fā)展的一個(gè)重要趨勢(shì)是【由數(shù)據(jù)庫(kù)向服務(wù)轉(zhuǎn)變】，具體體現(xiàn)在以下六個(gè)方面：

關(guān)注擴(kuò)展性，更關(guān)注彈性

多云、多機(jī)房、異地多活

不僅支持實(shí)時(shí)寫(xiě)入，更能做到離在線一體化

開(kāi)箱即用的 Pipeline 服務(wù)

向量數(shù)據(jù)湖與離線分析

關(guān)注向量數(shù)據(jù)的安全與合規(guī)

目前，Zilliz 正延續(xù)上述方向在產(chǎn)品上不斷升級(jí)打磨，其產(chǎn)品 Zilliz Cloud 提供開(kāi)箱即用的全托管向量檢索服務(wù)，已覆蓋全球主流的云平臺(tái)，包括 AWS、GCP、Azure、阿里云、金山云。近期，Zilliz Cloud 更是上線了 Pipeline，為用戶實(shí)現(xiàn) RAG 奠定了堅(jiān)實(shí)的基礎(chǔ)。