無論是“海納百川，有容乃大”的開源環(huán)境，還是“群英薈萃，百家爭(zhēng)鳴”的技術(shù)氛圍，屬于國(guó)產(chǎn)數(shù)據(jù)庫的時(shí)代大幕已經(jīng)在每一位開發(fā)者的眼前緩緩展開。

近期，【國(guó)產(chǎn)數(shù)據(jù)庫·共話未來趨勢(shì)】線下沙龍?jiān)谖骱�畔落下帷幕，�?guó)產(chǎn)數(shù)據(jù)庫領(lǐng)域資深專家匯聚一堂，共同交流探討數(shù)據(jù)庫技術(shù)。本次內(nèi)容涵蓋 AI 時(shí)代的向量數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫與 Serverless 等前沿技術(shù)分享，以及如何在 K8s上管理數(shù)據(jù)基礎(chǔ)設(shè)施等議題。

Zilliz 合伙人和技術(shù)總監(jiān) 欒小凡 帶來《當(dāng) AI-Native 遇到 Cloud-Native，向量數(shù)據(jù)庫到底應(yīng)該如何做》，分享 Zilliz 在 AI 時(shí)代做了哪些事情，以及從 Zilliz 的角度出發(fā)怎么看待向量數(shù)據(jù)庫或者非傳統(tǒng)數(shù)據(jù)庫未來的發(fā)展。

欒小凡首先提出， AI-Native 時(shí)代的到來對(duì)于數(shù)據(jù)庫提出了更多要求，相應(yīng)地開發(fā)者對(duì)其需求也發(fā)生了變化，具體包括以下四個(gè)方面：

非結(jié)構(gòu)化數(shù)據(jù)理解困難。非結(jié)構(gòu)化數(shù)據(jù)（長(zhǎng)文本、視頻、圖片、音頻、生成分子式、推薦信息）無法通過簡(jiǎn)單的機(jī)器學(xué)習(xí)算法進(jìn)行 Zero Shot 的理解，大模型的出現(xiàn)給非結(jié)構(gòu)化數(shù)據(jù)理解和處理提供了新的思路，通過更加通用的方式處理非結(jié)構(gòu)化數(shù)據(jù)成為了可能。

語意正確。AIGC 時(shí)代，查詢不再是準(zhǔn)確 100% 的“正確性”，相關(guān)和上下文更加重要，基于向量檢索的方案成為主流。

數(shù)據(jù)體量龐大。未來超過80% 的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，AIGC 時(shí)代數(shù)據(jù)的生成速度遠(yuǎn)超過去，系統(tǒng)擴(kuò)展性性能至關(guān)重要。

缺乏工具。雖然傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)處理并不簡(jiǎn)單，但由于 ETL、數(shù)據(jù)庫、數(shù)據(jù)倉庫等工具在過去 30 年的發(fā)展，已經(jīng)變得相對(duì)成熟。然而，非結(jié)構(gòu)化數(shù)據(jù)處理的工具鏈才剛剛開始構(gòu)建，這就使得結(jié)構(gòu)化數(shù)據(jù)的處理變得更具挑戰(zhàn)性（相較結(jié)構(gòu)化數(shù)據(jù)）。

隨后，欒小凡深度剖析了向量數(shù)據(jù)庫在 AI 時(shí)代的變化過程。AI 1.0 時(shí)代，向量數(shù)據(jù)已經(jīng)被廣泛應(yīng)用于機(jī)器學(xué)習(xí)應(yīng)用中，包括推薦、搜索、翻譯、圖搜、風(fēng)控、安防等；大模型時(shí)代的到來，使得向量數(shù)據(jù)涌現(xiàn)出維度更高、體量更大、用途更廣泛的特征。在此過程中，全球領(lǐng)先的向量數(shù)據(jù)庫 Milvus 也經(jīng)歷從了 1.0 架構(gòu)向 2.0 架構(gòu)演進(jìn)的過程。

提及當(dāng)時(shí)重新搭建 Milvus 2.0 的決定，欒小凡感慨頗深。彼時(shí)，隨著用戶數(shù)據(jù)體量的增長(zhǎng)，老的架構(gòu)擴(kuò)展性逐漸成為瓶頸；其次，隨著 AI+大模型的快速發(fā)展，對(duì)向量數(shù)據(jù)庫的功能要求越來越高，需要更加靈活的數(shù)據(jù)模型和 API；K8s 和云原生逐漸成熟，搭建分布式系統(tǒng)的難度逐漸降低……多種因素加持下，Milvus——這個(gè)集結(jié)了諸多優(yōu)秀技術(shù)人的團(tuán)隊(duì)堅(jiān)持向【做出世界最先進(jìn)向量數(shù)據(jù)庫系統(tǒng)】的理想靠近。最終，一個(gè)擁有 AI Native + Cloud Native 的 Milvus 2.0 誕生。

Milvus 2.0 架構(gòu)

不過，欒小凡提到，向量數(shù)據(jù)庫絕不僅僅是用來進(jìn)行簡(jiǎn)單的向量檢索，要想真正提升開發(fā)者的開發(fā)效率和使用成本，需要系統(tǒng)開發(fā)者深入理解硬件、存儲(chǔ)、數(shù)據(jù)庫、AI、高性能計(jì)算、分布式系統(tǒng)、編譯原理、云原生等方方面面，以確保其穩(wěn)定性、性能和易用性。一個(gè)理想的向量數(shù)據(jù)庫應(yīng)該具備以下特性：數(shù)據(jù)持久化和低成本存儲(chǔ)、高性能查詢、數(shù)據(jù)分布、易于使用、穩(wěn)定可用。向量數(shù)據(jù)庫是典型的 Big Data Serving 系統(tǒng)，可運(yùn)維可觀測(cè)、智能化。

想要了解更多對(duì)于向量數(shù)據(jù)庫的知識(shí)，可關(guān)注微信公眾號(hào) Zilliz 獲取。