《向量数据库指南》——向量数据库一些技术难点

一些技术难点

在文章的前半部分，我们列举了一些向量数据库应该具备的特性，然后比较了以 Milvus 为代表的向量数据库和 ANN 算法库、向量检索插件的不同之处。接下来，我们来聊聊构建向量数据库过程中会遇到的一些技术难点。

就好像一架飞机一样，内部每个零部件和系统相互连通，共同协作为我们提供愉悦的飞行之旅，向量数据库也是同样的道理。其中包含一系列的组件，可粗略分为存储、索引和服务。虽然这三部分组件相辅相成，但是诸如 Snowflake 之类的公司已经向存储行业证明了 “Shared Nothing” 的数据库架构可能更优于传统云数据库的“共享存储（Shared Storage）”模式。

那么，构建向量数据库的第一个难点来了：如何设计一个灵活、可扩展的数据模型？有了数据模型之后，我们需要考虑第二个问题。将数据存储在向量数据库后，如何检索、查询这些数据并构建索引？

机器学习模型和多层神经网络本质上重计算，因此 GPU、 NPU/TPU、FPGA 和其他通用计算机硬件繁荣发展。向量查询和索引构建同样重计算。使用上述硬件加速后，向量查询和索引构建的速度和效率都将大幅提升。多样的计算资源引入了第二个技术难点，如何设计一个支持异构计算的架构？

有了数据模型