要选择构建速度快的开源向量数据库，可以考虑以下几点：
技术实现：不同的向量数据库实现了不同的技术方案，比如 HNSW（Hierarchical Navigable Small World）或者 FAISS（Facebook AI Similarity Search）。这些技术会影响索引构建的速度，可以根据自己的需求选择合适的技术实现。
并行计算：一些开源向量数据库支持并行计算，可以充分利用多核处理器和多台机器，加快索引的构建速度。
数据规模：考虑需要处理的数据规模，有的向量数据库在处理大规模数据时性能更好，有的则更适合小规模数据。
社区支持：选择一个活跃的社区支持良好的开源向量数据库，可以获得更多的技术支持和问题解决方案。
一般来说，可以考虑选择一些比较知名且经过广泛实践验证的开源向量数据库，比如 FAISS、Milvus、Annoy 等。最好在具体使用前进行一些基准测试，验证其在不同数据规模下的构建速度，以选择最适合自己需求的开源向量数据库。