一、向量数据库的核心技术评鉴维度
向量数据库的选型不能只看基准测试的 QPS 或召回率数字，需要回归科研场景的真实读写模式和运维约束来综合判断。
1. 索引算法与召回精度
HNSW（分层可导航小世界图）是当前最为普及的近似最近邻索引算法。它在构建时生成多层图结构，查询时从高层粗粒度逐步向低层细粒度搜索，兼顾了构建速度与查询效率。
科研场景的特殊性在于，特定领域的术语往往具有高度近似的向量表征——例如"催化氧化"与"氧化催化"在通用嵌入模型中可能仅相差 0.02 的余弦相似度。此时，索引的召回能力就显得至关重要。部分向量数据库在 HNSW 基础上做了与量化（quantization）结合的改良，例如 ScaNN 采用各向异性量化，在产品量化的同时保留了內积排序的一致性，在高召回区间的表现优于原生 HNSW。
选用指引：若科研方向涉及大量近似表述的文献（如法律、医学、化学），应优先考察索引在 Recall@K（K≥100）区间的表现，而非仅关注 Top-10 指标。
2. 标量与向量的混合过滤
现实检索需求从来不只是"找出最相似的 Top-K 文档"，还需要叠加元数据过滤——"2023 年以后的文献""影响因子大于 5 的期刊""仅限英文"。这种场景下，纯向量数据库往往会退化为"先向量检索再后置过滤"，导致返回结果远少于 K，甚至出现空集。
解决方案有两条技术路径：
其一，预过滤（pre-filtering）：先按标量条件筛出候选集，再在子集上做向量检索。这种方式在候选集较大时性能尚可，但过滤条件过于宽泛时退化为全量检索。
其二，融合索引（fused index）：将标量索引与向量索引融合在同一数据结构中，查询时同时剪枝。业界已有实现将倒排索引与 HNSW 图结构在存储层耦合，标量条件非零时在图遍历过程中同步剪枝，从根源上规避了后置过滤的问题。
3. 分布式与持久化
科研 AI 助手的知识库通常在百万到千万级文档，单机内存已经难以容纳。分布式向量数据库需要解决的核心问题是分片策略——按向量空间分区还是按哈希分区？前者在查询时需要合并多个分片的结果，后者容易出现数据倾斜。
另一个易被忽视的点是持久化机制。HNSW 图结构的全内存模式查询延迟最低，但重启后需要从原始向量重建索引，对千万级数据耗时可能长达数十分钟。支持 mmap 或直接磁盘读取索引文件的方案在此场景下更具运维优势。
二、混合检索策略的设计逻辑
单一向量检索在科研场景中至少面临三类失效情况：
- 精确术语匹配失效：酶代码"EC 1.1.1.1"被嵌入模型拆分为无意义的 token；
- 低频概念失效：新兴研究方向缺乏充足的语料训练嵌入表征；
- 结构化查询失效："引用次数 > 100 且发表于 2024 年"这类组合条件。
混合检索的本质是在语义召回与精确匹配之间建立互补机制。
1. BM25 + 向量的双通道架构
BM25（Best Matching 25）是经典的稀疏向量检索算法，基于词频-逆文档频率计算相关性。它的优势在于对精确术语、数字编号、罕见专有名词的匹配非常可靠，而这正是稠密向量检索的弱项。
双通道架构的运行逻辑如下：
第一路通道执行稠密向量检索，将用户查询经嵌入模型转换为向量，在向量索引中召回 Top-K1 候选文档；第二路通道并行执行 BM25 关键词检索，对语料库的倒排索引直接匹配，返回 Top-K2 候选文档。两路结果在融合层汇聚，通过归一化分值加权求和得到最终排序。
值得留意的是，BM25 的打分范围和向量余弦相似度在数值尺度上差异较大，直接加权容易出现一路主导另一路的状况。实践中通常采用 Min-Max 归一化或 RRF（倒数秩融合）来抹除量纲差异。
2. 重排序的引入
双通道召回后的候选集通常规模在 50-100 条，此时可引入重排序环节进一步提升精度。重排序模型采用 Cross-encoder 架构，将查询与候选文档配对输入 Transformer 进行联合编码，输出的相关性分值与检索阶段的独立编码相比，精度有大幅提升。
代价是推理成本——每条查询需执行候选集规模次的模型推理。工程上可通过以下策略降低开销：仅对双通道融合后的 Top-30 做重排序；使用蒸馏后的小模型（参数量在 100M 以内的 BERT 变体）；对频繁查询做结果缓存。
3. 检索策略的动态选择
并非所有查询都适合以固定权重混合。可根据查询的语义特征做路由决策：
- 若查询包含大量实体编号、专有名词，增大 BM25 通道的权重；
- 若查询是完整的自然语言句子且无明显专有名词，增大向量通道权重；
- 若查询包含复杂逻辑条件（时间范围、数值区间），优先走结构化过滤后补充语义召回。
部分工程方案在路由层引入一个轻量的分类器，依据查询的嵌入表征实时判断该走哪种检索策略，做到自适应的混合权重分配。
三、工程落地中的关键决策
1. 嵌入模型与向量数据库的解耦
嵌入模型迭代速度远快于向量数据库。建议将嵌入服务独立部署——查询和文档的向量化均由独立的嵌入服务完成，向量数据库仅负责存储与检索。这样嵌入模型升级时无需更改向量数据库配置，重新索引即可。
但需注意，更换嵌入模型后新旧向量的维度可能不同，需在过渡期维护两套索引或执行批量回填。
2. 知识分块策略
科研文献的语义边界往往与物理页码不一致。固定长度切分容易将定理与证明、方法与结果割裂。建议采用语义感知分块：依据 Markdown 标题层级、LaTeX 章节命令或 PDF 的段落间距进行分块，保证每个分块在语义上是自足的。
分块大小直接影响检索效果——过小缺乏上下文，过大稀释语义密度。科研场景以 512-1024 token 为较优区间，重要文献可额外保留全量副本供摘要生成环节使用。
3. 评测闭环
混合检索的上线不是终点。需要构建领域评测集——从真实的用户查询日志中抽样，由领域研究者标注相关文档，形成黄金标准。定期运行评测集的 Recall@K 和 MRR 指标，以数据驱动参数调优，而非依赖人工经验性判断。
向量检索与关键词检索不是非此即彼的关系，二者的结合才是科研 AI 助手知识获取的正确姿态。选型时关注索引精度、混合过滤能力和持久化机制，落地时做好双通道融合、重排序与动态路由的设计，辅以持续评测驱动迭代，才能构建出真正服务于科研工作者的检索系统。
