基于大模型的增强搜索能力，百川智能大模型

最近，人们对扩展上下文窗口和引入向量数据库的技术寄予厚望。从技术角度来看，上下文窗口能够容纳的信息越多，模型在生成下一个单词时能够参考的信息就越多，出现“幻觉”的可能性就越小，也就越有可能采用这种技术。实现大规模建模技术的先决条件，因为获得的信息更加准确。矢量数据库为大型模型提供外部“存储”。与简单地增加模型大小相比，部署插件数据库可以让更大的模型在更广泛的数据集上回答用户的问题，从而以更低的成本应用于各种环境和问题，从而提高了模型的适应性。到

然而，每种方法都有局限性，大型模型不能依赖单一解决方案来克服实施挑战。

例如，上下文窗口太长会产生容量限制、成本、性能和效率等问题。首先是能力。一个128K 窗口最多可以存储230,000 个汉字字符，相当于大约658KB 的文本文档。另一个问题是长窗口模型的推理过程需要消耗大量的代币成本。从性能角度来看，模型的推理速度与文本的长度呈正相关，因此即使使用大量缓存技术，较长的文本也会导致性能下降。

向量数据库比传统的关系数据库有更复杂的查询和索引操作，这对企业的计算和存储资源造成更大的压力。此外，国内矢量数据库生态系统相对薄弱，中小企业发展困难。

在百川智能看来，只有将长窗口模型与搜索/RAG（搜索增强生成）相结合，形成“长窗口模型+搜索”的完整技术栈，才能实现真正高效、高质量的信息。过程可以实现。

上下文窗口方面，百川智能于10月30日推出了全球最长的上下文窗口型号百川2-192K。一次可输入35万个汉字，达到行业领先水平。同时，百川智能将矢量数据库升级为知识库，搜索能力增强。这大大增强了大规模模型捕获外部知识的能力，与超长上下文窗口结合时，可以将信息通过网络连接到所有企业。企业个性化调整解决99%企业知识库的定制化需求。

这样，企业不仅可以清楚地看到成本的显着节省，而且可以更好地积累垂直领域知识，从而不断增加自身知识库核心资产的价值。

长窗模型+搜索增强

如何提高大模型的应用潜力？

另一方面，您可以增加内存（即更长的上下文窗口）并增强搜索（即访问互联网上的实时信息并利用专业领域的专业知识，而无需更改底层模型本身）。强大的组合。知识库），大规模模型可以将内部知识与外部知识整合起来。

另一方面，添加搜索增强技术可以更好地利用长上下文窗口。搜索丰富技术可以让大规模模型准确理解用户意图，从互联网上海量文档和专家/企业知识库中找到与用户意图最相关的知识，使长窗口模型能够加载足够的知识到要使用和搜索的上下文窗口。对结果进行进一步总结和提炼，充分利用Context Window的能力帮助模型生成最优结果，实现不同技术模块之间的协作，创建强大的闭环特征网络形式。

通过结合这两种方法，您可以将上下文窗口的容量扩展到一个全新的水平。百川智能在192K长上下文窗口的基础上，采用长窗口+搜索扩展的方式，将大型模型可检索的原始文本大小增加了两个数量级，达到5000万个token。

“Heystack 中的针”测试由海外著名AI 企业家和开发者Greg Kamradt 设计。它被业界公认为在大型模型上测试长文本准确性的最权威方法。

为了验证长窗+搜索的增强能力，百川智能将5000万个token的数据集采样为大海捞针，将多个字段的问题和答案插入大海捞针的不同位置，分别进行测试。搜索方式包括纯嵌入搜索和稀疏搜索+嵌入搜索。

对于192000个token以内的请求，百川智能可以实现100%的应答准确率。

对于超过192,000个token的文档数据，我们结合百川智能和搜索系统，将测试集的上下文长度扩展到5000万个token，并分别评估纯向量搜索和稀疏搜索+向量搜索的搜索效果。

根据测试结果，稀疏搜索+向量搜索即使在5000万个token的数据集上也能达到95%的答案准确率和接近全域分数的成绩，而单独向量搜索则能达到80%的答案准确率，只能达到精度。

同时，百川智能搜索增强知识库在博金大模型挑战赛-金融数据集（文档理解部分）、MultiFieldQA-zh、DuReader三个测试集上的成绩均高于GPT等行业领先者。 -3.5 和GPT-4 划分模型。

将长窗口和搜索结合起来并不容易。百川智能正在想办法解决问题

“长窗模型+搜索”固然可以突破大规模模型在幻觉性、时效性、知识性等方面的瓶颈，但前提是必须先解决两者结合的问题。

能否将两者充分融合，将在很大程度上决定模型最终的可用性。

尤其是现在，随着用户信息需求表达方式的微妙变化以及与搜索的深度融合，百川智能在各方面都面临着新的挑战。

另一方面，在输入法方面，用户的问题不再被翻译成单个单词或短句，而是转化为更自然的对话交流甚至多次连续交互。另一方面，问题形式也变得更加多样化，并且与语境密切相关。输入风格往往更加口语化，输入问题也更加复杂。

这些提示的改变与基于关键词或短句的传统搜索逻辑不一致。

如何实现两者的协调，是长窗模型与搜索相结合首先要解决的问题。

为了更好地理解用户意图，百川智能首先使用了内部开发的大模型

微调您对用户意图的理解

，将用户的多轮口语提示转换为传统搜索引擎更容易理解的关键词或语义结构进行匹配，显示的搜索结果也更加准确和相关。

其次，为了解决用户现实场景中日益复杂的问题，百川智能不仅利用了Meta的能力，还利用了Meta的能力。

Cove（链验证）技术

，将复杂的提示拆分为多个独立的、易于搜索的可并行检索的查询，允许大型模型对每个子查询执行定向知识库搜索，最终产生一种错觉，用更少的时间提供更准确、更详细的答案详细输出。此外，我们还采用了自己的TSF（Think Step-Further）技术。

推断和挖掘用户输入背后更深层次的问题，引导模型更准确、更全面地理解用户意图，输出更有价值的答案。

另一个问题与企业知识库本身有关。

百川智能打造了“大模型+搜索”技术栈。它不仅利用长窗口来提高模型的基本性能，还利用搜索增强功能更高效、更全面地连接领域知识和全网知识，提供较低性能的任务。成本定制大型号。在建模道路上迈出实现“全知”的第一步。有理由相信，这将把大型模型产业的实施推向一个新的阶段。