LLM：一个真实应用案例

摘要：我们为 elMejorTrato.com 实施了 LLM、向量数据库和 RAG，得出了以下结论：

• 处理西班牙语需要一些技巧
• ChatGPT API 的成本过高
• LangChain 和代理有时过于复杂
• SentenceBert 与 VectorDB 能做出出色的应用
• 量化的开源 LLM 也能取得很好的效果

我们在这里提供基础代码，以开源形式发布并支持 Docker，方便您用于自己的项目。

创建原型

自 ChatGPT 向公众开放以来，大型语言模型受到广泛关注，也让人们对未来的应用充满期待。 已有许多使用 LLM 模拟通用人工智能的例子，看起来确实很有未来感。 这里我们将聚焦 elMejorTrato.com 网站中的一个具体应用案例。

LLM 为软件开发者带来了两项令人惊叹的新能力：

1. 理解自然语言的能力。
2. 对文本、音频和图像进行向量搜索的能力。

elMejorTrato.com 的一个具体例子是，用户可以不输入数字，而是用文字描述想查询的贷款金额，例如“我需要 $10,000 来扩建房屋”。当时的解决办法是把文本输入框替换成选择框。如今，借助 LLM 理解自然语言的能力，我们可以更准确地把握用户的意图，提供更好的服务。

另一个例子是，利用 LLM 生成的嵌入对文本进行向量搜索，从已经回答过的其他用户问题中找到答案，用来回答新的用户问题。

为了测试这些新方案，我们基于一个分支制作了原型，该分支源自 Docker 的这个优秀模板，并进行了以下调整：

• 调整提示词，让 llama2 能正确处理西班牙语。
• 使用智利大学的西班牙语 Bert 嵌入模型。
• 使用 Weaviate 数据库进行混合搜索（向量与文本），并支持本地或云端运行。
• 简化代码，使其更容易理解，也更方便根据项目需要调整。