LLMs 和 AI 在 2025 中的应用：实验、挫折和一些重大惊喜

2025 是我们一年来对 LLMs 和应用 AI 进行实际实验的一年。我们不再只是从 sidelines 观察这个领域，而是花了一整年时间去构建、测试、发现问题，并尝试一些有时有效、有时无效的想法。

总体感觉是混合的。技术的某些部分令人印象深刻，发展速度非常快。其他部分仍然显得早期和脆弱。以下是我们学到的内容以及这些内容如何影响我们下一步的计划。

语义搜索与全文搜索的结合

今年我们的大部分工作都集中在围绕 LLMs 构建的搜索系统上。我们进行了大量实验，尝试混合搜索：将语义搜索（嵌入 + 向量数据库）与传统的全文搜索相结合。

在实践中，这种结合非常强大。语义搜索有助于检索概念上相关的信息，而全文搜索则保持结果的精确性和可解释性。当两者都得到良好调优时，结果会明显优于单独使用其中一种方法。

问题在于复杂性。保持向量索引同步、调优排序以及管理基础设施需要真正的工程努力。它还不是即插即用的。

我们目前的诚实建议是：如果你没有资源进行高风险的实验和相当多的试错，可能最好等一等。生态系统正在快速改进，但今天仍然更有利于能够探索和迭代的团队。

我们也花了一些时间比较 RAG 管道与更依赖大上下文窗口的方法。

我们希望找到一个明确的赢家。我们没有。

当处理大型或不断变化的知识库时，RAG 非常有效。依赖大上下文的方法简化了架构，但在大规模时可能会变得昂贵且不可预测。在实际系统中，我们通常最终还是需要混合使用。

主要的结论是，目前还没有通用的配方。架构决策仍然非常具体于应用程序，很多有效的方法来自于实验而不是已建立的最佳实践。

在某个时候，我们决定尝试一些相当疯狂的事情：使用向量数据库进行经典表格机器学习。

从实际角度来看，这并没有非常成功。对于标准的预测任务，传统的机器学习流程仍然更加高效和直接。

但这次旁路出人意料地富有成效。它迫使我们深入研究聚类、相似性度量和特征工程。这种探索开辟了新的研究方向，并最终成为我们仍在开发的工作论文。

因此，尽管原始想法没有成为产品方法，但它在研究方面取得了成果。

今年最令人印象深刻的变化是人工智能编程。

在2025开始时，代理编程系统在相对简单的任务上挣扎。制作一个不错的主页通常需要大量的手动清理。到年底，这些系统能够生成和组织复杂的多组件项目，实际上感觉是可用的。

这改变了小团队能够实际构建的内容。人工智能编程不再只是炫酷的自动补全。它开始感觉像一个真正的开发伙伴。

我们真的对这里的进步速度感到惊讶。

所有这些都直接导向我们对2026的计划。

我们希望利用我们学到的经验，重点使用人工智能编程来帮助小型企业通过非常具体的iOS应用程序。而不是构建广泛的平台，我们更关注解决具体问题的有针对性的工具。

我们将深入探讨为什么我们专注于 iOS，以及我们对未来产品策略的思考方式。

如果要用一句话来总结 2025：技术非常强大，但仍然不均衡。

混合搜索虽然有效，但复杂。RAG 与上下文相比，情况因情境而异。一些实验性想法以有用的方式失败。而 AI 编程已经取得了一次飞跃，为小团队打开了新的可能性。

我们以混合的心情结束这一年，对方向充满乐观。事情发展迅速，研究与实际应用之间的差距正在缩小。

对于那些愿意实验并容忍不确定性的团队来说，这是一个非常有趣的时代。