失效链接处理 |
大模?RAG l验?PDF 下蝲
相关截图Q?/strong>
![]() 主要内容Q?/strong>
一?/strong>LLMs 已经具备?jin)较力?jin)Q存在哪些不点?
?/span> LLM 已经具备?jin)较力的基础上,仍然存在以下问题Q?/span>
• q觉问题Q?/span>LLM 文本生成的底层原理是Z概率?/span> token by token 的Ş式,因此?x)不可避免?/span>
产生“一本正l的胡说八道”的情况;
• 时效性问?/strong>Q?/span>LLM 的规模越大,大模型训l的成本高Q周期也pѝ那么具有时效性的?/span>
据也无法参与训l,所以也无法直接回{时效性相关的问题Q例?/span>“帮我推荐几部热映的电(sh)
影?”Q?/span>
• 数据安全问题Q通用?/span> LLM 没有企业内部数据和用h据,那么企业惌在保证安全的前提?/span>
使用 LLMQ最好的方式是把数据全部放在本圎ͼ企业数据的业务计全部在本地完成。而在
U的大模型仅仅完成一个归U的功能
二、什么是 RAG?
RAGQ?/span>Retrieval Augmented Generation, (g)索增强生成)(j)Q即 LLM 在回{问题或生成文本Ӟ?/span>
?x)从大量文中检索出相关的信息,然后Zq些信息生成回答或文本,从而提高预质量?/span>
2.1 RQ检索器模块
?/span> RAG技术中Q?/span>“R”代表(g)索,其作用是从大量知识库中检索出最相关的前 k 个文档。然而,构徏
一个高质量的检索器是一Ҏ(gu)战。研I探讨了(jin)三个关键问题Q?/span>
2.1.1 如何获得准确的语义表C?
?/span> RAG 中,语义I间指的是查询和文被映的多维I间。以下是两种构徏准确语义I间的方
法?/span>
1. 块优?/span>
处理外部文的第一步是分块Q以获得更细致的特征。接着Q这些文档块被嵌入?/span>
选择分块{略Ӟ需要考虑被烦(ch)引内容的特点、用的嵌入模型?qing)其最适块大小、用h询的预期
长度和复杂度、以?qing)检索结果在特定应用中的使用方式。实际上Q准的查询l果是通过灉|应用
多种分块{略来实现的Qƈ没有最佳策略,只有最适合的策略?/span>
1. 微调嵌入模型
在确定了(jin) Chunk 的适当大小之后Q我们需要通过一个嵌入模型将 Chunk 和查询嵌入到语义I间
中。如今,一些出色的嵌入模型已经问世Q例?/span> UAE?/span>Voyage?/span>BGE{,它们在大规模语料库上
预训l过
|