关于Embedding预训练
在构建RAG之前进行Embedding的pretrain怎么理解？是需要用自己的数据继续训练微调其他的开源Embedding模型吗？不同的大模型有没有指定的Embedding模型还是说都可以用自己的数据微调然后进行词嵌入
7
收起
正在回答
1回答
RAG 有两个步骤，检索（可以用大模型或其他模型/策略）和 生成（一定用大模型效果才会好）；
你这里说的 Embedding 是用于 检索的，那么检索一版用语义相关性，所以一般会用自己的数据做 finetune. 和你用什么大模型做生成没有关系，这里是为了提升检索的效果。
相似问题
登录后可查看更多问答，登录/注册
LLM行业领军大佬 带你转型大语言模型算法工程师
- 参与学习 240 人
从入门-案例实战-多领域应用-面试指导-推荐就业，匹配课前知识路线、详细学习笔记和全方位服务，助力学习与就业，快速实现职业跃迁。附赠价值2000元+的大模型项目代码/数据和配套环境和GPU。
了解课程
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星