RAG的意义
RAG的意义：
1. 提升了大模型对于新知识的响应速度；
2. 减少输入，节省Token的费用；
这个第2点其实有点疑惑，如果是租用的公有云大模型服务，减少输入最大的效果确实是节省了token的费用，但是如果是私有化部署的大模型，因为token是内部消耗，最大的效果应该是提升大模型的响应速度以及降低内存/显存的使用，节约成本，还有的效果是提升系统稳定性，另外就是经过RAG后的内容更精准，间接提升了模型回答的准确度，减少了模型幻觉。
这样理解对吗？
5
收起
正在回答
1回答
很好的思考，非常值得讨论。
1、费用这个词 可能带来了金钱方面的误解，这里想表达的是单次运行 Token变少了，算力消耗降低。金钱支出 取决于算力采购方式。
2、稳定性问题：不确定性很大，可能提升，也可能 降低。RAG是把超长上下文带来的显存溢出问题，转换成了知识库检索的长链路工程实现。在知识库规模有限的情况下，RAG的流程本身，就是系统的熵增与不稳定性的来源之一（链条变长，需要优化和出故障的点变多）。
3、减少幻觉这一点，是值得单独一提的。
恭喜解决一个难题，获得1积分~
来为老师/同学的回答评分吧
0 星