关于限制生成内容的程度范围
老师你好,有什么好的方法可以限制模型生成内容的最小长度和最大长度呢?即限制生成内容在一个长度范围中,可以给下代码示例吗
16
收起
正在回答
1回答
目前对于让大语言模型生成在指定范围内的文本,其实没有很好的技巧,特别是中文,大模型底层使用token作为计数单位,但是token和中文汉字的映射、标签符号的数量映射并不是不变的,所以这个没有好的技巧,只能通过程序循环执行,检测每次生成内容的长度,然后不停迭代,直到让大语言模型生成符合区间范围长度内的文本。
另外通过max_tokens可以设置生成的最大token限制,但是最小的没有,不过计数还是使用的token,并不是文本的长度。
LLM应用开发平台特训营
- 参与学习 184 人
- 解答问题 134 个
全栈+全流程打造价值极高+可商用大模型应用开发LLMOps平台 迅速具备低成本、高效率构建生成式 AI 原生应用的稀缺能力 教/学/练/测/评教学+大厂内推机会,培养具备AI架构和研发能力的尖端人
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星