关于限制生成内容的程度范围
老师你好,有什么好的方法可以限制模型生成内容的最小长度和最大长度呢?即限制生成内容在一个长度范围中,可以给下代码示例吗
19
收起
正在回答
1回答
目前对于让大语言模型生成在指定范围内的文本,其实没有很好的技巧,特别是中文,大模型底层使用token作为计数单位,但是token和中文汉字的映射、标签符号的数量映射并不是不变的,所以这个没有好的技巧,只能通过程序循环执行,检测每次生成内容的长度,然后不停迭代,直到让大语言模型生成符合区间范围长度内的文本。
另外通过max_tokens可以设置生成的最大token限制,但是最小的没有,不过计数还是使用的token,并不是文本的长度。
AI Agent 全栈开发工程师
- 参与学习 521 人
- 解答问题 411 个
全流程打造你自己的(Coze/Dify)低代码智能体开发平台;2025年入行正当时,企业急需,人才稀缺,竞争小;无论入行还是转行,首选口碑好课,门槛低、成长高
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星