关于限制生成内容的程度范围

关于限制生成内容的程度范围

老师你好,有什么好的方法可以限制模型生成内容的最小长度和最大长度呢?即限制生成内容在一个长度范围中,可以给下代码示例吗

正在回答

登陆购买课程后可参与讨论,去登陆

1回答

目前对于让大语言模型生成在指定范围内的文本,其实没有很好的技巧,特别是中文,大模型底层使用token作为计数单位,但是token和中文汉字的映射、标签符号的数量映射并不是不变的,所以这个没有好的技巧,只能通过程序循环执行,检测每次生成内容的长度,然后不停迭代,直到让大语言模型生成符合区间范围长度内的文本


另外通过max_tokens可以设置生成的最大token限制,但是最小的没有,不过计数还是使用的token,并不是文本的长度。

  • qq_风中素语_0 提问者 #1

    max_tokens是将生成的内容进行截断返回吗?还是如果生成的内容超过max_tokens的话,ai会重新生成,直到神抽狗的内容长度小于max_tokens呢?如果只是截断,感觉给出的内容就不完整了

    2024-08-22 10:23:33
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
LLM应用开发平台特训营
  • 参与学习       184    人
  • 解答问题       134    个

全栈+全流程打造价值极高+可商用大模型应用开发LLMOps平台 迅速具备低成本、高效率构建生成式 AI 原生应用的稀缺能力 教/学/练/测/评教学+大厂内推机会,培养具备AI架构和研发能力的尖端人

了解课程
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师