embedding、tokenizer和encoder

embedding、tokenizer和encoder

老师,学得不扎实,先看了大语言模型:1、请问,怎么在LSTM做文本分类时候看到embedding?2、大模型微调技术讲解时候,没有对input数据进行embedding了,直接tokenizers? 3、deepseed代码实战时候为什么是先encoder再tokenizers? 这三者有点分不清,什么时候要做,什么时候不用做。

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

3回答
小Dream哥 2025-04-14 11:06:18
3,输入的处理是两步,(1)利用Tokenizer将文本分词,并通过查表操作,将词转化为词在词表中的序号(2)embedding
  • 提问者 FRISHRIGHT #1

    感谢!明白了

    2025-04-15 13:19:49
小Dream哥 2025-04-14 11:04:05
2.微调项目也会对输入进行embedding,embedding的过程在大模型内部,即大模型的第一层,输入层
小Dream哥 2025-04-14 11:02:53
1.看embedding的目的是?如果要看具体数值,打印出来,或者debug即可看
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
AI人工智能算法工程师
  • 参与学习       552    人
  • 解答问题       165    个

从AI零基础入门,打通视觉,NLP,机器&深度学习,推荐搜索,AIGC,大模型 引领行业知识体系+工业级多领域综合项目+资深专业讲师团+全方位贴心服务 助力你快速成为新时代抢手人才,多领域灵活就业

了解课程
请稍等 ...
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师
插入代码