embedding、tokenizer和encoder
老师,学得不扎实,先看了大语言模型:1、请问,怎么在LSTM做文本分类时候看到embedding?2、大模型微调技术讲解时候,没有对input数据进行embedding了,直接tokenizers? 3、deepseed代码实战时候为什么是先encoder再tokenizers? 这三者有点分不清,什么时候要做,什么时候不用做。
3
收起
正在回答 回答被采纳积分+1
3回答
AI人工智能算法工程师
- 参与学习 552 人
- 解答问题 165 个
从AI零基础入门,打通视觉,NLP,机器&深度学习,推荐搜索,AIGC,大模型 引领行业知识体系+工业级多领域综合项目+资深专业讲师团+全方位贴心服务 助力你快速成为新时代抢手人才,多领域灵活就业
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧