视频里几个不明白的点

上下文长度表示模型可以处理的最大上下文长度，这里的上下文指在一次对话/任务中，模型可以处理的最大token数量（涵盖了输入+输出等所有传递给LLM的信息），可以将其类比为资源（如金钱或时间）的总量，你只能在总量内分配这些资源。对于大模型来说，这意味着输入的信息越多，留给输出的空间就越少，反之亦然。

16k 里的 k 其实就是千，在英文内 kilo 是表示千的词根，所以单个字母 K/k 常用于表达千的含义。

词向量和词表不是一个概念，词向量是想办法把一段文本转换成长度固定的一组数据，这样不同长度的文本之间就可以通过词向量来对比相似性。

转换成概率表的逻辑是先将文本转换成 token 列表，然后使用这组列表和 LLM 的参数进行一系列的计算，得到一个等同于词长度的列表，列表里的每一项就是对应 token 出现的概率，然后找到概率最大的 token 作为下一次的输出（这是简化的流程，实际的流程会更加复杂）。