大模型真的可以處理我的文本？詞表OOV問題，詞表大小的影響

本期視頻分享一下大語言模型的詞表OOV問題，以及詞表大小對模型的影響。

#大模型 #tokenizer #分詞 #LLaMA #通義千問 #Qwen #BPE #oov