如果你说的是LLM，那么你可以去学什么是tokenizer
【 在 newtaizi 的大作中提到: 】
: 在语义理解前先要做最简单的事情之一就是分词，有些汉字词语分词容易有歧义的
: 还有做数学题是怎么识别数学公式的？
--
FROM 202.47.106.*