“一个token平均约0.3个字母，或者0.6个汉字”
“比如computer或者电脑，就是一个词元”
这不是矛盾的么？

【 在 poocp 的大作中提到: 】
: 目前在自然语言分词处理中，token被翻译为“词元”，是句子切分的最小单位，一个token平均约0.3个字母，或者0.6个汉字，具体的词元个数视实际句子的内容而定。比如computer或者电脑，就是一个词元，
:
--
FROM 202.113.11.*