- 主题:token到底是什么意思?
在看 texbook, 发现里面也没给一个定义就开始用了, 这个东西到底指什么?
--
FROM 1.203.116.*
【 在 Torri (陶瑞) 的大作中提到: 】
: 在看 texbook, 发现里面也没给一个定义就开始用了, 这个东西到底指什么?
我觉得就是 TeX 程序读入的一串字符串，TeX 程序会对这串字符串进行分析
--
FROM 117.152.202.*
编译原理的术语，有相关背景一看就知道了。token 现在一般翻译为单词，以前也有翻译成记号的。词法分析的过程就是把字符序列转化为 token 序列，词法使用正则语言描述，有限状态自动机实现。
【 在 Torri 的大作中提到: 】
: 在看 texbook, 发现里面也没给一个定义就开始用了, 这个东西到底指什么?
: --
: FROM 1.203.116.*
--
FROM 114.249.198.*
举个例子，c 语言的 1 条语句
int foo = 123;
就有 5 个词法上的单词（token），分别是
int
foo
=
123
;
TeX 作为宏语言，部分功能是在字符层面处理的，部分功能是在单词层面处理的。
【 在 Torri 的大作中提到: 】
: 在看 texbook, 发现里面也没给一个定义就开始用了, 这个东西到底指什么?
: --
: FROM 1.203.116.*
--
FROM 114.249.198.*
这个例子可以.
之前我对token的理解来自于xparse的手册,其中有 D<token1><token2>{default} 这样的格式,一开始没看懂是什么意思,后来看例子,我就理解为标记开始和结束的两个字符了.
【 在 milksea (肥了，又肥了 >>>_<<<) 的大作中提到: 】
: 举个例子，c 语言的 1 条语句
: int foo = 123;
: 就有 5 个词法上的单词（token），分别是
: ...................
--
修改:Torri FROM 1.203.117.*
FROM 1.203.117.*