虽然“词元”出现在学术怎章里时间不太长，至少也比 gpt3 时间长吧。 type-token 的概念在语言学里都上百年了。 不知道大家吵的“词元”翻译有什么意思？ 如果不是搞 NLP 的，单拿出来 token ，谁会知道这是个“形符”？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Supplement 1 · 8h 36m ago
我发现这个问题有些乱！
到底大家把什么翻译成“词元”了？这得考虑预警吧？
最早 NLP 和语言学课本里，管语料库里的 token （元素）叫词元。
看大家帖子，怎么 access token 都变词元了？
所以这问题到底出在哪？
到底大家把什么翻译成“词元”了？这得考虑预警吧？
最早 NLP 和语言学课本里，管语料库里的 token （元素）叫词元。
看大家帖子，怎么 access token 都变词元了？
所以这问题到底出在哪？
Supplement 2 · 8h 25m ago
我明白了，原来大家争论的不是技术问题。
不管什么语境，总之 token 不能叫“词元”。
谢谢大家提点。
不管什么语境，总之 token 不能叫“词元”。
谢谢大家提点。
 |
1
valorChang 12h 44m ago  5
 |
 |
2
zjttfs 12h 43m ago
个人觉得虽然翻译的不好听(个人喜好),但该用用,没啥问题.
|
 |
3
akiyamamio 12h 43m ago 3
当然是因为这个词被政治化了，任何东西被政治化了，那么一定就有支持者和反对者
|
 |
4
awesomePower 12h 42m ago 7
因为它现在不仅仅是一个翻译。官媒已经把它上升到“话语权”和“数字主权”的高度了。
|
|
5
awesomePower 12h 40m ago 1
举个不相关的例子。就是英雄联盟里“暮刃”这个装备名，自从被当成男女斗争的名词之后，那它就不再只是一个装备名了。
|
 |
6
Cheons 12h 39m ago via Android
不够信达雅 直接
|
 |
7
ty29022 12h 37m ago
把 RSA 给“正名”了才算本事， 比如说改叫朱雀算法之类的
token->词元， 没难度， 别邀功了 |
 |
8
aliveyang 12h 37m ago 2
@valorChang 这图 WiFi 就能直接用，为啥 token 就得翻译
|
 |
9
tomyark123 12h 36m ago 2
因为政府推了所以他们反感。。为了反对而反对。
|
 |
10
uncleroot 12h 35m ago
词元这个翻译不是在今年 3 月才被正式定下来吗？
大伙已经用惯 token 了，而且「词元」并不比「 token 」简单。 你要用你用，也不是不能看。你别强迫我用就行。 |
 |
11
PolarBears 12h 33m ago
@aliveyang 🤔说到 Wi-Fi 就想起来了，我们这边不是应该叫 WLAN 吗？
|
 |
12
jacketma 12h 33m ago
感觉英文里 token 也不是很确切，但是又没有更好的表达。词元感觉有点怪，没有别的用了，先将就着呗
最近 AI 界造新词太多了，那个 vibe coding 都啥啊，词不达意也流传开了么 |
 |
13
latifrons 12h 33m ago
人的认知决定了立场，说词元这个翻译好的，基本都只是安身一隅，不懂 token 这个词在不同场景下的不同意思。
你凭什么用这个词在 LLM 里的含义，去全盘翻译这个词语？这个翻译甚至都不能涵盖自己领域里的概念，如 Image tokenization. |
 |
14
tty0 12h 31m ago via Android 2
不如叫 偷啃
|
 |
16
anheiyouxia 12h 29m ago 1
@latifrons 说别人“立场决定认知”，结果自己的论据却是“这个译法不能覆盖 token 在所有领域的意思”，恰恰说明讨论的不是术语准确性，而是在先有结论后找理由。
|
 |
17
Tink 12h 29m ago
这个词翻译的很好，信达雅兼具，比令牌什么的可靠谱太多了
|
|
18
latifrons 12h 26m ago 1
@anheiyouxia 很多人觉得翻译的好，不就是因为他们自己的视野局限在 LLM 领域，却忽略了万物皆可 token 化的事实吗？ token 之所以难翻译，正是因为万物皆可 token ，你凭什么非得翻译为词元？不就是 LLM 最近火，谁火谁说了算吗
|
|
19
anheiyouxia 12h 21m ago
|
|
20
anheiyouxia 12h 18m ago
@latifrons 按照你这句话来理解,把"鼠标"这个词都是错的
|
 |
21
Essaim 12h 18m ago
1. 中文是表意文字，词元确实不能很好的表达 token 这种多含义，很抽象的词。
2. 词元确定时间较晚，先入为主确实很重。 但是我还是觉得翻译的及格，至少他没有为表达上带来成本，不能覆盖 token 的所有含义，以后再增加不同场景的翻译就是，中英词语如果要意译本来就不是一一对应的。 16 年左右闹得沸沸扬扬的中文保护运动，所有游戏里面的 exp 、hp 、mp 都要用中文表示，影视作品不能产生英文缩写，那段时间确实有恶心到人。去看个电影字幕是脱氧核糖核酸，平时看的少脑子里要转一下影响理解，玩个游戏本来就在很有限的 UI 位置塞下不方便缩写的中文。后面上面发现确实有点矫枉过正了，对合理的英文字幕简写也放松了。 |
 |
22
longaiwp 12h 16m ago 2
因为那些人都很恨自己皮肤是黄的，出生在这片土地上，把这个词汇当成了政治的切入点。
|
|
23
latifrons 12h 16m ago
@anheiyouxia 我认为我是一个非常客观的人，就事论事，好就是好，不好就是不好。
如果你想在 LLM 范畴里讨论用词准确性，那我奉陪。 提问，把一段包含了数字和代码的文本做 tokenization ，算不算词？把中文的文本每一个字做 tokenization ，算不算词？把英文的一个单词打碎成两个 token ，算不算词？ |
 |
24
lscho 12h 14m ago
楼上一堆说没翻译好的，是不是忽略了这个世界上还有 99% 的人是不懂 AI 原理的普通人？说别人安身一隅，搞得好像你们格局和视野多宽广一样。
还大伙用惯了 token ？你们专业人员爱用 token 就继续用呗，所有的翻译不都是给普通人准备的吗？你们都知道万物皆可 token ，所有领域都能 AI 。那你们怎么不知道普通人也要接触 AI 呢？ 按着他们的头让他们说 token ？摸着良心问问自己，不懂 AI 原理的人理解词元简单还是理解 token 简单？ 非要扯到“官媒政治化”、“数字主权”，扯政治化、数字主权 AI 圈政治化也不是国内先开始的。别人政治化、数字主权就合理，国内就得喷一喷？ |
|
25
Tink 12h 12m ago 2
@latifrons #23 其实维基上把这个词的各个语境的翻译都说清楚了 https://zh.wikipedia.org/wiki/Token
|
 |
26
MajestySolor 12h 11m ago 4
‘token’是‘文明’中心的语言，‘词元’是‘文明’边缘的语言，用‘文明’边缘的语言去替代‘文明’中心的语言就是僭越
你跟他说‘token’就是高大上，是自己人，说‘词元’就是土鳖，是野蛮人 不就是这点小心思么，有啥难理解的，偏偏不敢直抒胸臆，只能绕圈子找借口切入，皈依者狂热又不是一天两天了🤣 |
|
27
anheiyouxia 12h 11m ago
@latifrons 为什么不算?
token ≠ word |
 |
28
coldmonkeybit 12h 10m ago
我理解主要是反感被逼着用，不用就是大逆不道的感觉吧
跟端午安康类似 |
|
31
anheiyouxia 12h 7m ago
|
 |
32
VirgilMing 12h 0m ago
@latifrons 词元最麻烦的其实是不好接 tokenizer ，总不能真叫词元化器吧？
|
|
34
anheiyouxia 11h 55m ago
@latifrons 这又是另外一回事了
|
|
35
latifrons 11h 53m ago
@bertonzh 对啊，你明知道这种映射关系是一对多的，那不如就别翻译了。
这个问题来源于隔壁帖子讨论 opencode 的那个 PR ，要不要把 token 在 zh-cn 环境里展示成词元，从 PR 的回复来看，大家都很有意见。 |
 |
36
nakun233 11h 51m ago
讲道理，如果不知道 AI 之前，这个词出来压根很难联想到是什么意思，词元不就是字吗。说到底这玩意还是要一段时间普及了才会广泛接受。
|
 |
37
wysnxzm 11h 51m ago
有一部分人无论老中说什么做什么他都会挑毛病的
|
 |
38
chendy 11h 50m ago
因为反应大的能被看到
像我这种无所屌谓的相当于直接隐身了  |
 |
39
yseek 11h 49m ago via Android
“大家好，这里是美国男子篮球职业联赛”
“此次办案民警收集到了脱氧核糖核苷酸” “软糯弹牙，弹牙，弹牙……” |
 |
40
Oceanhime 11h 47m ago
因为大家都是程序员，都知道 token 的意思，你非得翻译成什么什么元，我肯定不同意也不支持。
但是我身边很多学汉语言出身的朋友，大多感叹翻译的不错。确实得承认「词元」对于普罗大众群体来说，是一个比较好理解、同时贴近 LLM 实际意义的一个翻译，也不会污染 token 的其他意义。 而且公文写作上，用英文是大不敬，自然强翻也得翻个中文词出来。 |
 |
41
Cruzz 11h 39m ago
表音即可，非得表意是什么怪物，中文就没有的玩意非得表意不是神经病么，樱桃叫车厘子没一个人 bb 。token 非得翻译成词元你们到支持上了。车厘子不就是大樱桃，中文又不是表不了意思。算了不说了，越说越生气，啥都得整上意识形态，没个好
|
 |
42
Solix 11h 34m ago
  |
 |
43
BeautifulSoup 11h 27m ago via Android
@anheiyouxia token 其实核心内涵是符号化。所以应该叫词符和词符化器。“元”强调的是不可再分性，这一条并不对所有模型具有普适性。
|
 |
44
lsearsea 11h 13m ago via Android 1
无所吊谓，人官方场景下自己用用，又没强迫你不能使用 token ，llm/dna 等词也有自己的翻译，也没妨碍随处使用
|
 |
45
zhengqiang64 10h 28m ago
@awesomePower 作为全球第二大 AI 技术力的国家，要是连翻译 token 这个词的权力都没，那真就是没话语权咯
|
|
46
zhengqiang64 10h 27m ago
@aliveyang 因为 wifi 是缩写，而不是一个词
|
 |
47
WizardLeo 10h 19m ago 1
@VirgilMing 为啥要用欧美的思维去翻译文字，token 词元、tokenizer 分词器，把句子分成词元，非常顾名思义的用法。
这里的问题是有一部分人就不喜欢中文在 llm 这里对应 token 有一个确切的词语去翻译，认为无法 100%找到一个在任何含义上都可以解释英语 token 的中文就不应该翻译 token ，我个人认为这是一种摆烂心理。 至于部分政治化科技术语的人我觉得大可不必把他们当回事，这些人任何议题都能一转键政，纯粹魔怔精神病罢了。 |
|
48
zhengqiang64 10h 19m ago
@Essaim 词和缩写是两回事，DNA 的中文翻译就是脱氧核糖核酸，但太长，所以大家都说 DNA 。缩写的目的是为了简单。而且像 DNA 这个缩写具有代表性，很少有类似的缩写。但 token 是词，而且是一个广义词，容易误解和造成沟通障碍。就像你把 exp 、hp 、mp 放到其他场景，别人能理解吗？而且翻译成经验、血条、蓝条，别人一听不就知道是游戏了吗？
|
|
49
zhengqiang64 10h 17m ago
@coldmonkeybit 没人逼着你用，但你自己会，就代表所有人都会了？这不就是以前那些海龟在国内跟人聊天，动不动喜欢飙个洋词，彰显自己与众不同一样吗？
|
 |
50
zzf2019 10h 15m ago
@Cruzz 车厘子这玩意现在在国内的含义特指南美如智利那边的欧洲甜樱桃，跟国内的中国樱桃根本不是一个种，就跟德牧这种狗特指德国牧羊犬一样。你这举例是错的。词元和 token 至少在含义上一致的
|
|
51
zhengqiang64 10h 15m ago
@latifrons AI 是缩写啊，中文翻译就是人工智能。。。。token 是单词，不是缩写
|
|
52
zhengqiang64 10h 10m ago
@Cruzz 那你要说凤梨和菠萝为啥要分开取名？因为本质不同！ token 这个词太广泛了，但词元单指 token ，方便孩子学习和理解。不然你今天 token ，明天那个 token ，谁知道你说的 token ，是不是我理解的 token 呢？
|
 |
53
marktrains 10h 6m ago via iPhone
为什么还有这么多人一本正经解释的？难道提问的人心里不清楚答案吗？
|
 |
54
lurenjia12138 9h 59m ago via Android
@anheiyouxia 你但凡看看一楼的图片，就不会说出这种话了。抛开事实不谈，有意思吗？
|
 |
55
yulon 9h 58m ago
大部分反感的人，一问他为什么，他说以为元是金钱单位的意思。
只能说中国人近几十年的仇富教育，已经到了看见袖子就联想然后反感的情况。 词元这玩意儿本来就是分词法里的老翻译。 |
 |
56
laoertongzhi 9h 53m ago
根本不需要解释。
|
 |
58
monado 9h 39m ago
@PolarBears #11 wifi 和 wlan 不是一个东西
|
 |
59
gpt5 9h 19m ago
敌人支持什么，我们就反对什么
词元派的归宿必将是路灯 胜利属于 token ，胜利属于觉醒✊✊ |
 |
60
zhuantouer 9h 16m ago
# 42
大部分人是因为这个反感吧，就喜欢唱反调 抛开政治因素，词元这个翻译的确比令牌要合适，当然直接用 token 更自然，大家已经习惯了 扯到话语权，纯属扯淡 |
 |
61
SadNoooo 9h 15m ago
Wi-Fi 国内翻译是无线局域网吧
个人感觉，不懂的人即使用词元来解释也不一定懂，最后可能还是得搜索词元是什么意思 反正我就用 token 交流了，懂的人自然懂，不懂的人我不会觉得用了词元就懂，就像访达，鲁性棒，说了也不懂，访达直接说苹果文件夹还更能让对方理解 |
 |
62
Hyschtaxjh 9h 14m ago via iPhone
想起讀書時代 那些晦澀難懂莫名奇妙的名詞
|
|
65
anheiyouxia 8h 58m ago
@lurenjia12138 呵呵,抛开事实不谈,CCTV 又不是真理机关，它用错了只能证明写这篇文章的媒体人煞笔,就好像"内存"这个词一样被滥用到什么地步了。我们讨论的是译名是否准确
|
 |
66
godall 8h 50m ago
@BeautifulSoup 你说的有道理，词元还不如词符，因为正好跟字符对应哈哈。
|
 |
67
mrabit 8h 41m ago
@anheiyouxia #65 这时候又不是"真理机关"了... 某某团体叫"央妈"可不是这样的哦
 |
 |
68
run2 8h 27m ago
政治问题我觉得很正常，就怕偷梁换柱，词元!=token,追的是偷梁换柱后的利益
比如： *省畜牧兽医局 http://xm。s*g。gov。cn › art 业界正名：“淘汰鸡”更名为“老母鸡” - S*g 8 月 20 日，在 2024 肉禽产业发展大会上，中国畜牧业协会联合 13 家省级、市级行业协会和 42 家头部家禽养殖企业，共同发起倡议——把饲养一 … |
|
69
anheiyouxia 8h 24m ago
@mrabit 你的政治正确不是我的政治正确,你觉得她是真理机关,不是我的真理机关,她是你妈不是我妈
|
 |
70
mackyuqi 8h 16m ago
|
 |
72
AV1 8h 8m ago 2
@latifrons
英语一词多义是英语自己的问题。 不同领域用不同翻译，不是很正常的事情吗？ 比如“bus”这个词，在交通领域是“公交车”，在计算机领域是“总线”，在餐饮领域是“收盘子”。 也没人强求一定要用一个词把“bus”全盘翻译了吧？ |
 |
73
zerovoid 8h 3m ago
哪里是翻译问题，
一些人借着这个事情唱反调罢了， 讨论翻译好不好的问题， 好歹前提还是英文单词应该翻译成中文词语， 现在有些人已经开始说不应该翻译了， 这还有什么好讨论的， 接下去就是中文汉字的劣根性，英语的优越性， 为什么要用 cctv ， 为什么编程语言不用中文， 为什么中国人要投稿英文期刊， 我在几个论坛反反复复看到这种逆天论调， 真是用《撒泼打滚》来形容这些人最合适了。 |
|
74
zerovoid 7h 50m ago
@zhengqiang64 #45 不仅仅是话语权的问题，这本质是默认了中国人是必须懂英语的，所以他们不会问为什么中文不夹带俄文单词，为什么不夹带德文单词，为什么不夹带日文片假名，因为真夹带了，他们也看不懂啊。
|
 |
75
FlashEcho 7h 43m ago
不是大家对词元反应大，是有人对 token 反应大，谁先反应大的很清楚吧，别倒打一耙了。要是你在 2000 年先做图形处理器，2010 年先做深度学习，2020 年先做预训练生产模型，那洋人也得用令牌和 lingpai
 |
 |
77
PopRain 7h 33m ago
AI 里面应该翻译为词元，授权应该翻译为令牌....
|
|
78
PopRain 7h 30m ago
2026 年：国家数据局相关报道明确将大模型语境下的 Token 译为“词元”，并披露中国日均词元调用量已突破 140 万亿，显示 Token 计量正在成为人工智能产业商业化的重要基础。
#1 CCTV 那个图也不知道是那个专家这么没有文化... |
 |
79
ybybwdwd 7h 25m ago
token 这种语义泛滥的垃圾词，恰恰证明了英格利什的野蛮落后
词元 这种信达雅的翻译的出现，是文明进步的象征 |
 |
81
shmilypeter 7h 8m ago
@tty0 我也觉得挺好的，你看涅槃这个其实也是梵语的直接音译，但是过了几千年，已经是自古以来的中文词了。偷啃这个词简直完美的复刻了发音，妙啊。
|
 |
82
iixy 6h 59m ago
|
 |
84
WuSiYu 5h 20m ago
“词元”这俩字本身没啥问题，烦人的是现在仿佛无论说“token”还是“词元”都成了一种二选一的政治表态
|
 |
85
cybort 4h 54m ago via Android
有些词是不该翻译的，就像 socket 、handler 一样。生造词反而增加障碍。
|
 |
86
yyysuo 4h 48m ago
屁股不同，立场不同。
那些非技术爱好者，给他们讲 token ，他们会觉得你装什么逼？ 对于已经习惯了 token 的技术人员，硬要改词元，会觉得侵犯了自己的选择权的习惯，是吃多了的行为。 |
 |
87
badrigtpatbas247 4h 43m ago via Android
token 中文理解，字数，多少的意思吗？为什么还要搞一个词元怎么想在历史上留名吗？
|
 |
88
rollingshmily 4h 15m ago
我说白了，就两种人：
一部分是反贼为了反对而反对； 一部分是一些“高贵”的程序员，表意中文是万万不能用的，宁可叫令牌也要凸显自己和普通人的区别，怎么能让普通人一眼就懂是什么意思呢，坚决反对。 |
 |
89
lzylzylzy130 4h 6m ago via iPhone
“你们都用词元
但我用 token 就很…你懂吧” |
 |
90
LUO12826 4h 4m ago
@latifrons #35 有点乐了哥，“我认为我是一个非常客观的人”哈哈哈
“你凭什么非得翻译为词元？”没人规定只有词元一个翻译啊，你要是科班上过计算机网络，大概率能想起来有个叫“令牌环网”的东西，你看看它英文叫啥？先不论这个翻译好不好。 同一个词在不同语境下有不同的翻译，这太常见了，怎么到到 token 这就宕机了呢。 |
 |
91
Bluecoda 4h 1m ago
因为 token = 词元
所以： 区块链 NFT 的收藏品 叫作 NFT 词元 API 加密用的 token ，也叫作 API 词元，OAuth 词元 编译器词法分析之后的 token ，比如 int 的词元类型叫作 keyword Token bucket 限流算法，之前叫作令牌桶，现在要叫作 词元桶？ 是这样翻译吗？ 什么？你说不行？只有 LLM 的 token 要叫作词元，其他地方的 token 不能叫作词元？ 汉朝的时候，发生过一件事情 那时候有个人翻译佛经，他发现梵文里有个概念，汉语里无法找一样意思的词语，他没有搞了一个类似“词元”的词来意译，而是用音译，叫作“般若”，发音也不是 ban ruo ，是 bo re 。 我想现在这些赞同“词元”的人一定认为这个人是个傻逼。 这个人为什么这么做？我想他第一：谦卑，他不认为他可以代表所有人去意译。第二，他不想剥夺其他人重新理解这个词的机会。到现在，汉语里也没有能够 100%代替般若的词。 反观 2000 年后的今天，出现一个汉语不能 100%替换的词，此时，还要竞争一番，还想意图替代掉原词的意思。竟然还有那么多人点赞，不得不说，这是一种妥妥的倒退，这些人的眼里，只有种族，只有赢。 |
 |
92
1208nn 3h 44m ago
我们很多时候说的 token ，实际上就是它的本意：代币。是作为一个计费单位的。资本是贪婪的，是要赚钱的。使用词元作为这样的场景的翻译，是对资本的洗白和美化。这里的 token 与我们很多时候所说的传统的 token 是一样的，比如天气 api 的 token 。这与人工智能没有强关联。key 具有使用 token 的能力，就像一个钱包，和过往一样，人们在某些场合也将其称为 token 。
可笑的是，credit 横空出世。可是为什么不叫积分呢？是谁发明的啊，好奇怪啊，一定是外国人吧。这下子，钱得先“购汇”买积分了。 |
|
93
LUO12826 3h 41m ago
抛开立场不谈，其实也是某种隐匿的羞耻心理和优越感吧，觉得 token 翻译成词元是把一个熟悉的东西变成了一个陌生的东西，把一个“有着丰富的难以言表的意味的词”压成了一个“扁平”的汉语词汇，好像自己失去了什么。
实际上大家工作中爱咋说咋说呗，这种翻译都是面向最广大的群众群体的，不是所有人都有英文能力和行业背景。 换位思考一下，如果现在把别的领域的专有词汇和概念全都换回外文，难道就很舒服么？多少人知道 “扑热息痛”“布洛芬”原文怎么拼写？再去医学书里随便挑几个病症名看看呢？ |
 |
94
flyqie 3h 33m ago via Android
主要是 token 翻译后的泛化问题。
比如#1 那个图。 要是单指 llm token 的话还勉强能理解为是考虑到 ai 时代大家都在用搞的一个折中，虽然个人也是非常不喜欢。 |
 |
95
Neear 31 mins ago
关我屁事和关你屁事的典型代表 😅
|
Select Language