今天看到 opencode 发版了, 才注意到这个三天前的 PR: https://github.com/anomalyco/opencode/pull/40977
PR 里的讨论现在还不多，但是已经有偏离技术和翻译本身的迹象了。 不过抛开其他因素不谈，我也自始至终都觉得这是个糟糕的翻译。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
101
GDSR 17 days ago via Android
@catazshadow 翻译的拉不垃圾跟政治没什么关系，就算不是“词元”，翻译成“文元”、“话费”，目的也会是为了“话语权”，重要的不是翻译本身的质量，而是有没有对应的翻译，所以你说“词元”翻的垃圾只是表面，本质上就是因为是中国政府翻译的，你反对而已。
|
 |
102
zhengqiang64 17 days ago
@catazshadow 来，你给我截图看看，这个 PR 有那个字提过话语权了？明明是你自己带着有色眼镜，看到的东西都有问题。
|
 |
103
Sajo 17 days ago  1
露阴癖太多了
|
 |
104
RichardPlus 17 days ago
LLM 的处理单位叫'token', 也是用着用着用出正统性来的, 不是与生俱来的. 中文翻译叫啥, 任何人有自己的绝妙翻译大可以提; 如果没有, 纠结这个问题干嘛呢? token 这个词被用于 LLM 的处理单位它本身在英语语境里符合该语境的"信达雅"? 也不见得吧
|
 |
105
Maboroshii 17 days ago
编译原理里，应该有 token 的翻译成 词法单元 的 。 词元这个词很早了
|
 |
106
GeruzoniAnsasu 17 days ago
我觉得应该先把仓库卫生打扫打扫好
然后这个开发人员吧，这个人员考勤要做好，对吧 一个开发团队，得先有组织有纪律，才有精神，才能写出好代码 我特意找我之前一个体校的哥们，教武术的，录了一期完整的八段锦的录像 那个……小刘，你给仓库的维护者说一下，把这个录像放到什么贡献指南里去 大家每天写代码前先锻炼锻炼身体，身体好才好干活嘛 |
|
107
RichardPlus 17 days ago
突然有个脑洞, "词"这个字还有个兄弟叫"辞", 直接给"辞"这个字加一个"大预言模型的处理单位"的解释, 也挺好的, 毕竟这个字本来就和"词"相通, 作为时代发展下赋予的新意思. 又不会与其他场景混在一起
|
 |
108
catazshadow 17 days ago
|
|
109
catazshadow 17 days ago
|
 |
110
lsearsea 17 days ago via Android
@catazshadow 难绷，但是和当前 pr 的把“令牌”改为“词元”有何关系
|
|
111
catazshadow 17 days ago
@lsearsea 整个这一波不就是因为某些人开始搞政治鼓动，煽动民族情绪吗？
|
|
112
lsearsea 17 days ago via Android
@catazshadow 和本帖相关性不大吧，相比于使用“令牌”这更不词不达意的翻译，“词元”更符合，要我觉得鼓动民族情绪的话题，不如 pr 下面的“👉🌶🐷又在污染文明世界了”，本来另一贴词元讨论支持和反对分半，因为这个，本贴一堆都直接踩对面了
|
 |
113
VirgilMing 17 days ago
@RichardPlus 「我今天蹬了一亿辞」……好像也不是不行？
|
|
114
GDSR 17 days ago via Android
@catazshadow 翻译的准确性优先还是政治优先呢？你不是不希望涉及政治吗？那自然是准确性优先，那是“令牌”更能达意，还是“词元”更能达意呢？
|
 |
115
jhdxr 17 days ago 1
@keyu1103 #61 我觉得能接受『词元』这个翻译的都是外行或者半瓶水的。如果只是局限在纯文本的语境下，『词元』这个词的确可以说信达雅，可是在这个词被钦点的 2026 年，token 在 LLM 的语境下已经远远不只是文本的含义。图片、视频、音频同样用 token 。这种情况下你用英文你知道这是一个你不理解的概念，但你用『词元』只会增加困惑
|
|
116
catazshadow 17 days ago
@GDSR token 最达意
|
|
117
catazshadow 17 days ago
@lsearsea token 用的好好的，你猜为什么突然一大堆人在乎翻译不翻译了？
|
 |
118
strobber16 17 days ago via Android
建议调成英文界面使用
|
|
119
lsearsea 17 days ago via Android
@catazshadow 阿这，你能不能先看看 pr ，并不是把“token”改为“词元”，而是把“令牌”改为“词元”好吧
|
|
120
lsearsea 17 days ago via Android
如果我理解错了你的话，但我还是说，和本帖 pr 不相关
|
 |
121
Mandelo 17 days ago
官方写新闻为了正式用"词元"就算了,
普通人跟着凑啥热闹?你平时跟别人交流会说"你今天用了多少词元"吗? 所以我的观点就是:关普通人屁事! |
 |
122
vivipure 17 days ago
我觉得本地化挺好的，像韩语和片假名那样偷懒，才是真的可怕。
|
 |
123
itbeihe 17 days ago 1
相对于之前翻译成“令牌“，还是”词元“更好一些。
心目中最好还是 token 别翻译。 |
|
124
RichardPlus 17 days ago
@VirgilMing 我觉得挺好呀, 买了一<斤>菜, 进口一<百万><吨>大豆, 蹬了一<兆><辞>, 套餐内含一<京><辞>, 作为"unit", 单字才是中文的王道, 欧姆来了也得叫欧, 帕斯卡也得叫帕, 😏
|
 |
125
yvescheung 17 days ago
谁去提交个 pr 把 opencode 翻译成奥本科德或者开放代码编辑器
|
 |
126
Busy 17 days ago
习惯用英文的人，应该用不到词元出现的中文界面
习惯用中文的人，不宏大叙事，词元挺信雅达的 只有一种人会别扭，平时中文夹杂着中小学英文单词的人 |
 |
127
ffgrinder 17 days ago 1
@Erona 请给出词元这个词的翻译不好的理由，你用什么，业界习惯用什么，和这个词是否应该有一个中文翻译无关。同样，我觉得 tokenizer 作为分词器也比较靠谱，就好像 tokenizer 你也只是习惯，这词表达什么也不是“tokenizer”这个字母里面蕴含的。
这个 PR 我也看了，人家明确提到和“token(令牌）做区分”。我不理解你用“塞”这个词有什么意思。 还有打拳的， [现代简中] 就是国务院推行的，这就是官方语言，我感觉讨论这个问题的政治意味是没有任何意义的。 |
 |
128
zerovoid 17 days ago
没看懂这次节奏，
是因为官媒发了一个《话语权》，所以各个借着这个反官方？ 那不如大大方方直接反。 token 这个词本来就应该翻译， 当初官方翻译还没出来的时候（远在所谓话语权之前）， 就很多人在讨论怎么翻译， 当时支持词元的就很多了， 这居然还有说保留英文， 不应该翻译的， 出于什么立场能说出这种逆天的话， 你说中国应该讲英语我都觉得还有点道理， token 不能翻译这是什么逻辑。 |
 |
129
genesislive 17 days ago
词元翻译没什么问题，看一下日语翻译：トークン
|
|
130
VirgilMing 17 days ago
@RichardPlus 《辞海》：我没意见
|
 |
131
xAI 17 days ago
其实还好，LLM Token 和以前验证使用的 Token 还是不一样的，区分一下挺好的，这可是相当于一个单位词，不可能不翻译。
|
 |
132
qqlax 17 days ago
就非翻译不可？那要不也把 pull request 和 issue 也翻译了
|
 |
133
greatbody 17 days ago
词元这个翻译说我首创的，我觉得信达雅不一定，但是一定平权。你想想，非 IT 领域的用户，有不通晓英语或者计算机行业词汇的权利，人家只是普通使用者。从中文世界的使用者的利益的角度出发，词元是更合适的。
或许别的语言会有别的语言的翻译，但肯定不是令牌或词元。所以尊重普通人，让世界更美好。并不影响我们技术圈继续叫英文的 token 。 |
|
134
lsearsea 17 days ago via Android
https://github.com/anomalyco/opencode/pull/41532 不要争了，现在又由“词元”改成“token”了😅
|
 |
135
wolfie 17 days ago
有些东西可以翻译，但在程序员这个领域就不应该翻译。
边界在哪里呢。 |
 |
136
spark 17 days ago
@GyroZeppeli13 当然是变形金刚了
|
|
137
VirgilMing 17 days ago
@wolfie 其实不是不应该翻译。只能说现在还没有出现一个足以服众的翻译。
|
|
138
RichardPlus 17 days ago
@VirgilMing <<辞海>>肯定没意见, 大模型收<辞>和吐<辞>本来就<海>了去了 😄
|
 |
139
hellsakura 17 days ago
词元的翻译总感觉差点，但已经算是挺好的翻译了，要是能和「流明」 lumen 这种翻译能让人一眼理解就好了
|
 |
140
Tink 17 days ago via iPhone
@catazshadow 要不先看一下 pr 内容？
|
 |
141
Rinndy 17 days ago via iPhone
把 CCTV 改成中文再来说把
|
 |
142
cosette 17 days ago
AI 、Agents 、LLM 、Token 、harness 等等这些我觉得都不需要翻译，如果你也认同，那我觉得你可以直接使用 English ，别来凑中文翻译的热闹了
|
 |
144
flyqie 17 days ago via Android
个人角度非常不喜欢
大众角度勉强折中 |
 |
146
yulon 17 days ago 16
@jhdxr #115 你才是真正的半瓶水，本来不想说得那么重，不过也算是在复读你的话。
计算机只能读二进制数字，所以计算机概念中的字或词（英语是 word ），就是指一串数字（老外先用的 word ，还真和中文翻译没关系），所以二进制 CPU 能操作的原生单位被称为机器字，二进制数据最小的储存单位是字节，因为二进制本来就是逢 1 进位，最小计算单位直接就用位（ bit ）了。 如果顺着你的逻辑，除了文本文件的数据单位都不能用含有「字（ word ）」的名称了，那才是天大的误解。 因为机器字在日常中使用较少，几乎不会被非专业提及，但字节在日常经常会称呼，而字节又不会与日常用词有冲突，这本来就是一种翻译的讨巧。如果真要区分文件类型，把音频文件的数据单位成为音节，你发现了没，不仅增加了称呼复杂度，还有极大可能会与日常用词产生碰撞。 |
 |
147
Anarchy 17 days ago
按照传统应该使用音译，当下环境对于简单英文民间一般是直接使用，所以直接叫 Token 是最佳方案，但是官方场合又不能使用英文，所以搞了个“词元”。
我是不喜欢“词元”这个翻译，会让人联想到词根或者词的源头也就是生产词的某种东西，这个概念放在汉语环境会非常难理解，脑子里会觉得是一种非常抽象非常神秘的东西，只是看到这个词负担就不小。如果一定要翻译的话，不如采取传统的单位使用音译的方式，要不就把“韬”定理的“韬”拿过来用吧  。 |
 |
148
Rrrrrr 17 days ago
虽然但是，确实也没有其他更好的翻译了。很多人觉得不用翻译，但是你可以口头上叫 token ，不妨碍它在中文叫词元。元代表计价单位，虽然不是特别好，但是没有其他的好代替了。或者你根本左右不了官方。
|
 |
149
Exxfire 17 days ago
有更好的解决方案吗？
|
 |
150
reoah2 17 days ago
@GyroZeppeli13 变形金刚
|
 |
152
349551 17 days ago
这个改动就是完全正确的，跟其他方面没有任何关系。我研究生期间我们课题组一直都是将词元作为正确翻译，一开始就是这样没有变过已经三四年了，现在我都毕业了，我们课题组从来没有叫过令牌，也没有看到别人称呼为令牌，令牌就是一个机器翻译
|
 |
153
Lockroach 17 days ago
我觉得没问题，本来就是 i18n 里面的词汇，对于非计算机背景的人来说，从「令牌」一词到「词元」绝对是更加直观好理解的。
|
|
154
349551 17 days ago
官方公布之前我们研究大模型的就一直在叫词元了，已经是领域内公认翻译了
|
 |
155
mosfet 17 days ago
确实魔怔
恶意过于强烈 |
 |
157
Vipcw95 17 days ago
大模型方面 token 叫词元很贴切啊，虽然日常也是直接用英文，但是反对的人可以提出自己的翻译而不是一味的说用英文。而且其他方面可以有其他翻译。
|
 |
158
jardel 17 days ago
跟造简中的大人们一样，为了其他目的而不是在文字本身，已经存在很多外来语，当前大人们不能接受外来语的目的就是，自己造词才能显得大人们不是那么的无用。
|
 |
159
Xalen 17 days ago
朝堂的文官指导前线武将 |
 |
160
BestPix 17 days ago
争夺话语权的，争不过也不能不争，这是一个态度。是政治怎么了，很丢人么，毕竟显卡禁令也是政治啊
|
 |
161
TimPeake 17 days ago
联系站长弄个互联网技术圈直播论战的专题版面，怼脸开喷。让罗再次伟大！
 |
 |
162
haojiuweijian1 17 days ago
@catazshadow 因为原本的使用的是中文“令牌”啊
|
 |
163
credo123 17 days ago 27
上面一堆争论的。那些反对翻译的，就没有想过是英语太烂的问题吗？
每当有一个新概念的时候，只能造词或者套词。你们只不过是基于概念理解了 token 这个词的新用法，新概念。 扪心自问，刚接触 AI 的时候，你们就能准确理解 token 的意思？ AI 的 token 是重新赋义的专用术语/套用词，和英语里的 token 已经是两个词。虽然英语母语者要重新学，但凭什么要求汉字放弃自己的优势--"直接悟"。 越不翻译，中文资料越碎片化；中文资料越差，越倒逼人去啃英文；啃英文的人形成圈子壁垒，反过来鄙视翻译。这 tmd 和法律界那帮人一个德行，希望能强行制造语言壁垒。 说白了，反对翻译的人，很多是靠英文的语言壁垒建立优越感——你会 token 、embedding 、fine-tuning ，显得比说"词元/嵌入/微调"的人更"专业"。这不是技术讨论，这是身份政治。 你本身就在引入政治，却又伪装成自己不讨论政治。 新概念本来就需要新词承载。英文是不断造词的，汉字凭什么就得跟着烂英文亦步亦趋的造？汉字就不能发挥自己优势？ "电脑"就是翻译胜利的活化石。 这就是翻译的价值——降低认知门槛，扩大传播面，打破各种专业壁垒。把语言壁垒当专业门槛，把啃生肉当能力勋章，那是英语擅长的事情，比如英语里的法律专业，医疗专业。 |
|
165
credo123 17 days ago 1
通过 token 反向就可以知道英语有多烂，专用术语/套用词在新兴行业里大行其道。
1 个，100 个没事，1000 个有压力了。但 1W 个呢？ 10W 个呢？ 还有多少普罗大众能接受？ 专业的人都苦不堪言，何况非专业人。跨专业学习的人更痛苦。 我们要吸收对方好的，但也要谨防对方的糟粕。 |
 |
166
raysonlu 17 days ago
对于新鲜事物，我们不是喜欢音译的吗？不如就改名叫“图根”吧
|
 |
168
Serefrefee 17 days ago
上面也说了, token 在计算机领域下, 不同语境翻译过来的意思是不同的, 那么直接音译不行吗?
token=投肯 |
 |
169
bencool 17 days ago
我觉得词元就很好，让大家知道算力要花钱的
|
|
170
credo123 17 days ago
"Tokens are the basic units of text that our models process and generate."
"A token can be as short as one character or as long as one word, depending on the language and context." "Prompt tokens are the tokens supplied to the model; completion tokens are those generated in response." vs 词元 保留了"词"（与语言相关）+ "元"（基本单位）的语义，且语言学中已有相近概念，迁移自然。精准传达了 "语言处理中的最小原子单位"。也许还是翻译的不够好，但我认为比 token 强的太多太多了。 |
 |
171
lyxeno 17 days ago
op 觉得不好的话，可以提出一个更好的翻译。pr 谁都能提
顺便说下，"词元"这个翻译比"令牌"好多了 |
 |
172
liaohongxing 17 days ago
现在只是大模型刚出来，叫多了 token, 再叫词元你们叫不惯而已，等你们这一代人退休，下一代程序员就喊词元很顺了，没有那么大的隔阂，就像什么鲁棒性，现在不也接受了。。
|
 |
173
sampdoria 17 days ago
@jardel 不是哥们儿，你对外来语是不是有什么误解？外来语不是保留原本的外文形式，是用本土语言音译的方式包装外文原型。所以沙发是 sofa 的外来语形式，但不代表放着 token 不翻译也叫外来语
|
|
174
haojiuweijian1 17 days ago
op 觉得不好的话，可以提出一个更好的翻译。pr 谁都能提
也不要因为是'GOV'提了一个词就下意识的反对 |
|
175
credo123 17 days ago 6
@Serefrefee
"本模型采用 Transformer 架构，通过 Attention 机制对 Embedding 进行 Fine-tuning ，Token 限制为 4096 。 "本模型采用 Transformer 架构，通过注意力机制对词嵌入进行微调，词元限制为 4096 。" 上述两个还行是吧。 按你的翻译就是疯人院版： "本模型采用 川斯佛莫 架构，通过 阿腾森 机制对 因贝丁 进行 凡图宁，投肯 限制为 4096 。" ---》这他妈不是技术文档，这是咒语。 |
 |
176
jackerbauer 17 days ago
官方翻译成词元，你以为是拍脑袋定出来了？肯定经过很多论证和意见，才定下来的。不知道这一群人是什么心理？一个词元怎么了，至少信达雅了。
|
 |
177
Roan 17 days ago
这也能上升到政治，真是吃饱了撑的
|
 |
178
MK47 17 days ago
https://www.peopleapp.com/column/30052861725-500007638386
翻译政治化，唉 token 就是 token |
 |
179
HeavyWhale 17 days ago
@haukuen #28 信达雅还差个雅，基因同时靠着 gene 的英文发音，词元还差点
|
 |
180
MrYELiex 17 days ago
在“词元”出来前也没人说令牌啊，说的不都是 token 吗。为什么非要给所有东西一个中文翻译呢，而且这个翻译在日常使用并不方便。推广“词元”的媒体甚至是一群不懂什么是 LLM ，什么是 token 的文科生。
|
|
181
MrYELiex 17 days ago
自信点真的，没有一个外国人会因为我们用`token`而不是`词元`就觉得我们文化不自信。这个行业里面有无数人在努力，他们的努力足够让我们在全世界自豪：我们有 DeepSeek ， 我们有 Kimi ，都足够优秀。没什么好自卑的。
|
 |
182
javalaw2010 17 days ago
都不要吵了，我建议参考日语的翻译逻辑，翻译成“透啃”，谁赞成谁反对？
|
 |
183
NamelessRain 17 days ago
吃饱撑着了 这个也能吵 你们叫特朗普的时候 叫过 Donald John 没？ 有的是大把上年纪的人不会英文不知道怎么念 token
|
 |
184
collery 17 days ago
|
 |
185
syam 17 days ago
不知道动机是什么? 也没见说把 gap 翻译过来
|
 |
186
Topmax 17 days ago
总结：龟龟心理偏向叫 token ，文化自信偏向叫词元
|
 |
187
xiangbohua 17 days ago
我感觉“词元”这个翻译不差啊，业内不是叫做分词么，元表达了 xx 的构成的含义。
不过说实话，我觉得其实没必要非要给他一个翻译。。。 |
 |
188
immortality 17 days ago
词元是信达雅的翻译，好几年前就有了，现在有争议纯属是搞计算语言学的人太少了。
|
|
189
catazshadow 17 days ago via Android
@credo123 英语烂？是因为英语你学不会，现在终于找到借口给自开脱了吧🤣👍
不同的语言里的词汇对更基础的意义的打包方式不同，token 就是个打包了所有符号意义的词，汉语里找不到这样一对一的词汇，语言之间本来就有这种现象。这有什么了不得的？ 拿这个搞拉踩我看要么就是政治上头，要么就是给自己的愚蠢开脱 既然汉语找不到这样的词汇，那造出这样的词之前最好的用法就是继续用 token 本身，而不是赶鸭子上架，整出别的代用品来。在技术领域搞政治的最大害处就是为了人的意志强行扭曲了事物自身的发展。 |
 |
190
skadi 17 days ago
不如叫 炁
一炁化三清 |
 |
191
KeyboardManAnAn 17 days ago
@GyroZeppeli13 转化器, 转换器, 转型器, 转形器
|
 |
192
penll 17 days ago
我支持，翻译为“词元”
|
|
193
qqlax 17 days ago
@qqlax
@cosette 你是在搞笑吗？ github 早就取消了 i18n ，gitee 也没有翻译 pr 和 issue 😄 https://github.blog/news-insights/the-library/github-in-your-language/ |
|
194
credo123 17 days ago 7
@catazshadow 英语学不会？你当英语是什么高级玩意还学不会？这话说出来你自己信不信？觉不觉得搞笑？你拿这种话作攻击，力度小的可笑。
哦，不对，如果你说是 Pneumonoultramicroscopicsilicovolcanoconiosis ， 45 个字母，19 个音节，意思是"因吸入硅尘导致的肺部疾病"——也就是硅肺病/尘肺病。 讽刺的是：英语为了描述一个病，造了一个 45 字母的怪物；中文用"硅肺病"三个字就解决了。 我确实学不会，我不光学不会，还会复制然后嘲讽你这种人。 术语本地化是技术传播的自然规律， 合着你嘴里从来不说电脑，而是说 computer ；从来不说激光，而是说 laser ；从来不说软件，而是说 software 。 是这样吗？ 享受着前人翻译的红利，现在转头说"token 不能译"？你这不是尊重规律，你是吃完奶骂娘。 事实是：越基础、越普遍的术语，越需要翻译。 电脑、激光、软件、内存、硬盘，哪个不是这么过来的？ token 现在不译，二十年后照样要译。你现在拦着，什么居心？多享受几年"我能看懂你不懂"的信息差优越感？ token 在英语里根本不包含 AI 语义。他就是重新赋义/套用词。在我眼里，token 这玩意和 tttt,BBBBB,CCCCC,XXADASSDA,没有什么区别。不过是要在 token 原意基础上，结合语境再记忆一种释义。 你跪舔的"原教旨"，在英语母语者眼里也是重新赋义。你知道符号需要承载意义。那中文承载意义叫"词元"，比 token 那个"地铁币/令牌"本义更接近 AI 语义，有什么问题？ 汉字的强压缩特性，恰恰是汉字的优势，不是劣势。 "激光"两个字压缩了"受激辐射光放大"一整句话，"软件"压缩了"soft+ware"的机械组合。你可以放着优势不用，坚持你的原教旨，但你没理由反驳。 我一直在说语言特性，讲事实说证据，而你说我提政治？ 是你先把"中文翻译"污名化成"政治操弄"的。 把母语表达权污名化，把语言霸权包装成"技术中立"——这套话术殖民者用了几百年，你捡起来当真理，还觉得自己很清醒？ 我们的想法是翻译翻译，让技术传播更好，让大家更好理解。到你这里就是政治？拉踩？到底是谁居心不良？ 如果你攻击力不够强，干货不够多，就不要回复了，去贴吧混几年再说吧。单纯的情绪发泄，没有干货的回复我都懒的回你。 顺道你也看看英语国家内部，法律，医疗等几个模块，总体上每年到底有多少的新增词汇。 垃圾语言就是垃圾。 |
|
195
catazshadow 17 days ago
|
 |
196
nh1010 17 days ago
恶心
|
|
197
catazshadow 17 days ago
|
|
198
credo123 17 days ago
@catazshadow 麻烦反驳一下。不是 AI 写的。你也就这水平了。
|
|
199
credo123 17 days ago
@catazshadow 我就那么讲，你知道什么意思就行。一会说用 ai,一会又说我用的模块不对。
就那样吧，你这货色，也就是情绪发泄，实质讨论，拿不出点干货出来。 |
|
200
credo123 17 days ago
@catazshadow 明确的告诉你，贴吧论战，语言系的论证，我这一打的正反辩论资料。
本来和楼主正常讨论下，明晰下反对方的意见，给出我自己的观点，大家互相讨论。多正常。 就怕你这种拿不出点干货来，就是纯瞎逼逼。还试图引战。 跟你说话都是浪费精力。 88 ，拉黑不见。 |
Select Language