今天看到 opencode 发版了, 才注意到这个三天前的 PR: https://github.com/anomalyco/opencode/pull/40977
PR 里的讨论现在还不多，但是已经有偏离技术和翻译本身的迹象了。 不过抛开其他因素不谈，我也自始至终都觉得这是个糟糕的翻译。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
201
catazshadow 17 days ago
|
 |
203
Sosocould 17 days ago  3
词元甚至比 token 更是符合 token
|
 |
204
slmev 17 days ago 4
@catazshadow 人家和你论证，你除了喷一下，找些言语上的毛病，就没啥干货，人家不想和你聊不很正常
|
 |
205
EvanClausen 17 days ago
@GyroZeppeli13 变形金刚
|
|
206
catazshadow 17 days ago
|
|
207
catazshadow 17 days ago
|
 |
208
ybybwdwd 17 days ago
@catazshadow #206 有谁说过汉语一定要囊括天下了吗？不囊括天下就不能翻译个新词了？
|
|
209
ybybwdwd 17 days ago
看了 opencode 的两个 issues ，反对的人大多都是有政治立场的情绪化表达，支持的人大多都是有理有据的，以及部分反击情绪化表达的
|
 |
210
MzM2ODkx 17 days ago
非必要翻译，不过“词元”是个好翻译。
|
|
211
catazshadow 17 days ago via Android
@ybybwdwd 楼上那些喷英语垃圾的，不就是觉得万能的汉语居然找不到一个跟 token 对应的词，不可能是汉语的问题，一定是 token 的问题吗？
|
 |
212
ff521 17 days ago
其实是因为国人都不愿意润美,润的足够多就没有这种争议了,改成都用中文
|
 |
213
iden 17 days ago 4
任何不带立场的智人应该都能理解“词元”比“令牌”好得多
|
 |
214
credo123 17 days ago 1
@iden 我第一次在 chartgpt 上看到 token 的时候，还以为是令牌的意思，寻思咋的。。。每次请求必须有一个令牌？动态的令牌？当时没明白。
后来用的过程中，看到文档对 token 的释义。才明白了过来，是一个计费单元啊。 当时的庆幸是：还好他们没创造什么难记的词。。。。 如果是“词元”的话，可能有人不理解，但我觉得起码不会误解。 |
 |
215
migim 17 days ago
评论区还有拿多模态反驳的，多模态大模型在内部也是以纯文本形式处理图片，transformer 架构就是这样的，外面如何包装都改变不了其本质。
|
 |
216
lulaolu 17 days ago
|
 |
217
MIUIOS 17 days ago
别吵了，有啥好吵的，楼主喜欢令牌就叫令牌呗， 我今天用了 1 个亿的令牌，挺好的
|
 |
218
IvanLi127 17 days ago
词元不一定是好翻译，但翻译成词元肯定比翻译成令牌好。不过现在词元已经被干出政治含义了，还不如直接写成 token 。
|
|
219
MIUIOS 17 days ago
英语这个垃圾语言能流行是因为简单，垃圾也是因为太简单，一个单词承载那么多意思，遇到没有的还得造。
|
 |
221
EriczzZ 17 days ago
词元到底惹谁了？
因为不是英文所以低人一等？ 自卑成这样？ 你是世界二等公民呗？见了洋爹得跪呗？ 什么时候中文环境轮得到外国人插嘴了？ 你国内不服你就国内 battle ？找你洋爹站台啥意思呢？ |
 |
222
yzw7489757 17 days ago
看到有个评论说，要不先把华为 Meta 70 Pro Max 改成 华为伙伴 70 专业旗舰版，我是没意见的，既要与国际化接轨，又喊着权重，合着规矩你定锅我背呗
|
 |
223
bestmos 17 days ago
op 在 pr 里面喷完渴望在 v 站获得赞同，结果全是反对票
|
 |
225
zhengqiang64 17 days ago
@catazshadow 所以这跟 PR 有啥关系？ PR 有提吗？话说回来，token 这词用了多久了？作为第全球第二大 AI 国家，如果我们对 LLM 的 token 这词都没权利翻译的话，那就真没话语权了，你现在用的手机也不该叫手机，只能叫 phone ，你用的电脑也不能叫电脑，必须叫 computer 。你现在还在用这些中文，难道不就是提现了中国话语权的地位？不然凭啥中国人说这是手机这是电脑？
|
 |
226
cosette 17 days ago
@qqlax 网页版没有 i18n ，你知道移动版实装了吗？你能搜到 16 年的旧闻，为什么不顺手搜点新的，或者直接问一下 AI 呢？ pull request 翻译成拉取请求，issue 翻译成议题，作为 GitHub 的专名术语，你觉得这个翻译合胃口吗？😂
|
|
228
catazshadow 17 days ago via Android
@zhengqiang64 “第二大 AI 国家”也亏你脸皮厚到能拿这个说事。数量是多，可你没有几个原创概念啊？你以为你声音大别人就都该听你的吗？你是不是对技术邻域的话语权怎么来的有什么本质误解？
|
 |
229
MK47 17 days ago
@yzw7489757 对的哥 对的
|
 |
230
Y25tIGxpdmlk 17 days ago
@zhywang #43 对对对，句柄和套接字他妈的是最扯淡的翻译，季度抽象，我都怀疑二十多年前那些写教材的 IT 人有没有思考能力。
|
 |
231
PositionZero 17 days ago 1
看了眼 PR 讨论，很多人不是反对这个翻译本身，而是预设了立场来的
|
 |
232
Anarchy 17 days ago
@zhengqiang64 这个话语权也是有够抽象的，就当真有这个东西吧，那这个话语权应该体现在平时说话里，如果平常打字依然 AI ，LLM 的中英混排对后代影响多不好啊。仅仅是通过后续查字典说我们老祖宗定义过有中文名称，并不能算夺回话语权。
|
 |
233
Erona OP @ffgrinder 首先我回答一下我觉得 tokenizer 不够精准的地方，尽管你我都已经适应并认同它叫做分词器。
就拿 compiler 的场景来说，tokenizer 切分的除了可以被视作「词」的 keyword 外，还有数字，符号等等。 所以从这个角度来看，我们已经认可的分词器也同样不够精确。进而我想表达的是，就翻译来说「词元」可能和「分词器」类似。 我在 PR 中和这个帖子中其中都表达过一个观点，就是大部中文母语认识在做 LLM 相关的交流时用的肯定是「 token 」，这点应该没有异议吧。 那么把一个大家已经适应的，习惯的，没问题的，甚至是全球几乎都这么用的词，强行地去翻译成一个本土词汇，我不觉得这是一个对各位有益的事情。而且这个词走进大家的视野里也有一段时间了，无论是支持它的人也好，反对它的人也好？有多少人真的在交流中弃用「 token 」而改用「词元」的吗？ 然后我在这里顺便回复一下 @Rorysky 的评论： 你的观点完全没错，但是你可能误解了我的意思。这个项目它本身就不是中文的，中文都是翻译来的。除了「令牌」这个错误翻译，肯定还有更多更加错误的翻译。但是他能 work ，而且这些错误的翻译大概使用者也能理解，开发资源应倾注到其他地方，所以我觉得它「没大碍」。 关于这个 PR ，我觉得既然都修了，那么就应该用一个大部分人都在真正使用的词，而不是造成眼睛看着「词元」，心里读着「 token 」的这种情况，这很令人不舒服。 |
 |
234
nanpu 17 days ago
词元这个翻译比上古年代那一批计算机词汇翻译的好多了，鲁棒性 套接字 句柄 缺省，随口都能说出来这么多垃圾翻译
|
 |
236
lm1368 17 days ago
@migim #234 你原文说的是“多模态大模型在内部也是以纯文本形式处理图片”, 现在又是“举一个不需要向量化处理的多模态大模型”了? 你的意思是图片向量化和文本向量化没有区别? 那你能否解释一下原生多模态?
|
 |
237
bollld607 17 days ago via Android 1
我记得日本那边已经翻译成「字句」了
https://ja.wikipedia.org/wiki/%E5%AD%97%E5%8F%A5 |
 |
240
lyinan 17 days ago
从中文语义下，token 翻译从词元挺信达雅，我想不出什么其它的翻译比这个好
|
|
241
zhengqiang64 17 days ago
@catazshadow 哦对对对，全感谢马斯克开源，要不是马斯克就没国产 AI 是啊？
|
 |
242
LUO12826 17 days ago
@catazshadow #207 那你的观点是什么，不能一一对应，不能囊括，就不翻译了？那是不是全世界的语言都不要互译了
|
 |
243
naver1 17 days ago
不如叫“指令”
|
 |
244
skinny 17 days ago
现在反感翻译成“词元”的理由难道不是官方瞎 JB 把所有语境的 Token 都强行说成词元吗
|
 |
245
JoJoP 17 days ago
增加多语言翻译本来就是给人带来方便的，opencode 基本也是程序员或者至少看得懂 token 的人在用，确实没必要翻译成 “词元”，保留“token”更符合现阶段 opencode 中文用户的使用习惯，那就应该保留，场景下更适合的才是更好的。
如果是面向非程序员群体或者不会英语的人 那可能是“词元”这个有翻译的更合适，这样用户至少能大概理解到是个什么东西。 中文能与时俱进不断更新词库 造出新的词，说明还是有活力的语言。“词元”这个翻译可能还稍微差点火候，但是正确表达意思上是完全没啥问题的。有对应词义的翻译肯定是比没有来的好的，不然最后会变成和日语一样一堆假名在那拼外来词。 |
|
246
LUO12826 17 days ago
看到大多数人还是认可“词元”这个翻译，感觉很欣慰。使用翻译后的词汇或不使用，是个人的自由，但那些主张 token 就不该有中文翻译的，真的喷都懒得喷，祝他们以后遇到的律师医生全都用外文专业词汇和他们对话。
|
|
247
catazshadow 17 days ago via Android
@zhengqiang64 要不是马斯克开源你猜有没有你引以为豪的国产电车？
|
 |
248
enpitsulin 17 days ago 1
@catazshadow #247 感谢马圣只给中国开源
|
 |
249
GV 17 days ago
@catazshadow token 并不足够好，更像是被滥用了，不结合语境不知道准确意思。但也正因为被滥用了，导致程序员群体一听到 token 就马上想到多个意思，反而显得“很通用”、并且“足够好”了。
但中文总不能把 token 音译成“偷啃”，然后让大家也根据语境去推理吧？ |
 |
250
Kada 17 days ago
如果不接受翻译 token 的，那你计算机、主板、内存、脚本都别用。坚持用 computer 、mother board 、RAM 、script.
令牌翻译的什么鬼，相当于把 port 翻译成港口，把 shell 翻译成贝壳。 词元挺信达雅的，支持。 |
|
251
catazshadow 17 days ago via Android
@GV 根据语境判断词义本来就是使用语言的一部分，怎么 token 就一定坏呢？如果 token 更差因为它的语义太泛，那汉语里的“打”字又如何呢？打饭，打人，打折，全都是不一样的意思啊？
|
|
252
zhengqiang64 17 days ago
@catazshadow 不是吧，玩梗你当真了？
|
 |
253
mengzhuo 17 days ago
语言是给人交流用的，token=词元 对普通中国人来说更友好，我支持词元。
而且一堆人支持的其实都是被计算机知识诅咒了，英语这种垃圾表音语言，token 第一次跟你说你鬼知道是个啥，具体可以看看这篇解读 https://www.cas.cn/cm/202603/t20260330_5105382.shtml |
 |
254
danaesoziommw49 17 days ago
|
 |
255
digdug 17 days ago
就叫 token 不好吗 嘻嘻
|
|
256
catazshadow 17 days ago
@zhengqiang64 所以你被说服了吗？
|
|
257
danaesoziommw49 17 days ago
@MK47 #178 问题这个 rp 不是 toekn -> 词元，是“令牌”->“词元”，你认为这个 token 和令牌有关系吗？
|
|
258
danaesoziommw49 17 days ago
@MrYELiex #180 你看 rp 了吗？这个 rp 就是 “令牌”->“词元”，之前“令牌”肯定不合适
|
 |
259
fairytale 17 days ago via Android
翻译的挺好。token 已经不是开发圈子专业术语了，你不能让大爷大妈玩豆包付费的时候念陶肯吧。应该改的不应该是什么句柄 套接字••••••么。到现在“外-佛哎”“哎屁屁”，这种深入大众，但没个简短统一的二字中文词就很烦。
|
 |
260
hyphenhhh 17 days ago
[img]https://iili.io/C605Plj.jpg[/img]
|
|
261
fairytale 17 days ago via Android
跟长辈解释，手机上俩网络开关，［ WWAN Cellular 蜂窝 •••••］叫流量网，［ WLAN Wi-Fi 无线局域网 •••••］叫路由器网。然后问什么［ App 软件 应用 •••••］区别是啥，头大啊，让我再解释 token ？所有俩汉子能做到“信达雅”三选二的，都是好翻译。
|
|
262
fairytale 16 days ago via Android
除专业领域小圈子用词之外。走入大众生活的，除了极少部分大写缩写的专用名词，超过 3 个字母的英文词，都应该有个统一的简短的翻译。不然就会诞生奇怪的东西，比如，屁屁涕，温叉屁•••••
|
 |
263
xuhengjs 16 days ago
想不出比“词元”更好的翻译了
|
 |
264
pinylin 16 days ago
文元呀
LLM : 宏文 Token : 文元 |
 |
265
lovelylain 16 days ago via Android 5
楼主之所以反对词元，是因为这个词在国内是官方认证过的，抛开这点，词元无疑是对大模型 token 很好的一个翻译，但是楼主抛不开。
|
 |
266
Tompes 16 days ago
1. 词元并非新词，学术圈已经用了很久了。
2. 你大可使用 token ，就好像有人喜欢中英文夹杂说话，没人禁止你这样说话。 3. 如果必须有一个翻译，你觉得如何翻译好？翻译成 トークン 吗？ |
 |
267
liuxue 16 days ago
个人觉得这个 token 翻译的没什么问题，我不太能接受它把 agent 翻译成代理
|
 |
268
kkwa56188 16 days ago 1
记得当年强行犟着不肯说 WiFi 和 NBA 的时候， 我们的确走过一点弯路， 后来还是自己觉得越来越不对劲了的 于是就悄咪咪的使用回英文原称一字不改， 宣传口径上也是黑不提白不提的过去了
|
 |
269
ffgrinder 16 days ago 1
@Erona
1. 因为 token 不是我们定义的概念，所以在没有官方翻译之前没人会发明一个词来指代。这都能被你拿来作为”没人用词元“的证据说明你最基本的逻辑都有问题。就好像”没有 china 这个翻译之前老外都管瓷器叫瓷器，所以 china 这词就有问题一样可笑。 2. 新的词汇不是给你这种固步自封的人用的，是拿来给后人，给不了解情况的人，给大家一个可以不懂英语就交流的”锚“，没有任何法律告诉你不能用 token ，只是定义了词元作为官方翻译，again ，现代简体中文就是当前执政党推行的，你的拒绝没有任何价值，也没有讨论价值。我建议你从根本上拒绝简体中文并发明一个更信达雅的体系，我看好你。 3. token 这个词本身也不是英语，也是经历了巨大的变迁，原意在文章里面也提到过，是符号的意思。你应该去到美国政府去请愿把 token 这个词的"token （词元）"这个意思移除，因为”不精确“。 务必做到知行合一，不要做小丑，token(llm)也是借用了 token 的“符号”概念并做了改进，你怎么不坚决反对了？因为洋大人惹不起啊？ 自己 PR 完了别人嘲 跑到 v2 又被人群嘲，闹麻了真是 Blocked |
|
270
Erona OP @ffgrinder 你的回复很有攻击性，似乎是谁惹到你了，令你及其的不爽。
我之前对你的回复，以及对其他的人的，都是保持着平和讨论的心态，我很好奇到底是哪句话触碰到你的逆鳞了。 或许你只是看到其他人的发言不爽，从而迁怒与我？ 这个话题本身就很有争议，也有很多奇怪方向的讨论。但是如果你自己看过我的发言，你应该清楚我自始至终都是针对这个话题本身去讨论的。 我十分不理解我哪里不够知行合一，甚至到了要被你教育的地？我也十分疑惑我的观点又哪里能扯得上「洋大人」？你要是不满意其他人的政治倾向，请直接去对线，而不是把怒火发泄到我的身上，这是十分不理智的行为。 另外，对一个有争议的话题，抛出自己的观点去讨论，很显然会收到很多反对。所谓的讨论，不就是不同观点之间尝试互相理解和交流吗。如果你觉得和你相左的观点都是小丑，都活该被嘲讽，那我确实无话可说。 最后，祝好。 |
 |
273
PalenessIb 16 days ago
从一开始我就不觉得词元是个好翻译，视觉上不够一目了然，读起来也有点绕。但架不住总有些人非要借题发挥，以此表演行为艺术，展现他们多么憎恨自己的母国和母语，那我也只能支持“词元”普及标准化了。
|
 |
274
yjw06282 16 days ago
|
 |
275
Desdemor 16 days ago
都挺好的，我习惯了还是 Token 展示，就是 Wifi/APP 啥的。用词元也无所谓。我只能说就因果关系来说，这种事情是必然的。
|
 |
276
yuruizhe 16 days ago
@GyroZeppeli13
当然是变形金刚啦 |
|
277
yuruizhe 16 days ago
多年前李宏毅的公开课就用到了词元这个说法，现在只是被广电局扩大宣传了一下，这两种说法将长期存在
|
 |
281
nyxsonsleep 16 days ago
@zhywang 鲁棒性不比这些烂
|
 |
282
zqguo 16 days ago
这个词本身没有问题，我个人也觉得翻译的很好，但是被赋予了其它涵义我就比较反感。
|
 |
283
jetsung 16 days ago
1. 上面政治方面的“抢夺话语权”应该用“防止被抢夺话语权”更合适。因为这个词是简体中文，肯定是中文使用者使用，而英文用户，不会用这词来作为单位。
2. 这个词肯定是内部头部企业联合投票决定选择的。否则，一家用“词元”，一定用“文元”，这样会导致各研究人员研究完 A 模型用的“词元”，再到 B 模型用“文元”的混乱。 3. 这个是计量单位，已经跨行业了。未来这个词的使用频率肯定会更高，越早翻译，形成统一认知，比造成混乱后再进场的好。 4. 很多计算机的专业术语没有官方翻译，各位应该有遇到过，一份英文文档的两个团队翻译的英文文档，用词差异都非常大。 5. LLM 被翻译成“大语言模型”，这种就没有什么歧义。但是“Agent”这个，估计是下一个“Token”类似的争议词，虽然目前大家都用“智能体”，但这个字面上来说，跟“Agent”区别还挺大的。 6. 在出现合适的词之前总是会出现各种混乱，比如“人型”机器人，早期用得挺多。现在都改为“具身”机器人了。这个就没有多少人争论。 7. 其实，在“Token”翻译成“词元”之前，除了“令牌”，我还见过翻译成“代币”的。有个官方定义的词，在企业宣讲时，要不就用“token”，要不就用“词元”，而不会出现“令牌”、“代币”这种混乱。 |
 |
284
cellsyx 16 days ago
词元这个翻译早就有了，起码在大模型领域的出现时间肯定早于 25 年初。很多人讨厌的不是这个翻译本身，而是某些媒体莫名其妙地跳出来又是上价值又是定调，搞的好像翻译是他提出来的一样。
|
 |
285
layxy 16 days ago
一个东西要普及进入普罗大众，那有个中文名字是必要的，你不能要求所有人都可以说 token ，认识 token ，中文翻译是有必要的，就像目前的一些西药，虽然翻译的拗口难读，别人问你吃了啥药，你说中文但凡能说出俩字总比比划半天别人也不知道你说的啥强
|
 |
286
cubeWX 16 days ago
词元觉得不好在于，本身要表示的意思是个最小单位，结果表达却是个组合，给人感觉在形式上不够对应。但是 token 这个词本身就不怎么样，英语本身也是个缝合语言，就别来装优越了。
|
 |
287
vinsony 16 days ago
@ybybwdwd #209 翻译没问题，只是官方自己要上纲上线上升到话语权。国内现在连新闻跟帖都要先审后发，一直捂嘴还不够，现在还要把嘴捏成它们想要的形状，当然会有人反对。
|
 |
288
fanhed 16 days ago
不觉得糟糕, 词元翻译比令牌精准得多
|
 |
289
jianzhao123 16 days ago via iPhone
@GyroZeppeli13 变型人
|
 |
290
Meteora626 16 days ago
git 上评论的这些人 百分之 99 的不会用 opencode ，包括楼主，因为我对这种人的画像 就是精致利己
|
|
292
zhengqiang64 16 days ago
@Anarchy 你是真没见过非技术人沟通 AI 的东西吗？我们技术在跟商务和运营沟通时，早就用词元来代替 token 了。token 这词，他们之前压根不理解。有一次后台系统要重新登录，说 token 过期了，别人还一脸莫名其妙问登录跟模型有啥关系
|
 |
293
Geekbench7 16 days ago
这玩意不是把错误翻译的令牌改成词元吗？有啥问题啊，如果硬要翻译，除了官方定义的词元，其他人造出来的词，能保证大多数人接受嘛？
|
 |
294
sheltonZ 16 days ago
比起令牌，词元好多了，但是不如直接 token
|
 |
295
FLAMINGOS 16 days ago
词元挺好的呀，以后再有更新再改呗。 总比一天拖肯拖肯的叫好。
|
 |
296
astonsun 16 days ago
就叫词 就挺好的，词元感觉多余了
|
 |
297
hhs66317 16 days ago
全国科学技术名词审定委员会发布《关于发布试用人工智能领域名词 token 中文名“词元”的公告》，决定在综合考量社会各界意见建议的基础上，优先推荐“词元”作为人工智能领域名词 token 的中文名，并面向全社会发布试用。
来源： https://www.cas.cn/cm/202603/t20260330_5105382.shtml |
 |
299
wonderqs 16 days ago
https://www.zaobao.com/news/china/story20260806-9481250
[中国官媒：长期依附外来术语 会让科技认知局限既定框架中] 人民日报都说了，要 “筑牢语言防线” ，希望 V2EX 的各位同志要深入领会人民日报的评论精神，也要全力配合相关部门 “优化术语审定机制” ，共同维护 “中国特色科技话语体系” 。 争吵是无意义的，各位同志还是要统一思想，提高认识，要有大局观、全局观。不仅要有 “文化自信” ，更要有看齐意识。绝不能让民族科技的发展受限于西方框架！ |
|
300
Anarchy 15 days ago via Android
@zhengqiang64 你不会认为我看到词元就能看明白吧？对于新概念有学习成本不是很正常的事情么。
词元这个词在我这为什么不好？元是万物的一是万物在时间尺度的那个 1 ，有些哲学感，而且隐含这是一个重要的东西。而 token 则是本身对应的东西不重要，重点关注它能做什么，这也是为什么 token 意思一大堆。 另外楼里有些说是词的单元（单位衍生含义的元），乍看下来好像正确，不过细想下也有些怪，词的单元不应该就是字么。答案不是字那这个元就不是单元，所以又绕回去了。 学计算机的普遍被这类翻译坑过，比如鲁棒性不好是因为音译么，不好的原因是看不出来是音译导致走了不少弯路，语言大师们可别乱搞小巧思了。 |
Select Language