有人把「词元」一词塞进了 opencode

@yiqiao 如果是大势所趋的话，那真的就是早晚的事情（悲
其实很多词大概都必要去翻译，至于 Token 要不要翻译，当前「词元」这个词好不好，应该已经被讨论了很多了。
这个事情给我的感觉就是，首先我觉得它是属于没必要翻译的词，并且我觉得「词元」这个翻译很糟糕，然后这个词已经在慢慢地到处渗透。
可能让我意外的是这个词的接受度比我想象中的高，并不是大部分人都这么反感。

@haojiuweijian1 bro thought he's white

挺好的。github 反贼怎么那么多

不是应该直接叫词吗，以前的 lex 不是就叫分词

要么不翻译，假如要翻译的话目前没有见到其他更好的说法了，词元肯定算不上糟糕的翻译

放在一众 IT 领域的抽象翻译里，词元已经是顶中顶了

所以我一直用易语言，美国人亡我之心不死

词元这翻译还糟糕啊，我觉得是堪比「基因」这种级别的好翻译

为了反倒而反对

@Erona 你是建立在你是从业者角度上讲的。
类似海外英语国家里的法律条文一样，非从业者很难理解或者压根理解不了那些单词和句子。这就算语言壁垒了。

国内汉语一直传承下来的，就是要让普罗大众看到某些新词，新句子，最起码连蒙带猜能知道是什么意思。尽可能的减少语言壁垒。这是汉语的极大优势。

你可以翻翻国内那一堆的法律从业者和大 V 。他们是多么希望中国的法律条文和英文一样，能建立强大的语言壁垒，那他们就值钱太多了，话语权就大很多了。
你不看看现在国内的公检法都那么烂，如果有强大的语言壁垒，我认为会更烂。

这有什么吵的，自己再提交个 pr 不就完了

我是支持词元的， 或者说我支持一个大手用生造词强行统一这个 token 在大模型中的称呼，
首先明显比令牌好，然后等大家接受普及了就比 token 强，
现在进入 opencode 就是开源社区接受词元的一小步，

词元我觉得还是不错的翻译。
如果你音译的话，叫什么好？是透肯？

看了下更改,是把[令牌]改成[词元]而不是[token]改[词元],只能说词元总比令牌强

@lmmlwen 再串草死

词元是好的翻译，表达清楚、含义明确，这个词可以很好的概括 token 在 AI 领域的意思。

反对词元不如先反对鲁棒性

词元这个词非常合适啊，编译原理里面不是就把 token 翻译成词元吗，这翻译年纪比 transformer 大了，而且编译原理里面的 token 和现在大语言模型里的 token 用的是同一个涵义，那么自然应该翻译成同一个译文

多大点事，应该找个日本人提 PR ，美国人合并。就没那么多奇奇怪怪的质疑了。

@Erona #21
怎么可能是“没必要翻译的词”？可以说这个词语是“必须有个翻译，但不是必须用这个翻译”才对。

为什么说“这个词必须有个翻译”？因为这个操蛋的英语，明明那个控制权限、流量用的“令牌”，和现在大模型这里的“词元”是俩东西，但非得都叫“token”，这才给予了“有个翻译”的必要性。哦，你说大模型的“token”也是用来控制用量、收取费用的？那就应该看一下这个概念的来源：大模型的 token ，是算法本身就要进行的分词，是先在技术上有了“token”这个东西，再用它来作为用量统计和收费指标，是个自然过程；而控制权限、流量用的“token”，则是“为了权限控制，人为加上去的一个东西”，是人为加上去的。因此这俩还是不一样。

有了这个，再看“词元”这个翻译，还是挺靠谱的，这个翻译恰恰是植根于“分词”这个技术过程的。

“必须有个翻译”是上面讨论的，而“有了翻译不一定必须使用”，这就是对交流的语言习惯的妥协了。