token 的中文翻译,正式定为词元,如何?

3 月 25 日
 tactac

个人认为很不错,语言的最小单元,和字节这个翻译类似。有没有人去注册一家词元跳动的公司?🤣

8363 次点击
所在节点    问与答
124 条回复
lujiaxing
3 月 25 日
@glacer 新闻媒体也用 token 就好了啊 大家统一
murmur
3 月 25 日
@lujiaxing 采访的时候可以用 token ,字幕要么翻译要么备注
QingXuJiaZhi
3 月 25 日
@lujiaxing 程序员思维、精英主义思维不利于赚钱。对于很多 AI 潜在消费者来说,token 这个英语单词确实不太友好。

你会反对 browser 翻译为浏览器吗,你会反对 programming 翻译成“编程”吗,你会反对 computer 翻译为电脑吗?如果不反对,为什么偏偏要反对 token 呢。
NO9527
3 月 25 日
token 指代东西太多了
lujiaxing
3 月 25 日
@murmur 可以不翻译/备注啊.
"目前 Deepseek-R3 单次使用支持的 token 数量已经来到了 2 兆的水平, 位于行业前列"
wowawesome
3 月 25 日
不如 话费
lujiaxing
3 月 25 日
@cmdOptionKana 因为 Programming, Computer, Web-Brow-ser 这些词又长读起来又拗口. Pro-gram-ming, Com-pu-ter 读起来都很麻烦, 不如 "编程", "电脑", "浏览器" 读起来简洁明了. 写起来也不如中文简洁
shintendo
3 月 25 日
@lujiaxing browser 是两个音节,浏览器是三个音节。还是说简不简洁看你感觉?
lujiaxing
3 月 25 日
@shintendo 三个. b-row-ser...
cdwyd
3 月 25 日
token 这个词本身就挺模糊的,词元比 token 好理解。
shintendo
3 月 25 日
@lujiaxing 你看你连音节都不会数,还是别讨论翻译问题了
ChineseTeacher
3 月 25 日
我都不知道上面这么多人在应激什么。“词元”这个翻译明明很好啊,让我想到把“byte”翻译成“字节”。

每个 byte 能承载一个 ASCII 字母,所以翻译成“字节”。token 翻译成词元,“元”引申单元,也指最基础的、小的处理单位,我觉得很好听。

其他领域内 token 翻译成令牌、代币,那是其他领域的事。你如果能认为 LLM 的 token 跟翻译成令牌、代币的 token 是一回事,那证明你对这些概念的理解有重大错误。

维基百科“token”在电脑领域下给了七八个不同的词条,都可以叫 token 。session token (网页会话)、security token (指 yubikey 这种东西)、access token (这种情况下翻译成令牌),还有虚拟货币的 token (翻译成代币)全都是不同的词条,LLM 的 token 的词条叫 tokenization ,这几个概念差别很大,英语里却只有一个词。搞一个新词出来方便一般公众理解,合适得不得了。

我还是觉得最适合跟词元这个翻译类比的是字节。字节和 byte 也没关系,但纯意译就搞了这么个翻译出来。mouse 英文就是老鼠,但计算机领域给翻译成鼠标。switch 在生活里可以指墙上的开关,动词可以指开关的动作,也可以指切换;专业领域里可以指铁路铁轨的道岔,还能指任天堂的游戏机;但是计算机领域里就给翻译成“交换机”。在实际可行的时候,根据实际含义来细化英文词汇的中文翻译,是理所当然的。如 switch 一样,一个英文单词对应多个中文含义的情况是非常多见的,token 能有 3 个中文翻译,分别对应不同情况,反倒对公众的理解是好事。

在日本人四处往语言里塞片假名的时候,我跟着一起喷。在微软把 sit back and relax 翻译成“坐和放宽”的时候,我也跟着一起喷。但词元这个翻译既不是片假名,也不是坐和放宽这种垃圾翻译,我无法理解为什么还会有人喷。你爱用 token 就用,就像你用 byte 一样。
PrinceofInj
3 月 25 日
@JiafuYuan http 请求的时候叫令牌啊,中文现在这种是最好的,我是想不明白为什么同样是 token ,在两个环境下有两个完全不同的意思。英语简直是…
vasto
3 月 25 日
难以理解
zyzdxb
3 月 25 日
2 token 就是二次元了
micean
3 月 25 日
@PrinceofInj 英语造词能力太弱了
TimG
3 月 25 日
日文假名的含金量飙升 hhhh
tinydancer
3 月 25 日
@axuadm19 这也能上来阴阳两句😅
zachary99
3 月 25 日
确实比 token 更加贴切和容易理解
tangping
3 月 25 日
点卡

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1200873

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX