大模型“语言税”曝光:中文问Claude竟比英文贵65%,OpenAI仅15%

导语:用中文问AI,居然比用英文贵65%?一项最新实验曝光了大模型计费中的语言不公现象,Claude对中文用户收取的“token溢价”远高于OpenAI,背后是分词机制对非英语语言的隐性成本。

如果告诉您,用中文向AI提问比用英文多花60%的钱,您信吗?AI研究员Aran Komatsuzaki最近用一项简单实验揭开了这个“隐藏收费”的盖子。他将著名论文《苦涩的教训》翻译成9种语言,分别输入6家主流大模型的分词器(tokenizer),统计处理同一内容所消耗的token数量。结果令人咋舌——中文使用者为Claude支付的“语言税”高达65%

实验显示,当用中文向Anthropic的Claude模型提问时,token消耗量是英文的1.65倍。这意味着,相同的话术、相同的问题,中文用户要承担比英文用户高出65%的计费成本。而OpenAI的GPT系列模型,中文token消耗仅比英文多15%,差距小得多。

这背后的“罪魁祸首”是分词器。大模型理解文本前,需将句子拆解为更小的token单元,不同语言和模型的分词策略差异巨大。一些模型对中文的分词效率较低,导致相同语义需要更多token。Claude系列使用的分词器显然对英文以外的语言优化不足,其非英语“溢价”在中文上尤为突出。Komatsuzaki的数据还揭示,其它非英语语言的费用差异亦普遍存在,但中文的额外成本最为夸张。

这项发现迅速在AI社区发酵,因为它不仅关乎技术公平,更直接冲击了中文用户的切身利益。在AI服务日益按token计费的当下,语言差异正悄悄转化为经济负担。如果Claude持续对中文用户收取“高额语言税”,再加上其较严格的地域限制,中文用户的综合使用成本将远超想象。相比之下,OpenAI相对温和的多语言成本结构,或许会成为开发者选择模型时的重要考量。

当然,这并非简单的“歧视”,而是训练数据分布与分词算法设计的技术后果。但无论原因如何,用户最终看到的是账单数字的差异。未来,模型提供商是否会在定价中融入语言公平性考量,或针对性优化分词器,值得持续关注。对于中文用户而言,当下最实际的行动或许是:在需要高频调用API的场景里,把问题尽量翻译成英文,直接省下近三分之一的成本。

实测中文问Claude多花65%Token费用,OpenAI仅15% – 大模型语言税揭秘

实测中文问Claude多花65%Token费用,OpenAI仅15% – 大模型语言税揭秘

实测中文问Claude多花65%Token费用,OpenAI仅15% – 大模型语言税揭秘

实测中文问Claude多花65%Token费用,OpenAI仅15% – 大模型语言税揭秘

实测中文问Claude多花65%Token费用,OpenAI仅15% – 大模型语言税揭秘

© 版权声明

相关文章

暂无评论

none
暂无评论...