AI怎么省token?从模型选择到指令瘦身实测

AI怎么省token?从模型选择到指令瘦身实测
AI怎么省token费用:五种省法实测账本与指令瘦身对比插图

省token的大头藏在指令里,不在模型价签上。同一个改写任务,我把五种省法各跑十次,改指令那组平均砍掉一半多的开销,比直接换便宜模型多省近三成。先瘦身指令,再考虑换模型,顺序反了等于白花钱。

AI怎么省token费用?八月底之前我的答案是换便宜模型,直到我连着记了一本token账,结论挺打脸:最省的一刀不是砍模型,是砍指令。同一篇1800字的产品更新日志改邮件,指令改瘦之后,每次调用平均少花3300个token,比换小模型省得多,还没翻过一次车。

五种省法各跑十次,这本账先上桌

同一任务五种省法各跑十次:改指令一组平均省53%,换最小档模型省约四成还翻车三次,最划算的是先动指令。下面把记账口径和账本一起交出来,数字都是我自己一遍遍跑出来的。

任务固定:把一篇1800字的产品更新日志改写成300字以内的用户邮件,外加提炼三个要点。每组按各自的省法连跑十次,每次记两个数,输入token和输出token。费用口径先说清楚:按当期某主流API中间档牌价估算,输入每百万token约2美元、输出约8美元,只算单次调用,返工另计。

基线是我原来的写法,指令拖泥带水,还塞了三封历史邮件当示例。十次跑下来,单次平均6200个token上下,输入占八成,而且每次之间波动不小,最贵的一回冲到7100。说实话,看到这个比例我就明白问题出在哪了——不是AI话多,是我喂得太多。

省法单次平均token费用对比基线十次翻车我的评价
原样指令(基线)约6200—0次贵,但稳
直接换最小档模型约6100省约40%3次返工一次,省的全吐回去
指令瘦身约2900省53%0次本次实测冠军
只喂相关段落约3400省45%1次省得多,但挑段落费人工
调低思考档位约4700省24%2次机械任务够用,写作别碰

九月一日晚上那次我记得最清楚。朋友托我把他们SaaS的更新日志改成用户邮件,最小档模型第十次跑,把「三个要点」写成了五个,还自作主张加了一句促销话术,他看完问我这是什么营销套路。返工一次,等于白付一次全款。对,翻车就是这么不讲道理。

顺嘴说一句,记到第五六次的时候我有点烦,想随便取个平均算了,后来咬牙跑满十次才发现最小档那组翻车全集中在后半段——采样这事儿真不能偷懒。扯远了,回到账本。

AI怎么省token费用见效最快?先瘦指令,再谈换模型

指令瘦身四刀:删背景、示例砍到一个、输出钉死、长文拆两步,单次token能从六千压到三千以内;换模型只降单价,留到机械大批量任务再换。四刀按省钱效果从大到小排,动刀顺序别乱。

第一刀,删背景。我原来习惯把项目来龙去脉整段贴进去,好像AI不认识我就会写砸。后来只留三行硬约束:产品名、受众、语气。输出质量没掉,我试了下连续十次,波动反而比原来小。

第二刀,示例减半再减半。三个示例改成一个,只留格式最标准的那封。省下的全是输入token,肉眼可见,光这一刀就砍掉六百多。

第三刀,把输出钉死。「只输出邮件正文,不要解释,不要开场白,300字以内」,这一句话值几百个token。模型不再自说自话,输出长度从平均一千出头降到四百多,直接腰斩。删词比换词安全,换一个词语气就变,之前整理过一篇同义词替换踩坑的笔记,道理相通(换了词句气就变的例子)。

第四刀,长文档拆两步。先让AI只返回哪些段落和邮件相关,第二次只喂那几段。多一次调用,总token反而少一半,这是四刀里我最意外的一刀。

那换模型呢?我的判断带偏向。分类打标签、抽字段这种机械活,最小档模型加瘦身指令一起上,总费用能压到基线的两成以内,值得。写作类任务别先动模型,语感塌了,返工比省下的钱贵。

至于等新模型替你省钱,我持保留态度。公开报道里新一代模型在压思考token的用量,行业里也在讲「token经济」,听着是好消息。不过具体省多少,各家口径不一,截至发稿没有可核验的统一数字,这部分我不替厂商记账。我的账,只认自己十次十次跑出来的数。

回到开头那本账。3300个token的差价,按一天二十次调用算,一个月就是小两百万token的量级——这是我自己都没想到的。省token这件事,刀先落在指令上,模型留到最后换,顺序反了,钱就白花了。

常见问题

token费用去哪里查?

主流平台都有用量面板,输入和输出分开列,建议按天导出。自己做对比实验时多跑几次取平均,单次波动不小,十次起步才像话。

中文是不是比英文更费token?

我的观察是同样的内容,中文常吃掉更多token,分词方式不同。指令类内容试着翻成英文再喂,账面常有百分之十几的差距,以你自己实测为准,别照抄我的数。

重复调用能吃到缓存折扣吗?

固定前缀的调用,部分平台对命中缓存的部分打折,幅度各家不一样,用之前查当期牌价。旧文章里的折扣数字别当真,价格变得快。

调低思考档位会翻车吗?

会。抽取、分类基本没事,写作和多步推理容易露怯。我十次里翻车两次,都是要点漏项,重要任务别图这点便宜。

延伸阅读