Skip to content
谷歌2026年11月11日推出的Gemini Decision 1,一次最多为1,000个问题打分并给出每个选项的概率;一个独立指数现在也在评判决策模型的信心是否可信
人工智能与科技

谷歌2026年11月11日推出的Gemini Decision 1,一次最多为1,000个问题打分并给出每个选项的概率;一个独立指数现在也在评判决策模型的信心是否可信

插图:tuput

中文

谷歌DeepMind称,Gemini Decision 1接收一份输入和最多1,000个问题,在150到250毫秒内返回每个选项的概率,价格为每百万输入词元0.10美元。独立测试机构Artificial Analysis自2026年10月13日起对这类模型排名,其第二版还评分所给出的信心是否诚实。

· · 1 分钟阅读

谷歌DeepMind于2026年11月11日推出了Gemini Decision 1和Gemini Decisions API。这个模型不会逐字写出答案。按谷歌的描述,它“在一次前向传播中为你的候选选项打分”,并为每个选项返回一个概率。一次请求最多可以带1,000个相互独立的问题,围绕一份共享输入提问,输入可以是文本、图像、音频、视频或PDF,最长256K词元。谷歌给出的端到端时间是150到250毫秒,价格是每百万输入词元0.10美元,不对输出词元计费。

Gemini Decision 1属于测试公司Artificial Analysis所称的决策模型这一类。自2026年10月13日起,该公司为它们运行一个公开指数,11月8日发布的第二版不仅评分模型的答案对不对,也评分它所给出的信心是否可信。下文讲这些模型做什么、指数衡量什么,以及哪些数字来自开发方。

返回赔率的选择题

Artificial Analysis用一条客户消息来解释这个思路:“救命!我的付款已经失败3天了,明天就要交房租。”决策模型拿到关于这条消息的三个问题:这条消息该交给哪个团队(账单、技术还是账户),是否紧急(是或否),写信人有多不满(平静、沮丧还是愤怒)。它在一次调用中回答全部三个问题,并给出每个选项的概率。给语言模型同样的任务,它写出一份结构化回复,对每个问题指出一个答案,不附任何概率。这些语言模型是怎样构建的,又为什么一次只写一个词,见大语言模型是怎样训练的。

谷歌的API支持三类问题。是非题返回某个条件成立的概率。选择题接收2到255个选项,返回胜出者,以及每个候选项归一化后的概率。评分题按有序的评分细则给输入打分,返回加权分数和每个等级的概率。按文章的说法,每个答案都带有一个0到1的信心值,“这样你的代码就可以把模棱两可的情形交给备用方案或人工审核者”。

谷歌点出了自己的用法。Gemini Notebook把这个API当作路由器,把每个查询送到某个模型档位和某个思考级别,谷歌说这让日常查询的延迟最多降低40%。文章说,150到250毫秒这个数字适用于最长16K词元的上下文。文章还说,不论问多少个问题,共享输入每次请求只计费一次,每个问题只增加它自己的指令和选项文本。

其他开发方的同类思路

Gemini Decision 1进入的是一个已有数个参与者的领域。Liquid AI于2026年10月5日推出了d1,称之为“我们的第一个决策模型”,目前支持文本和图像。Liquid说它在一次前向传播中读取问题,不生成任何词元就返回概率,一次文本决策耗时200到300毫秒。11月16日,它发布了d1.2和d1.2-ultra,增加了音频输入和五项新任务,比如从发票上读出一个数值、找出一则笔记里的所有个人数据,或者在扫描表格上给签名画一个框。

11月11日,也就是谷歌发布的同一天,Subquadratic发布了SubQ Snap 1.2。该公司的定价是每百万输入词元0.04美元,称它能处理最长256K词元的输入,并发布了LongDecisionBench,这是九项长文档测试,它称之为开放的,并说不久会放到GitHub和Hugging Face上。

那时学术研究已经开始。Delip Rao和Chris Callison-Burch的一篇论文于2026年9月24日首次提交,把两个决策模型Jev和Perplexity的Decider,与用来评判书面答案的语言模型作了比较。

为什么概率才是重点

概率只有诚实才有用。模型说80%的时候,它应该在一百次中大约对80次。研究人员把这称为校准。Guo及同事在2017年的ICML会议上报告说,现代神经网络不像十年前的那些,校准得很差,而温度缩放这种只调一个数字的办法,在他们试过的大多数数据集上出人意料地有效。Kadavath及同事在2022年报告说,较大的语言模型在选择题和判断题上校准得很好,“只要它们以合适的格式呈现”。

Artificial Analysis说明了实际用法:决策模型的答案通常在其信心越过某个阈值时才被采纳,否则就交给人或能力更强的模型。谷歌描述的是同样的模式。只有当“有90%把握”这个标注真的接近90%时,这套安排才行得通。

独立指数衡量什么

Artificial Analysis于2026年10月13日推出决策指数v1.0,包含四项评估,各占25%:AA-Omniscience-Decision(500道私有问题,每题有四个答案和一个“我不知道”选项)、HLE-MultiChoice(人类最后的考试中513道纯文本选择题)、When2Call(NVIDIA的测试,考察模型该回答、调用工具、请求更多信息还是拒绝)和WildGuardTest(Ai2的安全分类数据集)。Jev 1.13以58分领先,GLiDE和Microsoft-Decision-1以54分居后。每百万次任务的成本从17美元到199美元不等,每项任务的中位用时从0.06秒到0.5秒。

v1.0的文章还报告说,所有决策模型都过度自信。在几乎所有概率水平上,准确率都低于模型给出的概率,Artificial Analysis认为这一差距主要出自知识和推理测试。在工具调用和分类上,大多数模型的校准相对较好。“我不知道”这个选项,与我们对AI幻觉的解说所述的问题相连:指数统计的是,答错的模型有多少次说自己不知道,而不是瞎猜。

11月8日发布的第二版,把指数的45%移到了私有数据集上,此前是25%,以防模型被针对公开测试做调优。它新增了决策分数。答对得50到100分,答错得50到0分,信心决定分数在各自这一半区间里的位置。就一项评估整体而言,分数等于50乘以(1加准确率减布里尔分数),其中布里尔分数是所给概率与答案是否正确之间差距平方的平均值,0表示有十足把握且始终正确。

该公司给出了这种效果的一个例子。在它新增的AA-Paperclip测试上,这是一个由1,500份简历、收据、发票和研究论文组成的私有数据集,Clef通过了36%的文档,Celeris-1.1 Decision通过了24%,但两者的决策分数相当,因为Celeris-1.1 Decision的布里尔分数更好,为0.15,Clef是0.27。

第二版还表明,标价并不能决定成本。各决策模型每百万次任务的成本相差60多倍,从Celeris-1.1 Decision的14美元到Clef的859美元。Artificial Analysis说,包括Drex Max v1.1和Decider v1.2在内的大多数决策模型,对一份文档的输入只计一次费,供它的所有问题共用,而GLiDE v1.2则对每个问题都计费。这使GLiDE v1.2的成本达到780美元,而Drex Max v1.1是102美元,尽管它的标价只高33%。

打乱选项后,答案会变吗

语言模型的一个已知弱点是对顺序敏感。Pezeshkpour和Hruschka在2023年8月报告说,当答案选项被重新排序时,各基准上的表现差距约为13%到75%。Wang及同事在2023年5月报告说,当语言模型评判两个答案时,改变它们出现的顺序,可以使排名发生偏斜。他们摘要中的一个例子是,在以ChatGPT为评判者时,Vicuna-13B在80个测试查询中有66个胜过ChatGPT。

指数的第二版用AA-Symmetry来测试这一点:120道基础问题和440个变体,变体包括重排选项、交换标签和把是非题取反。Mammoth 27B在99%的问题上跨变体选出了同一个答案,Drex Max v1.1是91%,GLiDE v1.2是88%,Clef是67%。Artificial Analysis说,它在这项测试上的领先,是由很高的承认不知道的比率推动的。其方法页面记录,自2026年11月起使用的2.1版,改动了该测试中的两类变体。

Subquadratic报告了它自己的一项相关测量。它说,在一个包含600个企业工作流决策的公开数据集上,对Snap 1.1、Jev 1.14和d1-ultra而言,重排选项会使12%到21%的问题的首选答案发生改变。它说Snap 1.2在推理时使用了一种架构上的改动,在若干基准上“几乎完全消除了排列敏感性”。这是该公司对自己模型的说法,用的是自己的测试。

2026年11月19日各模型的位置

Subquadratic在11月11日说,Snap 1.2在指数v2.1上得了73分,“并列第一”。Liquid AI在11月16日说,d1.2-ultra得了75分,比此前最好的决策模型高两分。11月19日读到的Artificial Analysis实时v2.1页面上的排行榜数据,与这两份报告一致。下表给出取整后的指数分数,以及该页面所列的每百万次任务成本和每项任务的中位用时。

模型开发方决策指数v2.1每百万次任务成本每项任务用时
Claude Haiku 5.5 (Max),语言模型Anthropic76约6,218美元约32.3秒
GPT-6 Luna (Max),语言模型OpenAI76约1,548美元约11.4秒
d1.2-ultraLiquid AI75约133美元218毫秒
Drex Max v1.1Nace.AI73约103美元283毫秒
SubQ Snap 1.2Subquadratic73约137美元162毫秒
GLiDE v1.2Fastino73约780美元284毫秒
Mammoth 27BBase Labs71约264美元106毫秒
Gemini Decision 1谷歌66约345美元211毫秒

Gemini Decision 1在这个指数上是66分,每项任务的中位用时约211毫秒,与列出的其他决策模型处于同一范围。谷歌的文章说,在涵盖智能体路由、推理、排序和多模态理解的基准上,该模型“在整个测试套件中领先,校准误差最低”。文章没有给出分数,这套测试也是谷歌自己的,所以这一说法无法与Artificial Analysis的数字对照。指数分数还取决于版本:11月8日的v2文章给两个语言模型的分数是77和76,GPT-6 Luna (Max)的成本是1,530美元,与实时的v2.1页面略有不同。

Liquid AI另外提出了它自己的校准说法。在它比较的五个模型全部答过的13个基准、22,505道问题上,它报告d1.2-ultra的校准误差是0.8个点,d1.2是1.2,Jev 1.14是2.7,Perplexity的Decider v1.3是3.7,其Decisions API上的GPT-6 Luna是7.2。这些是Liquid的测试,由开发方自己运行,页面也没有描述独立的复现。

证据没有解决的问题

指数有其自己页面所说明的局限。它的六项评估之一EvalSafe-O*NET-AA,其问题没有标准答案:方法页面说,参考答案是两个语言模型GPT-6 Astra和Claude Fable 5.1的平均,只保留两者一致的问题。私有数据集防止了针对性调优,也意味着读者无法查看其中大部分问题。关于排行榜为什么需要这类核查,更多背景见我们对基准错误与数据污染的梳理。

在头条数字上,语言模型仍然领先。在AA-Paperclip上,v2文章中Claude Haiku 5.5 (Max)通过了92%的文档,Drex Max v1.1是63%,成本和用时的差距见表。When2Call这一项测试的是AI智能体所依赖的工具选择环节,在v1.0中,领先的决策模型得了84分,在低档设置下测试的两个语言模型是77分和73分。

Rao和Callison-Burch的论文测试了决策模型能在多大程度上代替语言模型做评判者。其摘要报告说,语言模型评判者的成本是决策模型的16到357倍,用时是5到350倍,然而每个决策模型在27项比较中最多只有6项显著落后于它们。两类评判者的错误也很相像:在决策模型最有把握的错误上,三个flash档语言模型评判者的裁决中,有超过85%重复了这些错误。把不确定的裁决交给这些评判者作为备用方案,即使用了理想阈值,也只比最强的单个评判者最多提高2.7个点。

Share
Copied!

资料来源与延伸阅读

  1. Google: Gemini Decisions API, fast, calibrated multimodal decisions (11 November 2026)
  2. Artificial Analysis: Introducing the Decision Index v2 (8 November 2026)
  3. Artificial Analysis: Decision Index v1.0 (13 October 2026)
  4. Artificial Analysis: Decision Index v2.1 leaderboard and evaluation page
  5. Artificial Analysis: Decision Index benchmarking methodology and version history
  6. Subquadratic: SubQ Snap 1.2, order-robust decisions and higher long-context accuracy (11 November 2026)
  7. Liquid AI: d1.2, state-of-the-art omnimodal decision models (16 November 2026)
  8. Liquid AI: Introducing d1, the most capable decision model, now with vision (5 October 2026)
  9. arXiv 1706.04599: Guo, Pleiss, Sun and Weinberger, On Calibration of Modern Neural Networks (ICML 2017)
  10. arXiv 2207.05221: Kadavath et al., Language Models (Mostly) Know What They Know (2022)
  11. arXiv 2308.11483: Pezeshkpour and Hruschka, Large Language Models Sensitivity to the Order of Options in Multiple-Choice Questions (22 August 2023)
  12. arXiv 2305.17926: Wang et al., Large Language Models are not Fair Evaluators (29 May 2023)
  13. arXiv 2609.29769: Rao and Callison-Burch, Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places (24 September 2026)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#decision models#gemini decision 1#gemini decisions api#ai calibration#artificial analysis#decision index#liquid ai#model routing

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
中国最好的开放权重AI模型在一项独立指数上得46分,美国最强模型为58分,四个来源对落后的时间估计在2到8个月之间
中国的实验室占据了开放权重榜单的前列,但它们的许可证各不相同,它们的芯片情况只有部分记录在案,而测量与美国模型之间距离的人,彼此相差好几个月。
Mistral 的万亿参数模型 Le Chonk 在一项独立 AI 指数上得 38 分,位列开放模型第八,而它的权重还没有发布
法国的 Mistral 已把一个万亿参数的模型放上线,并说可下载的权重将在本月跟进。外部测试者把它排为中国以外最好的开放模型、全部开放模型中的第八,而 Mistral 自己给出的规模数字并不全都一致。
谷歌DeepMind于2026年11月11日发布的AlphaGenome 2,能预测DNA变异在特定细胞类型中的作用;据DeepMind自己的测试,它找出的因果变异几乎是上一代模型的两倍
人体每个细胞携带的DNA相同,读取的方式却各不相同。DeepMind的新模型正是围绕这一事实设计的,研究人员可以通过API使用它。本文介绍它的工作方式、展示过的测试案例,以及证据目前所处的位置。
← 全部文章