Skip to content
గూగుల్ జెమిని డెసిషన్ 1, 2026 నవంబర్ 11న విడుదలైంది, ఒకే పాస్‌లో 1,000 ప్రశ్నల వరకు ప్రతి ఎంపికకు ఒక సంభావ్యతతో స్కోర్ ఇస్తుంది, డెసిషన్ మోడళ్ల నమ్మకం విశ్వసనీయమేనా అని ఇప్పుడు ఒక స్వతంత్ర సూచిక గ్రేడ్ చేస్తోంది
ఏఐ మరియు సాంకేతికత

గూగుల్ జెమిని డెసిషన్ 1, 2026 నవంబర్ 11న విడుదలైంది, ఒకే పాస్‌లో 1,000 ప్రశ్నల వరకు ప్రతి ఎంపికకు ఒక సంభావ్యతతో స్కోర్ ఇస్తుంది, డెసిషన్ మోడళ్ల నమ్మకం విశ్వసనీయమేనా అని ఇప్పుడు ఒక స్వతంత్ర సూచిక గ్రేడ్ చేస్తోంది

చిత్రణ: tuput

తెలుగు

జెమిని డెసిషన్ 1 ఒక ఇన్‌పుట్‌ను, 1,000 వరకు ప్రశ్నలను తీసుకుని, ప్రతి ఎంపికకు సంభావ్యతను 150 నుంచి 250 మిల్లీసెకన్లలో, మిలియన్ ఇన్‌పుట్ టోకెన్లకు 0.10 డాలర్ల ధరకు ఇస్తుందని గూగుల్ డీప్‌మైండ్ చెబుతోంది. స్వతంత్ర పరీక్షకర్త ఆర్టిఫిషియల్ అనాలిసిస్ ఈ తరగతి మోడళ్లను 2026 అక్టోబర్ 13 నుంచి ర్యాంక్ చేస్తోంది, దాని రెండో వెర్షన్ చెప్పిన నమ్మకం నిజాయితీగా ఉందా అని స్కోర్ చేస్తుంది.

· · 8 నిమిషాల పఠనం

గూగుల్ డీప్‌మైండ్ 2026 నవంబర్ 11న జెమిని డెసిషన్ 1ను, జెమిని డెసిషన్స్ ఏపీఐని ప్రవేశపెట్టింది. ఈ మోడల్ సమాధానాన్ని పదం పదంగా రాయదు. గూగుల్ వర్ణనలో అది “మీ అభ్యర్థి ఎంపికలను ఒకే ఫార్వర్డ్ పాస్‌లో స్కోర్ చేస్తుంది”, ప్రతి దానికి ఒక సంభావ్యతను ఇస్తుంది. ఒక అభ్యర్థన 256కె టోకెన్ల వరకు ఉన్న టెక్స్ట్, చిత్రాలు, ఆడియో, వీడియో లేదా పీడీఎఫ్‌ల ఉమ్మడి ఇన్‌పుట్‌పై 1,000 వరకు స్వతంత్ర ప్రశ్నలను మోయగలదు. ఎండ్-టు-ఎండ్ సమయాన్ని 150 నుంచి 250 మిల్లీసెకన్లుగా, ధరను మిలియన్ ఇన్‌పుట్ టోకెన్లకు 0.10 డాలర్లుగా, అవుట్‌పుట్ టోకెన్లకు బిల్లింగ్ లేకుండా గూగుల్ పేర్కొంది.

జెమిని డెసిషన్ 1, పరీక్షా సంస్థ ఆర్టిఫిషియల్ అనాలిసిస్ డెసిషన్ మోడళ్లు అని పిలిచే తరగతికి చెందింది. 2026 అక్టోబర్ 13 నుంచి ఆ సంస్థ వాటికి ఒక బహిరంగ సూచికను నడుపుతోంది, నవంబర్ 8న ప్రచురించిన దాని రెండో వెర్షన్ మోడల్ సమాధానం సరైనదేనా అని, అలాగే చెప్పిన నమ్మకం విశ్వసనీయమేనా అని కూడా స్కోర్ చేస్తుంది. ఈ మోడళ్లు ఏం చేస్తాయో, సూచిక ఏం కొలుస్తుందో, ఏ సంఖ్యలు తయారీదారుల నుంచి వచ్చాయో కింద ఉంది.

సంభావ్యతలు ఇచ్చే బహుళ ఎంపిక పరీక్ష

ఆర్టిఫిషియల్ అనాలిసిస్ ఈ ఆలోచనను ఒక కస్టమర్ సందేశంతో వివరిస్తుంది: “సాయం చేయండి! నా పేఅవుట్‌లు 3 రోజులుగా విఫలమవుతున్నాయి, రేపు నా అద్దె కట్టాలి.” డెసిషన్ మోడల్‌కు దానిపై మూడు ప్రశ్నలు ఇస్తారు: ఆ సందేశం ఏ బృందానికి వెళ్లాలి (బిల్లింగ్, సాంకేతిక లేదా ఖాతా), అది అత్యవసరమా (అవును లేదా కాదు), రాసినవారు ఎంత కలత చెందారు (ప్రశాంతంగా, నిరాశగా లేదా కోపంగా). అది మూడింటికీ ఒకే కాల్‌లో, ప్రతి ఎంపికకు సంభావ్యతతో సమాధానమిస్తుంది. అదే పని ఇచ్చిన భాషా మోడల్ ప్రతి ప్రశ్నకు ఒక సమాధానాన్ని పేర్కొనే నిర్మాణాత్మక జవాబు రాస్తుంది, సంభావ్యతలు జోడించకుండా. ఆ భాషా మోడళ్లు ఎలా నిర్మించబడతాయో, ఒక్కో పదం ఎందుకు రాస్తాయో తెలుసుకోవడానికి పెద్ద భాషా మోడల్‌కు శిక్షణ ఎలా ఇస్తారు చూడండి.

గూగుల్ ఏపీఐ మూడు రకాల ప్రశ్నలకు మద్దతు ఇస్తుంది. అవును/కాదు ప్రశ్న ఒక షరతు నిజమయ్యే సంభావ్యతను ఇస్తుంది. ఎంపిక ప్రశ్న 2 నుంచి 255 ఎంపికలను తీసుకుని, విజేతను, ప్రతి అభ్యర్థికి సాధారణీకరించిన సంభావ్యతను ఇస్తుంది. స్కోర్ ప్రశ్న ఇన్‌పుట్‌ను క్రమబద్ధమైన రూబ్రిక్‌కు వ్యతిరేకంగా గ్రేడ్ చేసి, బరువుతో కూడిన స్కోర్‌ను, ప్రతి స్థాయికి సంభావ్యతను ఇస్తుంది. ప్రతి సమాధానంలో 0 నుంచి 1 వరకు నమ్మక విలువ ఉంటుంది, పోస్ట్ మాటల్లో “కాబట్టి మీ కోడ్ అస్పష్టమైన కేసులను ఫాల్‌బ్యాక్‌కు లేదా మానవ సమీక్షకుడికి పంపగలదు”.

గూగుల్ తన సొంత వాడకాలను పేర్కొంటుంది. జెమిని నోట్‌బుక్ ఏపీఐని ప్రతి ప్రశ్నను ఒక మోడల్ శ్రేణికి, ఒక థింకింగ్ స్థాయికి పంపే రౌటర్‌గా వాడుతుంది, ఇది రోజువారీ ప్రశ్నలకు 40 శాతం వరకు తక్కువ లేటెన్సీతో సేవ చేస్తుందని గూగుల్ చెబుతోంది. 150 నుంచి 250 మిల్లీసెకన్ల గణాంకం 16కె టోకెన్ల వరకు ఉన్న కాంటెక్స్ట్‌లకు వర్తిస్తుందని పోస్ట్ చెబుతోంది. ఎన్ని ప్రశ్నలు అడిగినా ఉమ్మడి ఇన్‌పుట్‌కు ఒక అభ్యర్థనకు ఒకసారే బిల్లు వేస్తారని, ప్రతి ప్రశ్న తన సొంత సూచన, ఎంపిక పాఠ్యాన్ని మాత్రమే జోడిస్తుందని కూడా అది చెబుతోంది.

ఇతర తయారీదారుల నుంచి అదే ఆలోచన

జెమిని డెసిషన్ 1 అనేక ప్రవేశకులు ఉన్న రంగంలోకి వచ్చింది. లిక్విడ్ ఏఐ 2026 అక్టోబర్ 5న తన d1ను “మా మొదటి డెసిషన్ మోడల్”గా ప్రవేశపెట్టింది, ఇప్పుడు టెక్స్ట్, చిత్రాలకు మద్దతు ఇస్తుంది. ప్రశ్నలను ఒకే ఫార్వర్డ్ పాస్‌లో చదువుతుందని, ఏ టోకెన్లనూ రూపొందించకుండా సంభావ్యతలను ఇస్తుందని, టెక్స్ట్ నిర్ణయానికి 200 నుంచి 300 మిల్లీసెకన్లు పడుతుందని లిక్విడ్ చెబుతోంది. నవంబర్ 16న అది d1.2, d1.2-ultraను విడుదల చేసింది, ఇవి ఆడియో ఇన్‌పుట్‌ను, ఇన్‌వాయిస్ నుంచి ఒక విలువను చదవడం, ఒక నోట్‌లోని ప్రతి వ్యక్తిగత డేటాను కనుగొనడం, స్కాన్ చేసిన ఫారంపై సంతకం చుట్టూ పెట్టె గీయడం వంటి ఐదు కొత్త పనులను జోడిస్తాయి.

నవంబర్ 11న, గూగుల్ విడుదల అదే రోజున, సబ్‌క్వాడ్రాటిక్ సబ్‌క్యూ స్నాప్ 1.2ను విడుదల చేసింది. కంపెనీ దాని ధరను మిలియన్ ఇన్‌పుట్ టోకెన్లకు 0.04 డాలర్లుగా పేర్కొంది, 256కె టోకెన్ల వరకు ఇన్‌పుట్‌లను నిర్వహిస్తుందని చెబుతోంది, లాంగ్‌డిసిషన్‌బెంచ్ అనే తొమ్మిది దీర్ఘ-పత్ర పరీక్షలను ప్రచురించింది, వాటిని అది ఓపెన్ అని వర్ణిస్తూ త్వరలో గిట్‌హబ్‌లో, హగ్గింగ్ ఫేస్‌లో పెడతానని చెబుతోంది.

అప్పటికే విద్యా పని మొదలైంది. 2026 సెప్టెంబర్ 24న మొదట సమర్పించిన డెలిప్ రావు, క్రిస్ కాలిసన్-బర్చ్ పత్రం రెండు డెసిషన్ మోడళ్లను, జెవ్, పెర్ప్లెక్సిటీ డెసైడర్‌ను, రాసిన సమాధానాలకు న్యాయనిర్ణేతలుగా వాడిన భాషా మోడళ్లతో పోలుస్తుంది.

సంభావ్యతే ఎందుకు ముఖ్యం

సంభావ్యత నిజాయితీగా ఉంటేనే ఉపయోగపడుతుంది. మోడల్ 80 శాతం అని చెప్పినప్పుడు, అది వంద సార్లలో సుమారు 80 సార్లు సరిగా ఉండాలి. పరిశోధకులు దీన్ని క్యాలిబ్రేషన్ అంటారు. ఒక దశాబ్దం క్రితం నాటి వాటిలా కాకుండా ఆధునిక న్యూరల్ నెట్‌వర్క్‌లు సరిగా క్యాలిబ్రేట్ కావని, ఒక సంఖ్య సర్దుబాటైన టెంపరేచర్ స్కేలింగ్ వారు ప్రయత్నించిన చాలా డేటాసెట్‌లపై దాన్ని సరిచేయడంలో ఆశ్చర్యకరంగా ప్రభావవంతంగా ఉందని గువో, సహచరులు 2017లో ఐసీఎంఎల్ సదస్సులో నివేదించారు. పెద్ద భాషా మోడళ్లు బహుళ ఎంపిక, నిజం/అబద్ధం ప్రశ్నలపై “సరైన ఫార్మాట్‌లో ఇచ్చినప్పుడు” బాగా క్యాలిబ్రేట్ అవుతాయని కడావత్, సహచరులు 2022లో నివేదించారు.

ఆర్టిఫిషియల్ అనాలిసిస్ ఆచరణాత్మక వాడకాన్ని చెబుతుంది: డెసిషన్ మోడల్ సమాధానంపై సాధారణంగా దాని నమ్మకం ఒక పరిమితిని దాటినప్పుడు చర్య తీసుకుంటారు, లేకపోతే ఒక వ్యక్తికి లేదా మరింత సమర్థ మోడల్‌కు పంపుతారు. గూగుల్ అదే విధానాన్ని వర్ణిస్తుంది. “90 శాతం ఖచ్చితం” అనే లేబుల్‌కు 90 శాతానికి దగ్గరగా అర్థం ఉంటేనే ఈ ఏర్పాటు పనిచేస్తుంది.

స్వతంత్ర సూచిక ఏం కొలుస్తుంది

ఆర్టిఫిషియల్ అనాలిసిస్ తన డెసిషన్ ఇండెక్స్ v1.0ను 2026 అక్టోబర్ 13న నాలుగు మూల్యాంకనాలతో ప్రారంభించింది, ప్రతిదానికి 25 శాతం బరువు: AA-Omniscience-Decision (500 ప్రైవేట్ ప్రశ్నలు, ఒక్కోదానికి నాలుగు సమాధానాలు, “నాకు తెలియదు” ఎంపిక), HLE-MultiChoice (హ్యుమానిటీస్ లాస్ట్ ఎగ్జామ్‌లోని 513 టెక్స్ట్-మాత్రమే బహుళ ఎంపిక ప్రశ్నలు), When2Call (మోడల్ సమాధానం ఇవ్వాలా, టూల్‌ను పిలవాలా, మరింత సమాచారం అడగాలా లేదా నిరాకరించాలా అనే ఎన్విడియా పరీక్ష), WildGuardTest (Ai2 నుంచి భద్రతా వర్గీకరణ సెట్). జెవ్ 1.13 58తో ముందుంది, జీఎల్ఐడీఈ, మైక్రోసాఫ్ట్-డెసిషన్-1 54తో వెనుక ఉన్నాయి. ఖర్చులు మిలియన్ పనులకు 17 నుంచి 199 డాలర్ల వరకు, మధ్యస్థ సమయాలు ఒక్కో పనికి 0.06 నుంచి 0.5 సెకన్ల వరకు ఉన్నాయి.

ప్రతి డెసిషన్ మోడల్ అతివిశ్వాసంతో ఉందని కూడా v1.0 వ్యాసం నివేదించింది. దాదాపు అన్ని సంభావ్యత స్థాయిల్లో ఖచ్చితత్వం మోడల్ ఇచ్చిన సంభావ్యత కంటే తక్కువగా ఉంది, ఈ అంతరాన్ని ఆర్టిఫిషియల్ అనాలిసిస్ ప్రధానంగా జ్ఞాన, తర్క పరీక్షలకు ఆపాదించింది. టూల్ కాలింగ్, వర్గీకరణలో చాలావరకు సాపేక్షంగా బాగా క్యాలిబ్రేట్ అయ్యాయి. “నాకు తెలియదు” ఎంపిక ఏఐ భ్రాంతిపై మా వివరణలో వివరించిన సమస్యకు అనుసంధానమవుతుంది: తప్పుగా ఉన్న మోడల్ ఊహించకుండా తనకు తెలియదని ఎన్నిసార్లు చెబుతుందో సూచిక లెక్కిస్తుంది.

నవంబర్ 8న ప్రచురించిన వెర్షన్ 2, మోడళ్లను పబ్లిక్ పరీక్షలకు అనుగుణంగా ట్యూన్ చేయకుండా కాపాడటానికి, సూచికలో 45 శాతాన్ని ప్రైవేట్ డేటాసెట్‌లపైకి మార్చింది, ఇది గతంలో 25 శాతం. ఇది డెసిషన్ స్కోర్‌ను జోడించింది. సరైన సమాధానం 50 నుంచి 100 మధ్య, తప్పు సమాధానం 50 నుంచి 0 మధ్య స్కోర్ ఇస్తుంది, ప్రతి సగంలో నమ్మకం స్కోర్‌ను కదిలిస్తుంది. ఒక మూల్యాంకనం అంతటా స్కోర్ 50 రెట్లు (1 ప్లస్ ఖచ్చితత్వం మైనస్ బ్రియర్ స్కోర్)కు సమానం, ఇక్కడ బ్రియర్ స్కోర్ అంటే ఇచ్చిన సంభావ్యతకు, సమాధానం సరైనదా కాదా అనేదానికి మధ్య సగటు వర్గ అంతరం, 0 అంటే ఖచ్చితంగా ఎల్లప్పుడూ సరైనది.

ప్రభావానికి సంస్థ ఒక ఉదాహరణ ఇస్తుంది. రెజ్యూమేలు, రసీదులు, ఇన్‌వాయిస్‌లు, పరిశోధన పత్రాల 1,500 ప్రైవేట్ సెట్ అయిన తన కొత్త AA-Paperclip పరీక్షలో, క్లెఫ్ 36 శాతం పత్రాల్లో, సెలెరిస్-1.1 డెసిషన్ 24 శాతంలో ఉత్తీర్ణత సాధిస్తాయి, అయినా సెలెరిస్-1.1 డెసిషన్‌కు మెరుగైన బ్రియర్ స్కోర్ ఉండటంతో, 0.27కు వ్యతిరేకంగా 0.15, రెండూ డెసిషన్ స్కోర్‌లో సమానం.

జాబితా ధరలు ఖర్చును నిర్ణయించవని వెర్షన్ 2 చూపింది. డెసిషన్ మోడళ్లలో మిలియన్ పనులకు ఖర్చు 60 రెట్లకు పైగా మారింది, సెలెరిస్-1.1 డెసిషన్‌కు 14 డాలర్ల నుంచి క్లెఫ్‌కు 859 డాలర్ల వరకు. డ్రెక్స్ మ్యాక్స్ v1.1, డెసైడర్ v1.2 సహా చాలా డెసిషన్ మోడళ్లు పత్రం ఇన్‌పుట్‌కు దాని అన్ని ప్రశ్నలకూ కలిపి ఒకసారి బిల్లు వేస్తాయని, జీఎల్ఐడీఈ v1.2 ప్రతి ప్రశ్నకూ బిల్లు వేస్తుందని ఆర్టిఫిషియల్ అనాలిసిస్ చెబుతోంది. దాంతో జీఎల్ఐడీఈ v1.2 జాబితా ధర కేవలం 33 శాతం ఎక్కువే అయినా, డ్రెక్స్ మ్యాక్స్ v1.1కి 102 డాలర్లకు వ్యతిరేకంగా 780 డాలర్లు ఖర్చయింది.

ఎంపికలను కలిపినప్పుడు సమాధానం మారుతుందా?

భాషా మోడళ్ల తెలిసిన బలహీనత క్రమానికి సున్నితత్వం. సమాధాన ఎంపికలను పునఃక్రమం చేసినప్పుడు బెంచ్‌మార్క్‌ల అంతటా సుమారు 13 శాతం నుంచి 75 శాతం పనితీరు అంతరాన్ని పెజేష్‌కూర్, ఎరుష్కా 2023 ఆగస్టులో నివేదించారు. ఒక భాషా మోడల్ రెండు సమాధానాలను తీర్పు చెప్పినప్పుడు, అవి కనిపించే క్రమాన్ని మార్చడం ద్వారా ర్యాంకింగ్ వక్రీకరించబడవచ్చని వాంగ్, సహచరులు 2023 మేలో నివేదించారు. వారి సారాంశంలోని ఒక ఉదాహరణలో, చాట్‌జీపీటీ న్యాయనిర్ణేతగా ఉన్నప్పుడు 80 పరీక్ష ప్రశ్నల్లో 66లో విక్యూనా-13బీ చాట్‌జీపీటీని ఓడిస్తుంది.

సూచిక వెర్షన్ 2 దీన్ని AA-Symmetryతో పరీక్షిస్తుంది: 120 మూల ప్రశ్నలు, 440 వైవిధ్యాలు, ఎంపికలను పునఃక్రమం చేయడం, లేబుళ్లను మార్చడం, అవును/కాదు ప్రశ్నలను నిరాకరణగా మార్చడం. మామత్ 27బీ 99 శాతం ప్రశ్నల్లో వైవిధ్యాల అంతటా అదే సమాధానాన్ని ఎంచుకుంది, డ్రెక్స్ మ్యాక్స్ v1.1కి 91 శాతం, జీఎల్ఐడీఈ v1.2కి 88 శాతం, క్లెఫ్‌కు 67 శాతం. ఈ పరీక్షలో ఆధిక్యం తమకు తెలియదని అంగీకరించే అధిక రేటు వల్ల వచ్చిందని ఆర్టిఫిషియల్ అనాలిసిస్ చెబుతోంది. 2026 నవంబర్ నుంచి వాడుకలో ఉన్న వెర్షన్ 2.1 పరీక్షలోని రెండు వైవిధ్య రకాలను మార్చిందని దాని పద్ధతి పేజీ నమోదు చేసింది.

సబ్‌క్వాడ్రాటిక్ తన సొంత సంబంధిత కొలతను నివేదిస్తుంది. 600 సంస్థాగత వర్క్‌ఫ్లో నిర్ణయాల పబ్లిక్ సెట్‌పై, ఎంపికలను పునఃక్రమం చేయడం వల్ల స్నాప్ 1.1, జెవ్ 1.14, d1-ultraలకు 12 శాతం నుంచి 21 శాతం ప్రశ్నల్లో అగ్ర సమాధానం మారిందని అది చెబుతోంది. అనేక బెంచ్‌మార్క్‌లపై స్నాప్ 1.2 ఇన్‌ఫరెన్స్ సమయంలో ఒక నిర్మాణ మార్పును వాడి “పర్ముటేషన్ సున్నితత్వాన్ని దాదాపు పూర్తిగా తొలగిస్తుంది” అని అది చెబుతోంది. అది కంపెనీ సొంత మోడల్‌కు సంబంధించిన సొంత కథనం, సొంత పరీక్షలపై కొలిచింది.

2026 నవంబర్ 19 నాటికి మోడళ్ల స్థానం

స్నాప్ 1.2 సూచిక v2.1లో 73 స్కోర్ చేసిందని, “మొదటి స్థానంలో సమానం” అని సబ్‌క్వాడ్రాటిక్ నవంబర్ 11న చెప్పింది. d1.2-ultra 75 స్కోర్ చేసిందని, ఇది మునుపటి ఉత్తమ డెసిషన్ మోడల్ కంటే రెండు పాయింట్లు ముందని లిక్విడ్ ఏఐ నవంబర్ 16న చెప్పింది. నవంబర్ 19న చదివిన ఆర్టిఫిషియల్ అనాలిసిస్ లైవ్ v2.1 పేజీలోని లీడర్‌బోర్డ్ డేటా రెండు నివేదికలకు అనుగుణంగా ఉంది. పట్టిక రౌండ్ చేసిన సూచిక స్కోర్లను, పేజీ జాబితా చేసినట్లు మిలియన్ పనులకు ఖర్చును, ఒక్కో పనికి మధ్యస్థ సమయాన్ని ఇస్తుంది.

మోడల్తయారీదారుడెసిషన్ ఇండెక్స్ v2.110 లక్షల పనులకు ఖర్చుఒక్కో పనికి సమయం
Claude Haiku 5.5 (Max), భాషా మోడల్ఆంత్రోపిక్76సుమారు 6,218 డాలర్లుసుమారు 32.3 సెకన్లు
GPT-6 Luna (Max), భాషా మోడల్ఓపెన్ఏఐ76సుమారు 1,548 డాలర్లుసుమారు 11.4 సెకన్లు
d1.2-ultraలిక్విడ్ ఏఐ75సుమారు 133 డాలర్లు218 మిల్లీసెకన్లు
Drex Max v1.1Nace.AI73సుమారు 103 డాలర్లు283 మిల్లీసెకన్లు
SubQ Snap 1.2సబ్‌క్వాడ్రాటిక్73సుమారు 137 డాలర్లు162 మిల్లీసెకన్లు
GLiDE v1.2ఫాస్టినో73సుమారు 780 డాలర్లు284 మిల్లీసెకన్లు
Mammoth 27Bబేస్ ల్యాబ్స్71సుమారు 264 డాలర్లు106 మిల్లీసెకన్లు
Gemini Decision 1గూగుల్66సుమారు 345 డాలర్లు211 మిల్లీసెకన్లు

ఈ సూచికలో జెమిని డెసిషన్ 1 66 వద్ద ఉంది, ఒక్కో పనికి మధ్యస్థ సమయం సుమారు 211 మిల్లీసెకన్లు, జాబితాలోని ఇతర డెసిషన్ మోడళ్ల పరిధిలోనే. ఏజెంట్ రూటింగ్, తర్కం, ర్యాంకింగ్, బహుళ మాధ్యమ అవగాహనను కవర్ చేసే బెంచ్‌మార్క్‌లలో మోడల్ “అత్యల్ప క్యాలిబ్రేషన్ లోపంతో సూట్ అంతటా ముందుంది” అని గూగుల్ పోస్ట్ చెబుతోంది. పోస్ట్ ఏ స్కోర్లనూ ఇవ్వదు, సూట్ గూగుల్ సొంతం, కాబట్టి ఆ వాదనను ఆర్టిఫిషియల్ అనాలిసిస్ గణాంకాలతో పోల్చలేం. సూచిక స్కోర్లు వెర్షన్‌ను బట్టి కూడా మారతాయి: నవంబర్ 8 నాటి v2 వ్యాసం రెండు భాషా మోడళ్లకు 77, 76, GPT-6 Luna (Max)కు 1,530 డాలర్లు ఇచ్చింది, ఇవి లైవ్ v2.1 పేజీకి కొద్దిగా భిన్నం.

లిక్విడ్ ఏఐ తన సొంత క్యాలిబ్రేషన్ వాదనను జోడిస్తుంది. పోల్చిన ఐదు మోడళ్లన్నీ సమాధానమిచ్చిన 13 బెంచ్‌మార్క్‌లు, 22,505 ప్రశ్నల అంతటా, d1.2-ultraకు 0.8 పాయింట్ల క్యాలిబ్రేషన్ లోపాన్ని, d1.2కు 1.2, జెవ్ 1.14కు 2.7, పెర్ప్లెక్సిటీ డెసైడర్ v1.3కి 3.7, దాని డెసిషన్స్ ఏపీఐలో జీపీటీ-6 లూనాకు 7.2గా నివేదిస్తుంది. అవి లిక్విడ్ పరీక్షలు, తయారీదారే నడిపినవి, స్వతంత్ర పునరావృతాన్ని పేజీ వర్ణించలేదు.

సాక్ష్యం తేల్చనివి

సూచికకు దాని సొంత పేజీలు చెప్పే పరిమితులు ఉన్నాయి. దాని ఆరు మూల్యాంకనాల్లో ఒకటైన EvalSafe-O*NET-AAకి దాని ప్రశ్నలకు గ్రౌండ్ ట్రూత్ లేదు: సూచన సమాధానం రెండు భాషా మోడళ్లు, GPT-6 Astra, Claude Fable 5.1 సగటు అని, రెండూ ఏకీభవించిన ప్రశ్నలను మాత్రమే ఉంచుతుందని పద్ధతి పేజీ చెబుతోంది. ప్రైవేట్ డేటాసెట్‌లు ట్యూనింగ్ నుంచి కాపాడతాయి, చాలా ప్రశ్నలను పాఠకులు పరిశీలించలేరని కూడా అర్థం. లీడర్‌బోర్డ్‌లకు ఇలాంటి తనిఖీ ఎందుకు అవసరమో విస్తృత సందర్భం కోసం బెంచ్‌మార్క్ లోపాలు, కలుషితంపై మా సమీక్ష చూడండి.

శీర్షిక సంఖ్యపై భాషా మోడళ్లు ఇప్పటికీ ముందున్నాయి. AA-Paperclipలో, పట్టికలోని ఖర్చు, సమయ అంతరాలతో, v2 వ్యాసంలో Claude Haiku 5.5 (Max) 92 శాతం పత్రాల్లో ఉత్తీర్ణమైంది, Drex Max v1.1కి 63 శాతం. When2Call భాగం ఏఐ ఏజెంట్లు ఆధారపడే టూల్-ఎంపిక దశను పరీక్షిస్తుంది, v1.0లో ముందున్న డెసిషన్ మోడళ్లు దానిలో 84 స్కోర్ చేశాయి, లో సెట్టింగ్‌లో పరీక్షించిన రెండు భాషా మోడళ్లకు 77, 73.

రావు, కాలిసన్-బర్చ్ పత్రం డెసిషన్ మోడల్ న్యాయనిర్ణేతగా భాషా మోడల్ స్థానాన్ని ఎంతవరకు భర్తీ చేయగలదో పరీక్షిస్తుంది. భాషా-మోడల్ న్యాయనిర్ణేతలకు 16 నుంచి 357 రెట్లు ఖర్చయిందని, 5 నుంచి 350 రెట్లు సమయం పట్టిందని, అయినా ప్రతి డెసిషన్ మోడల్ 27 పోలికల్లో గరిష్ఠంగా 6లో మాత్రమే వాటి కంటే గణనీయంగా వెనుకబడిందని దాని సారాంశం నివేదిస్తుంది. రెండు రకాల న్యాయనిర్ణేతలూ ఒకేలా తప్పు చేశాయి: డెసిషన్ మోడల్ అత్యంత నమ్మకమైన తప్పులపై మూడు ఫ్లాష్-శ్రేణి భాషా-మోడల్ న్యాయనిర్ణేతల తీర్పుల్లో 85 శాతానికి పైగా వాటినే పునరావృతం చేశాయి. అనిశ్చిత తీర్పులను ఫాల్‌బ్యాక్‌గా ఆ న్యాయనిర్ణేతలకు పంపడం, ఒరాకిల్ పరిమితులతో కూడా, బలమైన ఒకే న్యాయనిర్ణేత కంటే గరిష్ఠంగా 2.7 పాయింట్లు మాత్రమే పెంచింది.

Share
Copied!

మూలాలు మరియు మరింత చదవడానికి

  1. Google: Gemini Decisions API, fast, calibrated multimodal decisions (11 November 2026)
  2. Artificial Analysis: Introducing the Decision Index v2 (8 November 2026)
  3. Artificial Analysis: Decision Index v1.0 (13 October 2026)
  4. Artificial Analysis: Decision Index v2.1 leaderboard and evaluation page
  5. Artificial Analysis: Decision Index benchmarking methodology and version history
  6. Subquadratic: SubQ Snap 1.2, order-robust decisions and higher long-context accuracy (11 November 2026)
  7. Liquid AI: d1.2, state-of-the-art omnimodal decision models (16 November 2026)
  8. Liquid AI: Introducing d1, the most capable decision model, now with vision (5 October 2026)
  9. arXiv 1706.04599: Guo, Pleiss, Sun and Weinberger, On Calibration of Modern Neural Networks (ICML 2017)
  10. arXiv 2207.05221: Kadavath et al., Language Models (Mostly) Know What They Know (2022)
  11. arXiv 2308.11483: Pezeshkpour and Hruschka, Large Language Models Sensitivity to the Order of Options in Multiple-Choice Questions (22 August 2023)
  12. arXiv 2305.17926: Wang et al., Large Language Models are not Fair Evaluators (29 May 2023)
  13. arXiv 2609.29769: Rao and Callison-Burch, Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places (24 September 2026)

ఈ వ్యాసం AI సాధనాల సహాయంతో పరిశోధించి రాయబడింది మరియు కచ్చితత్వం కోసం సవరించబడింది. ఇది సాధారణ సమాచారం మరియు చర్చ కోసం మాత్రమే, వృత్తిపరమైన సలహా కాదు. మా సంపాదకీయ ప్రమాణాలు మరియు నిరాకరణ చూడండి. తప్పు కనిపించిందా? మాకు తెలియజేయండి.

#decision models#gemini decision 1#gemini decisions api#ai calibration#artificial analysis#decision index#liquid ai#model routing

నచ్చిందా? తదుపరిది పొందండి.

ఒకసారి ఒక మంచి వ్యాసం, నేరుగా మీ ఇన్‌బాక్స్‌కు. స్పామ్ లేదు, ఎప్పుడైనా ఆపవచ్చు.

ఇదే విభాగంలో మరిన్ని: ఏఐ మరియు సాంకేతికత
చైనా ఉత్తమ ఓపెన్ ఏఐ మోడల్‌కు స్వతంత్ర సూచీలో 46, అగ్రశ్రేణి అమెరికన్ మోడల్‌కు 58. ఆ అంతరాన్ని నాలుగు వనరులు 2 నుండి 8 నెలల మధ్య చూపుతున్నాయి
ఓపెన్-వెయిట్ పట్టికల పైభాగాన్ని చైనా ల్యాబ్‌లు నింపుతున్నాయి, కానీ వాటి లైసెన్సులు వేరువేరు, చిప్‌ల కథ కొంతవరకే నమోదైంది, అమెరికా మోడళ్లకు ఉన్న దూరాన్ని కొలిచేవారు నెలల తేడాతో విభేదిస్తున్నారు.
మిస్ట్రల్ 1 ట్రిలియన్ పారామీటర్ల లే చాంక్ స్వతంత్ర AI సూచికలో 38 స్కోరు సాధించింది, ఓపెన్ మోడల్స్‌లో ఎనిమిదో స్థానం, దాని వెయిట్స్ ఇంకా విడుదల కాకముందే
ఫ్రాన్స్‌కు చెందిన మిస్ట్రల్ ఒక ట్రిలియన్ పారామీటర్ల మోడల్‌ను ఆన్‌లైన్‌లో పెట్టింది, డౌన్‌లోడ్ చేయగల వెయిట్స్ ఈ నెలలోనే వస్తాయని చెప్తోంది. బయటి పరీక్షకులు దాన్ని చైనా వెలుపలి ఉత్తమ ఓపెన్ మోడల్‌గా, ఓపెన్ మోడల్స్‌లో ఎనిమిదోదిగా ర్యాంకు ఇచ్చారు, దాని పరిమాణంపై మిస్ట్రల్ సొంత సంఖ్యలు అన్నీ ఒకదానితో ఒకటి కుదరవు.
గూగుల్ డీప్‌మైండ్ ఆల్ఫాజీనోమ్ 2, 2026 నవంబర్ 11న ప్రకటించింది, నిర్దిష్ట కణ రకాల్లో డీఎన్ఏ వేరియంట్లు ఎలా పనిచేస్తాయో అంచనా వేస్తుంది, డీప్‌మైండ్ సొంత పరీక్షల ప్రకారం మునుపటి మోడల్ కంటే దాదాపు రెట్టింపు కారక వేరియంట్లను గుర్తిస్తుంది
శరీరంలోని ప్రతి కణంలో ఒకే డీఎన్ఏ ఉంటుంది, ప్రతి కణం దాన్ని వేర్వేరుగా చదువుతుంది. డీప్‌మైండ్ కొత్త మోడల్ ఈ వాస్తవం చుట్టూ నిర్మించబడింది, పరిశోధకులకు ఏపీఐ ద్వారా అందుబాటులో ఉంది. ఇది ఎలా పనిచేస్తుంది, దానికి చూపిన పరీక్ష ఉదాహరణలు ఏమిటి, సాక్ష్యం ఎక్కడ ఉంది అనేది ఇక్కడ చూడండి.
← అన్ని వ్యాసాలు