एका रोबोट हाताला रुबिक्स क्यूब शिकायला १३,००० सिम्युलेटेड वर्षे लागली, आणि २०२६ मध्येही पाच बोटांचा हात लाइट बल्ब फक्त ३६ टक्के वेळा स्क्रू करतो

ओपनएआयच्या रोबोट हाताने आपल्या सर्वोत्तम रचनेत सर्वात कठीण रुबिक्स क्यूब स्क्रॅम्बल १० पैकी २ प्रयत्नांत सोडवला, सिम्युलेशनमधील सुमारे १३,००० वर्षांच्या सरावाइतक्या अनुभवानंतर. हे सांगणारा शोधनिबंध १६ ऑक्टोबर २०१९ रोजी arXiv वर आला. तेव्हापासून प्रयोगशाळांनी रोबोट हातांना मानवी प्रात्यक्षिके, स्पर्श संवेदक आणि स्वस्त हार्डवेअर यांच्या मदतीनेही शिकवले आहे, आणि पाच बोटांच्या हातासाठीचे सर्वात नवे मोजलेले निकाल, गूगल डीपमाइंडकडून ३० जुलै २०२६ रोजीचे, कामानुसार ३२ ते ९२ टक्क्यांपर्यंत आहेत.

खालील प्रत्येक आकडा हा संबंधित प्रयोगशाळेने स्वतःच्या शोधनिबंधात किंवा घोषणेत नोंदवलेला आहे. त्यांतील बहुतेक वेगवेगळे रोबोट, वेगवेगळ्या वस्तू आणि यशाच्या वेगवेगळ्या व्याख्यांमधून आलेले आहेत, त्यामुळे ही गुणांची क्रमवारी नाही.

ओपनएआयच्या क्यूब हाताने प्रत्यक्षात काय केले

तो रोबोट शॅडो डेक्स्टरस ई सीरिज हँड होता, पाच बोटांचा मानवसदृश हात, आणि क्यूबकडे तीन आरजीबी कॅमेरे पाहत होते. ओपनएआयने नियंत्रण धोरण आणि दृष्टी प्रणाली पूर्णपणे सिम्युलेशनमध्ये प्रशिक्षित केली आणि मग ती प्रत्यक्ष हातावर हलवली. ज्या तंत्राचे ती श्रेय घेते ते ऑटोमॅटिक डोमेन रँडमायझेशन आहे: सिम्युलेटर जगाच्या अधिकाधिक कठीण आवृत्त्या तयार करत राहतो, त्यामुळे धोरण कोणत्याही एका आवृत्तीवर अवलंबून राहू शकत नाही.

शोधनिबंध क्यूब धोरणाचा एकत्रित प्रशिक्षण अनुभव सुमारे १३ हजार वर्षे सांगतो, जो ६४ एनव्हिडिया V100 ग्राफिक्स चिप आणि प्रत्येकी ३२ प्रोसेसर कोर असलेल्या ९२० वर्कर यंत्रांवर चालला.

प्रत्यक्ष रोबोटचे निकाल प्रत्येक धोरणासाठी दहा चाचण्यांच्या एका तक्त्यात आहेत. सर्वोत्तम धोरणाने, क्यूबच्या पृष्ठभागांचे कोन गिकर संवेदकाने पुरवल्यावर, १५ पृष्ठभाग फिरवावे लागणारा स्क्रॅम्बल ६० टक्के चाचण्यांत आणि २६ फिरवण्यांचा सर्वात कठीण स्क्रॅम्बल २० टक्के चाचण्यांत सोडवला. पृष्ठभागांचे कोन वाचण्यासाठी फक्त दृष्टी वापरल्यावर त्याच धोरणाने २० टक्के आणि ० टक्के साधले. क्यूब पडला किंवा हात १,६०० टाइमस्टेपमध्ये, म्हणजे सुमारे १२८ सेकंदांत, पूर्ण करू शकला नाही तर चाचणी संपत असे. शोधनिबंध नोंदवतो की धोरणाने चुकीचा पृष्ठभाग फिरवला किंवा क्यूब निसटला तेव्हा ते सहसा पुन्हा पकड घेऊन सावरले.

माणसाच्या हातांकडून शिकणे

सिम्युलेशन हा हाताला शिकवण्याचा एकमेव मार्ग नाही. माणूस रोबोटला काम दाखवू शकतो, आणि रोबोट ती हालचाल नक्कल करतो. एप्रिल २०२३ मध्ये टोनी झाओ, विकाश कुमार, सर्गेई लेव्हिन आणि चेल्सी फिन यांनी ALOHA प्रकाशित केले, विशेष टेलिऑपरेशन इंटरफेसने चालणारी एक स्वस्त द्विहस्त (दोन हातांची) प्रणाली, म्हणजे माणूस रोबोटला दुरून चालवतो. त्यांच्या अॅक्शन चंकिंग विथ ट्रान्सफॉर्मर्स या अल्गोरिदमने सुमारे १० मिनिटांच्या प्रात्यक्षिकांवर सहा प्रत्यक्ष कामे शिकली, यात अर्धपारदर्शक सॉसचा कप उघडणे आणि बॅटरी बसवणे ही होती, ८० ते ९० टक्के यशाने. प्रकल्पाच्या पानावर म्हटले आहे की हार्डवेअर २०,००० डॉलरच्या अंदाजपत्रकात बांधले गेले.

अनेक प्रयोगशाळांची प्रात्यक्षिके एकत्र करणे पुढे आले. ऑक्टोबर २०२३ मध्ये प्रकाशित झालेल्या ओपन एक्स-एम्बॉडिमेंट शोधनिबंधाने २१ संस्थांमधील २२ रोबोटचा डेटा एकत्र केला, ५२७ कौशल्ये समाविष्ट करून. उदयोन्मुख कौशल्यांच्या चाचण्यांत त्याच्या RT-2-X प्रारूपाने ७५.८ टक्के गुण मिळवले, RT-2 च्या २७.३ टक्क्यांच्या तुलनेत. लेखक म्हणतात की त्यांनी संवेदन आणि कृतीत खूप वेगळ्या असलेल्या रोबोटची चाचणी केली नाही, आणि नव्या रोबोटवर सामान्यीकरणाचा अभ्यास केला नाही.

कुई आणि सहकाऱ्यांनी ऑक्टोबर २०२५ मध्ये लिहिले की कौशल्यपूर्ण हात आणि दंडाचे हाताने केलेले टेलिऑपरेशन मानवी चालकांवर अतिभार टाकते. त्यांचा उपाय कामाची वाटणी करतो: माणूस व्हर्च्युअल रिॲलिटीमधून हाताचा दंड चालवतो, तर शिकलेले धोरण स्पर्श आणि कॅमेऱ्याच्या प्रतिसादावरून बोटे चालवते. ते विविध वस्तूंवर, न पाहिलेल्या वस्तूंसह, ९० टक्के यश नोंदवतात. जून २०२५ मध्ये एल्विस नावा, रॉबर्ट कॅट्झश्मान आणि सहकाऱ्यांनी mimic-one वर्णन केला, हातमोजा आणि व्हीआर प्रात्यक्षिकांवर प्रशिक्षित १६ अंश स्वातंत्र्य असलेला हात, ज्याचे प्रशिक्षण-बाह्य (out-of-distribution) चाचण्यांत, म्हणजे प्रशिक्षणाच्या डेटापेक्षा वेगळ्या परिस्थितींत, ९३.३ टक्क्यांपर्यंत यश आहे.

रोबोट स्वतःच्या चुकांमधूनही शिकू शकतात. फिजिकल इंटेलिजन्सच्या pi*0.6 शोधनिबंधाने, १८ नोव्हेंबर २०२५ रोजी प्रकाशित, RECAP नावाची प्रशिक्षण पद्धत वर्णन केली, जी प्रात्यक्षिके, रोबोटचे स्वतःचे प्रयत्न आणि मानवी टेलिऑपरेटरकडून मिळालेल्या सुधारणा एकत्र मिसळते. कंपनी नोंदवते की त्यातून तयार झालेले प्रारूप खऱ्या घरांत कपडे घड्या घालते, खोके जुळवते आणि एस्प्रेसो पेये बनवते, आणि काही सर्वात कठीण कामांत ही पद्धत उत्पादनक्षमता दुप्पट करून अपयशाचे प्रमाण सुमारे निम्मे करते. कपडे हे तेच काम आहे जे tuput च्या मोराव्हेकच्या विरोधाभासावरील आधीच्या लेखाने आपले मथळ्याचे उदाहरण म्हणून वापरले होते.

बोटांच्या टोकांना स्पर्शाची जाणीव देणे

झिहांग झाओ, कास्पर आल्थोफर आणि सोंग-चुन झू यांच्यासह असलेल्या चमूचा F-TAC हँड आपल्या पृष्ठभागाच्या ७० टक्क्यांवर ०.१ मिलिमीटर स्थानिक रिझोल्यूशनचे स्पर्श संवेदन बाळगतो. प्रीप्रिंट १९ डिसेंबर २०२४ रोजी आला आणि क्वीन मेरी युनिव्हर्सिटी ऑफ लंडनने नेचर मशीन इंटेलिजन्समधील प्रकाशित आवृत्तीची घोषणा ९ जून २०२५ रोजी केली. ६०० प्रत्यक्ष चाचण्यांत, लेखक नोंदवतात, स्पर्श असलेल्या हाताने गुंतागुंतीच्या हाताळणीच्या कामांत स्पर्शविहीन पर्यायांना मागे टाकले (p ०.०००१ पेक्षा कमी).

मेटाच्या एआय संशोधन गटाने डिजिट ३६० हे बोटाचे टोक ३१ ऑक्टोबर २०२४ रोजी प्रसिद्ध केले. मेटा म्हणते की त्यात ८ दशलक्षाहून अधिक टॅक्सेल (स्पर्श जाणणारे पिक्सेल) आहेत, ते १ मिलिन्यूटनइतकी लहान बले टिपते, आणि ते स्पार्श या ४,६०,००० हून अधिक स्पर्श प्रतिमांवर पूर्वप्रशिक्षित स्पर्श प्रारूपासोबत जोडले आहे. जेलसाइट डिजिट ३६० चे उत्पादन करणार होती, आणि वोनिक रोबोटिक्स स्पर्श संवेदक असलेला अलेग्रो हँड, दोन्हींच्या व्यापक उपलब्धतेचे नियोजन २०२५ साठी होते.

स्पर्श गुंतागुंतीचा असायला हवा असे नाही. क्यूई ये आणि सहकाऱ्यांचा एक सायन्स रोबोटिक्स शोधनिबंध, १७ फेब्रुवारी २०२६ रोजी वृत्त झालेला, याने स्वस्त चार बोटांचा LEAP हँड, एक सामान्य वेबकॅम आणि साधे ‘स्पर्श आहे किंवा नाही’ संवेदक वापरले, दृष्टी आणि स्पर्श एकत्र करणाऱ्या मानवी प्रात्यक्षिकांवर पूर्वप्रशिक्षण केल्यानंतर. हाताने आपली आठही कामे एकूण ७३ टक्के यशाने पूर्ण केली, आणि सिम्युलेशनमध्ये सराव केलेल्या पाचांवर ८५ टक्के. पेन्सिल टोकदार करणे आणि स्क्रू काढणे यांचा समावेश असलेली न पाहिलेली तीन कामे फिज.ऑर्गच्या वृत्तात “बहुतेक वेळा” पूर्ण झाली, ज्यात आकडा दिलेला नाही. नोंदवलेल्या अपयशांत लहान बाटलीची झाकणे, जी फिरवण्याइतका टॉर्क हाताकडे नाही, आणि नळाच्या मुठीच्या अरुंद खाचांमध्ये अडकणारी बोटे यांचा समावेश आहे.

स्वस्त हात, आणि मोटारींऐवजी केबल

केनेथ शॉ, अनन्ये अग्रवाल आणि दीपक पाठक यांनी सप्टेंबर २०२३ मध्ये लिहिले की कौशल्यपूर्ण हाताळणीच्या शिक्षण पद्धती योग्य हार्डवेअरच्या अभावी बहुतांश सिम्युलेशनमध्येच राहिल्या होत्या. त्यांच्या LEAP हँडची किंमत सुमारे २,००० डॉलर आहे आणि सहज मिळणाऱ्या भागांतून तो जुळवायला चार तास लागतात. सारांशात ही किंमत त्याच्या सर्वात जवळच्या स्पर्धक, अलेग्रो हँडच्या, सुमारे एक-अष्टमांश सांगितली आहे.

काही नवे हात बोटे केबलने हलवतात, ज्यांना टेंडन म्हणतात. mimic-one असा एक आहे. Ruka-v2 हाही तसाच आहे, लेरेल पिंटो आणि इरमाक गुझे यांचा समावेश असलेल्या चमूकडून, २७ मार्च २०२६ रोजी प्रकाशित. तो मूळ Ruka मध्ये दोन अंश स्वातंत्र्याचे मनगट आणि बोटांची बाजूकडची हालचाल जोडतो, ज्याला लेखकांच्या म्हणण्यानुसार १,३०० डॉलरपेक्षा कमी खर्चात बांधता येईल. टेलिऑपरेट केलेल्या कामांच्या वापरकर्ता अभ्यासांत Ruka-v2 ने मूळ हाताच्या तुलनेत काम पूर्ण करण्याचा वेळ ५१.३ टक्क्यांनी कमी केला आणि यश २१.२ टक्क्यांनी वाढवले. तो १३ कामांत टेलिऑपरेट केला गेला, आणि त्यातील ३ स्वायत्तपणे शिकला.

सिम्युलेशन परत आले

सिम्युलेशनने आपले स्थान गमावले नाही. तोरू लिन, जितेंद्र मलिक, युके झू आणि सहकाऱ्यांनी फेब्रुवारी २०२५ मध्ये दोन बहु-बोटांचे हात असलेल्या फूरिए GR1 ह्युमनॉइडसाठी सिम्युलेशनमध्ये प्रशिक्षित केलेली रिइन्फोर्समेंट लर्निंग प्रणाली नोंदवली. ते पाहिलेल्या वस्तूंवर सुमारे ९० टक्के यश आणि नव्या वस्तूंवर ६० ते ८० टक्के नोंदवतात. कामानुसार, सर्वोत्तम धोरणाची सरासरी पकडणे-आणि-पोहोचणे यासाठी ६२.३ टक्के, खोका उचलण्यासाठी ८० टक्के आणि दोन्ही हातांच्या हस्तांतरणासाठी ५२.५ टक्के होती, प्रत्येक वस्तूसाठी दहा चाचण्यांवर. लेखकांना शंका आहे की हस्तांतरणाचा कमी आकडा सिम्युलेटेड भौतिकशास्त्राच्या फक्त साध्या रँडमायझेशनमुळे येतो, आणि ते म्हणतात की ही क्षमता सर्वसाधारण, मानवी पातळीच्या हाताळणीपासून खूप दूर आहे.

फेब्रुवारी २०२६ चा शोधनिबंध, DexRepNet++, ४० वस्तूंवर प्रशिक्षित आणि ५,००० हून अधिक न पाहिलेल्या वस्तूंवर चाचणी केलेल्या धोरणासाठी सिम्युलेशनमध्ये ८७.९ टक्के पकड यश नोंदवतो. त्याचा सारांश सिम्युलेशन आणि प्रत्यक्ष हार्डवेअर यांतील लहान तफावत वर्णन करतो, पण प्रत्यक्ष जगातील यश दर देत नाही.

जुलै २०२६ मधील डीपमाइंडचे पाच बोटांचे आकडे

३० जुलै २०२६ रोजी गूगल डीपमाइंडने जेमिनी रोबोटिक्स २ जाहीर केले. हे प्रारूप अॅप्ट्रोनिकच्या अपोलो २ ह्युमनॉइडवरील पाच बोटांच्या, २२ अंश स्वातंत्र्याच्या शार्पावेव्ह हाताचे नियंत्रण करते. डीपमाइंडची पोस्ट त्या हातासाठी हे यश दर देते: लाइट बल्ब काढणे ९२ टक्के, तो स्क्रू करणे ३६ टक्के, कचऱ्याची पिशवी बांधणे ४४ टक्के, कचरा उचलण्याचे (डस्टपॅन) काम ३२ टक्के आणि झिपलॉक पिशवी ४० टक्के. फ्रँका ड्युओ प्लॅटफॉर्मवरील दोन बोटांच्या ग्रिपरवर ती सर्वसाधारण उचलणे-आणि-ठेवणे यासाठी ७४.२ टक्के, टूल किटिंगसाठी ७८.९ टक्के आणि अचूक जोडणीसाठी ८९.६ टक्के नोंदवते.

डीपमाइंडची पोस्ट म्हणते की बहु-बोटांची कौशल्यपूर्ण हाताळणी आव्हानात्मक राहते. ती असेही म्हणते की नवे दोन हातांचे रोबोट साधारणपणे २०० पेक्षा कमी उदाहरणांनी जुळवून घेता येतात.

या यंत्रांच्या कारखान्यातील आणि विमानतळावरील बाजूबद्दल २०२६ मधील ह्युमनॉइड पायलट प्रकल्पांवरील tuput चा अहवाल आहे.

अजूनही काय अपयशी ठरते

तुलना ही पहिली अडचण आहे. वेईगुआंग झाओ आणि सहकाऱ्यांचे मे २०२६ चे कौशल्यपूर्ण हातांच्या संशोधनाचे सर्वेक्षण म्हणते की अभ्यास रोबोट, संवेदक, कामे, प्रशिक्षण डेटा आणि मूल्यमापन यांबद्दल वेगवेगळी गृहीतके वापरतात, ज्यामुळे पद्धतशीर तुलना कठीण होते.

दुसरी अडचण म्हणजे प्रात्यक्षिके आणि न पाहिलेल्या वस्तू यांतील तफावत. २०१९ चा क्यूब हात सर्वात कठीण स्क्रॅम्बल १० पैकी २ चाचण्यांत सोडवू शकला, लिन आणि सहकाऱ्यांचे नव्या वस्तूंचे आकडे त्यांच्या पाहिलेल्या वस्तूंच्या आकड्यांमागे आहेत, आणि डीपमाइंडच्या नोंदवलेल्या पाच बोटांच्या पाच निकालांपैकी चार ५० टक्क्यांखाली आहेत, सर्व डीपमाइंडच्याच चाचण्यांतील. सायन्स रोबोटिक्स चमू टॉर्क, अडकणे आणि निसटणे ह्या खुल्या यांत्रिक समस्या म्हणून नमूद करतो.

तिसरी अडचण म्हणजे उपलब्धता आणि वेग. द रोबोट रिपोर्टच्या २ ऑगस्ट २०२६ च्या वृत्तांकनानुसार डीपमाइंड जेमिनी रोबोटिक्स २ प्रारूप आणि त्याची उपकरणावर चालणारी आवृत्ती फक्त लवकर प्रवेश मिळालेल्या भागीदारांपुरती मर्यादित ठेवते, आणि म्हणते की हालचालीच्या वेगात रोबोट्सना अजून पुढे जायचे आहे.