تحسين إدراك الروبوتات باستخدام الصوت

ابتكر باحثو جامعة كارنيجي ميلون Carnegie Mellon جهازًا يُسمّى Tilt-Bot لبناء مجموعةٍ من الإجراءات والفيديو والصوت لتحسين إدراك الروبوتات. وُضِعت الأشياء في طاولة متصلة بذراع روبوت حرّكت الطاولة بشكلٍ عشوائي أثناء تسجيل الفيديو والصوت. حقوق الصورة: جامعة كارنيجي ميلون.


نادرًا ما يستخدم الناس حاسة واحدة فقط لفهم العالم، لكن الروبوتات عادةً ما تعتمد فقط على الرؤية وتستخدِم بشكل متزايد اللمس.

وجد باحثو جامعة كارنيجي ميلون أن إدراك الروبوت يمكن أن يتحسن بشكلٍ ملحوظ عن طريق إضافة حاسة أخرى وهي السمع.

فيما يقولون بأنه أول دراسة واسعة النطاق للتفاعلات بين الصوت والحركة الروبوتية، وجد الباحثون في معهد الروبوتات التابع لـCMU أنه يمكن للأصوات مساعدة الروبوت في التمييز بين الأشياء، مثل مفك البراغي المعدني ومفتاح الربط المعدني. يمكن أن يساعد السمع أيضًا الروبوتات في تحديد نوع الإجراء الذي تَسبب في حدوث صوتٍ معين، ويساعدها أيضًا على استخدام الأصوات للتنبؤ بالخصائص الفيزيائية للأشياء الجديدة.

قال ليريل بينتو Lerrel Pinto، الذي حصل مؤخرًا على درجة الدكتوراه في الروبوتات في CMU: "أشارت الكثير من الأعمال التمهيدية في المجالات الأخرى إلى أن الصوت يمكن أن يكون مفيدًا، ولكن لم يكن من الواضح مدى فائدته في مجال الروبوتات".

وجد بينتو وزملاؤه أن معدل الأداء كان مرتفعًا جدًا، حيث نجحت الروبوتات التي تستخدم الصوت بنسبة 76% في تصنيف الأشياء المختلفة، وأضاف أن النتائج كانت مشجعةً للغاية لدرجة أنه قد يكون من المفيد تزويد الروبوتات المستقبلية بعصًى آليةٍ، وتمكينها من النقر على الأشياء التي تريد تحديدها.

قدم الباحثون نتائجهم الشهر الماضي خلال المؤتمر الافتراضي لعلوم وأنظمة الروبوتات، ومن بين أعضاء الفريق الآخرين أبيناف جوبتا Abhinav Gupta، الأستاذ المساعد في علم الروبوتات، وديراج غاندي Dhiraj Gandhi، طالب ماجستير سابق وهو الآن عالم أبحاث في مختبر بيتسبرغ Pittsburgh lab لأبحاث الذكاء الاصطناعي في فيسبوك.

ولأداء دراستهم؛ أنشأ الباحثون مجموعة بياناتٍ كبيرة، يسجلون في وقت واحد فيديو وصوت لـ 60 عنصرًا شائعًا -مثل مكعبات الألعاب، والأدوات اليدوية، والأحذية، والتفاح، وكرات التنس- أثناء انزلاقها أو تدحرجها حول الطاولة وسقوطها على جوانبه، وقد أطلقوا منذ ذلك الحين مجموعة البيانات هذه التي تُصنِّف 15,000 تفاعل، ليستخدمها باحثون آخرون.

التقط الفريق هذه التفاعلات باستخدام جهاز تجريبي أطلقوا عليه اسم Tilt-Bot، وهو طاولة مربعة متصلة بذراع روبوت متحرك، وكان طريقةً فعالةً لبناء مجموعة بيانات كبيرة، حيث يمكنهم وضع شيء في الطاولة والسماح للروبوت بقضاء بضع ساعات في تحريكها في اتجاهاتٍ عشوائيةٍ بمستوياتٍ مختلفةٍ من الإمالة حيث سجلت الكاميرات والميكروفونات كل حركة. وجمعوا أيضًا بعض البيانات خارج الطاولة، باستخدام ذراع الروبوت لدفع الأشياء على السطح.

على الرغم من أن حجم مجموعة البيانات هذه غير مسبوق، فقد درس باحثون آخرون أيضًا كيف يمكن للوكلاء الأذكياء جمع المعلومات من الصوت؛ على سبيل المثال قاد أوليفر كرومر Oliver Kroemer، الأستاذ المساعد في علم الروبوتات، البحث في استخدام الصوت لتقدير كمية المواد الحُبيبية، مثل الأرز أو المعكرونة، عن طريق هز وعاء أو تقدير تدفق تلك المواد من مغرفة.

قال بينتو إن فائدة الصوت للروبوتات لم تكن مفاجئة، على الرغم من أنهم فوجئوا بمدى فائدته، إذ وجدوا على سبيل المثال، أن الروبوت يمكن أن يستخدم ما تعلَّمه عن صوت مجموعة واحدة من الأشياء لعمل تنبؤات حول الخصائص الفيزيائية للأشياء التي لم يرها من قبل.

قال كرومر: "أعتقد أن الشيء المثير حقًا هو أنه عندما تفشل، فإنها ستفشل في الأشياء التي تتوقعها أن تفشل فيها، على سبيل المثال، لا يمكن للروبوتات استخدام الصوت لمعرفة الفرق بين كتلة حمراء وكتلة خضراء، ولكن إذا كان شيئًا مختلفًا، مثل قالب مقابل فنجان، فيمكنها اكتشاف ذلك".