Video izleyerek yeni beceriler öğrenebilen robotlar üretildi 

Carnegie Mellon Üniversitesi'nden (CMU) bir ekip, robotların ilgili eylemin videosunu izledikten sonra çekmeceleri açmak ve bıçakları almak gibi ev işlerini yapmalarını sağlayan bir model geliştirdi. 

Görsel-Robotik Köprüsü (VRB) yöntemi insan gözetimi gerektirmiyor ve sadece 25 dakika içinde yeni becerilerin öğrenilmesini sağlayabiliyor. 

CMU Robotik Enstitüsü'nden yardımcı doçent Deepak Pathak, "Robot, video izleyerek insanların farklı nesnelerle nerede ve nasıl etkileşime girdiğini öğrenebilir. Bu bilgiden yola çıkarak, iki robotun çeşitli ortamlarda benzer görevleri tamamlamasını sağlayan bir model geliştirebiliyoruz." dedi. 

VRB modeli, robotun bir videoda gösterilen eylemleri farklı bir ortamda olsa bile nasıl gerçekleştireceğini öğrenmesini sağlıyor. 

Robot bunu, bir çekmece kolu veya bıçak gibi temas noktalarını belirleyerek ve görevi tamamlamak için hangi hareketi yapması gerektiğini anlayarak gerçekleştiriyor. 

CMU'da robotik alanında doktora öğrencisi olan Şikhar Bahl, "Robotları kampüste gezdirip her türlü görevi yaptırabildik. Robotlar bu modeli çevrelerindeki dünyayı merakla keşfetmek için kullanabilir. Bir robot sadece kollarını sallamak yerine, etkileşime girmede daha doğrudan davranabilir. Bu çalışma robotların internet ve YouTube'daki muazzam miktardaki videodan öğrenmesini sağlayabilir." dedi. 

🤖 Robotics often faces a chicken and egg problem: no web-scale robot data for training (unlike CV or NLP) b/c robots aren't deployed yet & vice-versa.

Introducing VRB: Use large-scale human videos to train a *general-purpose* affordance model to jumpstart any robotics paradigm! pic.twitter.com/csbvsfswuG

— Deepak Pathak (@pathak2206) June 13, 2023

Araştırmada yer alan robotlar, 200 saatlik gerçek dünya testleri sırasında 12 yeni görevi başarıyla öğrendi. 

Tüm görevler, konserve açmak ve bir telefona cevap vermek dahil nispeten kolaydı ve araştırmacılar şimdi VRB sistemini robotların çok adımlı görevleri yerine getirmesini sağlayacak şekilde geliştirmeyi planlıyor. 

Araştırma, bu ay Kanada'nın Vancouver kentinde düzenlenecek Görme ve Örüntü Tanıma Konferansı'nda sunulacak "Affordances from human videos as a versatile representation for robotics" (Robotik için çok yönlü bir temsil olarak insan videolarından elde edilen olanaklar) başlıklı bir makalede detaylandırıldı.