3D Eşleştirme, Robotik

Mavis, Teknodrom firması ile başlattığı robot yönlendirme ve parça bulma yakalama ayıklama çalışmalarına yeni bir boyut ekledi. Robotun yakalayacağı parçaları öğrenebilmesi için son derece pratik bir arayüz geliştirildi.

Sistemin Çalışması

Öncelikle kameranın dış etkenlerden (değişken ışık kaynakları, gün ışığı vb.) etkilenmemesi için düzgün aydınlatılmış bir ortam oluşturulur. Bu ortam robotun çalışmasını engellemeyecek şekilde yapılmalıdır.

1. İşlem olarak, kameraya yakalayacağı parçalar öğretilir. Her parça farklı bir yerinden tutulmak istenebilir. Tutma noktası parçanın belirli köşeleri, uçları gibi daha önceden tahmin edilemeyen bir yer olabilir. Robot operatörü, parçanın ideal tutma noktasını,  kameralı görüntü işleme yazılımında bir değişiklik istemeden (programlamaya ihtiyaç olmadan) kolayca gösterebilmelidir. (Programa  tutma noktası öğretilmelidir) Programda hiç değişiklik yapılmadan son derece kolay bir arabirimde (UI) parçalar sisteme tanıtılabilmelidir. Mavis’in kendi geliştirdiği sistem bu sorunu en kolay şekilde çözmüştür.

Menüden “yeni parça öğretme” işlemi seçildiğinde, kameranın altında bulunan parçanın resmi ekranda belirir. “Öğretme İşlemine Başlamak İstiyor musunuz?” sorusuna Evet dendiğinde, interaktif bir şekilde tutma noktası kullanıcıdan alınır.

Öğretilecek parçanın en ideal parça olmasına özen gösterilir. Buna rağmen ekranda parça sınır çizgileri belirlenir ve kenar iyileştirme algoritmaları ile çapak ve pürüzler ön işlemden geçirilerek temizlenir.

Bu noktada sistem parçanın modellenmiş ve temizlenmiş halini model kodu ile kaydeder. Herhangi bir görüntü işleme programı ile (Paint, Photoshop vb.) bu modellenmiş fotoğraf üzerinde daha da hassas çalışmalar yapılabilir. (Filtreleme, yuvarlatma, kenarları düzleştirme vb.)

Üstelik, tüm bu işlemler gerçek parça resmi yerine parçanın direk CAD çizimi baz alınarak ta yapılabilir.

Program çalışma anında, öğretilen parçayı tanıyacak ve tutma noktasının koordinatlarını ve açılarını robota iletecektir.

Sistem tüm robotlarla haberleşebilecek altyapıya göre tasarlanmıştır. Testler ve uyarlamalar Teknodrom firmasında Motoman Robot kullanılarak yapılmıştır. Haberleşme olarak seri port ve dijital Input/output modülü kullanılmıştır. Ethernet haberleşme için de arayüz geliştirilmiştir. Sistem Fanuc, kuka gibi robotlar ile de çalışabilecek şekildedir. Test ve geliştirmeler; Teknodrom firmasından Emrah Hünerlitürkoğlu, Mavis firmasından Mustafa Sarı ve Hüseyin Çelik tarafından gerçekleştirilmiştir.

Robot Destekli Cam, Mozaik, Parke, Mermer, Fayans, Taş vb. yerleştirme Otomasyonu

Mavis, görüntü işleme ve robotik teknolojilerini bir araya getirerek elle yapılan pek çok işlemi otomatikleştirecek çözümler geliştirmektedir. Mozaik, cam, parke, mermer, taş vb. malzemelerin robot tarafından bulunduğu yerden alınması ve daha önceden belirlenmiş şekli oluşturacak şekilde belirlenmiş yere yerleştirilmesi işlemi, Mavis tarafından bu konuda geliştirilmiş uygulamalardan biridir. Mozaik döşeme uygulaması, kameralı kontrol ve yönlendirme yazılımı ve robot sisteminden meydana gelmiştir.

Sistemin Amacı

Sistemin amacı, Mozaik, mermer, karo, fayans, taş vb. parçaları yan yana getirmek veya bir desen oluşturacak şekilde birleştirmek amacıyla çalışan işletmeler için, işlemi elle gerçekleştirmek yerine robot destekli görüntü işleme tekniklerinden faydalanarak hızlı ve hatasız olarak yapmaktır. Aynı zamanda her bir parçanın kalite kontrolünden geçmesini sağlamaktır.

Sistem, gıda sektöründe çikolata, bisküvi gibi üretim yapılan yerlerde, ambalajlama kutulama uygun yere yerleştirme gibi alanlarda da uygulanabilmektedir. (Kameralı Yerleştirme / Robot Yerleştirme)

Sistemin Çalışma Yöntemi

Sistemin amacı, daha önceden bilgisayara öğretilmiş desenin, robot tarafından oluşturulmasıdır (örülmesidir). Bu amaca yönelik olarak, her bir parça (taş, mermer, mozaik, parke vb.) kamera tarafından görüntülenir. Parça kırık, hatalı, bozuk vb. durumda ise, hatalı parça olarak ayıklanır. Parça sağlam ise rengi, şekli, dokusu, boyutları ölçülerek hedef şekil üzerinde nereye yerleştirileceğine karar verilir. Parçanın halihazırdaki koordinatları ve hedef koordinatları robota bildirilir. Robot parçayı bulunduğu yerden alarak olması gerektiği yere yerleştirir. Sistem bu şekilde seri olarak devam eder.

Sistemin İşleyişi

Konveyör kullanılan sistemlerde, konveyör üzerindeki kamera, gelen parçayı tanır. Scara robota parçanın koordinat bilgilerini verir. Robot parçayı yakalar. İkinci kamera tanınan parçanın nereye konulacağını belirler. Robota hedef koordinatlarını iletir. Robot belirlenen noktaya parçayı koyar.

Konveyör kullanılmayan sistemlerde, robot bütünü oluşturacak her bir parçayı nereden alacağını bilir. Şekli oluşturması için kullanması gereken her bir parçayı, sırası geldikçe, daha önceden bildiği konumdan alarak kamera tarafından tesbit edilmiş ilgili noktaya koyar.

Genel Kontroller

  • X – Y – Z koordinat değerlerinin ölçülmesi.
  • Renk, doku, geometrik şekil (baklava dilimi, kare, daire vs.) ölçümü yapılması
  • online robot yönlendirme
  • Hatalı parçaların ayıklanması
  • Oluşan şeklin kalite kontrolünün yapılması
  • Kullanılan parça miktarı, oluşan ürün adedi gibi istatistiklerin tutulması

Opsiyonel Kontroller

  • Dalga biçimi v.b. serbest stil formlarda üretim
  • CAD datasının okunması ve buna göre üretim yapılması

Sistemin Getirileri

  • İnsan tarafından yapılamayacak kadar hızlı ve güvenli üretim imkanı
  • Kullanılan malzeme ve üretim sonuçlarının kaydedilmesi
  • Hatalı ürünlerin otomatik olarak ayırt edilmesi
  • kesintisiz ve hatasız robot destekli üretimi imkanı
  • Otomatik etiketleme

Mavis VYP Robot Destekli Yerleştirme Sistemi

Örnek Uygulamada, tuğlalar tanınarak daha önceden belirlenmiş şekilde dizilmeleri sağlanmıştır. Kalite kontrolü, pozisyon kontrolü ve robot yönlendirme kullanılmıştır.

 

Kameralı Robot Yönlendirme

Teknodrom firması ile birlikte geliştirilen bu projede amaç; konveyör üzerinde rastgele pozisyonda gelen parçaların, robot tarafından alınıp belirlenen bir yere yüklenmesini sağlamaktı. Daha önceden Teknodrom’da Emrah Hünerlitürkoğlu ile birlikte bilgisayar – robot arası seri protokol üzerinden haberleşme arabirimi geliştirmiştik. Elimizde hazır olduğu için aynı protokolü kullanarak bu projeye devam ettik. (İlerleyen aşamalarda, ethernet üzerinden haberleşmeye geçecektik.)

Teknodrom Motoman Mavis Robot Yönlendirme

Projeye başlamadan önce, Teknodrom parçaları yakalamak için özel olarak Gripper geliştirdi. Projenin ilk gününde, Mavis tarafından Emre, Teknodrom tarafında Emrahla birlikte sistemin çalışacağı ortamı oluşturup, ilk fotoğrafları aldı. Gelen fotoğrafları inceleyip daha iyi bir sonuç almak için kamerayı ve lensi değiştirdik. Nihai setup (kurulum) sağlandıktan sonra, gerçek  sistem üzerinde çalışılmaya başlandı.

2. gün ben  yazılım üzerinde ben çalışmaya devam ederken, Emrah gripper ile manual olarak nesneleri yakalamaya çalıştı. Sonuçta yazılım gerekli koordinatları bulacak, gripper ise sorunsuz çalışacak hale getirildi. Artık yapılması gereken bilgisayar ile robotu konuşturmaktan ibaretti. Bu konuda en çok vakit harcadığımız nokta, yakalanacak nesnelerin farklı farklı olmasından dolayı her birinin tutma noktasının kendine özgü koordinatlar içeriyor olmasıydı. Boru şeklindeki parçayı farklı, dirsek şeklindeki parçayı farklı pozisyonlardan yakalamak gerekiyordu. Sonuçta her parça için sanal yakalama noktası belirleyip yazılımın bu sanal noktaya göre koordinatları robota iletmesiyle sorun çözüldü. (Müjdat Bey’in soruna el atmasıyla 🙂 )

Projenin 3. günü gece yarısı, tüm sistem sorunsuz ve seri olarak çalıştı. Böyle bir proje için 3 gün rekor derecede kısa bir süre sayılabilir. Daha önceden Mavis ve Teknodrom firmalarının  birlikte çalışmış olmasının getirdiği avantajları kullandık. Elimizde hazır çözümlerimiz vardı. Yine de en önemli faktör, Mavis ve Teknodrom firmalarının kendi alanlarındaki profesyonelliklerinde yatıyordu. Kamera Kontrollü Robot Otomasyonu, böylece hayat bulmuş oldu. Yorgun geçen 3 günün sonunda sistemin daha da efektif çalışması için bazı iyileştirmelere karar verildi. Robotun daha hızlı çalışmasını sağlamak için, robot hareketini sürdürürken bilgisayarla konuşabilmesi (paralel processing) yapılacaktı. Bu değişiklikler PC tarafında da benzer bazı değişiklikleri gerektiriyordu. Robotla hem seri port üzerinden hem de digital Input / output (24V) modül üzerinden haberleşiliyordu. Bu durum, Hem robotun, hem PC nin senkronize olmasını gerektiriyordu ki,  tamamıyla hareketli bir sistem üzerinde bu senkronizasyonu sorunsuz sağlamak pek kolay olmadı.

Tüm sistem, saat 10:30 gibi müşteriye demo kurulum olarak gösterilecekti. Sabahın erken saatlerinde paralel processing denemeleri yapıldı. Eğer bir sorun çıkarsa, zaten çalışan bir versiyon elimizde vardı. Bu garantiyle, son dakikaya kadar paralel processing denemelerine devam edildi. Nihayet demo başladığında, sistem kısaca tanıtılıp robot PLAY modunda çalıştırıldı.

Sonuç başarılıydı. Nihayetinde bu bir demo sistemdi ve amacına ulaşmıştı. Bundan sonra yapılması gereken, sistemi daha da iyileştirmekti.

Bugünlerde bu iyileştirmeler üzerine çalışmaktayız.

Bunlar genel olarak;

  • Parçaların tanıtılması amacıyla Autocad dxf dosyasından yüklenebilmesi
  • Ortam ışık şiddetinin değişiminden sistemin etkilenmemesinin sağlanması
  • İlave kontrol fonksiyonları ve görsel arayüzler (Ekranda robot hareketlerinin izlenmesi, sesli kontrol vb. gibi)

Kullanılan Bileşenler :

  • Motoman Robot
  • iDS uEye renkli kamera
  • Mavis VYP Yazılımı
  • Mavis USB DIO Modülü (Elektriksel Haberleşme İçin)
  • Seri Haberleşme Kablosu
  • Konveyör
  • Test Parçaları (Dz boru ve dirsek şeklinde boru)
  • Sensör
  • Bilgisayar (Windows İşletim sistemi yüklü)

Sistemin Çalışması :

  1. Rastgele yüklenen test parçaları konveyör üzerinde ilerler
  2. parçalar sensör tarafından algılandığında Robot Mavis VYP programına işaret gönderir (24V. sinyali, Mavis DIO modülünün girişine iletir)
  3. VYP yazılımı, sensörün önündeki parçanın fotoğrafını çeker ve çevresini (contour), ağırlık merkezini, dönme açısını 3 eksende belirler.
  4. Kartezyen koordinatlardaki veriyi, daha önceden kalibre edilmiş olarak, robotun koordinat sistemine çevirir, Robotun tutacağı (X, Y, Z) koordinatlarını ve dönme açılarını (RX, RY, RZ) seri port üzerinden robota iletir.
  5. Robot verileri aldım sinyali gönderirse iletişim başarıyla gerçekleştirilmiş demektir ve robot parçayı belirtilen yerden alarak, daha önceden belirlenmiş hedef konuma taşır.
  6. Robot parçayı hedef konuma yerleştirmek veya geri dönmek için hareketini sürdürürken, VYP yazılımı yeni bir parça gelmişse, benzer şekilde bu parçanın koordinatlarını da robota iletir.
  7. Sistem döngüsel bir biçimde bu şekilde tüm parçalar için devam eder

Projenin Zorlukları :

  • Farklı parçaların, farklı pozisyonlardan tutulmak zorunda olması, dolayısıyla robota verilecek konum bilgilerinin parça bazında değişiyor olması
  • Sistemin gece-gündüz değişen ışık şiddeti koşullarında %100 çalışabilmesi
  • Konveyörü durdurmadan ve robotu bekletmeden çok hızlı fotoğraf alınıp işlenmesi, robotla haberleşmenin robot hareketini sürdürürken gerçekleştirilebilmesi

Proje Geliştirme Sürecinden Resimler