Klima Kartı Bileşen Kontrolü

Dünyanın önde gelen otomotiv parça ve bileşen üreticilerinden xxxxx fabrikasında, otomasyon robotları ile montajı yapılan elektronik klima kartı üzerindeki bazı bileşenlerin varlık-yokluk ve yön kontrolünü yapan sistemimiz devreye alınmıştır.

Sistem bileşenleri:

front2

Şekil 1 – Elektronik Klima Kartı Ön Yüzü

back2

Şekil 2 – Elektronik Klima Kartı Arka Yüzü

Kurduğumuz sistemde iki farklı zamanda kontrol yapılmaktadır. İlk kontrol, görüntüsü Şekil 2’de gösterilmiş olan kartın arka bölümündeki bileşenlerin montajı tamamlandıktan sonra yapılır. Arka bölgesinin montajı tamamlanan kart, robot tarafından alınır ve kartın arka yüzü, kamera önüne getirilerek hassas bir şekilde konumlandırılır. Robottan gelen tetik sinyali ile ilk kontrol yapılmaya başlanır. Birinci aydınlatma açılır ve Şekil 3’de gösterilen kırmızı çemberler içerisinde gösterilen pinler ve sarı çemberler içerisinde olması gereken vidaların varlık-yokluk kontrolü yapılır. Kontrol sonucu OK ise robota OK sinyal gönderilir ve montaja devam edilir. Kontrol sonucu NOK ise robota NOK sinyali gönderilir ve parça NOK bölümüne ayrılır. Sonuç, Şekil 5’te görülen program arayüzünde canlı olarak gösterilir.

backFocus2

Şekil 3 – Kontrol Edilen Bileşenler

İkinci kontrol, görüntüsü Şekil 1’de gösterilmiş olan kartın montajı yapıldıktan sonra kart, döner masaya konumlandırılır. Robottan gelen tetik sinyali ile ikinci kontrol yapılmaya başlanır. İkinci aydınlatma açılır ve Şekil 4’de gösterilen parçanın yön kontrolü yapılır. Daha sonra ve görüntüdeki 1 numara ile belirtilen cam, 2 numarada belirtilen siyah parça ve 3 numarada belirtilen uzun saydam çubuğun varlık kontrolü yapılır. Kontrol sonrası işlemler OK ve NOK olmasına bağlı olarak, bir önceki kontrol sonrası işlemlerle aynı şekilde yapılır.

frontFocus2

Şekil 4 – Kontrol Edilen Bileşenler

screen

Şekil 5 – Program Arayüzü

 

 

Makine Öğrenimi ile Kavanozda Etiket Kontrolü

HALCON’un Derin Öğrenme (Deep Learning) desteği de vardır. Ancak derin öğrenme çıkmadan önce ise zaten çeşitli öğrenme modülleri (svm, knn, mlp, cnn) ile makine öğrenmesi (machine learning) yapılıyordu ve bunları sıkça kullanıyorduk. Bu yazıda bir projeyi örnek olarak anlatacağım.

Türkiye’nin en büyük kavanoz üreticilerinden birinin, kavanoz üzerilerine yapıştırılan etiketlerinin kontrolü yapılmak istendi. Bu proje aslında tam Derin Öğrenme’nin kullanılacağı bir proje. Ancak üretim koşulları gereği bir üründen zaten 1000 – 10000 civarında yapılıyor ve başka ürüne geçiliyor. Yani üretim sayısı, zaten derin öğrenme için gereken OK ve RET numune sayısı kadar oluyor. Bu durumda daha az sayıda öğretim yapacağız. Derin öğrenme modülünün kullanım maliyetini de düşündüğümüzde, normal makine öğrenmesi yöntemleri ile yapmaya karar verdik.

Zorlukları:

  • Etiketler önde ve/veya arkada gözükecek şekilde, 1 ya da 2 adet gelebilir. Dolayısıyla 2 adet kamera gerekiyor.
  • Hareket halinde görüntü alınacak.
  • Saniyede 4 adete kadar kamera önünden geçebilir. 2 kamera için toplam kontrol süresi maksimum 250 ms olması gerekmekte.
  • Kavanozlar silindirik olduğu için aydınlatma çok önemli, kenarlar aydınlanmaz ise görmek zorlaşacaktır. Kavanozun büyüklüğüne ve şekline göre ışığı yansıtması da değişken olmaktadır.
  • Kavanozların ebatları değişken, dolayısıyla etiketlerin yerleri de.
  • Kavanozlar ve etiketler, düz-bombeli-yamuk şekilli-eğri olabilir.
  • Etiketlerin eni boyu yüksekliği de değişken olabilir.
  • Etiket ve kavanozun içindeki malzeme her renkte gelebilir.
  • Etiket üzerinde yazı, barkod olabilir ya da içindeki malzemenin resimleri olabilir.
  • Kavanozların içine karışık turşular (kornişon, lahana, havuç, biber, domates vs.), salça, zeytin, biber, patlıcan konulabiliyor. İçinde böyle karışık gelebilen malzemeler olduğu için, etiketin bulunması zorlaşabiliyor.

Aşağıda örnek bazı fotoğrafları görebilirsiniz.

kavanoz tursu

Bütün bu zorluklara rağmen HALCON ile başarılı bir şekilde makine öğrenmesi sağlanmaktadır.

Kullanıcıdan etiketli olan kavanozları koyup döndürürken birkaç fotoğraf çektirip bunları OK ürün olarak, etiketi olmayan kavanozları koyup bunları da RET ürün olarak kaydediyoruz. Bu öğrenimi SVM (Support Vector Machines) yöntemi ile yaptık.

Gelen ürünlerin görüntülerini alıp, hızlıca işleyip etiketin varlık yokluğuna bakabiliyoruz.

Sonuç olarak; birçok farklı kavanoz ve etiket örneğinde, doğru ve hızlıca çalışan bir proje oldu.

kavanoz-ok-ret

Etiket Eksik Yazı, Hiza ve Açı Kontrolü

Sistemimizi kurduğumuz yerlerden biri de, beyaz eşya sektöründeki ismi bilinen birçok büyük şirketlere etiket (label) sağlayan bir firma.

Arçelik, Beko, Gorenje, Liebherr, Hacep gibi markaların, buzdolabı, çamaşır makinesi, bulaşık makinesi gibi beyaz eşyalarının üzerine konulan etiketleri yapılıyor. Bu etiketlerin yapıştırılırken sorun olmaması için;

  • Doğru yönde ve açıda yani x ekseni 0(sıfır) açısında,
  • Doğru hizada yani sağdan-soldan-üstten belli bir mesafede,
  • Eksik yazısı, karakteri olmadan

üretilmesi ve bu firmalara gönderilmesi gerekmektedir.

Etiketlerin kontrolü eskiden tek tek, el ile ve bir taslak şablonun üzerine konularak,  manuel olarak yapılıyordu. Günde binlerce ürün üretilince bunların hepsinin kontrolü yapılmıyor, aralardan örneklemeli olarak ürün seçilip sadece onlara bakılıyordu. Artık 7-24 çalışan ve %100 esasına dayalı olarak bütün ürünlerde hassas şekilde kontrol sağlanıyor.

Bizden önce, bizim sektörde ismi bilinen başka bir görüntü işleme firmasıyla çalışılmış ve maalesef başarısız olmuşlar. Maalesef diyorum çünkü müşteri, bir firmayla başarısız olduğunda ister istemez bir önyargısı oluşuyor. Kontrolün çok zor olduğunu ya da bizim gibi firmaların hepsinin aynı olduğuna ve diğerlerinin de çözemeyeceklerine inanabiliyorlar. Bir yandan da eğer uçuk istekleri varsa (her şeyi görsün, her yerine baksın, aşırı hassas bulsun vb.) bunlardan vazgeçiyorlar (çalıştığımız firmada bu zaten yoktu tabiki, genel olarak yazıyorum), kameralı sistemlerin nasıl çalıştığına dair fikirleri oluşuyor, sisteme pozitif ve negatif etki eden faktörleri daha kolay anlıyorlar ve tecrübe ediniyorlar.

Kolay diye başlanan projelerin aslında ne sorunlar çıkarabileceğini sanırım iyi biliyoruz, bu yüzden genelde bütün projelere temkinli yaklaşırız. Farklı sektörlerde farklı isteklerde projelerim oldukça fazla olduğu için tecrübemiz de fazla. Oluşabilecek problemleri veya daha sonra istenebilecek şeyleri de önceden görüp konuşuruz. İleride gerekecek kısımları önceden programa kolayca ekleriz. Programı her firmaya özel olarak kendimiz geliştirdiğimiz için (tabiki genel işleri yapan çekirdek bir kısmı mevcut) bu tarz esnekliğimiz çok fazla. Arayüz tasarımında, veritabanı, ağ ve haberleşme tarafında, user-login sisteminde, ayarlar kısmında, raporlama isteklerinde karşılıklı konuşup, herkes tarafından kolayca kullanılabilen, müşterinin içine sinen bir program oluşturuyoruz.

Konumuza dönecek olursak; üretilen malzeme, konveyör üzerinden hızlıca geçerken hareket halinde görüntü alınır ve içerideki yazının açısı, tabakanın açısı ile aynı mı, üzerinde eksik karakter var mı, hizalamalar doğru mu diye kontrol edilir. Ürünler şu şekilde:

etiket label kontrol

Burada, şeffaf tabakanın açısı ile yazının açı farkı 0.5 derecenin altında olmalı. Beyaz kağıt üretim aşamasında önemli olmadığı için eksik, yırtık, açısı farklı, sağdan soldan üstten alttan kesildiği yerler farklı, şekli değişik gelebiliyor. Dolayısıyla beyaz kağıdın önündeki yazıyı bulmak da kolaydır diye düşünmeyin. Üstelik ışık yansıtma farklılığı tabakaların kalınlığından dolayı değişkenlik gösterebiliyor, arka plan her zaman düzgün siyah olarak gelmiyor, parazit yaratabilecek tozlar çizikler olabilir. Ayrıca ürünler hızlıca konveyörden geçiyor ve saniyede birkaç ürün geçebilir. Bununla birlikte şeffaf yerleri de olan ürünün kameranın önüne geldiğini şaşmaz şekilde bilmek de gerekiyor.

Yazılım ayrıca ileriki zamanda üretilebilecek markaları da kontrol edecek şekilde, öğretim yöntemleri ile çalışmaktadır. Yani yeni model tanıtıp, istediğiniz toleransları girip, ürünlerinizi kontrol etmeye başlayabiliyor.

etiket kontrol-3etiket kontrol-2

Hızlıca kurulumunu yaptığımız bu sistemde, saniyede 2-3 etiket kontrolü yapılmakta.

Bu yazılımımızda da yine raporlama modülümüz mevcuttur. Günlük, saatlik, üretilen modellere göre, ok-ret durumu, her bir kontrolün detayı, toplam sonucu ve sayısı raporlamada alınabiliyor.

Ayrıca bu ana firmalarda, beyaz eşyanın üzerine etiketin doğruca yapıştırıldığının kontrolü de manuel olarak hizalanarak yapılıyor. Operatör tarafından doğru açıda konulduğunu otomasyonel olarak kontrol ettirmek istiyorlar. Bununla ilgili çalışmalarımız da devam ediyor.

Toyota Boshoku’da Klips Varlık-Yokluk Kontrolü

Mavis VYP programı ile, klips varlık-yokluk kameralı kontrol sistemini Toyota Boshoku‘da devreye aldık.

Parça üzerindeki turuncu renkli klipslerin varlığına bakacağız. Test masasında 2 farklı ürün kontrol ettirilmektedir ve klipslerin yerleri farklıdır. Programdan “Ürün Seçimi” yapılarak, modele ait daha önce kaydedilmiş yerler kontrol edilir.

  1. Kullanıcı malzemeyi masaya sabitler. Üzerine klipslerin hepsini takar. Daha sonra bütün klipslerin kontrolü için yanındaki push buton’a basar.
  2. Bu aşamada program, parçanın sabit kalması için klempleri kapatır. Parçanın fotoğrafını çeker ve kontrollerini yapar.
  3. Bütün klipsler takılı ise, OK elektriksel sinyal çıkışı verecektir ve klempler açılacaktır. Eğer bazı klipsler takılı değil ise, NOK verecek ve kullanıcıya eksik klipslerin yerini gösterecek. Bütün klipsler takılana kadar sistem klempleri açmayacak. Böylece eksik ve hatalı ürün gitmemiş olmaktadır.

Mavis VYP yazılımında, birden fazla ürün kontrolü olabilmektedir. Ürün seçimi menüsünden tanıtılmış ürünleri görebilir, kontrolünü yapacağınız ürünü seçebilirsiniz.

toyota boshoku nok1 toyota boshoku ok1
Bu sistemde kullandığımız kameraları merak ediyorsanız, işte aşağıda;

2 adet IDS marka, XS model ( ismi ekstra small’dan geliyor 🙂 ) endüstriyel kamera kullandık.
5mpx çözünürlüklü, renkli ve oto-fokus özellikleri vardır.

Yeni nesil XS kameraueye xs kameralar