Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2288-0992(Print)
ISSN : 2288-100X(Online)
Protected Horticulture and Plant Factory Vol.28 No.4 pp.322-327
DOI : https://doi.org/10.12791/KSBEC.2019.28.4.322

Development of an Automatic Grafting Robot for Fruit Vegetables using Image Recognition

Dong Hyeon Kang*, Si Young Lee, Jong Koo Kim, Min Jung Park, Jin Kwan Son, Sung-Wook Yun
Dept. of Agricultural Engineering, National Institute of Agricultural Sciences, RDA, Wanju 54875, Korea
Corresponding author: kang6906@korea.kr
July 12, 2019 August 27, 2019 September 2, 2019

Abstract


This study was conducted to improve the performance of automatic grafting robot using image recognition technique. The stem diameters of tomatoes and cucumber at the time of grafting were 2.5±0.3mm and 2.2±0.2mm for scions and 3.1±0.7mm and 3.6±0.3mm for rootstocks, respectively. The grafting failure was occurred when the different height between scions and rootstocks were over 4 mm and below 2 mm due to the small contact area of both cutting surface. Therefore, it was found that the height difference at the cutting surface of 3 mm is appropriate. This study also found that grafting failure was occurred when the stem diameters of both scions and rootstocks were thin. Therefore, it was suggested to use at least one stem with thicker than the average stem diameter. Field survey on the cutting angle of stems by hand were ranged from 13 to 55 degree for scions and 15 to 67 degree for rootstocks, respectively, which indicates that this could cause the grafting failure problem. However, the automatic grafting robot developed in this study rotates the seedlings 90 degree and then the stems are cut using a cutting blade. The control part of robot use all images taken from grafting process to determine the distance between a center of both ends of stem and a gripper center and then control the rotation angle of a gripper. Overall, this study found that The performance of automatic grafting robot using image recognition technique was superior with the grafting success rates of cucumber and tomato as 96±3.2% and 95±4%, respectively.



영상인식 기술 이용 과채류 접목로봇 개발

강 동현*, 이 시영, 김 종구, 박 민정, 손 진관, 윤 성욱
농촌진흥청 국립농업과학원 농업공학부

초록


접목시기의 줄기직경을 조사한 결과 토마토 접수는 2.5±0.3mm, 대목은 3.1±0.7mm인 것으로 조사되었고, 오 이 접수는 2.2±0.2mm, 대목은 약 3.6±0.3mm인 것으로 조사되었다. 절단 기준점의 높이 차는 4mm 이상일 때 대부분의 모종에 대해 접촉면이 작아 접목 불량이 발생 하였고, 2mm 이하일 때 접수와 대목의 절단면 겹침으 로 인하여 접촉부가 작아 불량이 발생하는 것으로 분석 되어 3mm가 적당한 것으로 사료된다. 접수 및 대목 줄 기직경이 모두 얇을 경우 접수 및 대목 중 하나의 줄기 직경이 평균값 이상을 이용해야 하는 것으로 분석되었다. 또한 줄기의 절단 각도는 인력으로 작업하기 때문에 접 수는 13~55o, 대목은 15~67o의 범위로 다양한 것으로 조사되어 접목 불량의 원인이 될 수 있으므로 기계절단 을 통하여 접수와 대목의 절단각도를 일치시킴으로써 접 목성공률을 향상 시킬 필요가 있을 것으로 사료된다. 모 종 줄기 절단면 촬영 및 영상처리로 모종의 휨을 인식 및 계산하여 그립퍼의 회전각을 제어하여 정확도 시험을 실시한 결과 접수와 대목 절단면은 정확히 접합되는 것 으로 조사되었다. 영상 인식 기술을 적용한 접목로봇을 이용하여 오이와 토마토에 대한 접목시험을 실시한 결과 오이는 96±3.2%, 토마토는 95±4%의 접목 성공률이 조 사되었다.



    Rural Development Administration
    PJ010970

    서 론

    1990년대 이후 고품질 모종을 생산하기 위하여 증가하 고 있는 접목작업은 수확량 증가, 연작장애 방지, 효율 적 생산, 내병성 증진 등 다양한 이유로 꾸준히 증가하 고 있는 추세이다(Kim과 Hwang, 2015;Nishiura, 2011). 접목작업을 통해 생산되는 모종은 수박 99%, 참 외 98%, 토마토 69%, 가지 41% 등으로 높은 비중을 차지하고 있고(NIHHS, 2013), 접목묘의 양은 연간 한국 약 4억본, 일본 약 5억본 등 전 세계적으로는 약 1,000 억본 이상의 모종이 필요한 것으로 추산된다(Nishiura, 2011). 이러한 접목작업은 육묘장 전체 노동의 70~80% 를 차지할 정도로 많은 인력을 필요로 하지만(Kang 등, 2005), 작업 체계 및 작업자의 고령화, 단순반복작업 등 으로 인하여 생산량 증대에 어려움을 겪고 있다. 이러한 노동력 부족을 해결하기 위하여 최근에는 접목작업의 로 봇화에 대한 요구가 더욱 증가하고 있다. 2000년대 초반 에 과채류의 접목작업에 대한 자동화 연구는 한국과 일 본을 중심으로 박과작물을 대상으로 집게 이용 합접방식 (Suzuki 등, 1995a, 1995b;Kobayashi와 Suzuki, 1996), 삽접방식(Park 등, 1997)등의 접목시스템이 개발된 바 있고, 농촌진흥청을 중심으로 합접방식을 채용하여 박과 및 가지과에 대한 자동 접목로봇에 관련된 연구개발을 수 행한 바 있다(Kang 등, 2008). Kim과 Hwang(2015)은 농 촌진흥청에서 개발된 접목로봇은 농업현장에 적용 가치가 있으나, 절단 잔유물이 제거되지 않거나, 접수와 대목의 줄기가 완전하게 절단되지 않는 등의 이유로 접목불량률 이 21.7%로서 개선이 필요한 것으로 보고하였다. 따라서 본 연구의 목적은 작업자 미숙, 모종의 줄기의 형태에 따 른 모종 줄기 절단면 접합 불량 등의 원인으로 발생하는 접목로봇의 불량을 개선하고자 영상인식 기술을 채용한 접목로봇을 개발하고 그 성능을 분석하는데 있다.

    재료 및 방법

    1. 자동 접목로봇의 구성

    본 연구에서 개발된 자동 접목로봇은 Fig. 1과 같이 접수 및 대목 공급부, 접수 및 대목줄기 절단부, 접목부, 제어부로 구성된다. 접목로봇의 작동방법은 Fig. 2와 같 이 접목로봇의 접수 및 대목 공급부에 작업자가 모종을 공급하면, 그립퍼는 90° (Fig. 2의 ①) 회전된다. 회전된 그립퍼에 의해 회전된 모종은 줄기 절단용 칼날에 의해 대목은 상방향으로, 접수는 하방향으로 각각 50° 각도로 절단된다. 절단 각도는 칼날의 각도 조정에 의해 조절이 가능하다. 줄기가 절단된 접수와 대목은 다시 90° 회전 (Fig. 2의 ②)한 후 양쪽 그립퍼가 전진하여 절단면을 접 합시킨다. 이후 집게 공급부에서 집게가 공급되어 접목 묘를 완성시킨 후 접목묘를 하단부의 컨베이어로 떨어뜨 리고, 그립퍼는 모종 공급부로 복귀(Fig. 2의 ③)하도록 구성하였다. 접목이 완료된 묘는 접목부 하단의 이동하 는 컨베이어에 의해 이식 작업자까지 이동되어 플러그 트레이에 이식된다. 본 연구에서 개발된 접목로봇은 편 엽을 남기는 박과 모종에 대해 줄기 절단 시 한쪽 잎이 절단 되지 않도록 떡잎 고정용 바를 설치하여 박과 모 종과 가지과 모종 모두에 적용이 가능하도록 구성되었다. 또한 생육환경 등으로 인하여 발생하는 접수와 대목의 절단면의 부정확한 접합을 방지하기 위하여 접목로봇은 줄기 절단 후 영상을 인식하고, 서보모터(APMCFCL08AMK, LS Mecapion Co. LTD, Korea)를 이용하 여 모종이 회전하는 회전각을 조절하여 절단면이 정확한 접합이 가능하도록 하였다. 단 휨각으로 인한 회전각이 180±5° 이상 일 경우 집게 공급부 등과 충돌로 인한 그 립퍼 파손을 방지하기 위하여 회전각은 계산된 각이 아 닌 180° 회전하도록 설정하였다.

    2. 접목묘 접목 특성 조사

    접목로봇의 불량률을 증가시키는 원인 중 하나는 Fig. 3과 같이 접목 시 줄기직경 차로 인한 절단면의 부정합 으로 인한 발생이다. 줄기직경의 차이로 인해 발생하는 접목불량은 절단 기준면이 일정한 접목로봇의 특성상 접 수와 대목의 줄기직경 차로 인해 Fig. 3 (d), (e)와 같이 절단면이 정확히 접합되지 못하여 발생한다. 이러한 불 량을 해결하기 위해서는 Fig. 3(a), (b), (c) 와 같이 절단면이 결합될 수 있도록 분류 기준을 설정해야하며, 이를 위하여 접목시기인 접수와 대목의 줄기직경 및 줄 기 절단각도를 조사 분석하였다. 줄기직경은 버니어캘리 퍼스(CD67-S20PS, Mitutoyo Corp, Japan)를 이용하였 고, 절단 각도는 줄기직경과 절단면의 길이를 조사하여 계산하였다. 조사대상은 4개 육묘장에서 접목이 완료된 모종을 해체하여 절단 부위로부터 2mm 위치에서 줄기 직경을 측정하였으며, 육묘장 당 30개씩 토마토 및 오이 접목묘에 대하여 조사하였다. 또한 Fig. 4와 같이 접수 와 대목의 줄기직경 차에 의해 발생되는 접목 불량은 절단 기준면에서의 절단높이 계산을 통해 최소화 할 수 있는 방법에 대하여 분석하였다. 이때 줄기 절단 각도는 50° 로 고정하였고, 접수와 대목의 절단기준면 높이는 토마토 대목의 평균 줄기직경을 기준으로 설정하여 분석 하였다.

    3. 기계시각 이용 줄기 휨 분석 접목

    접목은 생육 초기의 모종을 이용하므로 육묘온실의 광 환경 및 발아 환경 등에 의해 발생하는 줄기의 휨이 발 생하므로 자동화가 어려운 작업이다. 이러한 줄기의 휨 은 Fig. 5와 같이 줄기 절단면이 정확히 접촉하지 못하 여 절단면의 접촉 불량 혹은 집게가 공급될 때 접수 및 대목의 줄기에 닿아 불량을 발생시켜 모종공급, 절단, 접목 등 일련의 작업을 수행하는 접목로봇의 접목성공률 저하의 원인이 된다.

    Kang 등(2017)은 접목시기인 토마토 줄기의 휨은 평 균 10° 내외로 그립퍼로부터 5mm 돌출되었을 때 약 0.9mm 가 중심에서 이격될 수 있다고 보고하였다. 이러 한 불량을 해결하기 위하여 접목로봇은 접수와 대목 모 종 줄기의 휨을 인식하고 휨에 따라 그립퍼의 회전각 을 조절하도록 구성하였다. 줄기의 휨을 인식하기 위하 여 2대의 카메라(ANPVC1040, Panasonic Corp, Japan)를 설치하고, 카메라를 통해 입력된 영상은 이치 화 영상처리를 통하여 절단면의 휨을 계산하도록 구성 하였다. 줄기의 휨을 이용한 그립퍼의 회전각은 식(1) 과 같이 절단면의 양끝단 X축 좌표의 중심 값과 그립 퍼 중심의 X좌표와의 거리를 계산하고, 그 차를 이용 하여 계산된다.

    D = 180 + tan -1 P i ( C- E 1 -E 2 2 ) L
    (1)

    여기서, D: 회전각(°), Pi: 1픽셀 길이(mm), C: 그립퍼 중심의 X축 좌표, E1, E2 : 절단면 양끝 에지의 X축 좌 표, L : 그립퍼 회전중심에서 모종까지 거리(mm)이다.

    4. 접목 성공률

    접목 불량을 최소화하기 위하여 접수 및 대목 절단면의 휨을 영상인식하고, 이를 이용하여 접목을 위해 회전하는 접수 및 대목의 회전각 조절을 통해 접목률이 향상되도록 제작한 접목로봇의 접목 성공률을 조사하였다. 접목시험 은 박과의 대표 품종인 오이의 접수는 ‘장록흑진주’ (Cucumis sativus L. cv., Nongwoobio. Co. Suwon, Korea), ‘흑종호박’(Cucurbita moschata Duchesne, Nongwoobio. Co. Suwon, Korea)과 가지과의 대표 품종인 토마토의 접 수는 ‘티티찰’(Lycopersicon esculentum Mill., Nongwoobio. Co. Suwon, Korea), 대목은 ‘버팀목’(Lycopersicon esculentum Mill., Nongwoobio. Co. Suwon, Korea)를 대상으로 실시 하였다. 시험은 1회 20개의 접수 및 대목을 이용하여 시 험을 실시하여, 접목 시간과 접목 성공률을 조사하였다. 접목 성공은 접목이 완료된 모종의 집게를 제거 후 접 수와 대목 절단부위 미접합 부분이 1mm 이하일 경우로 하였다. 시험은 5반복으로 실시하였다.

    결과 및 고찰

    1. 접목묘 접목 특성 조사

    접목시기 및 접목 부위는 지역별, 공정 육묘장 별로 차이는 있으나 접목시기는 2일 정도의 차이가 있었다. 박과의 접목위치는 큰 차이가 없었으나, 가지과 줄기의 절단부위는 대목 떡잎을 기준으로 윗부분과 아랫부분을 절단해야한다는 이견이 있었으나 대상농가마다 절단위 치에 따른 생육문제는 발생하지 않는 것으로 조사되었 다. 접목시기의 줄기직경은 가지과의 경우 접수모종은 약 2.5±0.3mm, 대목은 약 3.1±0.7mm인 것으로 조사 되었고, 박과의 경우 접수모종은 약 2.2±0.2mm, 대목 은 약 3.6±0.3mm인 것으로 조사되었다. 접수와 대목의 줄기직경 차에 따른 접목 불량률을 분석하기 위하여 접수와 대목 절단기준점 간의 높이를 3mm로 고정하고 , 줄기직경에 따른 절단 높이(Fig. 4의 h)를 계산한 결 과는 Table 1과 같다. 절단기준점의 높이 차가 4mm 이상에서는 대부분의 모종에 대해 접촉면이 작아 접목 불량이 발생하는 것으로 조사되었고, 절단 기준점의 높 이차가 2mm 이하에서는 접수와 대목의 절단면 겹침으 로 인하여 접촉부가 작아 불량이 발생하는 것으로 분 석되었다. 따라서 접수와 대목의 절단 기준점의 높이차 는 3mm 가 적당하며, 접수와 대목의 절단기준점 간의 줄기방향 거리는 평균 직경인 약 3mm 전후가 적당 할 것으로 사료된다. 또한 접목로봇을 이용한 접목 효율성 및 접목성공률 향상시키기 위한 방법은 대목과 접수의 경경을 균일하게 재배하거나(Kim과 Hwang, 2015), 접 수 및 대목 줄기직경이 모두 얇을 경우 Fig. 3의 (e)와 같은 불량의 최소화를 위해서는 접수 및 대목 중 하나 의 줄기직경이 평균값 이상인 것을 사용하기 위한 모 종 분류 작업 후 접목작업을 수행해야 할 것으로 사료 된다.

    또한 줄기의 절단 각도는 인력으로 작업하기 때문에 접수는 13~55°, 대목은 15~67°의 범위로 다양한 것으로 조사되었다. 접수와 대목의 큰 절단각도 차는 접목 불량 의 원인이 될 수 있으므로 기계 절단을 통하여 접수와 대목의 절단각도를 일치 시킬 필요가 있을 것으로 사료 된다.

    2. 기계시각 이용 줄기 휨 분석 접목

    개발된 접목로봇은 Fig. 2와 같이 접목로봇에서 모종 이 공급되어 90° 회전한 후 절단 칼날을 이용하여 모종 줄기를 절단한다. 모종의 줄기가 절단 된 접수와 대목은 두 대의 카메라에 의해 각각 촬영된다. Fig. 6은 기계시 각을 이용한 접목로봇을 이용하여 접목작업을 수행한 결 과를 나타낸 것이다. Fig. 6과 같이 줄기 양 끝단 X좌표 의 중심좌표와 그립퍼 중심의 X좌표와의 거리는 계산된 다. 계산된 두 중심 간 거리를 이용하여 그립퍼의 회전 각을 계산하고 이에 따라 그립퍼는 회전하여 접목위치로 이동한다. 접목위치로 이동하였을 때 계산된 회전각과 실제 회전각은 정확히 일치되었고, 정확한 접목이 이루 어지는 것으로 조사되었다. 기계시각 적용으로 휨을 인 식하고 서보모터를 이용한 정밀 제어함으로써 Kim과 Hwang(2015)이 접목로봇의 불량 원인으로 제시한 연속 적인 동작의 불안전성과 기계적 오류는 해결 될 것으로 사료된다.

    접수와 대목의 절단면의 정밀접합을 위한 그립퍼의 추 가 회전으로 인하여 발생할 수 있는 접수와 대목 절단 면 간의 이격(Fig. 7의 t)은 집게 공급 시 줄기와 집게의 부딪힘으로 인하여 불량이 발생 할 수 있다. Kang 등 (2017)이 보고한 토마토 줄기의 최대 휨각인 28°이고 그 립퍼로부터 5mm 돌출된 모종의 경우 절단면의 중심은 그립퍼의 중심으로부터 2.3mm 이다. 이를 이용하여 계 산된 그립퍼의 회전각(Fig. 7의 D 및 D')은 181.4°이고, 이로 인해 발생하는 두 절단면간의 이격거리(Fig. 7의 t) 는 0.1mm이하이므로 그립퍼의 회전각 조절로 인하여 발생하는 접목 불량은 없을 것으로 사료된다.

    3. 접목 성공률

    접목로봇에 영상인식 기술을 적용하여 오이와 토마토 에 대한 접목시험을 실시한 결과는 그림 Fig. 8과 같다. 접목 시험에서 20개의 모종에 대해 5회 반복시험을 실 시한 결과 오이는 96±3.2%, 토마토는 95±4%의 접목 성 공률이 조사되었다. 접목 불량의 원인으로 오이는 작업 자의 부주위로 대목 절단 시 떡잎 모두를 자르는 경우, 집게 공급 혹은 집게의 불량으로 발생하였고, 토마토는 집게공급 시 떡잎과 부딪혀 발생하는 불량, 집게 공급 또 는 집게 불량으로 인하여 발생하는 것으로 조사되었다. 가장 많은 불량을 발생시키는 집목집게는 집게의 용수철 을 파지하여 공급할 때 용수철의 편심으로 인한 것으로 조사되었다. 따라서 작업자의 숙련도 향상 및 집게 형상 의 개선은 불량률을 최소화기 위해 필요할 것으로 사료 된다.

    적 요

    접목시기의 줄기직경을 조사한 결과 토마토 접수는 2.5±0.3mm, 대목은 3.1±0.7mm인 것으로 조사되었고, 오 이 접수는 2.2±0.2mm, 대목은 약 3.6±0.3mm인 것으로 조사되었다. 절단 기준점의 높이 차는 4mm 이상일 때 대부분의 모종에 대해 접촉면이 작아 접목 불량이 발생 하였고, 2mm 이하일 때 접수와 대목의 절단면 겹침으 로 인하여 접촉부가 작아 불량이 발생하는 것으로 분석 되어 3mm가 적당한 것으로 사료된다. 접수 및 대목 줄 기직경이 모두 얇을 경우 접수 및 대목 중 하나의 줄기 직경이 평균값 이상을 이용해야 하는 것으로 분석되었다. 또한 줄기의 절단 각도는 인력으로 작업하기 때문에 접 수는 13~55°, 대목은 15~67°의 범위로 다양한 것으로 조사되어 접목 불량의 원인이 될 수 있으므로 기계절단 을 통하여 접수와 대목의 절단각도를 일치시킴으로써 접 목성공률을 향상 시킬 필요가 있을 것으로 사료된다. 모 종 줄기 절단면 촬영 및 영상처리로 모종의 휨을 인식 및 계산하여 그립퍼의 회전각을 제어하여 정확도 시험을 실시한 결과 접수와 대목 절단면은 정확히 접합되는 것 으로 조사되었다. 영상 인식 기술을 적용한 접목로봇을 이용하여 오이와 토마토에 대한 접목시험을 실시한 결과 오이는 96±3.2%, 토마토는 95±4%의 접목 성공률이 조 사되었다.

    추가 주제어: 접목성공률, 회전각, 절단각

    사 사

    본 연구는 2017년도 농촌진흥청 국립농업과학원 연구 개발사업(과제번호: PJ010970)의 지원에 의해 이루어진 것임.

    Figure

    KSBEC-28-4-322_F1.gif

    The automatic grafting robot using image recognition.

    KSBEC-28-4-322_F2.gif

    Principle of the automatic grafting robot.

    KSBEC-28-4-322_F3.gif

    Grafted state according to stem thickness of the scion and the rootstock using the automatic grafting system.

    KSBEC-28-4-322_F4.gif

    Cutting height according to the cutting angle and stem diameter.

    KSBEC-28-4-322_F5.gif

    Defect of grafting due to stem bending.

    KSBEC-28-4-322_F6.gif

    Rootstock and scion image sampled using two cameras.

    KSBEC-28-4-322_F7.gif

    A space between scion and rootstock cutting surface according to gripper rotation.

    KSBEC-28-4-322_F8.gif

    Cucumber grafted seedlings using automatic grafting system.

    Table

    Cutting reference point height difference between diameter of the rootstock and the scion.

    Reference

    1. Kang, C.H. , S.K. Lee, K.S. Han, and H.K. Choi.2005. Development of a root-removed splice grafting system for cucurbitaceous vegetables - operating performance of grafting system-. Proceeding of the KSAM 2005 Summer Conference 10:343-346.(in Korean)
    2. Kang, C.H. , S.K. Lee, K.S. Han, Y.B. Lee, and H.K. Choi.2008. Development of a root-removed splice grafting system for cucurbitaceous vegetables(1) - Analysis of grafting process and system setting-. J. of Biosystems Eng. 33:453-461.(in Korean)
    3. Kang, D.H. , S.Y. Lee, J.K. Kim, M.J. Park, J.K. Son, S.W. Yun, S.W. An, and I.K. Jung.2017. A study on performance improvement of fruit vegetables automatic grafting system. Protected Hort. Plant Fac. 26:215-220.(in Korean)
    4. Kim, H.M. , and S.J. Hwang.2015. Comparison of pepper grafting efficiency by grafting robot. Protected Hort. Plant Fac. 24:57-62.(in Korean)
    5. Kobayashi, K. and M. Suzuki.1996. Development of grafting robot for cucurbitaceous vegetables(Part 3) –Continuous grafting by experimental model-. Journal of the Japanese Society of Agricultural Machinery 58:83-93.(in Japanese)
    6. National Institute of Horticultural and Herbal Science(NIHHS).2013. Current status of grafted fruit vegetable transplants production and cultivation. Rural Development Administration. (in Korean)
    7. Nishiura, Y. 2011. Automation of grafted seedlings production and a prospective view of a year-round plant production system. Journal of Society of High Technology in Agriculture 23:87-92.(in Japanese)
    8. Park, K.S. , K.M. Lee, and J.Y. Kim.1997. Mechanism of a grafting machine using the insertion method, Agric. Res. Bull. Kyungpook Natl. Univ. 15:115-122.(in Korean)
    9. Suzuki, M. , K. Kobayashi, K. Inooku, K. Miura, and K. Hirata.1995a. Development of grafting robot for cucurbitaceous vegetables(Part 1). Journal of the Japanese Society of Agricultural Machinery 57:100-108.(in Japanese)
    10. Suzuki, M. , K. Kobayashi, K. Inooku, and K. Miura.1995b. Development of grafting robot for cucurbitaceous vegetables( Part 2). Journal of the Japanese Society of Agricultural Machinery 57:103-110.(in Japanese)