COMTEL 2016 - Paper21
COMTEL 2016 - Paper21
COMTEL 2016 - Paper21
de vectores de soporte
Nilssen S. Marin, Carlos A. Madrigal
nilssenmarin105820@correo.itm.edu.co, carlosmadrigal@itm.edu.co
Instituto Tecnológico Metropolitano, Facultad de Ingeniería - Colombia
Calle 54A No. 30 – 01
Medellín – Colombia
Resumen: En un proceso de exportación de fresas la inspección visual automática es un papel importante, ya que
permite incrementar el valor comercial de éstas y asegura la calidad del producto. En este artículo se presenta una
metodología para determinar las características de tamaño, forma y color de las fresas. Para la adquisición de las
imágenes se utilizó un sistema de iluminación tipo domo con luz led blanca difusa. Inicialmente se determina y corrige
la orientación de la fresa para obtener una medición precisa de su tamaño, luego se extraen características basadas en
líneas estructurales verticales y horizontales que permiten estimar la forma de la fresa, además se utiliza información
de color para evaluar el grado de madurez. Para la clasificación se usó una SVM lineal. En las pruebas experimentales
la SVM lineal tuvo una precisión del 100% para clasificar entre 2 tipos de formas. El error promedio en la estimación
del tamaño es del 6.5% y para la estimación de la madurez de un 10%.
Palabras clave: Inspección visual automática, Procesamiento de imágenes, Maquinas de vectores de soporte, calidad de
fresas.
Abstract: In a process of exporting, the visual inspection of strawberries plays an important role. It increases the
commercial value of strawberries and ensures the product quality. In this paper, a methodology is presented to
determine the features of shape and color of strawberries. An image acquisition system was implemented using a dome
type system with light LED white diffused. Initially, our proposal determines and corrects the orientation of the
strawberry. The above to obtain an accurate measurement of size. Then features are extracted based on structural lines
vertical and horizontal which allow estimating the shape of the strawberry. Further, the color information is used to
assess the maturity. For classification, a linear SVM was used. In the experimental tests, the linear SVM shows 100%
accuracy for classifying between 2 types forms. The average error in the size estimation is 6.5% and for the maturity
estimation 10%.
Keywords: Automatic visual inspection, Image processing, Support vector machine, Quality of strawberries.
COMTEL2016
COMTEL 2016 157
VIII
VIII CongresoInternacional
Congreso Internacionalde
de Computación
Computación yy Telecomunicaciones
Telecomunicaciones 157
UIGV
desarrollado compartiendo la tarea con los trabajadores, 2.5), la extracción de características de forma (sección
detectando la inclinación de la fruta gracias al pedúnculo 2.6) y el clasificador usado (sección 2.7). En la sección 3
y un sistema de visión estereoscópica para determinar la se muestran los resultados experimentales desarrollados y
posición 3D, la tasa exitosa de recolección fue del 41.3% los resultados cuantitativos obtenidos, y en la sección 4 se
usando un dispositivo de succión antes de cortar el describen las conclusiones.
pedúnculo y 34.9% cuando se recolectaron sin succión.
Otro robot fue propuesto usándose en sistemas 2 Materiales y métodos
hidropónicos que ayuda a recolectar las fresas de acuerdo El método de clasificación aquí propuesto se basa en la
a su grado de madures [9]. En [10] la clasificación detección de la orientación de la fruta y su corrección si
automática de frutas clasifica en base a dos métodos de es necesaria, para después obtener los demás índices de
características: el primer método extrae características de clasificación. En esta sección se muestran los pasos y
color y forma, como el promedio de color, color kurtosis, operaciones que componen la metodología, desde el
color skewnes y excentricidad, centroide y numero de sistema de iluminación usado pasando por la adquisición
Euler para la forma; el segundo método usa la de la imagen, la extracción de características y el
transformación de características de escala invariante clasificador utilizado. La secuencia completa de la
(SIFT), en la clasificación se usa el clasificador random metodología propuesta es ilustrada en la Figura 1.
forest (RF) para reconocer entre naranjas, manzanas y
fresas, para los resultados se escogieron tres grupos fresa- 2.1 Elementos de adquisición
naranja, naranja-manzana y manzana-fresa, obteniendo
100% de éxito en la clasificación del primer grupo, Con la idea de obtener imágenes adecuadas para su
96.97% en el segundo grupo y 96.97% en el tercer grupo. posterior procesamiento se ha utilizado la iluminación
Otros trabajos han desarrollado metodologías similares tipo domo que provee luz continua y sustancialmente
aplicadas a un conjunto diferente de frutas [11][12][13]. uniforme, esto debido a que en las pruebas iniciales las
imágenes adquiridas de la fresa presentaron reflexión
De acuerdo a la revisión del estado del arte hay algunas especular lo que representa perdida de información para el
técnicas que se han propuesto para la clasificación de análisis de madurez. La sección plana del domo contiene
fresas en sistemas de inspección visual automática, sin en su interior una placa de circuito con 12 Leds blancos
embargo todavía hay limitaciones en la segmentación de 1W en forma circular alrededor de éste y hacia arriba,
exitosa del cáliz cuando la fruta no está muy madura y en el domo es de aluminio y su interior está revestido de
la detección de hongos y magulladuras. forma tal que en conjunto con la luz se crea un ambiente
difuso en la plataforma de trabajo. Basados en las pruebas
En este trabajo se propone una metodología para
de contraste complementario según el análisis de los 7
determinar las características de forma, tamaño y color de
contrastes de color en [14] el fondo del domo es morado
las fresas basado en el espacio de color OHTA
para contrastar con los posibles colores en la fresa y
modificado para la detección de madurez y el cáliz.
facilitar su segmentación. Las imágenes de muestra
Usando características basadas en líneas estructurales
fueron adquiridas con una cámara Point Grey Flea®3
verticales y horizontales para clasificar la forma por
FL3-U3-13S2C-CS. Las imágenes fueron adquiridas con
medio de una SVM lineal. Además de esta introducción el
una resolución de 1280x1024 en formato TIF de 32 bits
trabajo está organizado de la siguiente manera. En la
en RGB. La base de datos consiste en un total de 158
sección 2 se describe la metodología propuesta, los
imágenes tomadas a fresas con diferentes grados de
elementos de adquisición (sección 2.1), la etapa de pre-
madurez. La aplicación de procesamiento se ha
procesamiento (sección 2.2) y segmentación y detección
desarrollado usando las librerías de código abierto
de la orientación (sección 2.3), la determinación del
Opencv de Intel.
tamaño (sección 2.4), la detección de madurez (sección
COMTEL 2016
158 COMTEL 2016
VIII Congreso Internacional de Computación y Telecomunicaciones
UIGV 158
VIII Congreso Internacional de Computación y Telecomunicaciones
Segmentación
-Conversión de RGB a OHTA modificado
Pre-procesamiento -Segmentación del canal I´´2 usando la
Adquisición de la Sustracción del umbralización automática (Otsu)
imagen fondo y redimensión -Conversión de OHTA modificado a
de la imagen Y1,Y2,Y3
-Segmentación del cáliz por color
-Detección y corrección de la orientación
Clasificador
SVM lineal para Forma
obtener 1 de 2 Vector con 16
características de forma
formas
Madurez
Segmentar el canal I3 del
Extracción de
espacio OHTA modificado
características
usando la umbralización
automática (Otsu)
Tamaño
Máximo diámetro
horizontal
COMTEL2016
COMTEL 2016 159
VIII
VIII CongresoInternacional
Congreso Internacionalde
de Computación
Computación yy Telecomunicaciones
Telecomunicaciones 159
UIGV
I1 = (R+G+B) / 3 Y1 = (I1 + I´´2 + I3 )
I´´2 = (R-G) / 2 (3) 𝑌𝑌2 = (2*I1 − I3 − I´´2 ) (4)
I3 = (2G-R-B) / 4 Y3 = (I3 − I´´2 )
La segmentación del cáliz se hace en 4 pasos siendo el Esta segunda transformación se hace con el fin de obtener
primero la conversión de la imagen de RGB al espacio de componentes menos correlacionados donde se resalte de
color OHTA modificado Figura 3 (a), en el segundo paso manera más clara el cáliz del fruto Figura 3 (c). En el
se separan sus tres canales y se forma una máscara cuarto paso se segmenta por color el cáliz, Figura 3 (d) y
segmentando de forma binaria en el canal I´´! utilizando se obtiene su cuadro delimitador, al tener el cáliz este se
el método de umbralización automático OTSU, logrando usa para obtener solo el cuerpo de la fresa, a este cuerpo
separar los pixeles pertenecientes al cáliz y al área no también se halla su cuadro delimitador, Figura 3 (e). Una
madura, Figura 3 (b). Sin embargo el objetivo es separar vez obtenidos estos datos se encuentra el punto central de
el cáliz tanto del área madura como de la no madura, por ambos cuadros delimitadores y se traza una línea que
lo cual el tercer paso consiste en una segunda representa la orientación de la fruta en el sistema, Figura
transformación Y! ,Y! ,Y! basado en el espacio de color 3 (f).
OHTA como se muestra en la ecuación 4, esta
transformación solo se aplica a los pixeles con valor 0 en
la máscara hallada anteriormente.
COMTEL 2016
160 COMTEL 2016
VIII Congreso Internacional de Computación y Telecomunicaciones
UIGV VIII Congreso Internacional de Computación y Telecomunicaciones
160
madurez de la fresa [18]. Analizando los notorios V2 V3 V4 V5 V9
C9 = , C10 = , C11 = , C12 = ……., C16 = (7)
resultados en el espacio de color OHTA modificado, se V1 V1 V1 V1 V1
segmenta en el canal I3 con el método Otsu obteniendo
los pixeles correspondientes al área madura Figura 4 (b) y 2.7 Clasificación
(c) respectivamente.
Se probó con distintos clasificadores donde se encontró
2.6 Características de Forma que el más eficiente para la metodología propuesta fue la
SVM lineal. Las máquinas de vectores soporte SVM son
Basado en la metodología propuesta en [4], se forma un
ampliamente utilizadas en el área de aprendizaje de
vector de 16 características, pasando 9 líneas verticales y
maquina siendo muy popular en problemas de
9 líneas horizontales por la región del cuerpo de la fresa
clasificación de datos. Es un método de aprendizaje
sin el cáliz, Figura 4 (d). Luego se divide la longitud en
supervisado presentado por Vapnik (1995) que tomando
pixeles de cada línea vertical por la longitud de la línea
un conjunto de muestras de entrenamiento se puede
central vertical V1 , de igual forma para las líneas entrenar para que prediga la clase de una nueva muestra si
horizontales, se divide la longitud de cada línea horizontal se usa en problemas de clasificación. La SVM busca un
por la longitud de la línea central horizontal L1 como se hiperplano que separe de forma óptima una clase de otra,
muestra en la ecuación 7. siendo la separación optima el hiperplano que tenga la
L2 L3 L4 L5 L9 máxima distancia entre clases.
C1 = , C = , C = , C = ……., C8 =
L1 2 L1 3 L1 4 L1 L1
Figura 4: Extracción de características. (a) Fruta sin cáliz. (b) Imagen canal I3 . (c) Segmentación con Otsu. (d) Líneas
patrón.
COMTEL2016
COMTEL 2016 161
VIIICongreso
VIII CongresoInternacional
Internacionalde
de Computación
Computación yy Telecomunicaciones
Telecomunicaciones 161
UIGV
componentes principales de mayor varianza se obtendría
el 98.96% de la información.
Tabla 1: Resultados de algunos tamaños de fresa.
Dp Diámetro calculado Diámetro Actual Error
Fresa
(pixeles) (mm) (mm) (%)
1 504 36.79 37.3 1.37
2 508 37.08 39.4 5.89
3 510 37.23 38.5 3.3
4 457 33.36 35 4.69
5 530 38.69 39.3 1.55
6 486 35.47 37.9 6.41
7 490 35.77 36.8 2.8
8 533 38.91 40.45 3.81
9 472 34.45 36.25 4.97
COMTEL 2016
162 COMTEL 2016
VIII Congreso Internacional de Computación y Telecomunicaciones
UIGV 162
VIII Congreso Internacional de Computación y Telecomunicaciones
in a field test. Biosystems Engineering, 105(2), 160- skin damage in citrus fruits using multispectral data
171. and morphological features. Biosystems
[9]. Saenz, E., Jimenez, M., & Ramirez, A. (2013, engineering, 103(2), 137-145.
September). Strawberries collecting robot prototype [14]. Itten, J. (1992). El arte del color. Limusa.
in greenhouse hydroponic systems. In Symposium of [15]. Vasthi, P. I., & Kusumaningrum, R. (2015,
Signals, Images and Artificial Vision-2013: STSIVA- October). Object segmentation for fruit images using
2013 (pp. 1-4). IEEE. OHTA colour space and cascade threshold. In 2015
[10]. Zawbaa, H. M., Hazman, M., Abbass, M., & International Conference on Science in Information
Hassanien, A. E. (2014, December). Automatic fruit Technology (ICSITech) (pp. 321-325). IEEE.
classification using random forest algorithm. [16]. Li, C., Cao, Q., & Guo, F. (2009). A method for
InHybrid Intelligent Systems (HIS), 2014 14th color classification of fruits based on machine
International Conference on (pp. 164-168). IEEE. vision. WSEAS Transactions on Systems, 8(2), 312-
[11]. Chherawala, Y., Lepage, R., & Doyon, G. (2006, 321.
October). Food grading/sorting based on color [17]. Ohta, Y. I., Kanade, T., & Sakai, T. (1980). Color
appearance trough machine vision: the case of fresh information for region segmentation. Computer
cranberries. In 2006 2nd International Conference graphics and image processing, 13(3), 222-241.
on Information & Communication [18]. Liming, X., Liming, C., & Haifeng, W. (2010,
Technologies (Vol. 1, pp. 1540-1545). IEEE. September). Strawberry maturity distinguish based
[12]. López-García, F., Andreu-García, G., Blasco, J., on relationship of extracted colour feature value and
Aleixos, N., & Valiente, J. M. (2010). Automatic the physiologic and biochemical indices. In World
detection of skin defects in citrus fruits using a Automation Congress (WAC), 2010 (pp. 399-411).
multivariate image analysis approach. Computers IEEE.
and Electronics in Agriculture, 71(2), 189-197.
[13]. Blasco, J., Aleixos, N., Gómez-Sanchis, J., & Moltó,
E. (2009). Recognition and classification of external
COMTEL2016
COMTEL 2016 163
VIIICongreso
VIII CongresoInternacional
Internacionalde
de Computación
Computación yy Telecomunicaciones
Telecomunicaciones 163
UIGV