Comparativa entre classification
trees, random forest y gradient boosting; en la predicción de la satisfacción laboral=
en Ecuador.
Comparison between classification trees,
random forest and gradient boosting; in the prediction of job satisfaction =
in
Ecuador.
Vinicio Alexander Andrade Saltos=
.
In order to find an adequate model to predict the
Level of Job Satisfaction in Ecuador, three prediction models based on trees
were compared. The "Random Forest" and "Gradient Boosting&qu=
ot;
models are considered more complex than the "Classification Tree"
model and suppose better results; however, when applied to a database obtai=
ned
from the National Survey of Employment, Unemployment and Underemployment; it
was found that the criteria and efficiency of prediction are similar for the
three models, reaching approximately 30% error in the classification.
It was concluded that not necessarily a more compl=
ex
model obtains more precise results.
Keywords: Classification trees, random forest, gradient boost=
ing,
job satisfaction, data mining, ENEMDU.
Con
el objetivo de encontrar un modelo adecuado para predecir el Nivel de
Satisfacción Laboral en Ecuador, se compararon tres modelos de predicción
basados en árboles. Los modelos Random Forest=
y Gradient Boosting se con=
sideran
más complejos que el modelo Classification
Se
concluyó que no necesariamente un modelo más complejo obtiene resultados más
precisos.
Palabras
Claves:<=
span
style=3D'mso-bookmark:_Toc440896901'> árboles de clasificación, bosques aleatorios, gradient
boosting, satisfacción laboral, minería de dato=
s,
ENEMDU.
Introducción .
El objetivo
principal del análisis predictivo es obtener modelos, los cuales, mediante =
una
muestra, permitan predecir una variable objetivo para nuevas observaciones =
en
función de un conjunto de variables predictivas. Dependiendo de esta variab=
le
de interés, distinguimos entre tareas de clasificación, cuando dicha variab=
le
es categórica, clasificando un nuevo individuo en la categoría de la variab=
le
que predice el modelo o tareas de regresión cuando la variable es numérica,
obteniendo un valor estimado por el modelo para un nuevo individuo (Torgo,
2003). De acuerdo al tipo de tarea que se realice, se pueden proponer
diferentes indicadores que permitan determinar la calidad de predicción del
modelo.
Uno de los
análisis predictivos que más trascendencia y evolución ha tenido en el camp=
o de
la minería de datos, es aquel que se basa en modelos de árboles (Classification Trees) (
A partir de la
idea de árboles de decisión, se han creado algoritmos más complejos con el =
fin
de mejorar el nivel de precisión de la predicción. El problema que presentan
los modelos de árboles, es que, al seguir un algoritmo secuencial, siempre
eligen a las mismas variables de acuerdo a su nivel de relevancia en términ=
os
de frecuencia; lo cual, da una exploración del espacio de variables demasia=
do
acotada, esto podría derivar en la omisión de un grupo de variables predict=
ivas
que quizás son importantes en el contexto del estudio. Se proponen entonces
nuevos métodos más complejos que consisten en construir múltiples árboles e=
n sub-espacios aleatorios del espacio de variables, lo =
cual
permite generalizar su clasificación de manera complementaria, y su
clasificación combinada puede ser mejorada monótonamente (Kam,
1995).
Al respecto de=
los
modelos más complejos, uno muy utilizado es el denominado Random
Forest (Brei=
man,
2001); el cual, es una versión mejorada de modelos que llevan esta misma id=
ea
de múltiples árboles en sub-espacios aleatorios=
como
el bagging (Breiman,
1996). El algoritmo para construir un random
En el presente trabajo se construyen estos tres modelos, basados en las técnicas previamen= te descritas (Modelo de árbol, Random Forest y Ext= reme Gradient Boosting) con el= fin de comparar la calidad de predicción del nivel de satisfacción laboral de los jefes de hogar en Ecuador; para lo cual, se utilizó información recogida po= r el Instituto Nacional de Estadísticas y Censos (INEC) mediante la Encuesta Nacional de Empleo, Desempleo y Subempleo (ENEMDU) de diciembre del 2017. <= o:p>
El nivel de
satisfacción laboral constituye un factor clave en el desempeńo de la pobla=
ción
económicamente activa, el cual afecta directamente al funcionamiento de una
organización (Rowden, 2002) por lo que se recomienda incrementarlo (Friday
& Friday, 2003). Un elemento clave para cumplir este objetivo es conoce=
r el
comportamiento que describe esta variable de interés; por ello, se busca
definir un modelo que pueda caracterizarla con precisión.
Metodología de análisis.
Obtención de la base de datos.
La base de dat=
os
con los individuos y variables de interés se importó utilizando el paquete =
base
del software estadístico R (Team, 2016). Es
importante seńalar que, a partir de diciembre 2003, la ENEMDU se realiza ba=
jo
un esquema de panel de viviendas seleccionadas en una submuestra; la cual, =
se
mantiene en la muestra durante dos trimestres consecutivos, seguido de un
descanso de un semestre y finalmente entran en la muestra por dos últimos
trimestres. En cada edición de la ENEMDU, la información se divide en módul=
os o
subconjuntos con objetivos específicos de información. Particularmente, en
diciembre del 2017 existen ocho módulos (15 ańos, ambiente, armonía,
consumidor, financiero, hábitos, salud y seguridad, vivienda).
En total la en=
cuesta
es aplicada en 31092 viviendas, seleccionadas por muestreo probabilístico c=
uya
población objetivo está conformada por personas de 5 ańos y más. Luego de un
proceso de unión de módulos y filtro de variables e individuos se consiguió=
una
base de datos formada por 27841 observaciones, correspondientes a todos los
jefes de hogar encuestados que tienen un único trabajo, sobre los cuales se
filtraron las variables mostradas en la Tabla 1, mismas que fueron
seleccionadas tomando en cuenta su posible relación teórica (desde un punto=
de
vista socio - económico) con la satisfacción laboral. Para esto, se creó una
variable de identificación concatenando los valores de las variables: área,
ciudad, conglomerado, zona, sector, panel, vivienda y hogar; en un solo vec=
tor
de tipo carácter, la cual sirvió en el proceso de unión de los módulos 15 a=
ńos
y armonía; y en la discriminación de los individuos.
Tabla 1.Variables utilizadas para predecir la satisfacción laboral.
|
Código |
Variable |
Código |
Variable |
|
p59 |
żCómo se siente en su trabajo? |
p47b |
Número personas trabajan en el establecimiento |
|
p02 |
Sexo=
|
seg019 |
Seguridad en el trabajo |
|
p03 |
Edad=
|
p61a5 |
żHa recibido capacitación para prevenir accidentes y minimiz=
ar
los riesgos de su trabajo actual? |
|
p06 |
Estado civil |
p61a61 |
Durante los últimos 12 meses, żha sufrido algún accidente
desempeńando su trabajo actual? |
|
p15 |
żCómo se considera? (Indígena, Negro, Mulato, Mestizo, ...)<= o:p> |
p61a7 |
żHa sufrido alguna enfermedad causada por las actividades de=
su
trabajo actual? |
|
p42 |
Categoría de ocupación (Empleado de gobierno, Empleado priva=
do,
Patrono,
) |
p61a8 |
żCree que su seguridad o salud está expuesta a riesgos por lo
que desempeńa en su trabajo actual? |
|
p61a2 |
żCree que conservar su trabajo actual durante los siguientes=
12
meses es probable? |
p71a |
żRecibió ingresos derivados del capital? |
|
p45 |
żCuántos=
ańos trabaja? |
ingrl |
Ingreso
del trabajo |
|
p61a12 |
żDesde hace cuánto tiempo empezó su trabajo actual, de manera
continua? (Ańos) |
SECEMP |
Sectores de los Empleados (Sector Formal, Sector Informal,
Sector Doméstico, ...) |
|
p51a |
Horas de trabaj=
o
principal |
grupo1 |
Grupo de Ocupación (Empleados de Oficina, Fuerzas Armadas,
Profesionales Científicos e Intelectuales,
) |
|
AR02 |
żConsidera que su hogar es pobre? |
rama1 |
Rama de actividad (Industrias manufactureras, Actividades
financieras y de seguros, ...) |
|
p27 |
żDesea <=
span
class=3DSpellE>trabajar más horas? |
p10a |
Nivel de instru=
cción |
|
p46 |
Sitio de trabaj=
o |
p14 |
Idioma
que habla |
|
p47a |
Tamańo
del establecimiento |
p79 |
żPracticó algún deporte la semana pasada? |
La variable
objetivo Satisfacción laboral presenta cuatro categorías (Contento, Poco
contento, Descontento pero conforme y Totalmente
descontento); pero, dado que por el interés del presente estudio, las dos
últimas miden lo mismo y además ambas presentan una frecuencia relativa
considerablemente baja (mostrado en figura 1), estas se unen en una sola
categoría denominada Descontento. En este punto, es preciso indicar que l=
os
resultados de los modelos son similares al unirse o no estas categorías; po=
r efectos
prácticos se trabajó con la opción que fusiona las frecuencias. Dado que la variable objetivo es de tipo
ordinal, los modelos predictivos basados en árboles que se apliquen realiza=
rán
tareas de clasificación.
Figura 1. Frecuencia absoluta de la variable respuesta Niv=
el
de satisfacción laboral.
En las bases de
datos proporcionadas por el INEC, se identifican valores perdidos con
diferentes designaciones: 99, 999, 9999, 999999; etiquetados como No infor=
man
o simplemente se dejan los espacios sin llenar; por ello, en todos estos ca=
sos
se asignó el valor NA.
Los individuos=
que
presentaron NAs en todas las variables medidas
fueron eliminados, mientras que aquellos con una cantidad considerablemente
baja de datos perdidos fueron imputados utilizando medidas de tendencia cen=
tral
y un modelo de regresión lineal múltiple. La técnica de tendencia central
consistió básicamente en imputar los datos perdidos mediante la moda en el =
caso
de variables cualitativas y mediante la media recortada en el caso de varia=
bles
cuantitativas. La técnica de regresión lineal múltiple consistió
fundamentalmente en encontrar el mejor modelo (basado en buscar las variabl=
es
explicativas que provoquen el mayor coeficiente de determinación corregido)=
que
estime la variable cuantitativa a ser imputada. Luego de realizar dicho
procedimiento se imputaron 19.30% de datos de la variable p47b, 13.95% de
p61a12, 4,05% de ingrl y 0,84% de p27; se elimi=
naron
17.98% de individuos con NAs totales sobre tod=
as las
variables y finalmente se eliminaron 14 individuos que respondieron "No
sabe, no responde" en la variable respuesta; dejando una muestra de 22=
821
observaciones.
Elección de la muestra de entrenamiento y validaci=
ón
de modelo.
Mediante un
proceso de muestreo aleatorio simple sin reemplazo, se dividió a la muestra=
en
dos grupos de observaciones. El primer grupo denominado muestra de
entrenamiento contiene 20000 individuos (87.64%), sobre los cuales se aplic=
an
los tres modelos basados en árboles para obtener una descripción del
comportamiento de las variables predictoras; luego, el proceso de predicció=
n se
realiza con los 2821 individuos restantes (12.36%), los cuales se denominan
muestra de prueba. Esto con el propósito de realizar una comparación de los=
valores
reales y los valores predichos por los modelos y poder obtener medidas sobr=
e la
precisión de la predicción.
Dado que el
presente estudio tiene como objetivo construir modelos de clasificación; la
validación respectiva, en cada caso, se realizó mediante la denominada matr=
iz
de confusión. Las columnas de esta matriz cuadrada representan el número de
predicciones en cada clase de la variable respuesta, mientras que las filas
representan la frecuencia absoluta de las observaciones en cada clase donde
realmente se encuentran los individuos de la muestra de prueba. La diagonal
principal permitió observar el número de individuos que fueron clasificados
correctamente después de la aplicación del modelo. En este sentido, la
proporción de aciertos se calculó como el cociente entre la suma de la diag=
onal
principal y la suma total de la matriz; el respectivo complemento puede ser
visto como una tasa de error de la predicción.
Además, utiliz=
ando
la función peakRAM( )(Quinn, n.d.)
se comparó el tiempo en segundos y el uso de la memoria RAM en mebibytes que
cada uno de estos modelos ocupa. Si bien es cierto, este no es un índice de
validación del modelo pero podría servir para tener una idea general del ti=
empo
de procesamiento de cada modelo que, en la práctica, podría resultar de
utilidad para aquellos que vayan a aplicarlo. La Tabla 2 muestra esta
información para los tres modelos, donde se observa que la técnica Gradient Boosting, a pesa=
r de ser
un modelo más complejo gasta menos memoria RAM y se ejecuta más rápido.
Tabla 2 .Medición del uso de la memoria RAM cuando se aplican los tres modelos.
|
Técnica |
Tiempo (s) |
Uso total de RAM (MiB) |
Pico de RAM (MiB) |
|
Classification Trees |
34,45 |
0,20 |
79,80 |
|
Random Forest |
52,43 |
17,70 |
159,90 |
|
Gradient Boosting |
12,00 |
0,50 |
0,90 |
Aplicación de los modelos.
Para aplicar el
algoritmo del modelo basado en árboles, se utilizó la función rpartXse( ) del paquete DMwR2 (Torgo, 2003) que in=
tegra
los procesos realizados por las funciones rpart( )
y prune.rpart( ) del paquete rpart
(Therneau & Beth, 2018), las cuales se enca=
rgan
respectivamente de extender y podar un árbol tanto como se les indique. En =
este
caso, no se podaron los árboles formados con el fin de obtener la mayor
cantidad de variables predictoras en el modelo y poder realizar una explora=
ción
del espacio de variables lo más amplia posible, evitando de esta forma, los
problemas descritos en la introducción.
El árbol que se generó en el proceso se muestra en el siguiente enla=
ce: https://1drv.ms/u/s!AuxDwRXuZsjEjHHZUeqDRuV6Wriq
El algoritmo utilizado para implementar =
el
modelo Random Forest se aplicó mediante la func=
ión randomForest( ) del paquete que lleva el mismo nombr=
e (Liaw & Wiener, 2002), mientras que la función
Resultados y discusión.
La Tabla 3 mue=
stra
las variables más y menos influyentes sobre la variable objetivo. Se puede
observar que la mayoría de estas variables se repiten en los tres modelos, =
lo
cual indica que al parecer las variables más significativas para predecir el
Nivel de Satisfacción Laboral están claramente definidas, no hace falta gen=
erar
demasiados árboles ya que difícilmente se encontrará una variable que quizá=
s no
se tomó en cuenta debido a su baja frecuencia. En el análisis mediante
Tabla 3. Variables más y menos influyentes sobre la variable objetivo Nive=
l de
Satisfacción Laboral.
|
Classification Trees |
Random Forest |
Gradient Boosting |
|||
|
Más influyentes=
|
Menos
influyentes |
Más influyentes=
|
Menos
influyentes |
Más influyentes=
|
Menos
influyentes |
|
p27 |
p15 |
ingrl |
p61a8 |
p27 |
p61a8 |
|
ingrl |
p14 |
p46 |
p61a5 |
ingrl |
p06 |
|
p46 |
p61a7 |
p27 |
p61a7 |
p51a |
p15 |
|
p47a |
p06 |
rama1 |
p06 |
AR02 |
p61a7 |
|
p42 |
p61a5 |
p61a12 |
p14 |
p45 |
p61a5 |
|
p61a2 |
p61a8 |
p45 |
p15 |
p03 |
p14 |
|
rama1 |
p02 |
p03 |
p02 |
p61a12 |
p02 |
|
grupo1 |
p61a61 |
grupo1 |
p61a61 |
p61a2 |
p61a61 |
|
p51a |
p79 |
p42 |
p79 |
p46 |
p79 |
|
SECEMP |
p71a |
SECEMP |
p71a |
p42 |
p71a |
Las matrices de
confusión generadas con cada uno de los modelos son resumidas en el cálculo=
de
las tasas de error de clasificación mostradas en la Tabla 4. Como se puede
observar estas tasas no son significativamente bajas, lo cual nos indica qu=
e la
eficiencia de predicción de los tres modelos para clasificar a un individuo=
no
resulta ser totalmente confiable. Es posible que otro(s) modelo(s) podría(n)
arrojar mejores resultados. Indagar al respecto resulta una clara propuesta
para investigaciones futuras.
Tabla 4.Tasas
de error de clasificación en los tres modelos comparados.
|
Técnica |
Classification<=
/span> Trees |
Random Forest |
Gradient=
Boosting |
|
Tasas de error de clasificación |
30.70% |
30.20% |
29.95% |
Aun cuando, <=
span
class=3DSpellE>Random Forest y Gradient Boosting son modelos más complejos que Classification Trees,
desarrollados con el objetivo de mejorar el nivel de predicción; en el pres=
ente
análisis se observa que, las tasas de error de clasificación en todos los
modelos son muy similares. Al parecer, las variables más influyentes están
claramente definidas y sin importar el número o el tipo de árboles que se
corran, éstas seguirán siendo las que mejor expliquen el Nivel de Satisfacc=
ión
Laboral. Este hecho permite concluir que no necesariamente un modelo más
complejo obtiene resultados más precisos.
Anexos.
Código en R
set.seed(1234)
sample <- =
sample(1:nrow(data), 2821)
train <- <=
span
class=3DNormalTok>data[-sample, ]
test <-
# TREE MODEL ####
library(DMwR2)
set.seed(1234)
model.t <- rpartXse(p59 ~ ., train, se =3D 0)
summary(model.t)
# Variables importance
vars.imp <- as.data.frame(model.t$variable.importance=
)
rm(vars.imp)
# Plot
library(rpart.plot)
prp(model.t, type =3D 0, extra =3D 104)
# Predicting
set.seed(1234)
pred.t <- =
predict(model.t, test, type =3D "class")<=
br>
# Estimated Error clasificati=
on
Rate
cm <- table(pred.t, test=
$p59)
100*(1 - sum(dia=
g(cm)) / sum(cm))
# RANDOM FOREST ####
library(randomForest)
set.seed(1234)
model.rf <- randomForest(p59 <=
/span>~ .,
train, ntree =3D 69, importance =3D<=
span
class=3DNormalTok> T)
# Variables importance
model.rf$importance
var.imp.rf <- as.data.frame(model.rf$importance)=
var.imp.rf <- var.imp.rf[, ]
# Predicting
set.seed(1234)
pred.rf <- predict(model.rf,
test, type =3D "class")<=
br>
# Estimated Error clasificati=
on
Rate
cm <- table(pred.rf,
test$p59)
100*(1 - sum(dia=
g(cm)) / sum(cm))
# XGBOOSTING ####
library(Matrix)
library(xgboost)
library(magrittr)
# Sparse matrix (response variable)
p59.xg <- =
vector()
for (i in 1:nrow(data)) {
p59.xg[=
i] <- 2
}<=
br>
=
if (data[i,
"p59"] =3D=3D "Poco
contento") =
{
p59.x=
g[i] <- 1
}
=
else {
if (data[i,
"p59"] =3D=3D "Descontento") {
p59=
.xg[i] <- 0
}
}
}<=
br>
}
# Data with response variable
data.xgb <- cbind(data, p59.xg=
)
data.xgb <- select(data.xgb,
p59.xg, everything())
data.xgb <- data.xgb[, <=
span
class=3DOperatorTok>-2]
# Training set and Sample set
set.seed(1234)
sample.xg <- sample(1:nrow(data.xgb), 2821)
train.xg <- data.xgb[
test.xg <- data.xgb[sample.xg, ]
test.xg.1 <- data.xgb[sample.xg, ]
# Training sample
train.p59.xg =3D train.xg[,
"p59.xg"]
train.xg <- sparse.model.matrix(p59.xg
~
train.matrix <- xgb.DMatrix(data =3D as.matrix(train.xg),
label =3D train.p59.xg)<=
/span>
# Test sample
test.p59.xg =3D test.xg[,
"p59.xg"]
test.xg <- sparse.model.matrix(p59.xg
~
test.matrix <- xgb.DMatrix(data =3D as.matrix(test.xg),
=
label =3D
test.p59.xg)
# Model parameters
params <- =
list("objective" =3D<=
/span> "multi:softmax",
&=
quot;eval_metric" =3D<=
/span> "mlogloss"<=
span
class=3DNormalTok>,
"num_class"<=
span
class=3DNormalTok> =3D length(unique(train.p59.xg)))
watchlist <- list(train =3D train.matrix,
test =3D
# Model construction
model.xg <- xgb.train(<=
span
class=3DDataTypeTok>params =3D params,
=
data =3D train.matrix,
=
nrounds=
=3D 40,
=
watchlist =3D
watchlist,
=
eta =3D 0.2,
=
max.depth =3D 6, # =
profundidad
de los arboles (podaje)
gamma
=3D 0<=
span
class=3DNormalTok>, # =
evita
el overfitting
=
subsample =3D 1, #
prevent overfitting [0, 1]
=
colsample_bytr=
ee =3D 0.3, # [0, 1]
=
seed =3D 1234)
# Plots
e <- data.frame(model.xg$=
evaluation_log)
min(e$test_mlogloss)
e[e$=
test_mlogloss
=3D=3D 0.798937, ]
plot(e$iter, e$train_mlogloss, col =3D 'blue')
lines(e$iter, e$test_mlogloss, col
=3D 'red')
# Variables importance
imp <-
xgb.plot.importance(imp)
# Predicting
set.seed(1234)
pred.xg <- predict(model.xg,
test.matrix, t=
ype =3D "class"<=
span
class=3DNormalTok>)
# Estimated Error clasificati=
on
Rate
cm <- table(pred.xg,
test.xg.1$<=
/span>p59.xg)
100*(1 - sum(dia=
g(cm)) / sum(cm))
# RAM used ####
library(peakRAM)
set.seed(1234)
peakRAM(rpa=
rtXse(p59 ~ ., train, se =3D 1))
set.seed(1234)
peakRAM(ran=
domForest(p59 ~ ., train, ntree =3D 69))
set.seed(1234)
peakRAM(xgb=
.train(params =3D params,
=
data =3D train.matrix,
=
nrounds =3D 40,
=
watchlist =3D watchlist,=
=
eta =3D 0.2,
=
max.depth =3D 6, # =
profundidad
de los arboles (podaje)
=
gamma =3D 0, #
evita el overfitting
=
subsample =3D
=
colsample_bytree =3D 0.3, # [0, 1]
=
seed =3D 1234)
)
Referencias
bibliográficas.
Bates, D., & Maechler, M. (20=
17).
Matrix: Sparse and Dense Matrix Classes and Methods.
Breiman, L. (1996). Bagging predictors. Machine
Learning, 24(2), 123 140.
Breiman, L. (1997). Arcing the edge. Califor=
nia.
Breiman, L. (2001). Random forests. Machine Lear=
ning,
45(1), 532.
Friday, S. S., & Friday, E. (2003). Racioethnic
perceptions of job characteristics and job satisfaction. Journal of
Management Development, 22(56), 426442.
https://doi.org/10.1108/02621710310474778
Kam, H. T. (1995). Random decision forest. In Pr=
oc.
of the 3rd Intl Conf. on Document Analysis and Recognition (pp. 1418).
Montreal, Canada.
Leo, B., Friedman, J. H., Olshen, R. A., & Ston=
e,
C. J. (1984). Classification and regression trees. Wadsworth Internation=
al
Group.
Li, T. C., He, T., Benesty, M., Yutian, V. K. and Y.
T., Cho, H., Chen, K.,
Geng, Y. (2018). xgboost: Extreme Gradient Boostin=
g.
Liaw, A., & Wiener, M. (2002). Classification a=
nd
Regression by randomForest. R News, 2(3), 1822.
Quinlan, J. R. (2014). C4. 5: programs for machi=
ne
learning. Elsevier B.V.
Quinn, T. (n.d.). Monitor the Total and Peak RAM Us=
ed
by an Expression or Function [R package peakRAM version 1.0.2]. Retrieved f=
rom
https://cran.r-project.org/web/packages/peakRAM/index.html
Rokach, L., & Maimon, O. Z. (2008). Data min=
ing
with decision trees: theory and applications. World scientific.
Rowden, R. W. (2002). The relationship between
workplace learning and job satisfaction in U.S. small to midsize businesses=
. Human
Resource Development Quarterly, 13(4), 407425.
https://doi.org/10.1002/hrdq.1041
Team, R. C. (2016). R: A Language and Environment f=
or
Statistical Computing. Vienna, Austria: R Foundation for Statistical Comput=
ing.
Therneau, T., & Beth, A. (2018). rpart: Recursi=
ve Partitioning
and Regression Trees. R package.
Torgo, L. (1999). Inductive learning of tree-bas=
ed
regression models. Universidade do Porto. Reitoria.
Torgo, L. (2003). Data mining with R. Univer=
sity
of Porto: LIACC-FEP.
=
=
Para
citar el artículo indexado.
Cumbicos J., Jiménez L., Luna M., Valdivieso Á.=
& Barona L. .
(2018). Comparativa del ava=
nce en
desarrollo en las telecomunicaciones entre
ecuador y Bolivia. Revista electrón=
ica
Ciencia Digital 2(4.1.), 42-54. Recuperado desde: http://cienciadigital.org/revistacienciadigital2/index.php/CienciaDigital=
/article/view/189/167
|
El
artículo que se publica es de exclusiva responsabilidad de los autores y no
necesariamente reflejan el pensamiento de la Revista Ciencia Digital.
El
articulo queda en propiedad de la revista y, por tanto, su publicación parc=
ial
y/o total en otro medio tiene que ser autorizado por el director de la Revista Ciencia Digital.
[1] Es=
cuela
Superior Politécnica de Chimborazo, Facultad de Ciencias, Grupo de
Investigación en Ciencia de Datos CIDED, Riobamba - Ecuador, vaas_92@hotmail.com
[2]Escuela Superior Politécnica =
de
Chimborazo, Facultad de Ciencias, Grupo de Investigación en Ciencia de Datos
CIDED, Riobamba - Ecuador, p_flores@espoch.edu.ec