informe de valoraciÓn de los criterios ......denominado estudio de opiniÓn sobre la calidad del...
TRANSCRIPT
1 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
INFORME DE VALORACIÓN DE LOS CRITERIOS SUBJETIVOS PARA LA CONTRATACIÓN POR PROCEDIMIENTO ABIERTO DEL SERVICIO DENOMINADO ESTUDIO DE OPINIÓN SOBRE LA CALIDAD DEL SERVICIO EN EL TRANSPORTE INTERURBANO Y URBANO POR CARRETERA DE LA COMUNIDAD DE MADRID EN 2020 Y 2021
1. Introducción
Mediante la Resolución de la Dirección-Gerencia del Consorcio de Transportes de la Comunidad de Madrid (en adelante CRTM), de fecha 30/06/2020, se convocó el contrato “Estudio de opinión sobre la calidad del servicio en el transporte interurbano y urbano por carretera de la Comunidad de Madrid en 2020 y 2021” (Expediente nº A/SER-004450/2020). El 21/06/2020, se reúne la Mesa de contratación del CRTM para proceder a la
calificación de la documentación presentada por los empresarios interesados en
la licitación del contrato.
Concurren las siguientes empresas:
HIGH REMARK, S.L., (en adelante HIGH REMARK)
SIGMA DOS Análisis e Investigación, S.L. (en adelante SIGMA DOS)
ÁBACO ESTUDIOS DE MERCADO, S.L., (en adelante ÁBACO).
IDEARA, S.L. (en adelante IDEARA)
INSTITUTO DYM, Investigaciones y Asesoramiento económico en Distribución Mercados y Ventas S.A. (en adelante Instituto DYM)
Una vez desencriptada la documentación se comprueba que todas las empresas
han aportado la misma de forma correcta y completa, por lo que la Mesa procede
a determinar que todas las empresas licitadoras cumplen los criterios de
selección establecidos en el pliego de cláusulas administrativas particulares (en
adelante PCAP), resultando por tanto admitidas sus ofertas en el proceso de
licitación.
El 27/07/2020, se reúne la Mesa de contratación procediéndose a la apertura del
sobre 2 que corresponde a la documentación para la valoración de los criterios
de juicio de valor. La mesa acuerda solicitar un informe a los servicios técnicos
sobre las proposiciones presentadas. Se indica igualmente, que en caso de que
dichas proposiciones contuvieran datos propios del sobre 3 se propondría su
exclusión del procedimiento de contratación.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
Ref: 06/095905.9/20
2 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
2. Objeto
El presente informe tiene por objeto la valoración de las ofertas presentadas por
las empresas admitidas en el proceso de licitación con respecto a los criterios
que dependen de un juicio de valor y la comprobación de que dichas ofertas no
contienen información correspondiente al sobre 3 (oferta económica).
3. Comprobación de la información aportada en el sobre 2
La unidad técnica del Área de Calidad y Atención al Cliente ha comprobado que
ninguna de las empresas admitidas en el proceso de licitación ha incluido
alusiones o información relativa a su oferta económica en el sobre 2.
Por lo que concluye que la información del sobre 2 es correcta y procede a
valorar cada oferta en relación a los criterios que dependen de un juicio de valor.
4. Criterios que dependen de un juicio de valor
El PCAP establece 3 criterios cuya cuantificación depende de un juicio de valor
y que aparecen descritos como sigue:
Criterio a: Organización de los trabajos: 15 puntos
Se valorará la descripción detallada, clara y factible de la organización de los
trabajos y los sistemas de supervisión y formación de los entrevistadores. Se
valoran positivamente las ofertas que detallen el cronograma de las actividades
y de la estructuración de las distintas fases del trabajo. Asimismo, se prestará
especial atención a la vigilancia de la calidad de los trabajos a lo largo de todas
las fases de ejecución de los trabajos.
Se asignarán CERO PUNTOS a las ofertas que en el desarrollo de la misma
establezcan planteamientos no fundamentados y que no ofrezcan evidencias de
las actividades incluidas en cada una de las fases de la ejecución de los trabajos.
Las ofertas totalmente fundamentadas y con evidencias completas de las
diferentes fases de ejecución recibirán la máxima puntuación.
Criterio b: Análisis adicionales: 10 puntos
Se valorarán los análisis estadísticos o de otro tipo adicionales a los que
constituyen las exigencias del PPT. Las ofertas deberán desarrollar el análisis
propuesto, su utilidad y un ejemplo de resultados. Asimismo, deberá indicar si el
análisis podrá proporcionar resultados desagregados por concesión, por red o
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
3 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
globales. Las ofertas deberán tener en cuenta las cuestiones incluidas en el
cuestionario y la viabilidad del análisis teniendo en cuenta estas.
No se valorarán las propuestas que ofrezcan varias alternativas de análisis a
elegir por la Dirección del Estudio. La empresa concurrente deberá presentar
solo los análisis que incluya de forma cierta en su oferta.
Las propuestas insuficientemente fundamentadas o que sean inviables teniendo
en cuenta el cuestionario aplicable no recibirán ninguna puntuación. Las
puntuaciones se otorgarán en función de la completitud, utilidad y novedad de
las propuestas presentadas.
Criterio c: Propuestas de informes complementarios: 5 puntos
Se valorarán las propuestas de informes complementarios a los requeridos en el
PPT, así como aquellas que ofrezcan mejoras en el diseño, estructura y
contenido de los diversos informes requeridos, Asimismo, se valorarán las
ofertas que ofrezcan soluciones innovadoras en la presentación de resultados o
herramientas de apoyo para la realización de explotaciones alternativas a la
Dirección del Estudio.
Las ofertas que no ofrezcan modelos de informes diferentes a los establecidos
en el PPT recibirán CERO PUNTOS. El resto de las puntuaciones hasta la
puntuación máxima se otorgarán en virtud de la utilidad, novedad y justificación
de la propuesta realizada.
5. Baremo utilizado
Para la valoración de estos criterios el PCAP incluye el siguiente baremo:
Muy buena: cuando se realice un estudio detallado, y se propongan medidas
adecuadas, aplicadas al servicio de transporte estudiado, precisas, bien
definidas e innovadoras.
Buena: cuando el estudio y propuesta en relación con el elemento a valorar sea
detallado y se propongan algunas medidas de actuación precisas y/o
innovadoras
Regular: cuando se limite a un somero estudio y se realicen aportaciones de
actuación escasas y/o poco precisas.
Mala: cuando se mejoren muy escasamente los aspectos a valorar por encima
de los mínimos exigidos en la documentación técnica que define el objeto del
contrato
Muy mala: cuando no se mejoren ninguno de los aspectos a valorar por encima
de los mínimos exigidos en la documentación técnica del contrato.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
4 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
Su correspondencia en puntuación se indica en el PCAP como sigue:
Corresponderá la máxima puntuación en la valoración de cada criterio a la oferta que
reciba la calificación de “muy buena”, de la máxima a ¾ de la puntuación a la calificada
como “buena”, de ¾ a ½ de la puntuación a la calificada como “regular”, de ½ a ¼ a la
calificada como “mala” y cero puntos a la calificada como “muy mala”.
La aplicación de esta puntuación queda como sigue para cada uno de los
criterios:
Muy buena Buena Regular Mala Muy mala
Organización de los trabajos
15 de 11,25 hasta 15
de 7,5 hasta 11,25
de 3,75 hasta 7,5
0
Propuesta de análisis adicionales
10 de 7,5
hasta 10 de 5 hasta
7,5 de 2,5 hasta 5
0
Propuesta de informes complementarios
5 de 3,75 hasta 5
de 2,5 hasta 3,75
de 1,25 hasta 2,5
0
6. Valoración de los criterios de juicio de valor
6.1 Criterio a: Organización de los trabajos
HIGH REMARK: 6,88 puntos
La memoria recoge la organización de los trabajos que propone la empresa con
un enfoque genérico y no especialmente aplicado al contrato. Dentro de la misma
aspectos clave como el diseño muestral quedan sin tratar. Tampoco se planifica
el trabajo de campo al objeto del contrato ni se dimensiona el equipo asociado al
mismo. Asume que el cuestionario para la recogida de datos lo entrega el CRTM
sin embargo esto no está recogido en el PPT. Los capítulos de explotación de
resultados, tratamiento de datos y entregas e informes se transcriben del pliego
sin realizar aportaciones significativas.
La formación y supervisión del personal de campo se recoge de una forma más
detallada y desarrollada, al igual que los sistemas de vigilancia de la calidad de
los trabajos, si bien la redacción es genérica.
El cronograma de actuaciones refleja que la empresa no ha asimilado todas las
restricciones del pliego, al obviar una de las dos campañas de 2021. La
calendarización se considera también genérica, al no haber dimensionado el
trabajo de recogida de datos y no demostrar tener en cuenta todas las
restricciones de fechas establecidas en el pliego.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
5 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
SIGMA DOS: 7,88 puntos
La memoria recoge la organización de los trabajos que plantea la empresa de
forma adecuada y detallada, comprendiendo aspectos críticos de la prestación
como el diseño muestral o la recogida de datos. Sin embargo, se echa en falta
el tratamiento del carácter bienal del contrato, y la realización de encuestas
nocturnas. Contiene alguna errata como referir 21 atributos de calidad cuando el
pliego contiene 22 o aludir a un procedimiento por invitación cuando el
procedimiento del contrato es abierto.
Se detalla el proceso de selección de los entrevistadores y su formación. El
sistema de supervisión del trabajo de campo queda bien recogido y desarrollado
en la memoria, aunque no queda claro el % de supervisión telefónica (se cita
tanto un 15% como un 20%). Dentro del organigrama de trabajo la supervisión
queda fuera de la jerarquía, lo que se considera acertado para independizar su
tarea.
La memoria no incluye ningún cronograma de actividades.
La memoria señala que empresa tiene varios certificados de calidad ISO y que
eso determina sus procedimientos, sin embargo, se echa en falta una exposición
más aplicada a todas las tareas que comprenden el contrato.
ÁBACO 13,50 puntos
La memoria recoge pormenorizadamente la organización de los trabajos que
propone la empresa, teniendo en cuenta las restricciones del pliego y
demostrando conocimiento y experiencia en la materia. Se trata adecuadamente
el diseño muestral y la toma de datos, incluyendo un buen dimensionamiento del
equipo de trabajo de campo atendiendo a las particularidades del contrato,
incluyendo un desglose por horas estimadas para los distintos perfiles.
Los sistemas de formación y supervisión de los trabajadores de campo son
adecuados al objeto del contrato, encontrándose bien explicados en la memoria.
Se recogen las premisas que establece el pliego para la programación de los
trabajos y se presenta un cronograma de trabajo muy detallado y estructurado
en fases para la anualidad 2020 (por semanas y por días). Sin embargo, no se
incluye ningún cronograma para la anualidad 2021.
El sistema de vigilancia de la calidad de los trabajos queda claro y detallado en
la memoria, considerándose apropiado.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
6 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
IDEARA: 14,25 puntos
La organización de los trabajos se expone en la memoria de forma muy
detallada, desglosando pormenorizadamente las distintas tareas a realizar,
describiéndolas y estimando su duración. Destaca el trato cuidadoso de alguna
de las especificidades del contrato como su carácter bienal o el análisis de datos.
Sin embargo, no se avanza significativamente en la distribución muestral
respecto a lo establecido en el pliego. Se dimensiona adecuadamente el equipo
de trabajo incluyendo la toma de datos y se estima su dedicación en tiempo a
cada una de las fases de trabajo definidas en la memoria lo que se ha valorado
positivamente.
El cronograma de actividades plasma los trabajos expuestos en la memoria,
estructurándolos en fases y tratando las dos anualidades del contrato. Además,
se recoge una tabla con la calendarización propuesta por la empresa en el que
se atiende a los plazos de entrega contenidos en los pliegos.
La formación y supervisión del personal de campo quedan claramente recogidas
en la memoria y se incluye un plan de contingencias y consideraciones respecto
a la situación sanitaria actual lo que se ha valorado positivamente.
Se exponen ampliamente los medios de la empresa para vigilar la calidad de los
trabajos a lo largo de todas las fases.
INSTITUTO DYM: 7,50 puntos
Los trabajos se han organizado a lo largo de distintas fases que se explican con
distintos niveles de profundidad. En la exposición de algunas tareas esenciales
para el desarrollo del contrato como el diseño muestral o el diseño del
instrumento de medición se realizan aportaciones muy escasas sobre lo recogido
en el pliego. En la definición de las fases de trabajo se han encontrado
referencias a un objeto distinto del estudio de este contrato (paradas).
Los procesos de formación y supervisión de los trabajos se exponen más
detalladamente teniendo un buen tratamiento. Igualmente ocurre con la
vigilancia de la calidad de los trabajos en las distintas fases que se trata en
profundidad.
El cronograma de actividades no realiza aportaciones sobre el cuadro contenido
en el PCAP. No se avanza en la definición de los calendarios y no se identifican
las fases que se desarrollan en la oferta.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
7 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
6.2 Criterio b: Análisis adicionales
HIGH REMARK: 0 puntos
La empresa incluye en este epígrafe:
Análisis Inferencial
Análisis Predictivo
La memoria incluye apenas una definición. No se aplican los análisis al objeto
del estudio ni se especifica si los resultados se proporcionarán desagregados
por concesión, red o globales. Tampoco se incluyen ejemplos u otras
explicaciones que permitan valorar el interés de lo propuesto.
SIGMA DOS: 5 puntos
Propone:
Creación de un nuevo índice que resuma los distintos aspectos del
desempeño de la concesión.
Tasa de riesgo
Regresión logística
Análisis de fiabilidad Alfa de Cronbach
Prueba T de Student
Categorización de valoraciones en función de la dispersión (desviación
típica) de las puntuaciones
Los análisis propuestos pueden resultar interesantes para el estudio, pero en la
memoria han quedado explicados someramente sin un buen nivel de desarrollo,
sin incluir ejemplos de resultados y sin determinar, en algún caso, si los
resultados se expresarían por concesión, por red o globales. En algún caso
podrían también entenderse ya incluidos en el contrato, echando en falta la
puesta en valor de lo propuesto sobre lo incluido en el pliego.
ÁBACO 5 puntos
Se plantea de forma ambigua realizar “diversos análisis complementarios”
recogiendo apenas su objetivo, pero no se explica la herramienta con que se
realizarían, ni su utilidad o ventajas respecto lo ya recogido en los pliegos. Se
presenta de la misma forma la posibilidad de realizar análisis geográficos, pero
ello además supondría recoger datos adicionales en el cuestionario lo que no
está contemplado en los pliegos.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
8 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
Se propone realizar un análisis objetivo que permita determinar las debilidades y fortalezas del servicio, pero no se explicita o pone en valor este análisis sobre el que se incluye en el pliego, dentro de los informes anuales como Matriz de fortalezas y debilidades del servicio.
Por último, se plantea de forma sintética la posibilidad de realizar matrices estratégicas y su contenido.
Aunque las propuestas podrían resultar interesantes, se recogen de forma
ambigua y quedan poco explicadas y definidas. No se incluyen ejemplos de los
análisis planteados ni se determina en algún caso como se desagregarán los
resultados (concesión, red...).
IDEARA: 8 puntos
Proponen la realización de:
Recodificación y creación de variables
Índice de la calidad del servicio desagregando servicio nocturno y diurno
Cálculo de penalizaciones y bonificaciones del PCI
Índice americano de satisfacción del consumidor (ASCI)
Análisis multivariable adicional
Las 4 primeras propuestas suponen avances pequeños sobre lo ya exigido en
los pliegos. De más interés se consideran los análisis multivariables adicionales
que se proponen que, aunque no son innovadores, aparecen bien explicados,
determinando el nivel en el que se calculan (global, por concesión) e incluyendo
un ejemplo de aplicación con una imagen gráfica y un texto explicativo para
facilitar la compresión de lo expuesto.
INSTITUTO DYM: 5 puntos
Como análisis adicionales proponen:
Cálculo estadístico de la importancia
Matriz importancia/satisfacción
Tipología de satisfacción
Tipología de fidelidad
Estos análisis quedan someramente definidos y puestos en valor. Se consideran
poco novedosos y podrían entenderse ya incluidos en las exigencias del PPT; la
memoria no incluye explicaciones sobre las ventajas de lo propuesto respecto a
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
9 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
lo ya incluido en el contrato. Se incluyen imágenes, pero en la mayoría de los
casos no están comentadas o explicadas por lo que su valor informativo es
escaso.
6.3 Criterio c: Propuestas de informes complementarios
HIGH REMARK: 0 puntos
Dentro del apartado Informes complementarios, la memoria recoge en un cuadro
los siguientes conceptos:
Informes de control de la muestra quincenal
Informes por encuestador quincenal
Informes de incidencias quincenal
Informes cualitativos por periodo
Informes de inspección quincenal
Sin recoger más explicación se añade: “la presentación de los resultados a través
de un informe audiovisual para cada modalidad”.
Esta presentación se considera incompleta, al no explicar el contenido de dichos
informes ni poner en valor lo propuesto sobre el informe de trabajo de campo
que se exige en el pliego al finalizar cada campaña de recogida de datos.
Sigma Dos: 4 puntos
La empresa propone la entrega de una herramienta interactiva realizada en
PowerBi o PowerPivot que permita comprobar tanto el índice de calidad del
servicio como otros indicadores según distintos segmentos de la población, así
como un cuadro de mando para la representación de los datos.
Adicionalmente la oferta propone realizar informes por corredor de operación de
la concesión, por tramo horario, para los cinco operadores principales (no se
considera al ya pedirse en el PPT) e informes para las líneas agrupadas según
patrón de uso. Se señala que estos informes estructura similar al informe
ejecutivo.
Todas las propuestas se han considerado interesantes, si bien existe margen
para explicar mejor los informes e introducir algún ejemplo gráfico que ilustre las
herramientas propuestas para la presentación de la información.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
10 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
ÁBACO 3,5 puntos
Propone la realización de informes ligados a los análisis complementarios
propuestos, así como la visualización de datos mediante Microsoft Power BI a
nivel de línea o concesión, incluyendo ejemplos y señalando que los datos del
operador se compararán siempre con los datos del conjunto de la red.
La mejora de la visualización de los datos se valora positivamente, si bien los
informes propuestos o no aplican (como el análisis geográfico) o quedan poco
detallados.
IDEARA: 5 puntos
Se identifican los siguientes informes complementarios:
Informes de seguimiento del trabajo de campo
Tabulaciones autocalculables
Cuadro de mando integral
Informes ejecutivos
Informes de líneas estratégicas
Los informes presentados se consideran de interés y mejorarán el seguimiento
del trabajo de campo o la verificación de los valores obtenidos. La presentación
de los mismos es detallada, explicando su contenido e incluyendo imágenes para
ilustrar lo propuesto.
INSTITUTO DYM: 2,5 puntos
Dentro del este epígrafe se propone realizar informes dinámicos a través de una
aplicación informática. Este aspecto se ha considerado de interés, pero en la
memoria queda recogido de forma generalista, con margen de ser puestos en
valor de una forma más aplicada al estudio.
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
11 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
7. Resultado de la valoración
A continuación, se incluye un cuadro resumen con la puntuación recibida por cada oferta en cada criterio de juicio de
valor y la puntuación total de los criterios subjetivos.
Calidad Percibida Interurbanos 2020-2021
CRITERIOS JUICIO DE VALOR P High Remark SigmaDos ABACO Ideara Instituto DYM
a) Organización de los trabajos 15 6,88 7,88 13,50 14,25 7,50
b) Análisis adicionales 10 0,00 5,00 5,00 8,00 5,00
c) Informes complementarios 5 0,00 4,00 3,50 5,00 2,50
TOTAL CRITERIOS JUICIO VALOR 6,88 16,88 22,00 27,25 15,00
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144
12 de 12
CONSEJERÍA DE TRANSPORTES,
MOVILIDAD E INFRAESTRUCTURAS
8. Umbral técnico
Según se establece en el PCAP para que las ofertas puedan ser valoradas en la
fase decisoria han de obtener una puntuación mínima de 15 puntos en los
criterios de juicio de valor.
Teniendo en cuenta esta premisa, a la vista de las puntuaciones totales
obtenidas, pasarían a la siguiente fase las empresas:
SIGMA DOS con 16,88 puntos
ÁBACO con 22,00 puntos
IDEARA con 27,25 puntos
Instituto DYM con 15,00 puntos
En Madrid, a fecha de la firma
La técnica de apoyo del Área de Calidad
Gema González Huertas
La autenticidad de este docum
ento se puede comprobar en w
ww
.madrid.org/csv
mediante el siguiente código seguro de verificación:
1277599776958353647144