Home

Metodología de evaluación

El sistema de evaluación Groucho –sí, por Groucho Marx- ha sido desarrollado por PODER y funciona a partir de cualquier conjunto de datos que cumpla con el Estándar de Datos de Contrataciones Abiertas (OCDS, por sus siglas en inglés). Para su construcción se han revisado múltiples sistemas de evaluación a nivel mundial como RED FLAGS for integrity de la Open Contracting Partnership, el Laboratorio de innovación en la contratación pública, espacio de MediaLab-Prado coordinado por Civio, el sistema de Banderas de La Letra Menuda, realizado por Datasketch o el de Mihály Fazekas y su equipo. Dentro de todos estos sistemas, Groucho aporta dos novedades:

• Adaptación al contexto mexicano: En el mejor de los casos México, publica 45 campos por contrato. A éstos les falta información fundamental en otros sistemas de evaluación como el nombre de todos los ofertantes, el costo previsto por el gobierno antes de abrir la licitación o el costo por ítem. Es por ello que solo aplicamos aquellas normas que podemos medir y creamos el informe “Contratación Abierta para la Rendición de Cuentas. El caso mexicano”.
• La red forma parte de la evaluación: Partimos del supuesto de que una organización que realiza una mala práctica en un contrato es probable que intente volver a realizarla en otro contrato. Es por eso que uno de los factores que influencian la puntuación de una organización dada es el promedio de las evaluaciones de contratos de las organizaciones con las que tiene contratos.

El proceso de evaluación consta de 4 subprocesos:

1. Evaluación de las banderas de contrato sobre todos los contratos que tenemos
2. Evaluación de las banderas de nodo sobre todas las dependencias
3. Creación de las medias para cada uno de los contratos y dependencias
4. Bandera de confiabilidad

Las pruebas que corremos están agrupadas en cinco categorías que describen el contrato ideal: cuenta con toda la información para entenderlo, todos los procesos se realizaron en tiempo, hubo una competencia abierta para ganarlo, el camino del dinero es trazable y todos los actores que participan en el proceso son confiables.

Transparencia (las pruebas solo aplican a contratos)

• OCDS válido: Los datos cumplen con el Estándar de Datos de Contrataciones Abiertas según la Herramienta de revisión de datos de la OCP. Bandera booleana (si/no).
• Campos OCDS completos: La OCP define que un proceso de contratación tienen 325 campos, en esta bandera medimos cuántos de ellos tiene completos. Bandera en porcentaje.
• Secciones completas: La OCP explica el proceso de contratación en cinco pasos: planificación, licitación, convocatoria, contratación e implementación. La bandera mide que al menos haya un dato para cada uno de los pasos del proceso. Bandera en porcentaje.

Temporalidad (las pruebas solo aplican a contratos)

• Campos fundamentales: Existe una fecha válida en los campos publicación de la oportunidad, adjudicación de contrato, inicio de contrato y fin de contrato. Bandera en porcentaje.
• Duración del contrato excesivamente larga: La diferencia entre el inicio y el fin del contrato supera los 1000 días. Bandera booleana (si/no).
• Tiempo insuficiente de preparación de oferta: La diferencia entre la fecha de publicación y cierre de recepción de ofertas es menor a los 15 días que marca el Artículo 32 de La Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público. Bandera booleana (si/no).
• Fechas sospechosas: El contrato se celebra o firma en fechas no laborables del gobierno o feriados oficiales. Bandera booleana (si/no).

Competitividad (las pruebas aplican a contratos y a nodos)

• Campos fundamentales: Existe un proveedor con nombre válido y se especifica el tipo de procedimiento del contrato. Bandera en porcentaje.
• Paraísos fiscales: El contrato se realiza con una empresa de un país que se considera un paraíso fiscal. Se considera un paraíso fiscal si la puntuación en el Secrecy Score del Financial Secrecy Index es superior a 66, promedio mundial. Bandera booleana (si/no).
• Agente Económico Preponderante por monto: Si una Dependencia o Unidad Compradora da el 50% o más del gasto anual en contratos a una misma empresa. Bandera booleana (si/no) que aplica a nodos.
• Agente Económico Preponderante por cantidad de contratos: Si una dependencia o unidad compradora da el 50% o más del número total de contratos a una misma empresa. Bandera booleana (si/no) que aplica a nodos.
• Concentración de excepciones a la licitación pública: El 33% del importe total de las adjudicaciones directas e invitaciones a tres de una dependencia van hacia la misma empresa. Bandera booleana (si/no) que aplica a nodos.
• Rebasa el límite asignado: Una dependencia o unidad compradora contrata más del 30% del importe total por adjudicación directa e invitación a tres según se establece en el Artículo 42 de La Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público. Bandera booleana (si/no) que aplica a nodos.
• Demasiados contratos en un día: Una dependencia o unidad compradora realiza el 30% de sus contratos del año en un mismo día. Bandera booleana (si/no) que solo aplica a aquellos nodos con más de 10 contratos al año.

Trazabilidad (las pruebas aplican a contratos y a nodos)

• Campos Fundamentales: Tiene algún dato que relaciona al contrato con presupuesto y los distintos actores que participan en el contrato están identificados. Bandera en porcentaje.
• Escala inconsistente: El tamaño de empresa requerido por la unidad compradora (Micro, Pequeña, Mediana, No MIPYME) en el momento de hacer la licitación y el reportado por el proveedor que ha ganado el contrato coinciden. Bandera booleana (si/no).
• Falta de referencia oficial: El conjunto de datos no incluye un enlace donde encontrar más información sobre el contrato. Bandera booleana (si/no).
• Importe redondeado: El importe del contrato es un múltiplo de 10 000 pesos. Bandera booleana (si/no).
• Información de las partes: Cada una de las organizaciones involucradas tiene como mínimo un dato de contacto (email, web, teléfono, dirección). Bandera booleana (si/no).
• Modificaciones al contrato: El contrato ha sufrido modificaciones una vez ha sido publicado. Bandera booleana (si/no).
• Proveedor sin identificador: El proveedor no tiene código RUPC, o éste no viene incluido. Bandera booleana (si/no).
• Precisión del título: El título es descriptivo, claro y preciso para ser entendido por externos al proceso de contratación. Bandera booleana (si/no).
• Títulos de contratos repetidos: La dependencia o unidad compradora repite en un 10% de los casos el mismo título de contrato. Bandera booleana (si/no) que solo aplica a aquellos nodos con más de 10 contratos al año.
• Montos de contratos repetidos: La dependencia o unidad compradora repite en un 10% de los casos el importe de contrato. Bandera booleana (si/no) que solo aplica a aquellos nodos con más de 10 contratos al año.

Confiabilidad

Este cálculo se hace luego de correr todas las evaluaciones de contrato y antes de las de nodo. Se asigna una puntuación total a los contratos de cada parte, y se promedia esa puntuación por cada una de las partes con las que ha tenido relación.