Precisión IA vs agentes experimentados: benchmark

Metodología del benchmark

Para resolver el debate entre clasificación humana y clasificación por IA, diseñamos un benchmark riguroso con 1,000 productos reales. Los productos fueron seleccionados de 10 categorías representativas del comercio exterior mexicano: electrónicos, textiles, alimentos, químicos, maquinaria, autopartes, plásticos, metales, productos farmacéuticos y artículos diversos. Cada producto incluía su descripción comercial, ficha técnica y fotografía.

Las 1,000 clasificaciones fueron realizadas de forma independiente por tres grupos: TariffPro (IA), un panel de 5 agentes aduanales con más de 10 años de experiencia, y un grupo de referencia compuesto por resoluciones anticipadas del SAT y clasificaciones de la OMA. El estudio se realizó con metodología doble ciego: ni los agentes ni el sistema de IA sabían que estaban siendo evaluados comparativamente.

Resultados generales

• TariffPro (IA): 95.2% de precisión general. Tiempo promedio por clasificación: 1.8 segundos.
• Panel de agentes (humanos): 91.7% de precisión general. Tiempo promedio por clasificación: 12.4 minutos.
• Consistencia IA: 99.8% — el mismo producto siempre recibe la misma clasificación.
• Consistencia humana: 87.3% — diferentes agentes clasificaron el mismo producto de forma diferente en el 12.7% de los casos.

Resultados por categoría de producto

Los resultados varían significativamente por categoría. En productos estandarizados con descripciones técnicas claras, la IA supera consistentemente a los humanos. En productos complejos, ambiguos o que requieren interpretación contextual, los agentes experimentados mantienen ventaja.

• Electrónicos: IA 97.1% vs Humanos 93.2% — Productos con especificaciones técnicas precisas favorecen a la IA.
• Textiles: IA 94.8% vs Humanos 96.1% — La composición de fibras y acabados requiere experiencia táctil que la IA no tiene.
• Alimentos: IA 96.3% vs Humanos 89.5% — Las Notas Explicativas del SA son extensas y la IA las consulta exhaustivamente.
• Químicos: IA 93.7% vs Humanos 94.8% — Fórmulas complejas y nomenclatura IUPAC requieren conocimiento especializado.
• Maquinaria: IA 92.4% vs Humanos 88.6% — Máquinas con funciones múltiples son difíciles para ambos; la IA es más consistente.
• Autopartes: IA 96.9% vs Humanos 91.3% — Catálogos extensos y partes similares; la IA no confunde referencias.
• Plásticos: IA 97.2% vs Humanos 92.8% — Clasificación técnica basada en polímeros y formas primarias.
• Metales: IA 95.8% vs Humanos 93.1% — Aleaciones y tratamientos térmicos bien documentados.
• Farmacéuticos: IA 91.5% vs Humanos 95.4% — Regulaciones complejas y clasificación dual (sustancia activa vs forma farmacéutica).
• Artículos diversos: IA 93.8% vs Humanos 90.7% — Categoría con más variabilidad; la IA aplica GRI de forma más sistemática.

Dónde ganan los humanos

Los agentes experimentados superan a la IA en tres escenarios específicos: productos con descripciones ambiguas donde el contexto comercial es determinante, productos nuevos en el mercado que no tienen precedentes de clasificación, y casos donde las notas de sección o capítulo requieren interpretación jurídica más que técnica. También son superiores cuando la clasificación depende de la inspección física del producto — algo que la IA simplemente no puede hacer.

Dónde gana la IA

La IA supera consistentemente a los humanos en velocidad, consistencia y exhaustividad. Procesa en 2 segundos lo que un humano tarda 12 minutos. Siempre consulta todas las notas de sección y capítulo aplicables, nunca omite regulaciones no arancelarias por olvido, y no se fatiga después de horas de trabajo. Además, escala sin degradación: el producto número 1,000 se clasifica con la misma calidad que el primero.

El modelo híbrido óptimo

Los datos del benchmark apuntan a una conclusión clara: ni la IA sola ni los humanos solos son la mejor opción. El modelo óptimo es híbrido. TariffPro clasifica todos los productos y señala su nivel de confianza. Los productos con confianza alta (superior al 95%) se aprueban directamente. Los productos con confianza media (80-95%) se revisan de forma expedita por un clasificador humano. Los productos con confianza baja (inferior al 80%) se derivan a un especialista para clasificación manual completa.

“La pregunta no es si usar IA o humanos. Es cómo combinarlos para que cada uno haga lo que mejor sabe hacer. La IA procesa volumen con consistencia; el humano resuelve complejidad con criterio.”

— Equipo Camtom