La verificación de IA ha sido un problema grave por un tiempo. Si bien los modelos de idiomas grandes (LLM) han avanzado a un ritmo increíble, el desafío de demostrar su precisión ha permanecido sin resolver.
Anthrope está tratando de resolver este problema, y de todas las grandes compañías de IA, creo que tienen la mejor oportunidad.
La compañía ha publicado citas, una nueva característica API para sus modelos Claude que cambia la forma en que los sistemas AI verifican sus respuestas. Esta tecnología desglosa automáticamente los documentos fuente en trozos digeribles y vincula cada declaración generada por IA a su fuente original, similar a cómo los documentos académicos citan sus referencias.
Las citas intentan resolver uno de los desafíos más persistentes de la IA: demostrar que el contenido generado es preciso y confiable. En lugar de requerir ingeniería rápida compleja o verificación manual, el sistema procesa automáticamente documentos y proporciona verificación de fuente a nivel de oración para cada reclamo que realiza.
Los datos muestran resultados prometedores: una mejora del 15% en la precisión de las citas en comparación con los métodos tradicionales.
Por qué esto importa ahora mismo
AI Trust se ha convertido en la barrera crítica para la adopción empresarial (así como la adopción individual). A medida que las organizaciones van más allá del uso experimental de IA en operaciones centrales, la incapacidad de verificar las salidas de IA de manera eficiente ha creado un cuello de botella significativo.
Los sistemas de verificación actuales revelan un problema claro: las organizaciones se ven obligadas a elegir entre velocidad y precisión. Los procesos de verificación manual no se escalan, mientras que las salidas de IA no verificadas conllevan demasiado riesgo. Este desafío es particularmente agudo en las industrias reguladas donde la precisión no solo se prefiere, sino que se requiere.
El momento de las citas llega en un momento crucial en el desarrollo de la IA. A medida que los modelos de lenguaje se vuelven más sofisticados, la necesidad de verificación incorporada ha crecido proporcionalmente. Necesitamos crear sistemas que se puedan implementar con confianza en entornos profesionales donde la precisión no sea negociable.
Desglosar la arquitectura técnica
La magia de las citas radica en su enfoque de procesamiento de documentos. Las citas no son como otros sistemas de IA tradicionales. Estos a menudo tratan los documentos como simples bloques de texto. Con las citas, la herramienta descompone los materiales de origen en lo que Anthrope llama “trozos”. Estas pueden ser oraciones individuales o secciones definidas por el usuario, lo que creó una base granular para la verificación.
Aquí está el desglose técnico:
Procesamiento y manejo de documentos
Las citas procesan documentos de manera diferente según su formato. Para los archivos de texto, esencialmente no hay límite más allá del límite de token estándar de 200,000 para solicitudes totales. Esto incluye su contexto, indicaciones y los documentos mismos.
El manejo de PDF es más complejo. El sistema procesa visualmente PDFS, no solo como texto, lo que lleva a algunas limitaciones clave:
- Límite de tamaño de archivo de 32 MB
- Máximo 100 páginas por documento
- Cada página consume 1,500-3,000 tokens
Gestión del token
Ahora girando hacia el lado práctico de estos límites. Cuando trabaja con citas, debe considerar cuidadosamente su presupuesto de token. Así es como se rompe:
Para texto estándar:
- Límite de solicitud completo: 200,000 tokens
- Incluye: Contexto + indicaciones + documentos
- No hay carga separada para salidas de citas
Para PDF:
- Consumo de token más alto por página
- Procesamiento visual por encima
- Se necesita un cálculo de token más complejo
Citas vs trapo: diferencias clave
Las citas no son un sistema de generación aumentada de recuperación (RAG), y esta distinción es importante. Si bien los sistemas RAG se centran en encontrar información relevante de una base de conocimiento, las citas trabajan en la información que ya ha seleccionado.
Piénselo de esta manera: RAG decide qué información usar, mientras que las citas aseguran que la información se use con precisión. Esto significa:
- TRAPO: Maneja la recuperación de información
- Citas: Administra la verificación de la información
- Potencial combinado: Ambos sistemas pueden trabajar juntos
Esta elección de arquitectura significa que las citas sobresalen con la precisión dentro de los contextos proporcionados, al tiempo que deja estrategias de recuperación a sistemas complementarios.
Vías de integración y rendimiento
La configuración es sencilla: Las citas se extienden a través de la API estándar de Anthrope, lo que significa que si ya está usando Claude, está a medio camino. El sistema se integra directamente con la API de mensajes, eliminando la necesidad de almacenamiento de archivos separado o cambios complejos de infraestructura.
La estructura de precios sigue el modelo basado en tokens de Anthrope con una ventaja clave: si bien paga los tokens de entrada de los documentos de origen, no hay carga adicional por las salidas de citas en sí. Esto crea una estructura de costos predecible que escala con el uso.
Las métricas de rendimiento cuentan una historia convincente:
- Mejora del 15% en la precisión general de las citas
- Eliminación completa de las alucinaciones de origen (desde el 10% de ocurrencia hasta cero)
- Verificación a nivel de oración para cada reclamo
Las organizaciones (e individuos) que utilizan sistemas de IA no verificados se encuentran en desventaja, especialmente en industrias reguladas o entornos de alto riesgo donde la precisión es crucial.
Mirando hacia el futuro, es probable que veamos:
- Integración de características similares a las citas que se convierten en estándar
- Evolución de los sistemas de verificación más allá del texto a otros medios
- Desarrollo de estándares de verificación específicos de la industria
Toda la industria realmente necesita repensar la confiabilidad y la verificación de AI. Los usuarios deben llegar a un punto en el que puedan verificar cada reclamo con facilidad.
