Los modelos de idiomas grandes (LLM) se han convertido rápidamente en herramientas indispensables de inteligencia artificial (IA), impulsando aplicaciones de chatbots y creación de contenido hasta asistencia de codificación. A pesar de sus impresionantes capacidades, un desafío común que enfrentan los usuarios es que estos modelos a veces omiten partes de las instrucciones que reciben, especialmente cuando esas instrucciones son largas o involucran múltiples pasos. Este omisión conduce a salidas incompletas o inexactas, lo que puede causar confusión y erosionar confianza en los sistemas de IA. Comprender por qué LLMS omite las instrucciones y cómo abordar este problema es esencial para los usuarios que confían en estos modelos para obtener resultados precisos y confiables.
¿Por qué LLMS omite las instrucciones?
LLMS funcionan leyendo el texto de entrada como una secuencia de tokens. Los tokens son las piezas pequeñas en las que se divide el texto. El modelo procesa estos tokens uno tras otro, de principio a fin. Esto significa que las instrucciones al comienzo de la entrada tienden a recibir más atención. Las instrucciones posteriores pueden recibir menos enfoque y pueden ignorarse.
Esto sucede porque los LLM tienen una capacidad de atención limitada. La atención es el mecanismo que los modelos utilizan para decidir qué partes de entrada son esenciales al generar respuestas. Cuando la entrada es corta, la atención funciona bien. Pero la atención se vuelve menor a medida que la entrada se hace más larga o las instrucciones se vuelven complejas. Esto debilita el enfoque en partes posteriores, causando omitir.
Además, muchas instrucciones aumentan a la vez complejidad. Cuando las instrucciones se superponen o el conflicto, los modelos pueden confundirse. Pueden intentar responder a todo pero producir respuestas vagas o contradictorias. Esto a menudo resulta en faltar algunas instrucciones.
Los LLM también comparten algunos límites similares a los humanos. Por ejemplo, los humanos pueden perder el enfoque al leer textos largos o repetitivos. Del mismo modo, LLMS puede olvidar Instrucciones posteriores a medida que procesan más tokens. Esta pérdida de enfoque es parte del diseño y los límites del modelo.
Otra razón es cómo los LLM están entrenados. Ven muchos ejemplos de instrucciones simples pero menos complejas y de varios pasos. Debido a esto, los modelos tienden a preferir seguir instrucciones más simples que son más comunes en sus datos de entrenamiento. Este sesgo los hace omitir instrucciones complejas. Además, los límites de token restringen la cantidad de entrada que puede procesar el modelo. Cuando las entradas exceden estos límites, se ignoran las instrucciones más allá del límite.
Ejemplo: Supongamos que da una LLM cinco instrucciones en un solo mensaje. El modelo puede centrarse principalmente en las dos primeras instrucciones e ignorar parcial o completamente las últimas tres. Esto afecta directamente cómo el modelo procesa tokens secuencialmente y sus limitaciones de atención.
Qué tan bien LLMS administra instrucciones secuenciales basadas en los hallazgos de SIFO 2024
Estudios recientes han analizado cuidadosamente qué tan bien LLMS siguen varias instrucciones dadas una tras otra. Un estudio importante son las instrucciones secuenciales que siguen (SIFO) Benchmark 2024. Este punto de referencia prueba modelos en tareas que necesitan finalización paso a paso de instrucciones, como modificación de texto, respuesta a preguntas, matemáticas y seguimiento de reglas de seguridad. Cada instrucción en la secuencia depende de la finalización correcta de la anterior. Este enfoque ayuda a verificar si el modelo ha seguido la secuencia completa correctamente.
Los resultados de SIFO muestran que incluso los mejores LLM, como GPT-4 y Claude-3, a menudo les resulta difícil terminar todas las instrucciones correctamente. Esto es especialmente cierto cuando las instrucciones son largas o complicadas. La investigación señala tres problemas principales que enfrentan LLMS con las siguientes instrucciones:
Comprensión: Compriendo completamente lo que significa cada instrucción.
Razonamiento: Vinculando varias instrucciones juntas lógicamente para mantener la respuesta clara.
Salida confiable: Producir respuestas completas y precisas, cubriendo todas las instrucciones dadas.
Las técnicas como la ingeniería rápida y el ajuste fino ayudan a mejorar qué tan bien los modelos siguen las instrucciones. Sin embargo, estos métodos no ayudan por completo con el problema de omitir instrucciones. El uso del aprendizaje de refuerzo con retroalimentación humana (RLHF) mejora aún más la capacidad del modelo para responder adecuadamente. Aún así, los modelos tienen dificultades cuando las instrucciones requieren muchos pasos o son muy complejos.
El estudio también muestra que los LLM funcionan mejor cuando las instrucciones son simples, claramente separadas y bien organizadas. Cuando las tareas necesitan largas cadenas de razonamiento o muchos pasos, la precisión del modelo cae. Estos hallazgos ayudan a sugerir mejores formas de usar bien las LLM y mostrar la necesidad de construir modelos más fuertes que realmente puedan seguir instrucciones una tras otra.
Por qué LLMS omite las instrucciones: desafíos técnicos y consideraciones prácticas
Los LLM pueden omitir las instrucciones debido a varios factores técnicos y prácticos enraizados en la forma en que procesan y codifican el texto de entrada.
Dilución limitada de la capacidad de atención y la información
Los LLM dependen de los mecanismos de atención para asignar importancia a diferentes partes de entrada. Cuando las indicaciones son concisas, la atención del modelo está enfocada y efectiva. Sin embargo, a medida que el aviso crece más o más repetitivo, la atención se diluye, y las tokens o instrucciones posteriores reciben menos enfoque, lo que aumenta la probabilidad de que se pasen por alto. Este fenómeno, conocido como dilución de información, es especialmente problemático para las instrucciones que aparecen tarde en un aviso. Además, los modelos tienen límites de token fijos (por ejemplo, tokens 2048); Cualquier texto más allá de este umbral se trunca e ignora, lo que hace que las instrucciones al final se salten por completo.
Complejidad y ambigüedad de salida
Los LLM pueden tener dificultades para obtener respuestas claras y completas cuando se enfrentan a múltiples o conflictivas instrucciones. El modelo puede generar respuestas parciales o vagas para evitar contradicciones o confusión, omitiendo efectivamente algunas instrucciones. La ambigüedad en cómo se redactan las instrucciones también plantea desafíos: las indicaciones poco claras o imprecisas dificultan que el modelo determine las acciones previstas, aumentando el riesgo de omitir o malinterpretar partes de la entrada.
Diseño rápido y sensibilidad de formato
La estructura y el fraseo de las indicaciones también juegan un papel fundamental en el seguimiento de las instrucciones. La investigación muestra que incluso pequeños cambios en la forma en que se escriben o formatean las instrucciones puede afectar significativamente si el modelo se adhiere a ellos.
Las indicaciones mal estructuradas, que carecen de separación clara, puntos de bala o numeración, hacen que sea más difícil que el modelo distinga entre pasos, aumentando las posibilidades de fusionar u omitir instrucciones. La representación interna del modelo del modelo es altamente sensible a estas variaciones, lo que explica por qué la ingeniería rápida (indicaciones de reformulación o reestructuración) puede mejorar sustancialmente la adherencia de las instrucciones, incluso si el contenido subyacente sigue siendo el mismo.
Cómo arreglar la instrucción omitiendo en LLMS
Mejorar la capacidad de los LLM para seguir las instrucciones con precisión es esencial para producir resultados confiables y precisos. Se deben considerar las siguientes mejores prácticas para minimizar la omisión de instrucciones y mejorar la calidad de las respuestas generadas por IA:
Las tareas deben descomponerse en partes más pequeñas
Las indicaciones largas o de múltiples pasos deben dividirse en segmentos más pequeños y más enfocados. Proporcionar una o dos instrucciones a la vez permite que el modelo mantenga una mejor atención y reduce la probabilidad de perder los pasos.
Ejemplo
En lugar de combinar todas las instrucciones en un solo mensaje, como “Resumir el texto, enumerar los puntos principales, sugerir mejoras y traducirlo al francés“Cada instrucción debe presentarse por separado o en grupos más pequeños.
Las instrucciones deben formatearse utilizando listas numeradas o puntos de bala
La organización de instrucciones con formato explícito, como listas numeradas o puntos de bala, ayuda a indicar que cada elemento es una tarea individual. Esta claridad aumenta las posibilidades de que la respuesta aborde todas las instrucciones.
Ejemplo
- Resume el siguiente texto.
- Enumere los puntos principales.
- Sugerir mejoras.
Dicho formato proporciona señales visuales que ayudan al modelo a reconocer y separar tareas distintas dentro de un aviso.
Las instrucciones deben ser explícitas e inequívocas
Es esencial que las instrucciones indiquen claramente el requisito de completar cada paso. Se debe evitar el lenguaje ambiguo o vago. El aviso debe indicar explícitamente que no se pueden omitir pasos.
Ejemplo
“Complete las tres tareas a continuación. Saltar cualquier paso no es aceptable”.
Las declaraciones directas como esta reducen la confusión y alientan al modelo a proporcionar respuestas completas.
Se deben usar indicaciones separadas para tareas críticas o de alto riesgo
Cada instrucción debe presentarse como un mensaje individual para las tareas donde la precisión y la integridad son críticas. Aunque este enfoque puede aumentar el tiempo de interacción, mejora significativamente la probabilidad de obtener resultados completos y precisos. Este método asegura que el modelo se centre completamente en una tarea a la vez, reduciendo el riesgo de instrucciones perdidas.
Estrategias avanzadas para equilibrar la integridad y la eficiencia
Esperar una respuesta después de cada instrucción puede llevar mucho tiempo para los usuarios. Para mejorar la eficiencia mientras se mantiene la claridad y la reducción de las instrucciones omitidas, las siguientes técnicas avanzadas de solicitación pueden ser efectivas:
Instrucciones por lotes con etiquetas de formato claras y explícitas
Múltiples instrucciones relacionadas se pueden combinar en un solo mensaje, pero cada una debe separarse utilizando numeración o encabezados. El mensaje también debe instruir al modelo que responda a todas las instrucciones por completo y en orden.
Ejemplo de aviso
Complete atentamente todas las siguientes tareas sin omitir ninguna:
- Resume el texto a continuación.
- Enumere los puntos principales de su resumen.
- Sugerir mejoras basadas en los puntos principales.
- Traducir el texto mejorado al francés.
Indicaciones de estilo de la cadena de pensamiento
La solicitud de la cadena de pensamiento guía al modelo a razonar a través de cada paso de tarea antes de proporcionar una respuesta. Alentar al modelo a procesar las instrucciones secuencialmente dentro de una respuesta única ayuda a garantizar que no se pasen por alto los pasos, reduciendo la posibilidad de omitir las instrucciones y mejorar la integridad.
Ejemplo de aviso
Lea el texto a continuación y haga las siguientes tareas en orden. Muestre su trabajo claramente:
- Resumir el texto.
- Identifique los puntos principales de su resumen.
- Sugerir mejoras en el texto.
- Traducir el texto mejorado al francés.
Responda todas las tareas completamente y por separado en una respuesta.
Agregar instrucciones de finalización y recordatorios
Recuerde explícitamente al modelo:
- “Responda cada tarea por completo”.
- “No omitas ninguna instrucción”.
- “Separe sus respuestas claramente”.
Tales recordatorios ayudan al modelo a centrarse en la integridad cuando se combinan múltiples instrucciones.
Se deben probar diferentes modelos y configuraciones de parámetros
No todos los LLM funcionan por igual en las siguientes instrucciones. Es aconsejable evaluar varios modelos para identificar aquellos que sobresalen en tareas de varios pasos. Además, los parámetros de ajuste como la temperatura, los tokens máximos y las indicaciones del sistema pueden mejorar aún más el enfoque y la integridad de las respuestas. Probar estas configuraciones ayuda a adaptar el comportamiento del modelo a los requisitos específicos de la tarea.
Se deben considerar modelos de ajuste fino y utilizar herramientas externas
Los modelos deben ajustarse en conjuntos de datos que incluyan instrucciones de múltiples pasos o secuenciales para mejorar su adherencia a las indicaciones complejas. Las técnicas como RLHF pueden mejorar aún más la instrucción después.
Para casos de uso avanzados, la integración de herramientas externas como API, complementos específicos de tareas o sistemas de generación aumentada de recuperación (RAG) pueden proporcionar contexto y control adicionales, mejorando así la confiabilidad y precisión de los resultados.
El resultado final
Los LLM son herramientas potentes, pero pueden omitir las instrucciones cuando las indicaciones son largas o complejas. Esto sucede debido a cómo leen la entrada y enfocan su atención. Las instrucciones deben ser claras, simples y bien organizadas para obtener resultados mejores y más confiables. Romper las tareas en piezas más pequeñas, usar listas y dar instrucciones directas de ayuda a los modelos de ayuda a seguir los pasos.
Las indicaciones separadas pueden mejorar la precisión de las tareas críticas, aunque toman más tiempo. Además, métodos avanzados avanzados como la cadena de pensamiento y el formato claro ayudan a equilibrar la velocidad y la precisión. Además, probar diferentes modelos y ajuste fino también puede mejorar los resultados. Estas ideas ayudarán a los usuarios a obtener respuestas consistentes, completas y harán que las herramientas de IA sean más útiles en el trabajo real.
