Prompt, Contexto y memoria

Empecé a usar IA en mi trabajo como desarrollador de software hace algo más de 2 años. Con ChatGPT y de manera tosca, igual que la mayoría, imagino 😅

A lo largo de este tiempo refiné mi conversación con LLMs, comencé a usar asistentes de código (GitHub Copilot) y después asistentes con agentes (Cursor) e incluso desarrollé sistemas de agentes con frameworks como CrewAI. Pero no ha sido hasta ahora que he entendido de forma clara que cualquier interacción con modelos de lenguaje, no importa que herramienta usemos, se resume en tres puntos fundamentales: prompt, contexto y memoria.

Prompt

A través del prompt creamos el experto que necesitamos para una determinada tarea, le indicamos qué hay que hacer y también qué no hay que hacer. Es el medio del que disponemos para alcanzar el resultado deseado.

Para escribir el prompt adecuado para cada tarea, tenemos la ingeniería de prompts. Conocer sus principales técnicas es importante, pero lo que de verdad hace que mejoremos, es la práctica continua con los LLMs, nuestra conversación con la IA.

Contexto

Los grandes modelos de lenguaje disponen de un vasto conocimiento, pero para determinadas tareas este no es suficiente. Proporcionarle contexto adicional se convierte en una necesidad ineludible.

Para dar contexto disponemos de diferentes vías, desde la simple inclusión de información relevante en el prompt, pasando por añadir documentos de referencia hasta el uso de MCPs que permiten a los LLMs acceder al contenido de múltiples plataformas (Jira, Drive, etc.) y herramientas (Figma, Draw.io, etc.).

Memoria

Los LLMs tienen la capacidad de recordar nuestras conversaciones, pero esta memoria tiene un límite (límite de la ventana de contexto). Cuanto más compleja es la tarea a desarrollar, con mayor probabilidad superamos este límite y más necesario se hace extender la memoria del LLM.

Existen diferenetes técnicas para ampliar la memoria de los LLMs, algunas bastante sofisticadas como el uso de bases de datos clásicas y vectoriales, pero la forma más sencilla de hacerlo es introduciendo en nuestras rutinas estrategias de contexto/memoria extendida.

En perspectiva

Prompt, contexto y memoria. Es decir, las instrucciones correctas para lograr el objetivo deseado, la información necesaria para entender el proyecto y su objetivo, y el registro del trabajo completado (cuándo, cómo, dónde y por qué).

Si lo piensas por un momento, no es muy diferente de lo que los humanos necesitamos para desarrollar cualquier tarea compleja. Realmente cada vez que profundizamos en el uso de la IA nos encontramos con situaciones en las que vemos un paralelismo claro entre la forma en que los LLMs trabajan y la nuestra. No en vano estamos entrando en una era donde ya no "hablamos" con las máquinas a través de código, sino que hablamos con las máquinas de forma natural. Algo que Frank ya descubrió hace más de 10 años 😎🤖.