Prompt, Contexto e Memória
Publicado oComecei a usar IA no meu trabalho como desenvolvedor de software há pouco mais de 2 anos. Com ChatGPT e de forma tosca, como a maioria, imagino 😅
Ao longo deste tempo refinei a minha conversa com LLMs, comecei a usar assistentes de código (GitHub Copilot) e depois assistentes com agentes (Cursor) e até desenvolvi sistemas de agentes com frameworks como CrewAI. Mas não foi até agora que entendi de forma clara que qualquer interação com modelos de linguagem, não importa que ferramenta usemos, se resume em três pontos fundamentais: prompt, contexto e memória.
Prompt
Através do prompt criamos o perito que precisamos para uma determinada tarefa, indicamos-lhe o que há que fazer e também o que não há que fazer. É o meio de que dispomos para alcançar o resultado desejado.
Para escrever o prompt adequado para cada tarefa, temos a engenharia de prompts. Conhecer as suas principais técnicas é importante, mas o que de verdade faz que melhoremos, é a prática contínua com os LLMs, a nossa conversa com a IA.
Contexto
Os grandes modelos de linguagem dispõem de um vasto conhecimento, mas para determinadas tarefas este não é suficiente. Fornecer-lhe contexto adicional torna-se uma necessidade ineludível.
Para dar contexto dispomos de diferentes vias, desde a simples inclusão de informação relevante no prompt, passando por adicionar documentos de referência até o uso de MCPs que permitem aos LLMs aceder ao conteúdo de múltiplas plataformas (Jira, Drive, etc.) e ferramentas (Figma, Draw.io, etc.).
Memória
Os LLMs têm a capacidade de recordar as nossas conversas, mas esta memória tem um limite (limite da janela de contexto). Quanto mais complexa é a tarefa a desenvolver, com maior probabilidade superamos este limite e mais necessário se torna estender a memória do LLM.
Existem diferentes técnicas para ampliar a memória dos LLMs, algumas bastante sofisticadas como o uso de bases de dados clássicas e vectoriais, mas a forma mais simples de o fazer é introduzindo nas nossas rotinas estratégias de contexto/memória estendida.
Em perspetiva
Prompt, contexto e memória. Ou seja, as instruções corretas para lograr o objetivo desejado, a informação necessária para entender o projeto e o seu objetivo, e o registo do trabalho completado (quando, como, onde e porquê).
Se o pensares por um momento, não é muito diferente do que os humanos precisamos para desenvolver qualquer tarefa complexa. Realmente cada vez que aprofundamos no uso da IA encontramo-nos com situações em que vemos um paralelismo claro entre a forma como os LLMs trabalham e a nossa. Não em vão estamos a entrar numa era onde já não "falamos" com as máquinas através de código, mas sim que falamos com as máquinas de forma natural. Algo que o Frank já descobriu há mais de 10 anos 😎🤖.