Enviei isso em um grupo de WhatsApp e resolvi registrar também por aqui, para não perder o plano macro e os links que compartilhei por lá.
O contexto foi o lançamento do Game Time (só disponível para poucos usuários do GPT4), plugin da Open AI para perguntas sobre jogos de tabuleiros e cartas.
Eu estou com o GPT4 e sem acesso, parece que o roll out também não é para todos os pagantes, por enquanto.
Tenho planos de colocar um AI Bot no Compara Jogos, nosso fórum usa um produto open-source que tem um plugin (tb open-source) de AI:
A ideia é basicamente poder citar o @bot e ele responde o que voce perguntar, ou resume um tópico inteiro, ou faz uma busca no Google.
Para regras especificas dos board games, tendo os manuais, a ideia, sem mexer no treinamento (que eh a parte mais $custosa$), seria usar os tokens do prompt pra dar o máximo de informação relevante como contexto pra resposta, dá pra usar qq provider (openai, anthropic, azure openai, aws bedrock, endpoints da huggingface, ou algum modelo self-hosted baseado em Llama2)
Se não me engano os plugins da Open AI são basicamente pre-prompts tambem
(detalhe que a Open AI tb usa o Discourse como fórum 
)
Acredito que um plugin desse tipo deva ter 3 passos:
-
Identifica os manuais que devem ser usados como pre-prompt, o que poderia ser feito a partir da #tag-do-jogo – pegando tambem as expansoes e até arquivos e tópicos de FAQs, se existirem
-
(a mais dificil) com os materiais selecionados, usar uma tecnica para reduzir ao maximo o numero de tokens, pois os manuais não cabem inteiros no prompt. Text summarization com LangChain ou alguma técnica similar.
- Passar esse o contexto resultado de 2 como pre-prompt junto da pergunta do usuário para a API do provider de AI
Seria legal ter algo open-source nesse sentido, e o Compara Jogos seria apenas um dos possíveis consumidores desse projeto.
Se alguém for desenvolvedor, curtir AI e quiser colaborar num projeto desse, tamos aí 