Apresentação sobre artigo relacionado a Testes de Software - LLM-RAG

Apresentação sobre artigo relacionado a Testes de Software - LLM-RAG

1. Arquitetura, Metodologia e Experimentos em LLM-RAG
Baseado no artigo: Ahmed et al. (2025)

2. Arquitetura da Aplicação em Teste
•Pipeline em Python processando dados da API de Turismo de Värmland
(JSONL)
•Etapas: Aquisição e pré-processamento, Embeddings, FAISS, Consultas
•Dois modos de operação: RAG e Não-RAG

3. Detalhes Técnicos da Arquitetura
•Python como linguagem principal
•FAISS para buscas de similaridade
•Evidently para avaliação de modelos
•OpenAI API para interface com diferentes LLMs
•Processamento paralelo para escalabilidade

4. Metodologia de Teste
•24 configurações: 3 Modelos × 4 parâmetros × 2 modos (RAG/Não-RAG)
•Parâmetros: Temperatura (0.0–2.0) e Top-P (0.1–1.0)
•17 métricas: Texto, Similaridade semântica (BERT), Avaliações
comportamentais (LLM como juiz)

5. Objetivos dos Testes
•Identificar diferenças entre modelos LLM
•Avaliar impacto dos parâmetros de geração
•Medir a contribuição do RAG no desempenho
•Simular testes de regressão em contexto real

6. Arquitetura de Implementação dos Testes
•Baseada no Evidently, com automação e reprodutibilidade
•Entrada: modelo, parâmetros e modo RAG
•Execução dos 17 testes e armazenamento estruturado
•Relatórios HTML e gráficos automatizados
•Interface GUI e linha de comando

7. Metodologia Experimental
•Matriz de avaliação: 24 configurações
•Modelos: GPT-3.5 Turbo, GPT-4o e GPT-4o Mini
•4 configurações de parâmetros por modelo
•Testes em modos RAG e Não-RAG
•Métricas factuais excluídas para isolar efeito do RAG