Assistente GenAI - Bedrock Multi LLM com StepFunctions-Pub.pdf

A apresentação aborda o uso de StepFunctions, múltiplos modelos do Bedrock e OpenSearch para implementar um assistente online baseado em GenAI.

Esta arquitetura permite respostas de conteúdo específico ou privado, proporcionando interações de baixa latência.

1. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Assistente Virtual com GenAI -
Orquestrando Múltiplos LLMs com AWS
Step Functions
Carlos Alberto Marangon
Senior AWS Tech Lead
[email protected]
Leticia Massae Uchida
Especialista DevOps & TAM
[email protected]

2. •Cenário do Cliente
•Desafios Técnicos e de Negócio
•Arquitetura da Solução
•Implementação com Step Functions
•Múltiplos LLMs no Bedrock
•RAG com OpenSearch Serverless
•Integração com Salesforce
•Resultados
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Agenda

3. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
Cenário
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

4. Contexto Organizacional
•Ecossistema de ensino de qualidade do Brasil
•18 instituições de ensino superior
•Portfólio diversificado: engenharia, medicina, arquitetura, etc.
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

5. Volumetria e Escala
•Centenas de milhares de candidatos por período
•Picos de tráfego durante inscrições
•Necessidade de atendimento 24x7
•Múltiplas marcas e contextos específicos
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

6. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
O Problema: Gargalos no Atendimento
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

7. Desafios de Negócio
•Volume de Acessos >> Capacidade de Atendimento
•Taxa de conversão: Apenas 3% dos candidatos se inscrevem
•Pontos de fricção: Solicitação de CPF precoce, falta de clareza sobre
modalidades
•Capacidade limitada: Atendentes insuficientes para demanda
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

8. Desafios Técnicos
•Escalabilidade durante picos de acesso
•Personalização por instituição e curso
•Latência baixa para experiência adequada
•Integração com SalesForce
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

9. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
VisãoGeraldaSolução
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

10. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Componentes Principais
•Assistente Virtual baseado em GenAI
•RAG para respostas contextualizadas
•Orquestração com AWS Step Functions
•Múltiplos LLMs especializados
•Integração automática com CRM

11. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Objetivos Técnicos
•Respostas personalizadas por instituição
•Latência otimizada via paralelização
•Identificação de estágio do lead
•Geração automática de resumos

12. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
Arquitetura:VisãoMacro
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

13. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

14. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Principais Serviços AWS –MVP para uma instituição de ensino
•AWS Step Functions: 2 State Machines
•Amazon Bedrock: 4 Foundation Models
•OpenSearch Serverless: 1 OpenSearch (2 indexes) -2 Knowledge Bases
•DynamoDB: 2 Tabelas
•Bedrock Agent Runtime: Retrieve API para RAG

15. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Step Function Principal -Assistente Conversacional
Responsabilidade: Orquestrar toda a interação com o usuário

16. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Step Function de Resumo -Gestão de Leads
Responsabilidade: Transformar conversas em leads qualificados

17. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
Múltiplos LLMs:
Especialização por Função
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

18. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Anthropic Claude 3 Haiku
•Inserção de keywords e validação de políticas
Anthropic Claude 3.5 Sonnet
•Conversa, classificação de intenção e roteamento
Meta Llama 3
•Sumarização contextual das conversas
Amazon Titan Embeddings v2
•Vetorização e busca em duas Knowledge Bases simultaneamente

19. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Step Function -Principal

20. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Melhorando a Performance com Paralelismo

21. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
RAG com OpenSearch Serverless
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

22. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Knowledge Base -OpenSearch
Responsabilidade: Armazenar e buscar informações relevantes

23. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
Integração com Salesforce
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .

24. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Inserção de Leads -SalesForce
Finalidade: Geração de oportunidades para o comercial

25. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Resultados
Redução de 80% na quantidade de ligações
Redução de 60% no tempo médio das ligações

26. © 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .
Para quem não sabe para onde ir, qualquer caminho serve

27. BUILDING EVENT-DRIVEN ARCHITECTURES ON AWS
Thank you!
© 202 2, Ama zo n We b Se rvices , Inc. or its affili ates .