Clase 9 - Limitaciones de las LLM y técnicas avanzadas.pdfff

informatica

1. Limitaciones de las LLM
MSc. Ing. Gabriel Olmos.
Laboratorio de Robótica y Visión.
Pontificia Universidad Católica de Valparaíso
1

2. 2
Resumen clase anterior
1.Modelos de lenguaje de código abierto y de código cerrado junto con la
cuantización.
LLMLLM
Texto Texto
LLM
Texto Texto
LLMLLM
Texto Texto
LLM
Texto Texto
Comprimir

3. 3
Contenido
1.Introducción.
2.Limitaciones.
3.¿Cómo mitigamos estas limitaciones en los LLM?.
4.Técnicas que mejoran el rendimiento de los LLM.

4. 4
Introducción
Guía práctica LLMs
ElcampodelProcesamientodel
LenguajeNatural(NLP,porsus
siglaseninglés)sededicaala
interacción entre las
computadorasyellenguaje
humano.Elobjetivoprincipaldel
NLPespermitiralasmáquinas
comprender,interpretarygenerar
lenguajehumanodeunamanera
queseavaliosa.ElProcesamiento
delLenguajeNaturalesuna
subdisciplinadelainteligencia
artificialquesecentraenel
análisisylageneracióndel
lenguajenatural,esdecir,el
lenguajeutilizadoporlosseres
humanos paracomunicarse.
Incluyeunavariedaddetécnicasy
métodosquepermitenalas
computadorasprocesaryanalizar
grandescantidadesdedatosde
lenguajenatural.

5. 5
Introducción
•LosLLMspuedengenerartextoconvincenteperonocomprendenelsignificado
realdetrásdelaspalabras.Esteproblemasedescribecomo"lorosestocásticos",
dondelosmodelosreplicanpatroneslingüísticossincomprensiónsustancial.
•LasdeficienciasdelosLLMslimitansuutilidadenaplicacionesquerequieren
interaccionesdinámicasconelmundorealydecisionesbasadaseninformación
actualizadayrelevante.Sinlacapacidaddeaccederadatosexternosorealizar
accionesbasadasenlainformaciónprocesada,losLLMspermanecenconfinados
alosdatosconlosquefueronentrenados,loquepuederesultarenrespuestas
obsoletasoirrelevantes.
•LaintegracióndetécnicasavanzadasconLLMsmedianteLangChainilustrala
necesidaddeinnovacióncontinuaenelcampodelaIAparaabordardesafíos
emergentesyaprovecharalmáximolastecnologíasexistentes.

6. 6
Limitaciones de las LLM

7. 7
Limitaciones: Alucinaciones
Lasalucinacionesquierendecirqueelmodelogeneraunarespuesta
completamenteconvincente,peroesunarespuestatotalmenteinventada.
GPT-4o

8. 8
Limitaciones: Datos Privados
ElmodelocomercialconocidocomoChatGPTnopuederesponderadatosprivados,
debidoaquenofueronpartedesuentrenamiento.
ChatGPT

9. 9
Limitaciones: Razonamiento Matemático
ChatGPT Resultado correcto:
6,528,025
ElmodelocomercialconocidocomoChatGPTnopuedenrespondercorrectamente
anteunaoperaciónbásicamatemática

10. 10
Limitaciones: Razonamiento Matemático
ElmodelocomercialconocidocomoChatGPTnopuedenrespondercorrectamente
anteunaoperaciónbásicamatemática
ChatGPT
Respuesta Correcta: 3

11. 11
Limitaciones: Información Desactualizada
ElmodelocomercialconocidocomoChatGPTnopuedenresponderaantecedentes
quenofueronpartedesuentrenamiento.
La última actualización de
ChatGPT fue el verano de 2022

12. 12
Limitaciones: Prejuicios y Discriminación
Dependiendodelosdatosconlosquehayansidoentrenados,losLLMpueden
mostrarsesgosdenaturalezareligiosa,ideológicaopolítica.Porlogeneral,son
entrenadoscongrandescantidadesdetextodeinternet.
Algunosejemplosson:
•EstereotipodeGénero:Asociarprofesionesmásconungéneroqueconotro.Por
ejemplo,“enfermera”conmujerese“ingenieros”conhombres,debidoa
patroneshistóricosyculturalespresentesenlosdatosdeentrenamiento.
•DiscriminaciónRacial:Losmodelospodríanignorarlascontribucionespositivas
depersonasdeminoríasracialesencontextoshistóricosoculturales.Por
ejemplo,alpedirejemplosdecientíficosdestacados,elmodelopodríamencionar
predominantementeapersonasdeungruporacialmayoritario,omitiendoa
científicosdeminoríasquetambiénhanhechocontribucionessignificativas.
•SesgoCultural:Losmodelosdelenguajeentrenadospredominantementecon
datoseninglésyencontextosoccidentalespuedenfavorecerperspectivas,
valoresyacontecimientoshistóricosdepaísesoccidentalessobreotrasculturas
yregiones.

13. 13
Limitaciones: Prejuicios y Discriminación
Artículo
Sepublicóunartículodondeexaminólaspreferenciaspolíticasdelosmodelosde
lenguajes.

14. 14
Limitaciones: Falta de Transparencia
Unadelaslimitacionesimportantesdelosmodelosdelenguajegrandes(LLM)esla
faltadetransparencia,quesemanifiestaenvariasformas:
•Complejidaddelmodelo:Estosmodelosaltenerbillonesdeparámetroses
difícilparalosusuarioydesarrolladoresentendercómoelmodelollegaauna
respuestaenespecífico.Adiferenciadesistemasmássimplesconreglasclarasy
definidas,losLLMoperanenbaseapatronescomplejosaprendidosduranteel
entrenamiento,loquecomplicalatrazabilidaddelasdecisiones.
•CajaNegra:Lasrespuestaspuedensermuyútileseimpresionante,pero
¿podemosverporquétomaciertasdecisionesalresponder?
LLM
Texto Texto

15. 15
¿Cómo mitigamos estas limitaciones en las LLM?
ExistentécnicasquepermitenmitigarestaslimitacionesdelosLLMsyframeworksque
integranestastécnicasparamitigarestaslimitaciones,permitiendopotenciar
aplicacionesutilizandolosmodelosdelenguaje.
Prompt
Engineering
Prompt
Engineering
Fine-TuningFine-Tuning RAGRAG AgentesAgentes
1 2 3 4
Memoria

16. 16
Prompt Engineering

17. 17
Conceptos Previos
LLMLLM
Text Text
LLM
Text Text
Primerotenemosquerecordarloqueesunmodelodelenguaje(LLM)pre-entrenado,
conocidoscomobasemodelofoundationalmodel.
Estosmodelostienendistintosparámetrosquepermitemodificarlaaleatoriedada
lasalida,loscualesvamosaveracontinuación.

18. 18
Prompt Engineering
Esunatécnicaquepermitemejorarlarespuestadelosmodelosdelenguaje
medianteelPromptyexistenvariosenfoquesquepermitenmejorarlacalidaddelas
respuestasdelosmodelosdelenguaje.
Prompt
Eseltextoqueuno
ingresaalmodelo.
Prompt
Eseltextoqueuno
ingresaalmodelo.
Prompt

19. 19
Ventana de Contexto
Laventanadecontextoeslamáximacantidadqueadmitecomotextodeentradael
modelodelenguaje.
Laventanadecontexto,conocidaeningléscomocontextWindow,esel
númeromáximodetokensquepuedeprocesarelmodelodelenguaje.
Context
Window
(Ventanade
contexto)
Prompt:
LLM

20. 20
Temperatura
Latemperaturaesunparámetroquepermitecontrolarlaaleatoriedadoelnivelde
creatividaddeunmodelo.
Temperatura = 0 (t=0)
Elmodeloesmásdeterminista.
Temperatura = 0 (t=0)
Elmodeloesmásdeterminista.
Temperatura = 1 (t=1)
Elmodeloesmáscreativo.
Temperatura = 1 (t=1)
Elmodeloesmáscreativo.
Nota:Existenmodelosqueelparámetrovaríaentre0y2.
Enlosmodelosdelenguajeexistenmásparámetrosquepermitencontrolarla
aleatoriedadolasalidadelmodelo,peroesteeselprincipalquesemodifica.

21. 21
Prompt Engineering
DentrodelaventanadecontextoexistenformasdeconfigurarelPrompt,mediante
instruccionesoroles.
•Instrucciones:Sonindicacionesqueseledanalmodeloparadistintospropósitos.
•Roles:Seutilizantokensespecialesparaestablecerunadistinciónclaraentrelosturnos
dediálogo.Porejemplo,seindicacuándoeselusuarioquienestárealizandouna
preguntaycuándoeselmodeloquiendeberesponder.Estemecanismoayudaa
estructurarlasinteraccionesdeformamásorganizadaycoherente.
### Humano: Hola### Humano: Hola
### Asistente: Hola, ¿qué necesitas?### Asistente: Hola, ¿qué necesitas?
### Sistema: Eres un asistente cordial### Sistema: Eres un asistente cordial
### Instrucción: Debes responder siempre
de la siguiente forma:
--Asistente--
Respuesta
--Fin--
### Instrucción: Debes responder siempre
de la siguiente forma:
--Asistente--
Respuesta
--Fin--
ventanadecontexto

22. 22
Prompt Engineering: Zero-Shot
Estosgrandesmodeloslingüísticoshansidoentrenadosenungrancorpusdetextoy
contienenbillonesdeparámetros.Alpedirlealgunatareacomoporejemplode
clasificación,losmodeloslogranunbuenrendimientoyprecisiónalentregarla
respuesta.
Prompt:
Clasifica el texto en neutral, negativo o positivo.
Texto: Creo que las vacaciones están bien.
Sentimiento:
LLM
Respuesta:
Clasifica el texto en neutral, negativo o positivo.
Texto: Creo que las vacaciones están bien.
Sentimiento:Negativo
¿Quépodemoshacersielmodelonolograunbuenrendimientoutilizandozero-shot?
Completion

23. 23
Prompt Engineering: One-Shot
One-shotserefiereadarleunejemploalmodelodeloquebuscamosrealizar.Estos
ejemplosserealizanenlaventanadecontextodelmodelo.
¿QuépodemoshacersielmodelonolograunbuenrendimientoutilizandoOne-Shot?
Prompt: Clasifica el texto en neutral, negativo o positivo.
Texto: Creo que las vacaciones están bien.
Sentimiento: Positivo
Texto: El helado sabe mal.
Sentimiento:
Respuesta: Positivo
Prompt: Clasifica el texto en neutral, negativo o positivo.
Texto: Creo que las vacaciones están bien.
Sentimiento: Positivo
Texto: El helado sabe mal.
Sentimiento:
Respuesta: Positivo
RespuestaIncorrecta
Unejemplo

24. 24
Prompt Engineering: Few-Shot
EltérminoFew-shothacereferenciaaproporcionaralmodeloalgunosejemplos
dentrodelpromptparaguiarloenlatareaquesedesearealizar.Esteenfoque
aprovechalacapacidaddelmodeloparageneralizarapartirdeunospocos
ejemplos,loquepuedeserútilcuandonosecuentaconrecursosparaun
entrenamientomásprofundo.
Prompt: Clasifica el texto en neutral, negativo o positivo.
Texto: Creo que las vacaciones están bien.
Sentimiento: Positivo
Texto: El helado sabe mal.
Sentimiento: Negativo
Texto: El jugo estaba bueno.
Sentimiento
Respuesta: Positivo
Prompt: Clasifica el texto en neutral, negativo o positivo.
Texto: Creo que las vacaciones están bien.
Sentimiento: Positivo
Texto: El helado sabe mal.
Sentimiento: Negativo
Texto: El jugo estaba bueno.
Sentimiento
Respuesta: Positivo
Másejemplo
RespuestaCorrecta

25. 25
Prompt Engineering: CoT
ChainofThought,traducidocomocadenadepensamientoesunatécnicadondeal
modeloseleindicaquerealicepasosdepensamientopararesolverunproblema,
estánlosmétodosZero-Shot-CoT,Few-Shot-CoT.
PaperChainofThought
Q:Gabrieltiene5pelotasdetenis.Compra2
latasmásdepelotasdetenis.Cadalatatiene3
pelotasdetenis.¿Cuántaspelotasdetenistiene
ahora?
A:Larespuestaes11.
Q:Lacafeteríatiene23manzanas,siutilizaron
20parahacerelalmuerzoycompraron6más,
¿cuántasmanzanastienen?
A:Larespuestaes27.
Q:Gabrieltiene5pelotasdetenis.Compra2
latasmásdepelotasdetenis.Cadalatatiene3
pelotasdetenis.¿Cuántaspelotasdetenistiene
ahora?
A:Larespuestaes11.
Q:Lacafeteríatiene23manzanas,siutilizaron
20parahacerelalmuerzoycompraron6más,
¿cuántasmanzanastienen?
A:Larespuestaes27.
Model InputModel Input
Q:Gabrieltiene5pelotasdetenis.Compra2
latasmásdepelotasdetenis.Cadalatatiene3
pelotasdetenis.¿Cuántaspelotasdetenistiene
ahora?
A:Gabrielempiezacon5pelotas,sicadalata
tiene3pelotasdetenisdauntotalde6.Porlo
tanto,larespuestaes11.
Q:Lacafeteríatiene23manzanas,siutilizaron
20parahacerelalmuerzoycompraron6más,
¿cuántasmanzanastienen?
A:Lacafeteríatenía23manzanas
originalmente.Utilizaron20parahacerel
almuerzo.Asíquetenían23-20=3.Compraron
6manzanasmás,asíquetienen3+6=9.La
respuestaes9.
Q:Gabrieltiene5pelotasdetenis.Compra2
latasmásdepelotasdetenis.Cadalatatiene3
pelotasdetenis.¿Cuántaspelotasdetenistiene
ahora?
A:Gabrielempiezacon5pelotas,sicadalata
tiene3pelotasdetenisdauntotalde6.Porlo
tanto,larespuestaes11.
Q:Lacafeteríatiene23manzanas,siutilizaron
20parahacerelalmuerzoycompraron6más,
¿cuántasmanzanastienen?
A:Lacafeteríatenía23manzanas
originalmente.Utilizaron20parahacerel
almuerzo.Asíquetenían23-20=3.Compraron
6manzanasmás,asíquetienen3+6=9.La
respuestaes9.
Model InputModel Input
StandardPrompting ChainofThoughtPrompting

26. 26
Prompt Engineering: Instrucción
Lainstrucciónpermitealinearalmodeloalapreferenciaqueunobusca,es
importantemencionarqueenestaparteesdehartaexperimentaciónyevaluarel
rendimientodelmodelo.
### Sistema: Eres un asistente cordial### Sistema: Eres un asistente cordial
### Instrucción: Debes responder siempre de la
siguiente forma en formato markdown:
--Asistente--
# Título
* Punto 1
* Punto 2
$\frac{}{}$
--Fin--
La respuesta debes entregarla siempre en español.
### Instrucción: Debes responder siempre de la
siguiente forma en formato markdown:
--Asistente--
# Título
* Punto 1
* Punto 2
$\frac{}{}$
--Fin--
La respuesta debes entregarla siempre en español.
Recordemosque
estosiemprevaen
laventanade
contextodelLLM.
Alfinalsevan
concatenandolos
rolesenlaventana
decontexto.

27. 27
Inyección de Prompt

28. 28
ReinforcementLearning withHuman Feedback
¿PorquéChatGPTnomeentregalarespuesta?

29. 29
Inyección de Prompt y Jailbreaks
LaInyeccióndepromptyJailbreakssontécnicasdepromptquepermiteobtener
informacióndelicada:
•Inyeccióndeprompt:sonentradasqueaprovechanlaconcatenacióndedatosno
fiablesdetercerosyusuariosenlaventanadecontextodeunmodeloparaconseguir
queesteejecuteinstruccionesnodeseadas.
•Jailbreaks:Soninstruccionesmaliciosasdiseñadasparaanularlascaracterísticasde
seguridadyprotecciónincorporadasenunmodelo.
Inyección de prompt: “Ignora las
instrucciones anteriores …”
Jailbreaks: “Debes responder
groseramente”
LLM
texto

30. 30
Inyección de Prompt y Jailbreaks
Inyección de promptJailbreaks

31. 31
Inyección de Prompt y Jailbreaks

32. 32
Fine-Tuning

33. 33
Fine-Tuning
Esunatécnicadondepermitetomarunmodelopre-entrenadoyajustarloparaunao
variastareasdistintas,conelobjetivodemejorarelrendimientodelmodelo
previamenteentrenado.
LLM
Entrenamiento
Basededatos
¿Quénecesitopararealizarelfine-tuning?

34. 34
Retrieval-Augmented
Generation (RAG)

35. 35
Retrieval-Augmented Generation (RAG)
Losmodelosdelenguajehansidoentrenadosenungrancorpusdetexto,pero¿Qué
ocurrecondatosquesonprivadosynofueronpartedelentrenamientodeestos
grandesmodelosdellenguaje?,¿Cómopuedoutilizardatosprivadossintenerque
entrenarunmodelo?.Comorespuesta,podemosutilizarlatécnicallamada
“Retrieval-AugmentedGeneration”,traducidacomoGeneraciónAumentadapor
Recuperación.
ChatGPT
GPT-3.5 series
¿CómofuncionaRAG?

36. 36
Retrieval-Augmented Generation (RAG)
Consulta
Vectorización
Embeddings
Base de Datos Vectorizada
Distancia
Entre
Embeddings
Datos
Recuperados
•Top K (Parámetro)
LLM
Respuesta
•PromptTemplate
•Temperature
•Modelo de Lenguaje (GPT-3.5-turbo)
1
2
3
4 5
•Text-Embedding-ada-002-v2

37. 37
Recapitulación de los LLM
EsimportanterecordarcómoelLLMrecibelosdatos.

38. 38
Proceso de Vectorizar la Base de Datos
Esimportantetenerunaideadecómosevectorizanlosdatos.
Fuente de Información
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
Load
xxxxxxxxxxxxx
xxxxxxxxxxxxx
Transform
[2,1.0,8.12,0.01..]
xxxxxxxxxxxxx
xxxxxxxxxxxxx
xxxxxxxxxxxxx
xxxxxxxxxxxxx
[3,1.0,8.12,0.01..]
[2,1.0,8.12,0.01..]
Embeddings Store
Base de Datos
Vectorizada
(Vector Store)
1 2 3 4 5
•csv, md, pdf, txt,
docs, json…
•Metadata •ChunkSize
•ChunkOverlap
•Modelo Embedding
•Batchdel Embedding

39. 39
Troceado de texto (Transform)
ChunkSizeChunkSize
ChunkOverlapChunkOverlap
256
20

40. 40
Troceado de texto

41. 41
Embeddings
Unembeddingsesunvector(lista)denúmerosenpuntoflotante,dependiendodel
modeloelvectorcontendrán-elementos.Existenmétodosparavisualizarun
embeddingsyrepresentarlosvectorescomopuntosenunespacio.
1 … 512
1 … 512
1 … 512
… … …
Seq … …
TamañoSecuencia
Tamaño del modelo
(??????
�??????���=512)

42. 42
¿Qué es un Vector Embeddings?
Esunarepresentaciónvectorial(numérica)deentidadesdelmundoreal,estas
entidadespuedenser:
I.Sentences
II.Imagen
III.Palabras Porejemplo,podemos
representarmediante
puntosenunespacio
vectorial palabras,
permitiendoverla
similitudsemántica.
Palabras:reina,mujer,
inteligencia, fruta,
tomate, verdura,
lechuga, tomate,
electrónica,tv
Modeloutilizado:glove-
wiki-gigaword-100

43. 43
Agentes

44. 44
Agentes
Elagenteesunaentidadoprogramaqueestádiseñadoparatomardecisionesy
realizarunaaccióndadosuentorno.¿CómofuncionaenelcontextodelosLLM?
DecisionesDecisiones
QueryQuery
Acción 1Acción 1
Acción 2Acción 2
Acción nAcción n
Proceso 1Proceso 1
Proceso 2Proceso 2
Proceso nProceso n

45. 45
Agente ReAct
PaperReAct
ElagenteReActcombinadoscapacidades,elrazonamiento(Chain-of-thought)yla
acción.Permitiendodejartrazasdelosprocesosquehaceyutilizarherramientas
externas

46. 46
Agente OpenAI
ElagenteOpenAIsoportalallamadaafunciones(FunctionCalling)permitiendoal
LLMconectarseconherramientasexternas.
DecisionesDecisiones
QueryQuery
Acción 1Acción 1
Acción 2Acción 2
Acción nAcción n
Proceso 1Proceso 1
Proceso 2Proceso 2
Proceso nProceso n

47. 47
Memoria
¿PorquécuandounoutilizaChatGPTrecuerdanuestronombrequeloindicamosen
otroschats?
LLM
### Sistema: Eres un asistente cordial…### Sistema: Eres un asistente cordial…
### Memoria: `Se le ingresa el historial de la conversación
anterior en la ventana de contexto del LLM u otro tipo de
información`
### Memoria: `Se le ingresa el historial de la conversación
anterior en la ventana de contexto del LLM u otro tipo de
información`
Context WindowContext Window
•Conversaciones anteriores.
•Informaciones del usuario.
•Datos importantes
•Conversaciones anteriores.
•Informaciones del usuario.
•Datos importantes

48. 48
¿Por qué ChatGPT recuerda o sigue la
conversación?

49. 49
¿Por qué ChatGPT recuerda o sigue la
conversación?

50. 50
¿Por qué ChatGPT recuerda o sigue la
conversación?
¿Por qué sabe o recuerda mi nombre?

51. 51
Frameworks
ExistenframeworksqueresuelvenestaslimitacionesquetienenlosLLM.Algunos
frameworksconocidosson:
•LangChain
•LangGraph
•Llama-Index
•AutoGen
•fastRAG
•Haystack
¿Quéotroframeworksexisteparamitigarlaslimitaciones?

52. 52
Aplicación de LLM
UnsistemaLLMpuedeversedelasiguientemanera:
Aplicación
LLM
Aplicación
LLM
query
response
query
Subsistema 1
Subsistema 2
Tool1
Tool 2

53. 53
WebScrapping
LLMLLM
Texto Texto
LLM
Texto Texto

54. 54
WebScrapping
Podemos chatear con la página web
Podemos estructurar los datos de la página web

55. 55
Aplicaciones (RAG)
Base de Datos VectorizadaBase de Datos Vectorizada Base de Datos Vectorizada
LLM
queryquery
ResponseResponse
1. Documentos

56. 56
Resumen de la clase
•Se presentaron las limitaciones que tienen estos modelos de lenguaje.
•Técnicas que permiten mitigar estas limitaciones.
•Se explicó lo que es el Prompt Engineering, Fine-tuning, RAG, Agentes, Memorias y
los frameworksque integran algunas de estas técnicas.