La lematizacion de textos

¿Qué ve un ordenador cuando lee un texto? ¿Entiende que "nueces" es el plural de "nuez"? ¿Es posible que distinga en contexto si la palabra "meses" es el plural de "mes" o una forma del verbo "mesar"? En esta sesión vamos a sumergirnos en el apasionante mundo de la lematización, el primer escalón en el procesamiento automático de un texto: veremos en qué consiste, por qué es fundamental, cómo podemos aplicarla en nuestro trabajo sobre textos y cuáles son los desafíos morfosintácticos y semánticos que nos plantea.

Sesión impartida en el Seminario Filologías Digitales hoy de la UNEX en Cáceres el 8 de febrero.

-----

Slides images by:
*Nicobu (deviantart) http://nicobou.deviantart.com/gallery/
*Fondant.es http://www.fondant.es/11-ingredientes-esenciales-de-nuestra-reposteria/
*xkcd https://xkcd.com/1443/

1. La lematización de textos
Elena Álvarez Mellado
Seminario Filologías Digitales hoy

2. ¿Qué es la
lematización?

6. ¿Cómo funciona
un lematizador?

7. limones
dijo
corruptas
nueces
cantábamos
limón
decir
corrupto
nuez
cantar
LEMATIZADOR

9. corruptísimas
tuerquecita
riéndose
dándoselas
corrupta
tuerca
reír
dar
LEMATIZADOR

10. -Lexicón
(lemas+categorías)
-Reglas morfológicas
-Paciencia.
Ingredientes para hacer
un lematizador:

11. Termina en -ito/a(s)
-illo/a(s)
-ísimo/a(s)
(sílaba tónica)
Quitamos la terminación:
arbolito>árbol
Añadimos O/E/IO
guapillo, excelentísimo, sucísimo
¿Raíz irregular?
QU->C; GU->G; GÜ->G; C->Z
En el caso de Z:
arrocito>arroc->arroz
Añado O/A
poquillo->poco;
agüita->agua;
Última vocal de la raíz
O->UE (fortísimo) E->IE
(calentito)
¿Termina en -bil?
-bil->ble (amabilísimo)
¿Termina en -rc /-nc/vocal+c?
mayorcito, camioncito, sofacito
¿Termina en -ec?
florecita
Añado O/E/IO
viejecito, sobrecito,
seriecísimo
¿Termina en -cec?
piececito->piecec->pie
Añadimos Z:
pececito->pecec->pez

12. Sí
¿Conozco esta palabra?
¿Está en mi base de datos
(lemario)?
Miro en el lemario su
lema y su
categoría
(MEMORIA)
Aplico el programa de
reglas
morfológicas
(REGLAS)
No

18. "palabra": "los"
"lema": "el"
"categoria": "articulo"
"analisis": "ADMP"

"palabra": "ciudadanos"
"lema": "ciudadano"
"categoria": "sustantivo"
"analisis": "NCMP"

"palabra": "reciben"
"lema": "recibir"
"categoria": "verbo"
"analisis": "VPI3P"


"palabra": "el"
"lema": "el"
"categoria": "articulo"
"analisis": "ADMP"

"palabra": "euro"
"lema": "euro"
"categoria": "sustantivo"
"analisis": "NCMP"

"palabra": "con"
"lema": "con"
"categoria": "preposición"
"analisis": "P000"

"palabra": "euforia"
"lema": "euforia"
"categoria": "sustantivo"
"analisis": "NCFS"





Los ciudadanos reciben el euro
con euforia

25. Pon un lematizador
en tu vida

28. Lematizadores de código abierto
Freeling (UPC)

NLTK (Natural Language Toolkit)

openNLP

Stanford CoreNLP

30. API

34. AntConc
+

36. Corpus anotados
Corpus AnCora (UB)

GitHub del grupo CLIG: FR ES PT

Corpus BROWN y LOB

Stanford NLP corpora

38. Corpus lematizados consultables
Corpus del español de Mark Davis
http://corpusdelespanol.org/

CORPES (RAE)
http://web.frl.es/CORPES/view/inicioExterno.
view