Este político no existe: usando GPT-2 para la generación de tweets políticos
Date
2020-12
Type:
Thesis
item.page.extent
74 p.
item.page.accessRights
Authors
item.contributor.advisor
ORCID:
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad del Desarrollo. Facultad de Ingeniería
item.page.isbn
item.page.issn
item.page.issne
item.page.doiurl
item.page.other
item.page.references
Abstract
Los modelos de lenguaje natural han adquirido una importante relevancia desde
2018 cuando se incorpora de la arquitectura Transformer. Aunque existe una gran cantidad y muy diversos trabajos al respecto, muy poco podemos encontrar en español.
Este trabajo aborda una aplicación del modelo GPT-2, una implementación de
arquitectura transformer en un modelo de lenguaje, para ejecutar tareas de generación de
texto casual y texto controlado. En ambos casos hemos realizado el entrenamiento con las publicaciones más recientes de las autoridades políticas chilenas en la red social twitter.
Los resultados muestran que incluso un modelo GPT-2 base puede ser ajustado para
cumplir una tarea específica como generar nuevos Tweets políticos reutilizando el
aprendizaje del lenguaje pre entrenado. Además entrenamos el modelo para que aprenda de los contextos de cada uno de los tweets y utilizar estos mismos contextos para solicitar la generación de acuerdo a parámetros de control.
Las aplicaciones de estos nuevos modelos de lenguaje con atención están en la vida
personal como en el mundo empresarial. Usando estas innovaciones es posible agregar más valor a servicios actuales o crear nuevos servicios, habilitados con esta tecnología
Description
Proyecto de grado presentado a la Facultad de Ingeniería de la Universidad del
Desarrollo para optar al grado académico de Magíster en Data Science
item.page.coverage.spatial
item.page.sponsorship
Citation
Keywords
Natural Language Processing, GPT 2, Text Generation, Text Synthesis, Deep Learning, Transformers, 070037S