Ferres, LeoRodríguez Garrido, Enrique2021-05-132021-05-132020-12http://hdl.handle.net/11447/4050Proyecto de grado presentado a la Facultad de Ingeniería de la Universidad del Desarrollo para optar al grado académico de Magíster en Data ScienceLos modelos de lenguaje natural han adquirido una importante relevancia desde 2018 cuando se incorpora de la arquitectura Transformer. Aunque existe una gran cantidad y muy diversos trabajos al respecto, muy poco podemos encontrar en español. Este trabajo aborda una aplicación del modelo GPT-2, una implementación de arquitectura transformer en un modelo de lenguaje, para ejecutar tareas de generación de texto casual y texto controlado. En ambos casos hemos realizado el entrenamiento con las publicaciones más recientes de las autoridades políticas chilenas en la red social twitter. Los resultados muestran que incluso un modelo GPT-2 base puede ser ajustado para cumplir una tarea específica como generar nuevos Tweets políticos reutilizando el aprendizaje del lenguaje pre entrenado. Además entrenamos el modelo para que aprenda de los contextos de cada uno de los tweets y utilizar estos mismos contextos para solicitar la generación de acuerdo a parámetros de control. Las aplicaciones de estos nuevos modelos de lenguaje con atención están en la vida personal como en el mundo empresarial. Usando estas innovaciones es posible agregar más valor a servicios actuales o crear nuevos servicios, habilitados con esta tecnología74 p.esNatural Language ProcessingGPT 2Text GenerationText SynthesisDeep LearningTransformers070037SThesis