Os modelos de previsão em séries temporais visam coletar e analisar observações do passado para estimar dados futuros. Fatores externos podem influenciar os dados em séries temporais, como eventos políticos, crises econômicas, política macroeconômica do governo e outros. Informações textuais extraídas de notícias, fóruns e redes sociais podem ser um fonte importante de conhecimento sobre fatores externos e potencialmente úteis para modelos de previsão de séries temporais. Alguns estudos apresentam técnicas de mineração de texto para combinar dados textuais com séries temporais, gerando representações alternativas para modelos de previsão. Neste projeto, é utilizado o uso de características semânticas e modelos de linguagem neural para enriquecer séries temporais com mais informações semânticas e estratégias de previsão com base na arquitetura do modelo transformers.