2021-10-31 12:36:33 - Atualizado em 2021-10-31 15:11:35

Multimodal Variational Autoencoder for Text Representation in One-Class Classification

Usuários relacionados: Rafael Geraldeli Rossi Ricardo Marcacini

Vigência: 2020-03-03 (em andamento)

1. INFORMAÇÕES GERAIS


2. RESUMO DO PROJETO

O One-Class Learning (OCL) é um tipo de aprendizado de máquina em que o usuário rotula somente textos da classe de interesse, o que torna esse método mais viável em aplicações de classificação automática de textos enquanto diminui o esforço de rotulação do usuário. Os algoritmos de aprendizado de máquina necessitam de representações estruturadas e os textos são naturalmente não estruturados. Por isso, os textos devem ser estruturados. Os algoritmos de OCL não aprenderem com representações de contra-exemplos da classe de interesse, o que torna desafiador a maneira de representar esses textos. Portanto, nesse mestrado é proposto um método chamado Multimodal Variational Autoencoder (MVAE) para representar os textos da classe de interesse. O MVAE é uma rede neural que aprende uma representação a partir de mais de uma modalidade, o que torna a representação aprendida mais robusta e apropriada para o OCL. 


3. DETALHES DO PROJETO

O projeto pode ser dividido em 4 etapas:

3.1. Coleta de bases de dados
O projeto focou em alguns domínios para aplicar o método proposto (MVAE). Seguem os datasets coletados:

3.2. Representação das modalidades.
O modelo de linguagem dependente de contexto Bidirectional Encoder Representations from Transformers (BERT) foi utilizado para representar os textos inicialmente. Foi utilizado uma versão multilingual do BERT (DistilBERT Multilingual). Vale ressaltar que a biblioteca sentence-transformers foi utilizada.

A segunda modalidade explorada em todos os trabalhos é uma modalidade baseada na densidade da classe de interesse. Essa modalidade se mostrou capaz de capturar informações de densidade/tópico da classe de interesse em diferentes domínios. A representação é gerada da seguinte forma:

  • Um algoritmo de agrupamento é aplicado nas representações da classe de interesse diversas vezes com numéros de grupo diferentes;
  • A medida de silhueta é aplicada para cada documento em cada configuração de agrupamento;
  • A representação de um documento nesta modalidade é a concatenação de todas as medidas de silhueta para esse documento em cada configuração de agrupamento.

3.3. Aprendizado de Representação Multimodal
O MVAE (Figura 1) é uma rede neural artificial multimodal que aprende uma representação por meio de mais de uma modalidade. O MVAE é baseado em um Variational Autoencoder (VAE). O mesmo foi escolhido pela sua característica de aprender uma representação enviesando o aprendizado a partir de modelo de distribuição prévio informado, gerando assim representações modeladas pelo modelo de distribuição. Dessa forma, se escolhido um modelo de distribuição mais adequado para o OCL, as representações serão mais apropriadas para os algoritmos de OCL. 

Além disso, foi utilizada a fusão prévia dos dados no MVAE. Para aplicar a fusão prévia, o MVAE tem como primeira etapa, camadas densas de mesmo tamanho em seu codificador para cada uma das entradas do MVAE, o que possibilita a aplicação de uma camada de merging para combinar os dados na segunda etapa de seu codificador. Portanto, é possível utilizar uma gama de operadores de fusão prévia que são representados pela camada de merging para fundir os dados. 

MVAE

Figura 1. Multimodal Variational Autoencoder

2.4. One-Class Learning
Nesta etapa, um algoritmo de OCL é utilizado para aprender por meio das representações aprendidas pelo MVAE. Uitizou-se o algoritmo Support Vector Data Description (SVDD) proposto por [Tax e Duin 2004]. Por fim, depois que o SVDD treinou com os documentos da classe de interesse, o mesmo é capaz de classificar novos textos, como pertencentes a classe de interesse ou não, depois que os mesmos forem representados pelo MVAE.


4. PRINCIPAIS RESULTADOS OBTIDOS

Os principais resultados do projeto são os seguintes artigos publicados/submetidos:

4.1 Learning Textual Representations from Multiple Modalities to Detect Fake News Through One-Class Learning

4.2 Triple-VAE: A Triple Variational Autoencoder to Represent Events in One-Class Event Detection 

4.3 Detecting Relevant App Reviews for Software Evolution and Maintenance through Multimodal One-Class Learning 

4.4 Learning to sense from events via semantic variational autoencoder 

5. RESULTADOS OBTIDOS EM COLABORAÇÃO

Os principais resultados em colaboração do projeto são os seguintes artigos publicados:

5.1 Opinion Mining for App Reviews: An Analysis of Textual Representation and Predictive Models 

5.2 From Bag-of-Words to Pre-trained Neural Language Models: Improving Automatic Classification of App Reviews for Requirements Engineering 


6. AGRADECIMENTOS

O presente trabalho foi realizado com apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico - Brasil (CNPq) - Código de Financiamento #133438/2020-1.