Autocodificador variacional

O esquema básico de um autoencoder variacional. O modelo recebe $x$ como entrada. O codificador o comprime no espaço latente. O decodificador recebe como entrada a informação amostrada do espaço latente e produz ${x'}$ tão semelhante quanto possível a $x$ .

Na aprendizagem de máquina, um autocodificador variacional (variational autoencoder ou VAE em inglês) é uma arquitetura de rede neural artificial introduzida por Diederik P. Kingma e Max Welling. ^[1] Faz parte das famílias de modelos gráficos probabilísticos e métodos bayesianos variacionais. ^[2]

Além de serem vistos como uma arquitetura de rede neural autocodificadora, os autocodificadores variacionais também podem ser estudados dentro da formulação matemática de métodos bayesianos variacionais, conectando uma rede codificadora neural ao seu decodificador por meio de um espaço latente probabilístico (por exemplo, como uma distribuição gaussiana multivariada) que corresponde aos parâmetros de uma distribuição variacional.

Assim, o codificador mapeia cada ponto (como uma imagem) de um grande conjunto de dados complexos em uma distribuição dentro do espaço latente, em vez de um único ponto nesse espaço. O decodificador tem a função oposta, que é mapear do espaço latente para o espaço de entrada, novamente de acordo com uma distribuição (embora, na prática, o ruído raramente seja adicionado durante o estágio de decodificação). Ao mapear um ponto para uma distribuição em vez de um único ponto, a rede pode evitar o overfitting dos dados de treinamento. Ambas as redes são normalmente treinadas em conjunto com o uso do truque de reparametrização, embora a variância do modelo de ruído possa ser aprendida separadamente.

Embora este tipo de modelo tenha sido inicialmente concebido para aprendizagem não supervisionada, ^[3] ^[4] a sua eficácia foi comprovada para aprendizagem semi-supervisionada ^[5] ^[6] e aprendizagem supervisionada. ^[7]

Veja também

Referências

↑ Kingma, Diederik P.; Welling, Max (10 de dezembro de 2022). «Auto-Encoding Variational Bayes». arXiv:1312.6114 [stat.ML]
↑ Pinheiro Cinelli, Lucas; et al. (2021). «Variational Autoencoder». Variational Methods for Machine Learning with Applications to Deep Networks. [S.l.]: Springer. pp. 111–149. ISBN 978-3-030-70681-4. doi:10.1007/978-3-030-70679-1_5
↑ Dilokthanakul, Nat; Mediano, Pedro A. M. (13 de janeiro de 2017). «Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders». arXiv:1611.02648 [cs.LG]
↑ Hsu, Wei-Ning; Zhang, Yu; Glass, James (dezembro de 2017). «Unsupervised domain adaptation for robust speech recognition via variational autoencoder-based data augmentation». 2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). [S.l.: s.n.] pp. 16–23. ISBN 978-1-5090-4788-8. arXiv:1707.06265. doi:10.1109/ASRU.2017.8268911
↑ Ehsan Abbasnejad, M.; Dick, Anthony; van den Hengel, Anton (2017). Infinite Variational Autoencoder for Semi-Supervised Learning. [S.l.: s.n.] pp. 5888–5897
↑ Xu, Weidi; Sun, Haoze; Deng, Chao; Tan, Ying (12 de fevereiro de 2017). «Variational Autoencoder for Semi-Supervised Text Classification». Proceedings of the AAAI Conference on Artificial Intelligence (em inglês). 31 (1). doi:10.1609/aaai.v31i1.10966
↑ Kameoka, Hirokazu; Li, Li; Inoue, Shota; Makino, Shoji (1 de setembro de 2019). «Supervised Determined Source Separation with Multichannel Variational Autoencoder». Neural Computation. 31 (9): 1891–1914. PMID 31335290. doi:10.1162/neco_a_01217

[1] Kingma, Diederik P.; Welling, Max (10 de dezembro de 2022). «Auto-Encoding Variational Bayes». arXiv:1312.6114 [stat.ML]

[2] Pinheiro Cinelli, Lucas; et al. (2021). «Variational Autoencoder». Variational Methods for Machine Learning with Applications to Deep Networks. [S.l.]: Springer. pp. 111–149. ISBN 978-3-030-70681-4. doi:10.1007/978-3-030-70679-1_5

[3] Dilokthanakul, Nat; Mediano, Pedro A. M. (13 de janeiro de 2017). «Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders». arXiv:1611.02648 [cs.LG]

[4] Hsu, Wei-Ning; Zhang, Yu; Glass, James (dezembro de 2017). «Unsupervised domain adaptation for robust speech recognition via variational autoencoder-based data augmentation». 2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). [S.l.: s.n.] pp. 16–23. ISBN 978-1-5090-4788-8. arXiv:1707.06265. doi:10.1109/ASRU.2017.8268911

[5] Ehsan Abbasnejad, M.; Dick, Anthony; van den Hengel, Anton (2017). Infinite Variational Autoencoder for Semi-Supervised Learning. [S.l.: s.n.] pp. 5888–5897

[6] Xu, Weidi; Sun, Haoze; Deng, Chao; Tan, Ying (12 de fevereiro de 2017). «Variational Autoencoder for Semi-Supervised Text Classification». Proceedings of the AAAI Conference on Artificial Intelligence (em inglês). 31 (1). doi:10.1609/aaai.v31i1.10966

[7] Kameoka, Hirokazu; Li, Li; Inoue, Shota; Makino, Shoji (1 de setembro de 2019). «Supervised Determined Source Separation with Multichannel Variational Autoencoder». Neural Computation. 31 (9): 1891–1914. PMID 31335290. doi:10.1162/neco_a_01217

[1]

[2]

[3]

[4]

[5]

[6]

[7]

Aprendizado de máquina e mineração de dados
Parte de uma série sobre

Problemas Classificação Agrupamento Regressão Detecção de anomalias AutoML Regras de associação Aprendizagem por reforço Predição estruturada Engenharia de características Aprendizagem de características Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendizagem de ordenação Aprendizado de ontologias Indução de gramática
Aprendizagem supervisionada (classificação • regressão) Árvores de decisão Ensembles Bagging Boosting Floresta aleatória k-NN Regressão linear Naive Bayes Redes neurais artificiais Regressão logística Máquina de vetores de relevância (RVM) Máquina de vetores de suporte (SVM) Otimização de Política Proximal Perceptron
Clustering BIRCH CURE Hierarchical Difuso k-means Maximização de expectativa (EM) DBSCAN OPTICS Mean-shift
Redução de dimensionalidade Análise fatorial CCA ICA LDA NMF PCA PGD t-SNE SDL
Predição estruturada Modelos gráficos Rede bayesiana Campo aleatório condicional Markov oculto
Detecção de anomalias RANSAC k-NN LOF Isolation Forest
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformer Spiking neural network Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Aprendizagem Q SARSA Diferença temporal (TD)
Teoria Equilíbrio entre viés e variância Teoria da aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa em aprendizagem de máquina Visão geral da aprendizagem de máquina Função softmax