Modelo de difusão

Parte de uma série sobre
Aprendizado de máquina e mineração de dados
Problemas Classificação Agrupamento Regressão Detecção de anomalias AutoML Regras de associação Aprendizagem por reforço Predição estruturada Engenharia de características Aprendizagem de características Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendizagem de ordenação Aprendizado de ontologias Indução de gramática
Aprendizagem supervisionada (classificação • regressão) Árvores de decisão Ensembles Bagging Boosting Floresta aleatória k-NN Regressão linear Naive Bayes Redes neurais artificiais Regressão logística Máquina de vetores de relevância (RVM) Máquina de vetores de suporte (SVM) Otimização de Política Proximal Perceptron
Clustering BIRCH CURE Hierarchical Difuso k-means Maximização de expectativa (EM) DBSCAN OPTICS Mean-shift
Redução de dimensionalidade Análise fatorial CCA ICA LDA NMF PCA PGD t-SNE SDL
Predição estruturada Modelos gráficos Rede bayesiana Campo aleatório condicional Markov oculto
Detecção de anomalias RANSAC k-NN LOF Isolation Forest
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformer Spiking neural network Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Aprendizagem Q SARSA Diferença temporal (TD)
Teoria Equilíbrio entre viés e variância Teoria da aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa em aprendizagem de máquina Visão geral da aprendizagem de máquina Função softmax

Em aprendizado de máquina, modelos de difusão, também conhecidos como modelos generativos baseados em difusão ou modelos generativos baseados em pontuação, são uma classe de modelos generativos de variáveis latentes. Um modelo de difusão consiste em dois componentes principais: o processo de difusão direta e o processo de amostragem reversa. O objetivo dos modelos de difusão é aprender um processo de difusão para um determinado conjunto de dados, de modo que o processo possa gerar novos elementos que sejam distribuídos de forma semelhante ao conjunto de dados original. Um modelo de difusão modela dados conforme gerados por um processo de difusão, por meio do qual um novo dado executa uma caminhada aleatória com deriva pelo espaço de todos os dados possíveis. ^[1] Um modelo de difusão treinado pode ser amostrado de muitas maneiras, com eficiência e qualidade diferentes.

Existem vários formalismos equivalentes, incluindo cadeias de Markov, modelos probabilísticos de difusão de redução de ruído, redes de pontuação condicionadas por ruído e equações diferenciais estocásticas. ^[2] Eles são normalmente treinados usando inferência variacional. ^[3] O modelo responsável pela redução de ruído é normalmente chamado de "backbone". O backbone pode ser de qualquer tipo, mas normalmente são U-nets ou transformadores.

Desde 2024, os modelos de difusão são usados ​​principalmente para tarefas de visão computacional, incluindo remoção de ruído de imagens, preenchimento de lacunas, super-resolução, geração de imagens e geração de vídeos. Esses modelos geralmente envolvem o treinamento de uma rede neural para remover sequencialmente o ruído de imagens borradas com ruído gaussiano.^[1][2] O modelo é treinado para reverter o processo de adição de ruído a uma imagem. Após o treinamento até a convergência, ele pode ser usado para geração de imagens, começando com uma imagem composta de ruído aleatório e aplicando a rede iterativamente para remover o ruído da imagem.

Os geradores de imagens baseados em difusão têm visto amplo interesse comercial, como Stable Diffusion e DALL-E . Esses modelos normalmente combinam modelos de difusão com outros modelos, como codificadores de texto e módulos de atenção cruzada para permitir a geração condicionada por texto. ^[4]

Além da visão computacional, os modelos de difusão também encontraram aplicações no processamento de linguagem natural ^[5] como geração de texto ^[6] e sumarização, ^[7] geração de som, ^[8] e aprendizagem por reforçoooooo. ^{[9] [10]}

• Cadeia de Markov
• Autocodificador variacional