Máquina de vetores de relevância

Parte de uma série sobre
Aprendizado de máquina e mineração de dados
Problemas Classificação Agrupamento Regressão Detecção de anomalias AutoML Regras de associação Aprendizagem por reforço Predição estruturada Engenharia de características Aprendizagem de características Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendizagem de ordenação Aprendizado de ontologias Indução de gramática
Aprendizagem supervisionada (classificação • regressão) Árvores de decisão Ensembles Bagging Boosting Floresta aleatória k-NN Regressão linear Naive Bayes Redes neurais artificiais Regressão logística Máquina de vetores de relevância (RVM) Máquina de vetores de suporte (SVM) Otimização de Política Proximal Perceptron
Clustering BIRCH CURE Hierarchical Difuso k-means Maximização de expectativa (EM) DBSCAN OPTICS Mean-shift
Redução de dimensionalidade Análise fatorial CCA ICA LDA NMF PCA PGD t-SNE SDL
Predição estruturada Modelos gráficos Rede bayesiana Campo aleatório condicional Markov oculto
Detecção de anomalias RANSAC k-NN LOF Isolation Forest
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformer Spiking neural network Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Aprendizagem Q SARSA Diferença temporal (TD)
Teoria Equilíbrio entre viés e variância Teoria da aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa em aprendizagem de máquina Visão geral da aprendizagem de máquina Função softmax

Na matemática, uma máquina de vetores de relevância (RVM) é uma técnica de aprendizado de máquina que usa a inferência bayesiana para obter soluções parcimoniosas para regressão e classificação de probabilidades. ^[1] Um procedimento de otimização guloso e, portanto, uma versão rápida foram posteriormente desenvolvidos. ^{[2] [3]} A RVM tem uma forma funcional idêntica à máquina de vetores de suporte, mas esta fornece uma classificação probabilística.

Na verdade, equivale a um modelo de processo gaussiano com função de covariância:

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

com ${\displaystyle \varphi }$ sendo a função kernel (geralmente gaussiana), ${\displaystyle \alpha _{j}}$ são as variâncias do prior no vetor de peso ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, e ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$ são os vetores de entrada do conjunto de treinamento. ^[4]

Comparada à das máquinas de vetores de suporte (SVM), a formulação bayesiana da RVM evita o conjunto dos parâmetros livres da SVM (que geralmente requer pós-otimizações baseadas na validação cruzada). No entanto, as RVMs utilizam um método de aprendizado semelhante à maximização de expectativas (EM) e, portanto, correm o risco de mínimos locais. Isso é diferente dos algoritmos padrão baseados em otimização mínima sequencial (SMO) empregados pelas SVMs, que garantem a busca de um ótimo global (do problema convexo).

A máquina de vetores de relevância foi patenteada nos Estados Unidos pela Microsoft onde expirou em 4 de setembro de 2019. ^[5]