Rede neural convolucional

Numa CNN, a entrada é um tensor com o formato:

(número de entradas) × (altura da entrada) × (largura da entrada) × (canais de entrada)

Após passar por uma camada convolucional, a imagem é abstraída para um mapa de características, também chamado de mapa de ativação, com o formato:

(número de entradas) × (altura do mapa de características) × (largura do mapa de características) × (canais do mapa de características).

As camadas convolucionais convoluem a entrada e passam o seu resultado para a camada seguinte. Isto é semelhante à resposta de um neurônio no córtex visual a um estímulo específico.^[9] Cada neurônio convolucional processa dados apenas para o seu campo receptivo.

Embora as redes neurais feedforward totalmente conectadas possam ser usadas para aprender características e classificar dados, esta arquitetura é geralmente impraticável para entradas maiores (por ex., imagens de alta resolução), o que exigiria um número massivo de neurônios porque cada pixel é uma característica de entrada relevante. Uma camada totalmente conectada para uma imagem de tamanho 100 × 100 tem 10.000 pesos para cada neurônio na segunda camada. A convolução reduz o número de parâmetros livres, permitindo que a rede seja mais profunda. Por exemplo, o uso de uma região de pavimentação (tiling) de 5 × 5, cada uma com os mesmos pesos partilhados, requer apenas 25 neurônios. O uso de pesos partilhados significa que existem muito menos parâmetros, o que ajuda a evitar os problemas do desvanecimento e da explosão do gradiente vistos durante a retropropagação em redes neurais anteriores.

Para acelerar o processamento, as camadas convolucionais padrão podem ser substituídas por camadas convolucionais separáveis em profundidade (depthwise separable),^[10] que são baseadas numa convolução em profundidade (depthwise) seguida por uma convolução ponto a ponto (pointwise). A convolução em profundidade é uma convolução espacial aplicada independentemente sobre cada canal do tensor de entrada, enquanto a convolução ponto a ponto é uma convolução padrão restrita ao uso de núcleos ${\displaystyle 1\times 1}$.

As redes convolucionais podem incluir camadas de agrupamento (pooling) local e/ou global juntamente com as camadas convolucionais tradicionais. As camadas de pooling reduzem as dimensões dos dados combinando as saídas de aglomerados de neurônios numa camada num único neurônio na camada seguinte. O pooling local combina pequenos aglomerados, sendo comumente usados tamanhos de pavimentação como 2 × 2. O pooling global atua sobre todos os neurônios do mapa de características.^[11] Existem dois tipos comuns de pooling em uso popular: máximo e médio. O max pooling (agrupamento máximo) usa o valor máximo de cada aglomerado local de neurônios no mapa de características,^[12][13] enquanto o average pooling (agrupamento médio) usa o valor médio.

As camadas totalmente conectadas conectam todos os neurônios numa camada a todos os neurônios noutra camada. É o mesmo que uma rede neural tradicional de perceptron multicamadas (MLP). Cada neurônio na camada totalmente conectada recebe entrada de todos os neurônios na camada anterior. Estas entradas são ponderadas e somadas com os vieses correspondentes, e depois passadas por uma função de ativação para realizar uma transformação não linear, gerando a saída. A matriz achatada (flattened) passa por uma camada totalmente conectada para classificar as imagens.

Nas redes neurais, cada neurônio recebe entrada de um certo número de localizações na camada anterior. Numa camada convolucional, cada neurônio recebe entrada de apenas uma área restrita da camada anterior, chamada de campo receptivo do neurônio. Tipicamente, a área é um quadrado (por ex., 5 por 5 neurônios). Enquanto que, numa camada totalmente conectada, o campo receptivo é a camada anterior inteira. Assim, em cada camada convolucional, cada neurônio recebe entrada de uma área maior na entrada original do que as camadas anteriores. Isso deve-se à aplicação repetida da convolução, que leva em consideração o valor de um pixel, bem como os seus pixels circundantes. Ao usar camadas dilatadas, o número de pixels no campo receptivo permanece constante, mas o campo é povoado de forma mais esparsa à medida que as suas dimensões crescem ao combinar o efeito de várias camadas.

Para manipular o tamanho do campo receptivo conforme desejado, existem algumas alternativas à camada convolucional padrão. Por exemplo, a convolução atrous ou dilatada expande o tamanho do campo receptivo sem aumentar o número de parâmetros, intercalando regiões visíveis e cegas.^[14][15] Além disso, uma única camada convolucional dilatada pode compreender filtros com múltiplas razões de dilatação, tendo assim um tamanho de campo receptivo variável.^[16]

Cada neurônio numa rede neural calcula um valor de saída aplicando uma função específica aos valores de entrada recebidos do campo receptivo na camada anterior. A função que é aplicada aos valores de entrada é determinada por um vetor de pesos e um viés (tipicamente números reais). A aprendizagem consiste em ajustar iterativamente estes vieses e pesos.

Os vetores de pesos e vieses são chamados de filtros e representam características particulares da entrada (por ex., uma forma específica). Uma característica distintiva das CNNs é que muitos neurônios podem partilhar o mesmo filtro. Isto reduz a pegada de memória porque um único viés e um único vetor de pesos são usados em todos os campos receptivos que partilham esse filtro, em oposição a cada campo receptivo ter o seu próprio viés e ponderação vetorial.^[17]

Uma rede neural deconvolucional é essencialmente o inverso de uma CNN. Consiste em camadas deconvolucionais e camadas de desagrupamento (unpooling).^[18]

Uma camada deconvolucional é a transposta de uma camada convolucional. Especificamente, uma camada convolucional pode ser escrita como uma multiplicação por uma matriz, e uma camada deconvolucional é a multiplicação pela transposta dessa matriz.^[19]

Uma camada de desagrupamento expande a camada. A camada de desagrupamento máximo (max-unpooling) é a mais simples, pois simplesmente copia cada entrada várias vezes. Por exemplo, uma camada de desagrupamento máximo de 2 por 2 é ${\displaystyle [x]\mapsto {\begin{bmatrix}x&x\\x&x\end{bmatrix}}}$.

As camadas de deconvolução são usadas em geradores de imagens. Por padrão, cria artefactos periódicos em padrão de tabuleiro de xadrez (checkerboard artifacts), que podem ser corrigidos por aumento de escala seguido de convolução (upscale-then-convolve).^[20]

O trabalho de Hubel e Wiesel nas décadas de 1950 e 1960 mostrou que os córtexes visuais dos gatos contêm neurônios que respondem individualmente a pequenas regiões do campo visual. Desde que os olhos não estejam em movimento, a região do espaço visual dentro da qual os estímulos visuais afetam o disparo de um único neurônio é conhecida como o seu campo receptivo.^[22] As células vizinhas têm campos receptivos semelhantes e sobrepostos. O tamanho e a localização do campo receptivo variam sistematicamente ao longo do córtex para formar um mapa completo do espaço visual. O córtex em cada hemisfério representa o campo visual contralateral.

O seu artigo de 1968 identificou dois tipos básicos de células visuais no cérebro:^[23]

• células simples, cuja saída é maximizada por bordas retas com orientações particulares dentro do seu campo receptivo
• células complexas, que têm campos receptivos maiores, cuja saída é insensível à posição exata das bordas no campo.

Hubel e Wiesel também propuseram um modelo em cascata destes dois tipos de células para uso em tarefas de reconhecimento de padrões.^[24][22]

Em 1969, Kunihiko Fukushima introduziu uma rede multicamadas de deteção de caraterísticas visuais, baseando-se nas investigações anteriores de Hubel e Wiesel. Descreveu-a nestes termos: "Todos os elementos presentes numa camada operam com a mesma matriz de coeficientes de conexão; tanto o posicionamento dos elementos como a sua rede de conexões mantêm-se homogeneamente distribuídos através de qualquer camada dada." Este é o núcleo central de uma rede convolucional, mas os pesos não foram treinados. No mesmo artigo, Fukushima também introduziu a função de ativação ReLU (unidade linear retificada).^[25][26]

O "neocognitron" foi introduzido por Fukushima em 1980.^[27] O neocognitron introduziu os dois tipos básicos de camadas:

• "Camada-S": uma camada de campo receptivo de pesos partilhados, mais tarde conhecida como camada convolucional, que contém unidades cujos campos receptivos cobrem um retalho (patch) da camada anterior. Um grupo de campo receptivo de pesos partilhados (um "plano" na terminologia do neocognitron) é frequentemente chamado de filtro, e uma camada tipicamente tem vários desses filtros.
• "Camada-C": uma camada de subamostragem (downsampling) que contém unidades cujos campos receptivos cobrem retalhos de camadas convolucionais anteriores. Tal unidade tipicamente calcula uma média ponderada das ativações das unidades no seu retalho, e aplica a inibição (normalização divisiva) agrupada a partir de um retalho um pouco maior e através de diferentes filtros numa camada, e aplica uma função de ativação de saturação. Os pesos dos retalhos são não negativos e não são treináveis no neocognitron original. A subamostragem e a inibição competitiva ajudam a classificar características e objetos em cenas visuais, mesmo quando os objetos são deslocados.

Vários algoritmos de aprendizado supervisionado e não supervisionado foram propostos ao longo das décadas para treinar os pesos de um neocognitron. Hoje, no entanto, a arquitetura da CNN é normalmente treinada através da retropropagação (backpropagation).

A função de ativação ReLU de Fukushima não foi usada no seu neocognitron uma vez que todos os pesos eram não negativos; em vez disso, foi usada a inibição lateral. A unidade retificadora tornou-se uma função de ativação muito popular para as CNNs e redes neurais profundas em geral.^[28]

O termo "convolução" surge inicialmente nas redes neurais num artigo de Toshiteru Homma, Les Atlas e Robert Marks II, na edição inaugural da Conference on Neural Information Processing Systems, no ano de 1987. No estudo, adotaram a convolução no tempo em vez da multiplicação para obter invariação de deslocamento (shift invariance), buscando paralelismos com os métodos usados nos filtros lineares invariantes no deslocamento (linear shift-invariant filters) da teoria do processamento de sinal, e demonstraram-no numa tarefa de reconhecimento de fala.^[29] Eles sublinharam além disso que, no contexto de um sistema treinável a partir de dados, a convolução confunde-se fundamentalmente com a correlação, pois inverter a direção dos pesos não se reflete num desfecho final da função apreendida ("Por conveniência, denotamos * como correlação em vez de convolução. Note-se que a convolução de a(t) com b(t) é equivalente à correlação de a(-t) com b(t).").^[29] Semelhante ao que eles fizeram, as atuais configurações de CNN comumente efetuam cálculos de correlação sob o título de convolução de forma a uniformizar e facilitar a designação.

A rede neural com atraso de tempo (time delay neural network - TDNN) foi introduzida em 1987 por Alexander Waibel et al. para o reconhecimento de fonemas e foi uma rede convolucional precoce a exibir invariação de deslocamento.^[30] Uma TDNN é uma rede neural convolucional 1D onde a convolução é executada ao longo do eixo de tempo dos dados. É a primeira CNN a utilizar a partilha de pesos em combinação com um treinamento por descida de gradiente, usando a retropropagação (backpropagation).^[31] Assim, enquanto também usava uma estrutura piramidal como no neocognitron, ela realizava uma otimização global dos pesos em vez de uma local.^[30]

As TDNNs são redes convolucionais que partilham pesos ao longo da dimensão temporal.^[32] Permitem que os sinais de fala sejam processados de forma invariante no tempo. Em 1990, Hampshire e Waibel introduziram uma variante que realiza uma convolução bidimensional.^[33] Dado que estas TDNNs operavam em espectrogramas, o sistema de reconhecimento de fonemas resultante era invariante a deslocamentos tanto de tempo como de frequência, tal como as imagens processadas por um neocognitron.

As TDNNs melhoraram o desempenho do reconhecimento de fala a longa distância.^[34]

Denker et al. (1989) desenharam um sistema de CNN 2D para reconhecer números de código postal (ZIP Code) manuscritos.^[35] No entanto, a falta de um método de treinamento eficiente para determinar os coeficientes do núcleo das convoluções envolvidas significava que todos os coeficientes tinham que ser laboriosamente desenhados à mão.^[36]

Seguindo os avanços no treinamento de CNNs 1D por Waibel et al. (1987), Yann LeCun et al. (1989)^[36] usaram a retropropagação (backpropagation) para aprender os coeficientes do núcleo de convolução diretamente a partir de imagens de números manuscritos. A aprendizagem era assim totalmente automática, com melhor desempenho do que o desenho manual de coeficientes, e adequava-se a uma gama mais ampla de problemas de reconhecimento de imagens e tipos de imagens. Wei Zhang et al. (1988) usaram a retropropagação para treinar os núcleos de convolução de uma CNN para reconhecimento de alfabetos. O modelo foi chamado de rede neural de reconhecimento de padrões invariante no deslocamento, antes do nome CNN ter sido cunhado mais tarde no início da década de 1990. Wei Zhang et al. também aplicaram a mesma CNN sem a última camada totalmente conectada para segmentação de objetos de imagem médica (1991)^[37] e deteção de cancro da mama em mamografias (1994).^[38]

Esta abordagem tornou-se uma base da visão computacional moderna.

Uma rede neural invariante no deslocamento foi proposta por Wei Zhang et al. para o reconhecimento de caracteres de imagem em 1988.Trata-se de um Neocognitron modificado mantendo apenas as interconexões convolucionais entre as camadas de características da imagem e a última camada totalmente conectada. O modelo foi treinado com retropropagação. O algoritmo de treinamento foi aperfeiçoado em 1991^[43] para melhorar a sua capacidade de generalização. A arquitetura do modelo foi modificada removendo a última camada totalmente conectada e aplicada à segmentação de imagens médicas (1991)^[37] e deteção automática de cancro da mama em mamografias (1994).^[38]

Um modelo convolutivo diferente foi apresentado em 1988^[44] concebido para uso no tratamento de correntes de sinal elétrico numa perspetiva deconvolutiva a aplicar numa única dimensão no espetro operatório dos exames de diagnóstico dos tecidos corporais com a eletromiografia. Uma readaptação desta mesma versão obteve a configuração que a transferiu para um estatuto análogo de operação no ano subsequente.^[45][46]

Embora as CNNs tenham sido inventadas na década de 1980, a sua descoberta na década de 2000 exigiu implementações rápidas em unidades de processamento gráfico (GPUs).

Em 2004, foi demonstrado por K. S. Oh e K. Jung que as redes neurais padrão podiam ser largamente aceleradas em GPUs. A implementação deles foi 20 vezes mais rápida do que uma implementação equivalente em CPU.^[47] Em 2005, outro artigo também enfatizou o valor da GPGPU para o aprendizado de máquina.^[48]

A primeira implementação em GPU de uma CNN foi descrita em 2006 por K. Chellapilla et al. A implementação deles foi 4 vezes mais rápida do que uma implementação equivalente em CPU.^[49] No mesmo período, as GPUs também foram usadas para o treinamento não supervisionado de redes de crença profunda (deep belief networks).^{[50][51][52][53]}

Em 2010, Dan Ciresan et al. no IDSIA treinaram redes profundas de alimentação para a frente (feedforward) em GPUs.^[54] Em 2011, estenderam isso às CNNs, acelerando em 60 vezes em comparação com o treinamento em CPU.^[55] Em 2011, a rede venceu um concurso de reconhecimento de imagens onde alcançou um desempenho sobre-humano pela primeira vez.^[56] Em seguida, ganharam mais competições e alcançaram o estado da arte em vários benchmarks.^[57][40]

Posteriormente, a AlexNet, uma CNN similar baseada em GPU por Alex Krizhevsky et al., venceu o ImageNet Large Scale Visual Recognition Challenge 2012.Foi um dos primeiros eventos catalisadores para o boom da IA.

Em comparação com o treinamento de CNNs utilizando GPUs, o CPU não beneficiou de grande ponderação neste aspeto em particular. (Viebke et al., 2019) encarrega-se da tarefa de paralelização computacional mediante a afetação das vias inerentes ao nível dos fios de instrução da sua CPU em concomitância com os requisitos SIMD cujos padrões de arquitetura viabilizavam a plataforma informática por eles enquadrada - o modelo computacional Intel Xeon Phi.^[58][59]

A camada convolucional é o bloco de construção central de uma CNN. Os parâmetros da camada consistem num conjunto de filtros aprendíveis (ou núcleos), que têm um pequeno campo receptivo, mas estendem-se por toda a profundidade do volume de entrada. Durante a passagem à frente (forward pass), cada filtro é convoluído através da largura e altura do volume de entrada, calculando o produto escalar entre as entradas do filtro e a entrada, produzindo um mapa de ativação bidimensional desse filtro. Como resultado, a rede aprende filtros que se ativam quando detetam algum tipo específico de característica nalguma posição espacial na entrada.^[61][62]

O empilhamento dos mapas de ativação para todos os filtros ao longo da dimensão de profundidade forma o volume de saída completo da camada de convolução. Cada entrada no volume de saída pode, portanto, também ser interpretada como a saída de um neurônio que olha para uma pequena região na entrada. Cada entrada num mapa de ativação usa o mesmo conjunto de parâmetros que definem o filtro.

O aprendizado autossupervisionado foi adaptado para uso em camadas convolucionais através do uso de retalhos (patches) esparsos com uma alta proporção de máscara e uma camada de normalização de resposta global.^{[carece de fontes?]}

Conectividade local

Ao lidar com entradas de alta dimensão, como imagens, é impraticável conectar neurônios a todos os neurônios do volume anterior, porque tal arquitetura de rede não leva em conta a estrutura espacial dos dados. As redes convolucionais exploram a correlação espacialmente local ao impor um padrão de conectividade local esparsa entre os neurônios de camadas adjacentes: cada neurônio está conectado a apenas uma pequena região do volume de entrada.

A extensão desta conectividade é um hiperparâmetro chamado de campo receptivo do neurônio. As conexões são locais no espaço (ao longo da largura e altura), mas estendem-se sempre ao longo de toda a profundidade do volume de entrada. Tal arquitetura garante que os filtros aprendidos produzam a resposta mais forte a um padrão de entrada espacialmente local.^[63]

Arranjo espacial

Três hiperparâmetros controlam o tamanho do volume de saída da camada convolucional: a profundidade, o passo (stride) e o tamanho do preenchimento (padding):

• A profundidade do volume de saída controla o número de neurônios numa camada que se conectam à mesma região do volume de entrada. Estes neurônios aprendem a ativar-se para diferentes características na entrada. Por exemplo, se a primeira camada convolucional recebe a imagem original (raw image) como entrada, então diferentes neurônios ao longo da dimensão de profundidade podem ativar-se na presença de várias bordas orientadas, ou manchas de cor.
• O passo controla como as colunas de profundidade em torno da largura e altura são alocadas. Se o passo for 1, então movemos os filtros um pixel de cada vez. Isto leva a campos receptivos fortemente sobrepostos entre as colunas e a grandes volumes de saída. Para qualquer número inteiro ${\textstyle S>0}$, um passo S significa que o filtro é transladado S unidades de cada vez por saída. Na prática, ${\textstyle S\geq 3}$ é raro. Um passo maior significa uma menor sobreposição de campos receptivos e dimensões espaciais menores do volume de saída.^[64]
• Por vezes, é conveniente preencher a entrada com zeros (ou outros valores, como a média da região) na borda do volume de entrada. O tamanho deste preenchimento é um terceiro hiperparâmetro. O preenchimento fornece controle sobre o tamanho espacial do volume de saída. Em particular, por vezes é desejável preservar exatamente o tamanho espacial do volume de entrada, o que é comumente referido como preenchimento "igual" (same padding).

O tamanho espacial do volume de saída é uma função do tamanho do volume de entrada ${\displaystyle W}$, do tamanho do campo do núcleo ${\displaystyle K}$ dos neurônios da camada convolucional, do passo ${\displaystyle S}$ e da quantidade de preenchimento com zeros ${\displaystyle P}$ na borda. O número de neurônios que "cabem" num dado volume é então: $${\displaystyle {\frac {W-K+2P}{S}}+1.}$$

Se este número não for um número inteiro, então os passos estão incorretos e os neurônios não podem ser dispostos lado a lado para caber em todo o volume de entrada de forma simétrica. Em geral, definir o preenchimento com zeros como ${\textstyle P=(K-1)/2}$ quando o passo é ${\displaystyle S=1}$ garante que o volume de entrada e o volume de saída terão o mesmo tamanho espacialmente. No entanto, nem sempre é totalmente necessário usar todos os neurônios da camada anterior. Por exemplo, o criador de uma rede neural pode decidir usar apenas uma porção do preenchimento.

Outro conceito importante das CNNs é o agrupamento (pooling), que é usado como uma forma de subamostragem não linear. O agrupamento fornece subamostragem porque reduz as dimensões espaciais (altura e largura) dos mapas de características de entrada, retendo as informações mais importantes. Existem várias funções não lineares para implementar o agrupamento, em que o agrupamento máximo (max pooling) e o agrupamento médio (average pooling) são os mais comuns. O agrupamento agrega informações de pequenas regiões da entrada, criando partições do mapa de características de entrada, tipicamente usando uma janela de tamanho fixo (como 2x2) e aplicando um passo (frequentemente 2) para mover a janela através da entrada.^[66] Note-se que sem usar um passo maior do que 1, o agrupamento não realizaria a subamostragem, pois simplesmente moveria a janela de agrupamento através da entrada um passo de cada vez, sem reduzir o tamanho do mapa de características. Em outras palavras, o passo é o que realmente causa a subamostragem, ao determinar o quanto a janela de agrupamento se move sobre a entrada.

Intuitivamente, a localização exata de uma característica é menos importante do que a sua localização aproximada em relação a outras características. Esta é a ideia por trás do uso do agrupamento em redes neurais convolucionais. A camada de agrupamento serve para reduzir progressivamente o tamanho espacial da representação, para reduzir o número de parâmetros, a pegada de memória e a quantidade de computação na rede e, portanto, para controlar também o sobreajuste (overfitting). Isso é conhecido como subamostragem. É comum inserir periodicamente uma camada de agrupamento entre camadas convolucionais sucessivas (cada uma tipicamente seguida por uma função de ativação, como uma camada ReLU) numa arquitetura de CNN.^{[61]:460–461} Embora as camadas de agrupamento contribuam para a invariância de translação local, elas não fornecem invariância de translação global numa CNN, a menos que seja usada uma forma de agrupamento global.^[67] A camada de agrupamento comumente opera de forma independente em cada profundidade, ou fatia, da entrada e redimensiona-a espacialmente. Uma forma muito comum de agrupamento máximo é uma camada com filtros de tamanho 2×2, aplicada com um passo de 2, que subamostra cada fatia de profundidade na entrada por 2 tanto na largura como na altura, descartando 75% das ativações: $${\displaystyle f_{X,Y}(S)=\max _{a,b=0}^{1}S_{2X+a,2Y+b}.}$$ Neste caso, cada operação de máximo é efetuada sobre 4 números. A dimensão de profundidade permanece inalterada (isso também é verdade para outras formas de agrupamento).

Além do agrupamento máximo, as unidades de agrupamento podem usar outras funções, tais como o agrupamento médio ou agrupamento de norma-ℓ₂. O agrupamento médio era frequentemente utilizado no passado, mas recentemente caiu em desuso em relação ao agrupamento máximo, que geralmente apresenta um melhor desempenho prático.^[68]

Devido aos efeitos da rápida redução espacial do tamanho da representação, há uma tendência recente para o uso de filtros menores^[69] ou de se descartar totalmente as camadas de agrupamento.^[70]

ReLU é a abreviatura de unidade linear retificada. Foi proposta por Alston Householder em 1941,^[74] e usada na CNN por Kunihiko Fukushima em 1969. A ReLU aplica a função de ativação não saturante ${\displaystyle f(x)=\max(0,x)}$.^[75] Remove efetivamente valores negativos de um mapa de ativação ajustando-os a zero.^[76] Introduz a não linearidade à função de decisão e à rede global sem afetar os campos receptivos das camadas de convolução.

Em 2011, Xavier Glorot, Antoine Bordes e Yoshua Bengio descobriram que a ReLU permite um melhor treinamento de redes mais profundas,^[77] em comparação com as funções de ativação amplamente usadas antes de 2011.

Outras funções também podem ser usadas para aumentar a não linearidade, por exemplo, a função saturante de tangente hiperbólica ${\displaystyle f(x)=\tanh(x)}$, ${\displaystyle f(x)=|\tanh(x)|}$, e a função sigmoide ${\displaystyle \sigma (x)=(1+e^{-x})^{-1}}$. A ReLU é frequentemente preferida a outras funções porque treina a rede neural várias vezes mais depressa sem uma penalização significativa na exatidão da generalização.^[78]

Após várias camadas convolucionais e de agrupamento máximo, a classificação final é feita através de camadas totalmente conectadas. Os neurônios numa camada totalmente conectada têm conexões com todas as ativações na camada anterior, como visto em redes neurais artificiais normais (não convolucionais). As suas ativações podem assim ser calculadas como uma transformação afim, com multiplicação de matrizes seguida de um desvio de viés (adição de vetores de um termo de viés aprendido ou fixo).

A "camada de perda" ou "função de perda", exemplifica de que forma o treinamento censura uma incongruência existente relativamente à diferença encontrada avaliando e confrontando entre as previsões fornecidas na operação das infraestruturas de análise elaboradas pela rede com as conclusões preexistentes nas premissas avaliatórias com fundamento prévio no conhecimento da correspondência tida por verdadeira e válida com suporte em dados físicos materiais (ao longo de exercícios atinentes a aprendizagens orientadas baseadas ou auxiliadas mediante o escrutínio e vigilância externa). Inúmeras funções de perdas diversificadas assumem o caráter da sua conveniência condicionado, na sua exequibilidade, segundo as tarefas e a especificidade exigida nestas mesmas.

A função de perda Softmax é usada para prever uma única classe de K classes mutuamente exclusivas.^[79] A perda de entropia cruzada da sigmoide é usada para prever K valores de probabilidade independentes no intervalo de ${\displaystyle [0,1]}$. A perda euclidiana é usada para regredir para rótulos de valores contidos no universo abrangente à formulação traduzida formalmente por todo e qualquer número real expresso do seguinte modo: ${\displaystyle (-\infty ,\infty )}$.

O preenchimento (padding) é a adição de pixels (tipicamente) com valor 0 nas bordas de uma imagem. Isto é feito para que os pixels da borda não sejam subvalorizados (perdidos) na saída, porque normalmente participariam em apenas uma única instância de campo receptivo. O preenchimento aplicado é tipicamente um a menos que a dimensão correspondente do núcleo (kernel). Por exemplo, uma camada convolucional usando núcleos 3x3 receberia um preenchimento de 2 pixels, ou seja, 1 pixel em cada lado da imagem.

O passo (stride) é o número de pixels que a janela de análise se move em cada iteração. Um passo de 2 significa que cada núcleo é deslocado em 2 pixels em relação ao seu antecessor.

Como o tamanho do mapa de características diminui com a profundidade, as camadas próximas à camada de entrada tendem a ter menos filtros, enquanto as camadas mais altas podem ter mais. Para igualar a computação em cada camada, o produto dos valores das características v_a com a posição do pixel é mantido aproximadamente constante ao longo das camadas. Preservar mais informações sobre a entrada exigiria manter o número total de ativações (número de mapas de características vezes o número de posições de pixels) não decrescente de uma camada para a seguinte.

O número de mapas de características controla diretamente a capacidade e depende do número de exemplos disponíveis e da complexidade da tarefa.

Os tamanhos de filtro comuns encontrados na literatura variam muito e geralmente são escolhidos com base no conjunto de dados. Os tamanhos típicos de filtro variam de 1x1 a 7x7. Como dois exemplos famosos, a AlexNet usou 3x3, 5x5 e 11x11. A Inceptionv3 usou 1x1, 3x3 e 5x5.

O desafio é encontrar o nível certo de granularidade para criar abstrações na escala adequada, dado um conjunto de dados específico e sem sobreajuste (overfitting).

O agrupamento máximo (max pooling) é tipicamente usado, muitas vezes com uma dimensão 2x2. Isto implica que a entrada é drasticamente subamostrada, reduzindo o custo de processamento.

Um agrupamento maior reduz a dimensão do sinal e pode resultar numa perda de informação inaceitável. Freqüentemente, janelas de agrupamento não sobrepostas apresentam o melhor desempenho.

A dilatação envolve ignorar pixels dentro de um núcleo. Isto reduz a memória de processamento potencialmente sem perda significativa de sinal. Uma dilatação de 2 num núcleo 3x3 expande o núcleo para 5x5, enquanto ainda processa 9 pixels (espaçados uniformemente). Especificamente, os pixels processados após a dilatação são as células (1,1), (1,3), (1,5), (3,1), (3,3), (3,5), (5,1), (5,3), (5,5), onde (i,j) denota a célula da i-ésima linha e da j-ésima coluna no núcleo expandido 5x5. Assim, a dilatação de 4 expande o núcleo para 7x7.