Uma rede vazia precisa de milhares de fotos para aprender o que é uma borda. Uma ResNet que já viu o ImageNet chega com esse ofício pronto. O que muda é a cabeça, o pedaço que diz o rótulo do seu caso.
São cinco notebooks curtos. Cada um abre no Google Colab e roda em CPU. Os quatro primeiros usam um desenho simples, para a conta caber em dois minutos. O quinto abre radiografia de tórax, normal ou pneumonia, com Keras.
São 25 exercícios, e cada um tem um notebook próprio. Você escreve a resposta, roda a célula e o notebook diz na hora se acertou. Ver os 25 exercícios.
for p in base.parameters():
p.requires_grad = False
base.fc = Linear(512, suas classes)
rede = resnet18(weights=IMAGENET)
for p in modelo.parameters():
p.requires_grad = False
modelo.fc = Linear(512, 2)A ResNet-18 chega sabendo mil classes. A cabeça nova tem duas. O resto fica parado, e a conta mostra quantos pesos ainda podem mudar.
Abrir no Colablayer4.requires_grad = True
Adam([
{"params": base, "lr": 1e-4},
{"params": cabeça, "lr": 1e-3},
])O último bloco da base volta a treinar, com passo curto. A cabeça anda dez vezes mais rápido. A primeira camada continua travada.
Abrir no Colabantes = conv1.weight.clone() # duas épocas, só a cabeça opt.step() base_andou = (conv1 - antes).abs().max()
Trinta e duas fotos de círculo e quadrado treinam só a cabeça. A base não anda. O acerto é lido em dezesseis fotos que ficaram de fora.
Abrir no Colabdelta = B @ A # posto 4 acerto_seu = prova(seu) acerto_longe = prova(cor trocada)
Um par de matrizes finas fica ao lado do peso grande. A prova mede o seu conjunto, e de novo o mesmo desenho com a cor trocada.
Abrir no Colabbase = MobileNetV2(
weights="imagenet",
include_top=False,
)
base.trainable = False
Dense(2) # normal ou pneumoniaRadiografia de tórax, duas pastas: normal e pneumonia. O MobileNetV2 chega do ImageNet, a base fica parada e a cabeça nova aprende o exame.
Abrir no ColabCada exercício tem um notebook só dele. Ele prepara o modelo da aula, deixa uma célula para você tentar e mostra uma solução conferida. É só clicar em Abrir no Colab.
Quantos parâmetros a rede pré-treinada tem, antes de trocar a cabeça?
Quantas classes a cabeça antiga sabia responder? É o out_features da rede.
Quantos números a base entrega para a cabeça? É o in_features.
Depois de congelar a base e trocar a cabeça, quantos parâmetros de modelo ainda podem mudar?
Quantos parâmetros de modelo ficaram congelados?
O peso modelo.conv1.weight ainda pode mudar? Responda True ou False.
conv1 é a primeira camada. Ela voltou a treinar? Responda True ou False.
Todos os parâmetros de layer4 estão livres para treinar? Responda True ou False.
Quantos grupos de taxa de aprendizado o otimizador tem?
Qual é a taxa de aprendizado do primeiro grupo, o da base que soltou?
Abrir no ColabQual é a taxa de aprendizado do segundo grupo, o da cabeça nova?
Abrir no ColabQuantos parâmetros tem o layer4, livres e parados somados?
Quantas imagens tem o conjunto de treino, y_treino?
Quantos rótulos diferentes aparecem em y_treino? Círculo e quadrado são dois.
Quantas épocas o treino deu na cabeça?
Abrir no ColabQual foi a maior mudança, em valor absoluto, no peso conv1 depois do treino? Um número perto de zero quer dizer que a base ficou parada.
Qual foi a maior mudança no peso da cabeça, modelo.fc.weight, comparado com antes_fc?
Qual a fração de acerto em x_teste e y_teste? Use acuracia. O teste não entrou no treino.
Qual é o posto do par pequeno? O posto é a dimensão do meio, a primeira dimensão de A.
Quantos números treináveis o par A e B tem, somados?
Quantos números tem a matriz W, a que a gente não mexe?
Quantas fotos tem a prova, y_prova? Essa prova não entrou no ajuste da cabeça.
Qual a fração de acerto da cabeça linear em feats_prova? Use acuracia_linear.
A mesma cabeça, agora em feats_longe, onde a cor dos desenhos foi trocada. Qual a fração de acerto?
A base do MobileNetV2 ficou congelada. Quantos parâmetros de modelo ainda podem mudar? É a cabeça nova, a que separa normal de pneumonia.
resposta = None pela sua resposta e rode a célula. A solução conferida vem na célula de baixo.