O quarto de hospital cabe numa frase. O CLIP põe a foto e o texto no mesmo espaço: quanto mais parecidos os dois vetores, maior o cosseno. O modelo já vem pronto, e a frase em inglês ganha da tradução.
O LoRA não troca esses pesos. Ele encosta duas matrizes pequenas, de posto 4, na atenção. Doze passos puxam o português para a frente. O peso original não anda. O raio-x, entre as frases em inglês, se perde. Isso ainda não traduz e ainda não lê exame.
Cada notebook abre no Google Colab, já com a figura da execução. Você escreve a resposta, roda a célula e ele diz na hora se acertou. Ver os 24 exercícios.
A foto do quarto vira um vetor. Cada frase vira outro, do mesmo tamanho. O cosseno fica perto de 0,3. Um multiplicador perto de 100 transforma isso numa porcentagem, e o inglês leva o quarto.
Abrir no ColabA classe é a frase. A mesma lista nomeia o gato, o canteiro, o quarto e a radiografia. A busca pela frase cai na foto certa. O exame não vira laudo.
Abrir no Colab
O posto 4 é a largura do atalho. Menos de dois milésimos dos pesos entram no passo. O restante fica congelado, e a maior mudança nele é zero.
Abrir no Colab
A frase em português passa a ganhar da tradução. No gato, uma frase de cachorro em português também sobe. O raio-x, só em inglês, deixa de ser raio-x. O peso de fábrica não muda.
Abrir no ColabCada exercício tem um notebook só dele, já executado. Ele prepara os dados da aula, deixa uma célula para você tentar e mostra uma solução conferida.
Qual é o índice da frase vencedora em legendas? O índice começa em 0.
Escreva o texto da frase vencedora, não o índice.
Abrir no ColabQual é o cosseno da frase que ganhou? O número está em cosenos, antes do softmax, e fica entre -1 e 1.
Quantos números tem o vetor da foto? Ele está em vetor.
Na disputa entre frase_pt e frase_en, qual texto ganha? Responda com a frase, não com o índice.
Por quanto o modelo multiplica o cosseno antes de repartir os 100%? A função escala() devolve esse número.
Qual frase de legendas ganhou na foto do gato? Responda com o texto.
Qual frase ganhou na radiografia de tórax?
Abrir no ColabDas quatro fotos, quantas receberam a frase que a gente esperava? Quarto de hospital, canteiro, gato e radiografia de tórax, nessa ordem de sentido.
Abrir no ColabQual foto fica mais perto da frase a photo of a construction site? Responda com a chave: enfermaria, canteiro, gato ou radiografia.
Qual é o cosseno entre a radiografia e a frase a chest x-ray?
Na radiografia, quem ganha entre uma radiografia de tórax e a chest x-ray? Responda com a frase.
Qual é o posto (rank) do adaptador? É a dimensão pequena da matriz A.
Quantos pesos têm requires_grad verdadeiro?
Que fração dos pesos do modelo entra no treino? Responda com um número entre 0 e 1.
Abrir no ColabQuantas matrizes lora_A treináveis o adaptador encaixou?
Na primeira lora_A do codificador de texto, quantas colunas a matriz tem? Esse número é a largura do vetor de texto que entra na atenção.
Depois de um passo, qual é a maior mudança absoluta no peso original da atenção de visão? Se nada mudou, a resposta é 0.
Abrir no ColabQuantas fotos entraram nos doze passos?
Abrir no ColabQual foi a perda no primeiro passo? O número está em perdas.
Em qual passo a perda foi a menor? O primeiro passo é o 1.
Abrir no ColabDepois do treino, na foto do gato, quem ganha entre uma foto de um gato e a photo of a cat?
Ainda no gato, quem ganha entre uma foto de um cachorro e a photo of a cat? Uma das duas descreve outro animal.
Qual é a maior mudança absoluta no peso original da atenção de visão, depois dos doze passos?
Abrir no Colabresposta = None pela sua resposta e rode a célula. A solução conferida vem na célula de baixo.