Vragen

Input notebook¶

Algemene instructies¶

• Je geeft je antwoord telkens na de ✍️. Na de 🔑 kan je beschrijven hoe je tot dit antwoord kwam (gebruik de cel nummers in de input notebook ter referentie).

• Er wordt enkel naar de beschrijving bij 🔑 gekeken indien je antwoord bij ✍️ fout is.

Q1¶

❓ Met welke soort taak hebben we hier te maken?

✍️
Klassificatie van tekst (sentiment analyse)

🔑

De target variabele heeft 2 niveaus die overeenkomen met positieve en negatieve recensies.

classes = ["Negative", "Positive"]

Q2¶

❓ Met welke soort van model wordt hier gewerkt?

✍️
Een Transformer model (DistilBERT)

🔑

Zie model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased", num_labels=2) en de output van print(model). Dit toont dat er een transformer blok aanwezig is.

Q3¶

❓ Hoeveel parameters heeft het model?

✍️
66955010

🔑

Wordt getoond in de output van cel 10 waar het model wordt geladen: Total number of trainable parameters: 66,955,010

Q4¶

❓ Met welke soort ervaring wordt er hier geleerd?

✍️
Supervised learning (fine-tuning)

🔑

Er zijn target waarden (labels) aanwezig in de dataset die aangeven of een recensie positief of negatief is. Deze worden gebruikt om de loss te berekenen tijdens het fine-tunen.

Q5¶

❓ Na hoeveel inputs worden gewichten aangepast tijdens de training?

✍️
16

🔑

Dit is de batch size: zie batch_size = 16

Q6¶

❓ Hoe vaak heeft het model de trainingsdata gezien tijdens het trainen?

✍️
2

🔑

Dit is het aantal epochs: zie epochs = 2

Q7¶

❓ Welke verliesfunctie wordt hier gebruikt?

✍️
Cross Entropy Loss

🔑

De loss wordt automatisch berekend door het model zelf wanneer we labels meegeven: Loss function (CrossEntropyLoss is used internally by the model).

Q8¶

❓ Welk optimalisatie algoritme wordt hier gebruikt?

✍️
AdamW (Adam met weight decay)

🔑

Zie optimizer = torch.optim.AdamW(model.parameters(), lr=learning_rate).

Q9¶

❓ Met welke stapgrootte wordt er tijdens de optimalisatie gewerkt?

✍️
2e-5

🔑

Zie learning_rate = 2e-5 en optimizer = torch.optim.AdamW(model.parameters(), lr=learning_rate). Deze kleine learning rate is typisch voor het fine-tunen van pre-trained transformers.

Q10¶

❓ Welke score metrics worden hier bekeken?

✍️
Accuracy
Precision
Recall
F1-score

🔑

Q11¶

❓ Hoe worden de text inputs aan het model doorgegeven?

✍️
Via een tokenizer.

🔑
zie tokenizer = AutoTokenizer.from_pretrained(model_name)