Jeg startede idag med at arbejde på Codecademy med: “Generating Text With PyTorch”

Jeg afsluttede med at skulle lave et projekt, som kunne generere tekst ud fra en givet sætning fra teksten Frankenstein

Det hele virkede fint i Jupyter, men da jeg tog præcis samme kode ind i VS Code, så trænede den anderledes, som gjorde, at jeg ikke fik det rigtige resultat – selvom koden er identisk, samt teksten er hentet ned fra Codecademy.

Jeg kæmpede derfor en del med at finde en løsning.

Efter en del forsøg, så kunne jeg simpelthen ikke få det samme svar.

Kursus: “Learn How To Build Your Own GPT“.

Jeg fik det desværre ikke det store ud af dette kursus. Det var meget komplekst og krævede viden, som kurser (… der var krav) ikke gennemgik. Efter et par timer måtte jeg give op.

Fuld kode: TextGeneration

Jeg gennemførte idag “Learn Image Classification with PyTorch” på Codecademy

Handlede om:

• What is an Image
• Transformers
• Augmentations
• CIFAR10 Dataset and Dataloaders
• Feed-forward Neural Network
• Convolutional Neural Network
• CNN Components
• Pooling and Size Equation
• Vision Transformers
• Objection Detection

Jeg udførte 2 større opgaver i denne:

1: “Classifying Microscopic Histopathology Images with PyTorch”

2: Pet Image Classification and Detection with Transformers

Nu hvor jeg har gennemført dette kursus, så vil jeg prøve at lave mit eget billedgenkendelse med et datasæt jeg finder. Efter dette vil jeg prøve at lave objekt detektion med eget datasæt også.

Jeg prøvede også at få den fulde kode til at virke i mit eget projekt. Det virkede identisk med det, som jeg lavede på Codecademy. Dog er datasættet meget begrænset.

Kode: Github: PetClassification

Jeg gennemførte idag “PyTorch for Classification” på Codecademy

Kurset her handlede om Encodings, Sigmoids, Thresholds, Binary Cross-Entropy Loss, Training, Evaluation, Multiclass Models, Softmax, Argmax.

Til sidst var der en opgave, hvor man skulle “Predicting Hotel Booking Cancellations”, som jeg lavede. Jeg stødte dog ind i mange problemer, men kom igennem.

Ud fra det jeg har lært her, så vil jeg gå igang med et Husprisestimerings projekt.

Jeg gennemførte “Intro to PyTorch and Neural Networks” på Codecademy

Her lærte jeg om Tensors, Linear Regression Review, Linear Regression with Perceptrons, Acitivation Functions, Multi-Layer Networks, Sequantial Neural Network, Neural Network Class, Loss Function, Optimizer, Test & Evaluation

Til sidst løste jeg en opgave – “Predicting Electric Vehicle Charging Loads”

*Jeg har skrevet koden, men opgaven beskriver, hvad man skal.

Til sidst gennemførte jeg en quiz.

Jeg udførte kurset “Machine Learning: Introduction with Regression” på Codecademy.

Dette omhandlede hvad Machine Learning er, Supervised Learning, Unsupervised Learning, Linear Regression, Multiple Linear Regression

Jeg har idag taget kurset “Intro To Deep Learning With TensorFlow” på CodeCademy. Jeg brugte en del tid på at sætte mig mere ind i de forskellige elementer, hvilket gjorde jeg brugte mere tid end kurset egentligt var estimeret til – dog er jeg lidt skarpere end hvis jeg ikke havde taget mig tid, da det var ret tungt noget af det.

Kurset var rigtig godt og gav en god introduktion til matematik (Scalars, Vectors, Matrics, Linear Algebra), men også en masse om vigtige begreber og endeligt en masse gode opgaver undervejs, hvor man fik muligheden for at prøve tingene af, som man havde lært.

Inden jeg gik alt for meget igang med Machine Learning, så skulle jeg lære lidt Python.

Jeg tog derfor et kursus igennem Codecademy, som hed “Python For Programmers”

I forbindelse med dette, så udarbejde jeg nogen små scripts:

Dette gav mig en overordnet forståelse for hvordan opsætningen og funktionaliteten virker i Python.

Efter at have gennemført “Learn Image Classification with PyTorch”, så prøvede jeg, at se om jeg kunne implementere det

Da der gik et par dage siden jeg sidst kiggede på det, så valgte jeg at se en video.

CIFAR10

I denne model trænes der på datasættet fra CIFAR10 med kategorierne:

Jeg fulgte derfor derfor videoen, men synes ikke resultatet var som ønsket.

Den trænede med en Accuracy på 54,30%, hvilket er ret lavt. Testede med 30 epochs, som gav ca. 68% i Accuracy. Den ramte dog stadigvæk nogen forkert.

Dette gjorde jeg da billederne er som således:

• Billede 1: Hund
• Billede 2: Hund
• Billede 3: Frø
• Billede 4: Fly
• Billede 5: Hjort

Jeg gik derfor ind i mine noter fra Codecademy og tilpassede modellen lidt.

Her blev resultatet:

Denne gang var Accuracy 63,88%, men den ramte rigtigt på alle billederne og endda med ret høj sikkerhed.

Jeg har bevidst valgt at kalde billederne for noget, som ikke kan relateres tilbage.

Billederne ovenfor er også gode billeder, hvilket vil sige, at på flere billeder, som ikke er lige så gode, så vil modellen nok være mere upræcis. Dette kan forbedres med f.eks. learning rate eller antal af epochs.

Jeg ville gerne se hvor god modellen egentligt var, men som sagt ovenfor, så ramte den ikke lige præcist ved mange billeder. Jeg prøvede derfor at ændre learning rate til 0.0001 fra 0.0005, samt epochs fra 5 til 30.

Træningen tog nu lang tid, men resultatet blev således:

Træningen er egentligt fint faldende, men Accuracy på 67,61% ønskes bedre. Man kunne have flere epochs, da den konstant falder. Jeg prøver derfor med en Learning Rate på 0.001 også.

Selvom den egentligt falder fint, så fik jeg en mindre Accuracy. Dette kan skyldes overfitting eller underfitting, men også for få epochs.

Jeg gav et forsøg mere, hvor jeg ændrede Learning Rate tilbage til 0.0001, men gav 50 Epochs for at se om dette ville forbedre modellen. Samtidig med dette, så justerede jeg parametrene i mit Neurale Netværk ud fra hvad jeg tidligere havde brugt i andre projekter.

Dette gjorde dog ikke særlig meget godt. Disse ændringer ramte den stadigvæk ca. 66%, som jeg gerne vil have højere op.

Jeg prøvede derfor at ændre lidt mere for at få bedre forståelse for hvordan det fungere. Learning Rate stadigvæk på 0.001, samt 50 epochs.

Efter Epoch 20 var faldet meget lille, samt nogen gange stigende. Jeg stoppede derfor træningen og prøvede med 20 epochs.

Den gætter nu rigtig godt på de billeder, som er der. Jeg prøvede på billeder andre billeder, hvor den ikke ramte lige så gæt. Så billedet har rigtig meget at sige. Træningen kunne dog nok også godt justeres yderligere.

Selvom modellen ikke er perfekt på alle billeder, så synes jeg, at den fin for nu.

CIFAR100

Jeg prøvede nu at ændre til CIFAR100 og med en del flere billeder.

For at afprøve på flere billeder, så hentede jeg nogen fra Kaggle.

Kaggle: Animals-10 – Jeg tog dog kun 10 billeder fra hver af nogen af de mulige kategorier.

Jeg fandt hurtigt ud af, at min model er aaaalt for simpel i forhold til CIFAR100. Jeg fik kun en Accuracy på ca. 35%, samt stort set alle billeder blev gættet forkert.

Derfor prøvede jeg med en eksisterende trænet model – Resnet18.

Resnet18 er trænet til billedgenkendelse – og er derfor oplagt her.

Træningen med Resnet18 tog ekstremt lang tid, men resultat blev:

Jeg brugte stadigvæk 10 Epochs og en Learning Rate på 0.0001.

Resultat blev en Accuracy på ca. 78%. Den rammer dog stadigvæk ret dårligt på billederne.

Selvom træningen egentligt var fint, så fordi den rammer så forkert på mine billeder, så prøver jeg med 20 Epochs, samt Learning Rate på 0.0001 for at se, hvad det kan blive til.

Igen efter laaang tid, så blev resultatet:

78% blev det til. Jeg kunne nok godt tage flere epochs, men jeg vil sige at det er fint for nu. Den er dog stadigvæk dårlig til at gætte på de billeder, som jeg har givet den – faktisk meget dårligere end mit resultat på CIFAR10. Det kan skyldes over- eller underfitting

Derudover er CIFAR100 100 kategorier med kun 600 billeder pr. klasse (500 træningsbilleder + 100 testbilleder. 600 billeder er meget begrænset, hvis modellen skal virke godt.

Jeg fandt også ud af, at Resnet modellen tager 224×224 billeder, hvor CIFAR100 datasættet er 32×32. Dette er også en faktor.

Da CIFAR100 er meget mere komplekst at træne en model til, så har jeg valgt, at jeg egentligt har nået det jeg ville med CIFAR10 og hellere vil bruge tiden på noget andet den sidste tid.

Kode: ImageClassification

d. 20/5-2025

Jeg kiggede på MNIST – håndskrevne tal.

På dette datasæt, tilpassede jeg min kode lidt og trænede:

Jeg fik en Accuracy på 98.85%. Jeg testede her efterfølgende med 10 tilfældige billeder, taget fra test datasættet:

Her ramte jeg alle rigtige med rigtig høj confidence.

Jeg prøvede så med tal, som ikke var håndskrevne.

Det kunne den slet ikke finde ud af, da det modellen ikke er trænet til så skarpe og pæne tal. Det ligner altså ikke det data, som den er trænet på.

Derfor skulle der enten trænes på et datasæt, som har disse “pæne” tal ellers lave dem om, så de ligner noget, som er håndskrevet.

Kode: ImageClassification

Jeg har udarbejdet en RAG Chatbot – først hjemme til test, dernæst med det (næsten) fulde datasæt for Ordbogen.

For at få lige præcis det respons, som jeg ønsker, så har jeg brugt prompt engineering.

Min RAG model (som kun har data om praktik på datamatikeruddannelsen):

Link til koden: Github: RAG Chatbot

Jeg endte med at bruge ret mange timer på dette, da jeg gerne ville forstå koden, men resultatet er blevet som jeg havde håbet på. Nu kan jeg arbejdere videre med dette i vores AI projekt til Ordbogen.

Til sidst ville jeg gerne udvide min chatbot lidt, så den kørte i browseren, men stadigvæk på samme datasæt. Jeg fulgte en video, hvor produktet blev:

Kode: Github: Ordbogen RAG Chatbot

Jeg fik optimeret mere på min RAG chatbot, samt lavet det data, som chatbotten til Ordbogen skal bruge.

Da min RAG chatbot bruger OpenAI til at generere sine svar, har den derfor ikke adgang til det fulde datasæt, da dette ønskes ikke fra Ordbogens side. Vi har derfor fået adgang til deres AI, som vi kan tilgå med en API, så den generere svarene istedet. Meningen var at den fik det fulde datasæt (som den også gjorde), men det virkede ikke ordenligt.

Selvom det ikke virkede med det fulde datasæt, så blev API kaldet stadigvæk lavet, hvor jeg også fik lavet sådan, at den kan huske tidligere spørgsmål i chatten, så den har en kontekst.

Til sidst fokuserede jeg på, at få min RAG til at lave pæn opstilling, når det giver mening.

Nu hvor jeg med API kald kan få svaret generet, så ville jeg gerne have indsigt i hvilke dokumenter, som den fik dataen fra.

På det her stadie kan min RAG Chatbot egentligt det som var hensigten, men den bruger stadigvæk OpenAI’s embedding model (da deres egne servere ikke vil bruge det fulde datasæt), hvilket betyder, at dataen ikke kun er lokalt og dermed ikke bruger det fulde datasæt.

Kode: Github: Ordbogen RAG Chatbot