Har du en kilde? Især den der med streaming på Netflix synes jeg ser lidt høj ud :)
Træning sker vel også kun få gange, mens at anvendelse af sprogmodeller sker mange flere gange (altså sådan, milliarder af gange), det skal vel også regnes med.
Tak fordi du spørger. Har kun spredte kilder ~~Ledte efter en bedre med et samlet overblik at dele her. Nu er det ulvetime. ~~ Det må blive dem her: (1, 2, 3, 4).
Træning sker vel også kun få gange, mens at anvendelse af sprogmodeller sker mange flere gange (altså sådan, milliarder af gange), det skal vel også regnes med.
For de fleste modeller gælder det, at træning sker én gang, og så har du din model. Kilde… øøh… kaninhul: https://huggingface.co/models
Ah men det er jo ikke helt rigtigt - modellen bliver jo trænet mange gange mens man udvikler den, tænker jeg 🙂. Medmindre du da vil betegne hver træning som en separat model. Men altså ja pointen er den samme.
? Det mener jeg da ikke. En LLM trænes først på en stor mængde data, så man får en Base Model. Den kan så herefter fintunes med flere dataset og RLHF (menneskelig feedback), så man får instruction modeller osv.
Så når man er færdig, kan man serve den til folk f.eks. via applikation eller API. Er den open source, kan det være den lægges på Hugging Face, så folk selv kan downloade modellen og køre den lokalt.
Skal den trænes videre, skal den servede model erstattes af en ny model(version).
Jeg tror skam også der foregår en finpudsning i pre-training, altså den store træning inden finetuning.
Man vil tit også træne mange gange og se på hvordan de forskellige trænede modeller opfører sig. Man tager fx 10% eller deromkring af træningssættet fra og bruger som et testsæt. Man kunne så fx træne 10 forskellige modeller ved at bruge forskellige snit af 10% af træningsdata som testdata. Så udvælger man en af modellerne og det bliver så måske den “endelige” pretrained model, før man finetuner osv. Man skal dog også være forsigtig med denne udvælgelse da man risikerer mere overfitting.
Derudover er du jo også nødt til at træne igen hver gang du vil lave ændringer i modellens arkitektur, og du vil sikkert gerne prøve mange, mange forskellige konfigurationer af modellen for at se hvad der gør den bedre og hvilke konfigurationer der virker bedst sammen. Det er meget svært at forudse effekten af en ændring af modellen, så du er næsten nødt til at prøve at træne og se hvordan modellen klarer sig.
Jeg lærte om machine learning på datalogi-studiet så tror jeg har en ide om hvordan det foregår, men universitetet er selvfølgelig også langt fra virkeligheden (det har jeg oplevet i andre aspekter af hvad man har lært på studiet).
Opdateret: Hov. Er jeg gået for langt off topic?
Skrev min kommentar inden din edit :P
Hele pointen med et kommentar-træ er jo at man kan gå off-topic uden at det påvirker resten af debatten :)
Jeg lærte om machine learning på datalogi-studiet […]
Og Machine Learning var ikke udbredt nok til at være en del af Medialogistudiet dengang for mit vedkommende 😑 Så jeg har måttet forsøge at lære det hele på bagkant.
Tak for din kommentar. Teoretisk set giver det jo god mening, som du skriver, iterativt at stikprøve sig vej frem på dén måde.
Men når så man er færdig med al arbejdet, som udgør træningen, så er vi vel enige om, at man ender med en færdig model f.eks. “GPT-4o mini 2501 high much wow”, som folk så kan bruge, som den er?
Den kan så angiveligt fintunes yderligere, og laves en ny version ud fra.
Hmm… så har vi sådan set begge ret alt efter, hvem man spørger. Hvis jeg træner min egen LLM, og lægger den på huggingface, og aldrig gør mere ved den… Så er den jo “færdigtrænet”. Men hvis jeg er OpenAI og løbende piller ved finjusteringen af GPT4, så bliver træningen vel aldrig rigtigt færdig?
Men når så man er færdig med al arbejdet, som udgør træningen, så er vi vel enige om, at man ender med en færdig model f.eks. “GPT-4o mini 2501 high much wow”, som folk så kan bruge, som den er?
[…]
Hmm… så har vi sådan set begge ret alt efter, hvem man spørger. Hvis jeg træner min egen LLM, og lægger den på huggingface, og aldrig gør mere ved den… Så er den jo “færdigtrænet”. Men hvis jeg er OpenAI og løbende piller ved finjusteringen af GPT4, så bliver træningen vel aldrig rigtigt færdig?
Jojo klart. I sidste ende står du med en model, især hvis du bare selv har trænet den, selvfølgelig. Men selv med ChatGPT er det jo ikke bare en model. Du har vel fx oplevet at du får to svar på en forespørgsel hvor den beder dig vurderer hvilket svar er bedst? Det er jo to forskellige modeller der har givet det svar, selvom at du måske har valgt “GPT-4o mini whatever” som model. Det er helt sikkert noget de løbende udvikler tænker jeg.
Energiforbrug
Konventionel onlinesøgning: 🔥
Anvendelse af sprogmodel: 🔥🔥🔥🔥🔥
Streaming på Netflix (10 min./4K): 🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥
Træning af sprogmodel: 🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🌪🦈🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥 x 10^3
Har du en kilde? Især den der med streaming på Netflix synes jeg ser lidt høj ud :)
Træning sker vel også kun få gange, mens at anvendelse af sprogmodeller sker mange flere gange (altså sådan, milliarder af gange), det skal vel også regnes med.
Tak fordi du spørger. Har kun spredte kilder ~~Ledte efter en bedre med et samlet overblik at dele her. Nu er det ulvetime. ~~ Det må blive dem her: (1, 2, 3, 4).
For de fleste modeller gælder det, at træning sker én gang, og så har du din model. Kilde… øøh… kaninhul: https://huggingface.co/models
Ah men det er jo ikke helt rigtigt - modellen bliver jo trænet mange gange mens man udvikler den, tænker jeg 🙂. Medmindre du da vil betegne hver træning som en separat model. Men altså ja pointen er den samme.
? Det mener jeg da ikke. En LLM trænes først på en stor mængde data, så man får en Base Model. Den kan så herefter fintunes med flere dataset og RLHF (menneskelig feedback), så man får instruction modeller osv.
Så når man er færdig, kan man serve den til folk f.eks. via applikation eller API. Er den open source, kan det være den lægges på Hugging Face, så folk selv kan downloade modellen og køre den lokalt.
Skal den trænes videre, skal den servede model erstattes af en ny model(version).
Tager jeg fejl? Hvordan forstår du det?
Opdateret: Hov. Er jeg gået for langt off topic?
Jeg tror skam også der foregår en finpudsning i pre-training, altså den store træning inden finetuning.
Man vil tit også træne mange gange og se på hvordan de forskellige trænede modeller opfører sig. Man tager fx 10% eller deromkring af træningssættet fra og bruger som et testsæt. Man kunne så fx træne 10 forskellige modeller ved at bruge forskellige snit af 10% af træningsdata som testdata. Så udvælger man en af modellerne og det bliver så måske den “endelige” pretrained model, før man finetuner osv. Man skal dog også være forsigtig med denne udvælgelse da man risikerer mere overfitting.
Derudover er du jo også nødt til at træne igen hver gang du vil lave ændringer i modellens arkitektur, og du vil sikkert gerne prøve mange, mange forskellige konfigurationer af modellen for at se hvad der gør den bedre og hvilke konfigurationer der virker bedst sammen. Det er meget svært at forudse effekten af en ændring af modellen, så du er næsten nødt til at prøve at træne og se hvordan modellen klarer sig.
Jeg lærte om machine learning på datalogi-studiet så tror jeg har en ide om hvordan det foregår, men universitetet er selvfølgelig også langt fra virkeligheden (det har jeg oplevet i andre aspekter af hvad man har lært på studiet).
Skrev min kommentar inden din edit :P
Hele pointen med et kommentar-træ er jo at man kan gå off-topic uden at det påvirker resten af debatten :)
Og Machine Learning var ikke udbredt nok til at være en del af Medialogistudiet dengang for mit vedkommende 😑 Så jeg har måttet forsøge at lære det hele på bagkant.
Tak for din kommentar. Teoretisk set giver det jo god mening, som du skriver, iterativt at stikprøve sig vej frem på dén måde.
Men når så man er færdig med al arbejdet, som udgør træningen, så er vi vel enige om, at man ender med en færdig model f.eks. “GPT-4o mini 2501 high much wow”, som folk så kan bruge, som den er?
Den kan så angiveligt fintunes yderligere, og laves en ny version ud fra.
Hmm… så har vi sådan set begge ret alt efter, hvem man spørger. Hvis jeg træner min egen LLM, og lægger den på huggingface, og aldrig gør mere ved den… Så er den jo “færdigtrænet”. Men hvis jeg er OpenAI og løbende piller ved finjusteringen af GPT4, så bliver træningen vel aldrig rigtigt færdig?
Jojo klart. I sidste ende står du med en model, især hvis du bare selv har trænet den, selvfølgelig. Men selv med ChatGPT er det jo ikke bare en model. Du har vel fx oplevet at du får to svar på en forespørgsel hvor den beder dig vurderer hvilket svar er bedst? Det er jo to forskellige modeller der har givet det svar, selvom at du måske har valgt “GPT-4o mini whatever” som model. Det er helt sikkert noget de løbende udvikler tænker jeg.