Enig, AI chat er dårligere for miljøet end en almindelig søgning. Hvor meget grønnere at Ecosia kan gøre det (via deres “200% carbon negative” strategi) ved jeg ikke. Måske sammenligningen nærmere er at bruge træflis i stedet for kul (igen, jeg ved det ikke).
Du kan sige det samme om elbiler. Folk burde bare lade være og bruge offentlig transport eller cyklen i stedet. Men hvis folk absolut vil bruge en bil (AI chat), bør vi så ikke lade dem bruge det grønnere alternativ (Ecosia AI chat).
Jeg kan sagtens følge dig. For mig er det et spørgsmål om at finde et sted imellem absolut alt skal være AI og absolut alt skal ikke være AI.
Men en elbil er sådan objektivt set meget grønnere end en almindelig bil - mens Ecosias AI bare er ChatGPT i en trenchcoat. Hvis de reelt implementerede en LLM med lavere klimaaftryk end alternativet så fair play.
Men det de har gjort er at male en dieselbil grøn og sige at så er den mere klimavenlig end alternativet. Der er ikke noget ved deres model der mere klimavenligt end konkurrenterne; det er simpelthen bare ChatGPT.
Hvis du kun kører din bil 10 km og så skrotter den, så er miljøbelastningen for en elbil meget værre end en almindelig bil. ChatGPT er ikke “bare ChatGPT”. De forskellige modeller bruger (meget) mere eller (meget) mindre energi at drive. Ud fra de resultater jeg får fra Ecosia, så tror jeg ikke at de bruger den store forkromet model. Jeg tror også at de har lagt nok begrænsninger ind i de svar man ønsker. Typisk er det nogle kortere svar man får, hvilket også begrænser energiforbruget.
Har du en kilde? Især den der med streaming på Netflix synes jeg ser lidt høj ud :)
Træning sker vel også kun få gange, mens at anvendelse af sprogmodeller sker mange flere gange (altså sådan, milliarder af gange), det skal vel også regnes med.
Tak fordi du spørger. Har kun spredte kilder ~~Ledte efter en bedre med et samlet overblik at dele her. Nu er det ulvetime. ~~ Det må blive dem her: (1, 2, 3, 4).
Træning sker vel også kun få gange, mens at anvendelse af sprogmodeller sker mange flere gange (altså sådan, milliarder af gange), det skal vel også regnes med.
For de fleste modeller gælder det, at træning sker én gang, og så har du din model. Kilde… øøh… kaninhul: https://huggingface.co/models
Ah men det er jo ikke helt rigtigt - modellen bliver jo trænet mange gange mens man udvikler den, tænker jeg 🙂. Medmindre du da vil betegne hver træning som en separat model. Men altså ja pointen er den samme.
? Det mener jeg da ikke. En LLM trænes først på en stor mængde data, så man får en Base Model. Den kan så herefter fintunes med flere dataset og RLHF (menneskelig feedback), så man får instruction modeller osv.
Så når man er færdig, kan man serve den til folk f.eks. via applikation eller API. Er den open source, kan det være den lægges på Hugging Face, så folk selv kan downloade modellen og køre den lokalt.
Skal den trænes videre, skal den servede model erstattes af en ny model(version).
Jeg tror skam også der foregår en finpudsning i pre-training, altså den store træning inden finetuning.
Man vil tit også træne mange gange og se på hvordan de forskellige trænede modeller opfører sig. Man tager fx 10% eller deromkring af træningssættet fra og bruger som et testsæt. Man kunne så fx træne 10 forskellige modeller ved at bruge forskellige snit af 10% af træningsdata som testdata. Så udvælger man en af modellerne og det bliver så måske den “endelige” pretrained model, før man finetuner osv. Man skal dog også være forsigtig med denne udvælgelse da man risikerer mere overfitting.
Derudover er du jo også nødt til at træne igen hver gang du vil lave ændringer i modellens arkitektur, og du vil sikkert gerne prøve mange, mange forskellige konfigurationer af modellen for at se hvad der gør den bedre og hvilke konfigurationer der virker bedst sammen. Det er meget svært at forudse effekten af en ændring af modellen, så du er næsten nødt til at prøve at træne og se hvordan modellen klarer sig.
Jeg lærte om machine learning på datalogi-studiet så tror jeg har en ide om hvordan det foregår, men universitetet er selvfølgelig også langt fra virkeligheden (det har jeg oplevet i andre aspekter af hvad man har lært på studiet).
Opdateret: Hov. Er jeg gået for langt off topic?
Skrev min kommentar inden din edit :P
Hele pointen med et kommentar-træ er jo at man kan gå off-topic uden at det påvirker resten af debatten :)
Enig, AI chat er dårligere for miljøet end en almindelig søgning. Hvor meget grønnere at Ecosia kan gøre det (via deres “200% carbon negative” strategi) ved jeg ikke. Måske sammenligningen nærmere er at bruge træflis i stedet for kul (igen, jeg ved det ikke).
Du kan sige det samme om elbiler. Folk burde bare lade være og bruge offentlig transport eller cyklen i stedet. Men hvis folk absolut vil bruge en bil (AI chat), bør vi så ikke lade dem bruge det grønnere alternativ (Ecosia AI chat).
Jeg kan sagtens følge dig. For mig er det et spørgsmål om at finde et sted imellem absolut alt skal være AI og absolut alt skal ikke være AI.
Men en elbil er sådan objektivt set meget grønnere end en almindelig bil - mens Ecosias AI bare er ChatGPT i en trenchcoat. Hvis de reelt implementerede en LLM med lavere klimaaftryk end alternativet så fair play.
Men det de har gjort er at male en dieselbil grøn og sige at så er den mere klimavenlig end alternativet. Der er ikke noget ved deres model der mere klimavenligt end konkurrenterne; det er simpelthen bare ChatGPT.
Hvis du kun kører din bil 10 km og så skrotter den, så er miljøbelastningen for en elbil meget værre end en almindelig bil. ChatGPT er ikke “bare ChatGPT”. De forskellige modeller bruger (meget) mere eller (meget) mindre energi at drive. Ud fra de resultater jeg får fra Ecosia, så tror jeg ikke at de bruger den store forkromet model. Jeg tror også at de har lagt nok begrænsninger ind i de svar man ønsker. Typisk er det nogle kortere svar man får, hvilket også begrænser energiforbruget.
Energiforbrug
Konventionel onlinesøgning: 🔥
Anvendelse af sprogmodel: 🔥🔥🔥🔥🔥
Streaming på Netflix (10 min./4K): 🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥
Træning af sprogmodel: 🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🌪🦈🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥 x 10^3
Har du en kilde? Især den der med streaming på Netflix synes jeg ser lidt høj ud :)
Træning sker vel også kun få gange, mens at anvendelse af sprogmodeller sker mange flere gange (altså sådan, milliarder af gange), det skal vel også regnes med.
Tak fordi du spørger. Har kun spredte kilder ~~Ledte efter en bedre med et samlet overblik at dele her. Nu er det ulvetime. ~~ Det må blive dem her: (1, 2, 3, 4).
For de fleste modeller gælder det, at træning sker én gang, og så har du din model. Kilde… øøh… kaninhul: https://huggingface.co/models
Ah men det er jo ikke helt rigtigt - modellen bliver jo trænet mange gange mens man udvikler den, tænker jeg 🙂. Medmindre du da vil betegne hver træning som en separat model. Men altså ja pointen er den samme.
? Det mener jeg da ikke. En LLM trænes først på en stor mængde data, så man får en Base Model. Den kan så herefter fintunes med flere dataset og RLHF (menneskelig feedback), så man får instruction modeller osv.
Så når man er færdig, kan man serve den til folk f.eks. via applikation eller API. Er den open source, kan det være den lægges på Hugging Face, så folk selv kan downloade modellen og køre den lokalt.
Skal den trænes videre, skal den servede model erstattes af en ny model(version).
Tager jeg fejl? Hvordan forstår du det?
Opdateret: Hov. Er jeg gået for langt off topic?
Jeg tror skam også der foregår en finpudsning i pre-training, altså den store træning inden finetuning.
Man vil tit også træne mange gange og se på hvordan de forskellige trænede modeller opfører sig. Man tager fx 10% eller deromkring af træningssættet fra og bruger som et testsæt. Man kunne så fx træne 10 forskellige modeller ved at bruge forskellige snit af 10% af træningsdata som testdata. Så udvælger man en af modellerne og det bliver så måske den “endelige” pretrained model, før man finetuner osv. Man skal dog også være forsigtig med denne udvælgelse da man risikerer mere overfitting.
Derudover er du jo også nødt til at træne igen hver gang du vil lave ændringer i modellens arkitektur, og du vil sikkert gerne prøve mange, mange forskellige konfigurationer af modellen for at se hvad der gør den bedre og hvilke konfigurationer der virker bedst sammen. Det er meget svært at forudse effekten af en ændring af modellen, så du er næsten nødt til at prøve at træne og se hvordan modellen klarer sig.
Jeg lærte om machine learning på datalogi-studiet så tror jeg har en ide om hvordan det foregår, men universitetet er selvfølgelig også langt fra virkeligheden (det har jeg oplevet i andre aspekter af hvad man har lært på studiet).
Skrev min kommentar inden din edit :P
Hele pointen med et kommentar-træ er jo at man kan gå off-topic uden at det påvirker resten af debatten :)