Taalmodel
Een taalmodel is een kunstmatig-intelligente tekstgenerator die een waarschijnlijkheidsverdeling over een volgorde van woorden opmaakt.[1] Grote taalmodellen kunnen op die manier in de praktijk “zelfstandig” een tekst aanvullen of opstellen.
Werking
bewerkenGegeven een reeks woorden van lengte kent een taalmodel een kans toe aan de hele reeks. Taalmodellen genereren die waarschijnlijkheden door te trainen op tekstverzamelingen in één of meerdere talen. Aangezien talen kunnen worden gebruikt om een oneindige verscheidenheid aan geldige zinnen uit te drukken (de eigenschap van digitale oneindigheid), moet taalmodellering ook niet-nulwaarschijnlijkheden toekennen aan taalkundig geldige reeksen die wellicht nooit in de trainingsdata voorkomen. Er zijn verschillende modelleerbenaderingen ontworpen om dit probleem op te lossen, zoals de toepassing van de Markov-eigenschap, of het gebruik van neurale architecturen zoals recurrente neurale netwerken of het transformer-model.[2]
Toepassingen
bewerkenTaalmodellen zijn nuttig voor verschillende problemen in de computationele taalkunde, van initiële toepassingen in spraakherkenning om ervoor te zorgen dat onzinnige (d.w.z. onwaarschijnlijke) woordsequenties niet worden voorspeld, tot breder gebruik in computervertalingen (bv. ontwerpvertalingen vergelijken), natuurlijke taalgeneratie (genereren van tekst zoals die door mensen wordt gesproken), zoals in een geavanceerde chatbot, part-of-speech tagging, parsing, optische tekenherkenning, handschriftherkenning, grammatica-inductie, information retrieval, en andere toepassingen.
Open source
bewerkenVele modellen zijn wel publiek te gebruiken, maar de code en datasets zijn meestal niet publiek toegankelijk. Een van de uitzonderingen is het BLOOM-taalmodel, dat die basisgegevens deelt met onderzoekers.[3] Eventueel misbruik hopen de onderzoekers tegen te gaan met Responsible AI Licenses (RAIL).[4]
Evaluatie en benchmarks
bewerkenDe evaluatie van de kwaliteit van taalmodellen vindt meestal plaats door vergelijking met door mensen gecreëerde voorbeeld-benchmarks, opgemaakt volgens courante taalgerichte taken. Andere, minder gebruikte kwaliteitstests onderzoeken het intrinsieke karakter van een taalmodel, of vergelijken twee dergelijke modellen. Aangezien taalmodellen meestal dynamisch bedoeld zijn en kunnen leren van gegevens die worden ingevoerd, onderzoeken bepaalde methodes de leersnelheid, bijvoorbeeld door het nagaan van de leercurven.
Controverses
bewerken
Critici uitten meerdere bezwaren of waarschuwingen rond taalmodellen:
- taalmodellen roepen morele vragen op, vanwege mogelijke beïnvloeding van de menselijke autonomie, bijvoorbeeld bij het oplossen van maatschappelijke problemen[5]
- aangezien de algoritmes meestal niet publiek zijn, hebben we totaal geen zicht waar de informatie die taalmodellen uitbrengen, vandaan komt[6]
- gebruikers klagen dat het model “ethische” oordelen en normen hanteert, en soms belerend overkomt[6]
- het energieverbruik om de modellen te trainen en te gebruiken, zou gigantisch en dus milieubelastend zijn[7]
- het creëren en verspreiden van nepnieuws en desinformatie wordt kinderspel nu sommige taalmodellen gebruiksvriendelijk zijn geworden[8]
- taalmodellen genereren soms plausibel klinkende maar onjuiste of onzinnige antwoorden. Dit gedrag wordt hallucinatie genoemd
- volgens de Italiaanse privacy-toezichthouder is het onduidelijk welke data precies verzameld wordt (waardoor ChatGPT tijdelijk verboden was in Italië)
- de miljarden tekstfragmenten en afbeeldingen uit het internet die zonder bronvermelding in de resultaten voor de training van de modellen gebruikt worden, zouden op grote schaal de auteursrechten schenden.
- academische tijdschriften krijgen een overvloed aan automatisch gegenereerde papers ingestuurd, waarvan de geloofwaardigheid toeneemt.[9][10]
- door enkel te focussen op het nabootsen van menselijke intelligentie, heeft automatisering met KI al te vaak een negatieve invloed gehad op de werkgelegenheid, en daarmee dus de ongelijkheid versterkt,[11][12] in plaats van menselijke capaciteiten uit te breiden en mensen nieuwe taken te laten uitvoeren.[13]
- de Leidse IT-hoogleraar Reijer Passchier verrichtte onderzoek naar de tekorten in de democratische rechtsstaat ten aanzien van de regulering van automatisering en KI:[14] “de beschikkingsmacht over deze technologie is vooral in handen van enkele zeer grote commerciëleondernemingen.”[15]
Eind maart 2023 werd, in een open brief op de website van Future of Life, opgeroepen om alle trainingen van AI's die sterker zijn dan GPT-4 gedurende zes maanden te pauzeren. De brief was ondertekend door prominente AI-onderzoekers en technici, onder wie AI-pionier Yoshua Bengio, Apple-medeoprichter Steve Wozniak en Tesla-CEO Elon Musk. In de brief uitten ze hun bezorgdheid over de risico's van de AI-ontwikkeling, zowel op korte termijn als meer fundamenteel, bijvoorbeeld door technologische singulariteit.[16] OpenAI-CEO Sam Altman ondertekende de brief niet, omdat volgens hem OpenAI al prioriteit geeft aan veiligheid.[17]
Onderscheid met menselijke tekst
bewerkenNaarmate AI-taalmodellen verder worden geperfectioneerd, is het steeds moeilijker machinale teksten van door mensen geschreven kopij te onderscheiden.[18] Om dat te verifiëren, ontwikkelen wetenschappers intussen toetsen,[19] waarvan sommige ook publiek toegankelijk zijn, zoals Classifier van OpenAI.[20]
Externe links
bewerken- Dit artikel of een eerdere versie ervan is een (gedeeltelijke) vertaling van het artikel Language model op de Engelstalige Wikipedia, dat onder de licentie Creative Commons Naamsvermelding/Gelijk delen valt. Zie de bewerkingsgeschiedenis aldaar.
- ↑ Jurafsky, Dan, Martin, James H. (2023). Speech and Language Processing, 3rd, "N-gram Language Models". Geraadpleegd op 30 januari 2023.
- ↑ en:Transformer (machine learning model)
- ↑ (en) Melissa Heikkilä, Inside a radical new project to democratize AI. MIT (12 juli 2022). Gearchiveerd op 4 december 2022.
- ↑ (en) Responsible AI Licenses. Gearchiveerd op 26 januari 2023.
- ↑ Geesteswetenschappers over ChatGPT en de morele kwesties van AI. Universiteit Utrecht (31 januari 2023).
- ↑ a b De gevaren van ChatGPT: ‘We dreigen collectief dommer te worden’. knack.be (23 januari 2023). Gearchiveerd op 25 januari 2023.
- ↑ Marc van Oostendorp, Stop de taalmodellen (2 november 2021). Gearchiveerd op 18 augustus 2022.
- ↑ (en) Mindy McAdams, The trouble with large language models (2 juni 2021). Gearchiveerd op 13 juli 2021.
- ↑ (en) Ethan Mollick, It is starting to get strange. (2 mei 2023). Gearchiveerd op 3 mei 2023.
- ↑ (en) The fight against fake-paper factories that churn out sham science. Nature (23 maart 2021). Geraadpleegd op 5 mei 2023.
- ↑ (en) Mike Walsch, Algorithms Are Making Economic Inequality Worse. Harvard Business Review (22 oktober 2020). Gearchiveerd op 26 oktober 2020.
- ↑ (en) Joseph Stiglitz, Unregulated AI Will Worsen Inequality, Warns Nobel-Winning Economist Joseph Stiglitz. Scientific American (1 augustus 2023). Gearchiveerd op 1 augustus 2023.
- ↑ (en) David Rotman, How to solve AI’s inequality problem. MIT Technology Review (19 april 2022). Gearchiveerd op 25 april 2022.
- ↑ [| Passchier, Reijer] (januari 2021). Artificiële intelligentie en de rechtsstaat. Boom. ISBN 9789462908901.
- ↑ Reijer Passchier, Op de wereldtop over AI werden de verkeerde vragen gesteld. Want het echte probleem van AI is niet AI. De Morgen (8 november 2023).
- ↑ (en) Cecily Mauran, Open letter seeking pause on AI experiments signed by Steve Wozniak, Elon Musk, and more (29 maart 2023). Gearchiveerd op 27 maart 2023.
- ↑ (en) The Massive Name in AI Noticeably Absent From Pause Letter Signed by Musk. Newsweek (29 maart 2023).
- ↑ (en) OpenAI upgrades GPT-3, stunning with rhyming poetry and lyrics (29 november 2022).
- ↑ (en) Yao Dou et al., Is GPT-3 Text Indistinguishable from Human Text? Scarecrow: A Framework for Scrutinizing Machine Text. Association for Computational Linguistics. (mei 2022).
- ↑ OpenAI lanceert tool om AI-gegenereerde tekst te ontmaskeren (1 februari 2023).