Vandaag zullen we proberen erachter te komen wat neurale netwerken zijn, hoe ze werken en wat hun rol is bij het creëren van kunstmatige intelligentie.
Neurale netwerken. Deze zin horen we bijna overal. Het komt op het punt dat je zelfs in koelkasten neurale netwerken zult vinden (dit is geen grap). Neurale netwerken worden veel gebruikt door machine learning-algoritmen, die tegenwoordig niet alleen in computers en smartphones te vinden zijn, maar ook in veel andere elektronische apparaten, bijvoorbeeld in huishoudelijke apparaten. En heb je je ooit afgevraagd wat deze neurale netwerken zijn?
Maak je geen zorgen, dit wordt geen academische lezing. Er zijn veel publicaties, ook in de Oekraïense taal, die deze kwestie op het gebied van de exacte wetenschappen zeer professioneel en betrouwbaar uitleggen. Dergelijke publicaties zijn meer dan een dozijn jaar oud. Hoe kan het dat deze oude publicaties nog steeds relevant zijn? Feit is dat de fundamenten van neurale netwerken niet zijn veranderd en dat het concept zelf – een wiskundig model van een kunstmatig neuron – tijdens de Tweede Wereldoorlog is ontstaan.
Hetzelfde geldt voor het internet: het internet van vandaag is onvergelijkbaar geavanceerder dan toen de eerste e-mail werd verzonden. De fundamenten van het internet, de fundamentele protocollen, bestonden vanaf het allereerste begin van zijn ontstaan. Elk complex concept is gebouwd op de fundamenten van oude structuren. Hetzelfde geldt voor onze hersenen: de jongste hersenschors kan niet functioneren zonder het oudste evolutionaire element: de hersenstam, die al sinds tijden veel ouder dan het bestaan van onze soort op deze planeet in ons hoofd zit.
Heb ik je een beetje in verwarring gebracht? Dus laten we het in meer detail begrijpen.
Ook interessant: ChatGPT: eenvoudige gebruiksaanwijzing
Wat zijn neurale netwerken?
Een netwerk is een verzameling van bepaalde elementen. Dit is de eenvoudigste benadering in wiskunde, natuurkunde of technologie. Als een computernetwerk een reeks onderling verbonden computers is, dan is een neuraal netwerk uiteraard een reeks neuronen.
Deze elementen zijn qua complexiteit echter niet eens vergelijkbaar met de zenuwcellen van onze hersenen en ons zenuwstelsel, maar op een bepaald abstractieniveau zijn sommige kenmerken van een kunstmatig neuron en een biologisch neuron gebruikelijk. Maar we moeten niet vergeten dat een kunstmatig neuron een veel eenvoudiger concept is dan zijn biologische tegenhanger, waarover we nog steeds niet alles weten.
Lees ook: 7 coolste toepassingen van ChatGPT
Eerst was er een kunstneuron
Het eerste wiskundige model van een kunstmatig neuron werd in 1943 ontwikkeld (ja, dat is geen vergissing, tijdens de Tweede Wereldoorlog) door twee Amerikaanse wetenschappers, Warren McCulloch en Walter Pitts. Dat lukte ze op basis van een interdisciplinaire aanpak, waarbij ze basiskennis van hersenfysiologie (denk aan de tijd waarin dit model ontstond), wiskunde en de toen nog jonge IT-aanpak combineerden (ze gebruikten onder meer de theorie van de berekenbaarheid van Alan Turing). ). Het kunstmatige neuronmodel van McCulloch-Pitts is een heel eenvoudig model, het heeft veel inputs, waarbij de inputinformatie door gewichten (parameters) gaat, waarvan de waarden het gedrag van het neuron bepalen. Het resulterende resultaat wordt naar een enkele uitgang gestuurd (zie diagram van het McCulloch-Pitts-neuron).
Zo'n boomachtige structuur wordt geassocieerd met een biologisch neuron, want als we denken aan tekeningen die biologische zenuwcellen afbeelden, denken we aan de karakteristieke boomachtige structuur van dendrieten. Men moet echter niet bezwijken voor de illusie dat een kunstneuron op zijn minst enigszins dicht bij een echte zenuwcel staat. Deze twee onderzoekers, de auteurs van het eerste kunstmatige neuron, zijn erin geslaagd aan te tonen dat elke berekenbare functie kan worden berekend met behulp van een netwerk van onderling verbonden neuronen. Laten we echter niet vergeten dat deze eerste concepten alleen zijn ontstaan als ideeën die alleen 'op papier' bestonden en geen echte interpretatie hadden in de vorm van bedieningsapparatuur.
Lees ook: Over kwantumcomputers in eenvoudige woorden
Van het model tot innovatieve implementaties
McCulloch en Pitts ontwikkelden een theoretisch model, maar de creatie van het eerste echte neurale netwerk moest meer dan tien jaar wachten. De maker ervan wordt beschouwd als een andere pionier op het gebied van onderzoek naar kunstmatige intelligentie, Frank Rosenblatt, die in 1957 het Mark I Perceptron-netwerk creëerde, en jij hebt zelf aangetoond dat de machine dankzij deze structuur een vermogen verwierf dat voorheen alleen inherent was aan dieren en mensen: het kan leren. We weten nu echter dat er in feite andere wetenschappers waren die op het idee kwamen dat een machine kon leren, ook vóór Rosenblatt.
Veel onderzoekers en pioniers van de informatica kwamen in de jaren vijftig op het idee hoe je een machine kunt laten doen wat hij op zichzelf niet zou kunnen. Arthur Samuel ontwikkelde bijvoorbeeld een programma dat dammen speelde met een mens, Allen Newell en Herbert Simon creëerden een programma dat zelfstandig wiskundige stellingen kon bewijzen. Zelfs vóór de oprichting van Rosenblatts eerste neurale netwerk bouwden twee andere pioniers van onderzoek op het gebied van kunstmatige intelligentie, Marvin Minsky en Dean Edmonds, in 1950, dat wil zeggen, zelfs vóór de verschijning van Rosenblatts perceptron, een machine genaamd SNARC (Stochastic Neural Analog Reinforcement Calculator) - stochastische neurale analoge rekenmachineversterking, door velen beschouwd als de eerste stochastische neurale netwerkcomputer. Opgemerkt moet worden dat SNARC niets te maken had met moderne computers.
De krachtige machine, die gebruik maakte van meer dan 3000 elektronische buizen en een reserve stuurautomaatmechanisme van een B-24 bommenwerper, kon de werking van 40 neuronen simuleren, wat voldoende bleek te zijn om de zoektocht van een rat naar een uitgang uit een doolhof wiskundig te simuleren . Natuurlijk was er geen rat, het was gewoon een proces van deductie en het vinden van de optimale oplossing. Deze auto maakte deel uit van Marvin Minsky's Ph.D.
Een ander interessant project op het gebied van neurale netwerken was het ADALINE-netwerk, ontwikkeld in 1960 door Bernard Withrow. Je kunt dus de vraag stellen: aangezien onderzoekers meer dan een halve eeuw geleden de theoretische fundamenten van neurale netwerken kenden en zelfs de eerste werkende implementaties van dergelijke computationele raamwerken creëerden, waarom duurde het dan zo lang, tot de 21e eeuw, om echte oplossingen creëren op basis van neurale netwerken? Het antwoord is één: onvoldoende rekenkracht, maar dat was niet het enige obstakel.
Hoewel in de jaren vijftig en zestig veel AI-pioniers gefascineerd waren door de mogelijkheden van neurale netwerken, en sommigen van hen voorspelden dat een machine-equivalent van het menselijk brein slechts tien jaar verwijderd zou zijn. Dit is zelfs grappig om vandaag de dag te lezen, omdat we nog steeds niet eens in de buurt zijn gekomen van het creëren van een machine-equivalent van het menselijk brein, en we zijn nog steeds ver verwijderd van het oplossen van deze taak. Het werd al snel duidelijk dat de logica van de eerste neurale netwerken zowel fascinerend als beperkt was. De eerste implementaties van AI met behulp van kunstmatige neuronen en machine learning-algoritmen konden een beperkt aantal taken oplossen.
Toen het echter ging om bredere ruimtes en het oplossen van iets heel serieus, zoals patroon- en beeldherkenning, simultaanvertaling, spraak- en handschriftherkenning, enz., dat wil zeggen dingen die computers en AI tegenwoordig al kunnen doen, bleek dat de de eerste implementaties van neurale netwerken waren daartoe eenvoudigweg niet in staat. Waarom is dit zo? Het antwoord werd gegeven door het onderzoek van Marvin Minsky (ja, dezelfde van SNARC) en Seymour Papert, die in 1969 de beperkingen van perceptronlogica bewees en aantoonde dat het vergroten van de mogelijkheden van eenvoudige neurale netwerken uitsluitend als gevolg van schaalvergroting niet werkt. Er was nog een, maar zeer belangrijke, barrière: de destijds beschikbare rekenkracht was te klein om neurale netwerken te kunnen gebruiken zoals bedoeld.
Ook interessant:
- Dus, spreken of niet praten? Musk ontkent met Poetin te hebben gesproken. Maar er is een "maar"
- Moderne artillerie is het superwapen van Oekraïne. En waarom is Elon Musk hier?
Renaissance van neurale netwerken
In de jaren zeventig en tachtig waren neurale netwerken vrijwel vergeten. Pas aan het einde van de vorige eeuw werd de beschikbare rekenkracht zo groot dat mensen ernaar terugkeerden en hun capaciteiten op dit gebied begonnen te ontwikkelen. Het was toen dat er nieuwe functies en algoritmen verschenen, die de beperkingen van de eerste eenvoudigste neurale netwerken konden overwinnen. Het was toen dat het idee van deep machine learning van meerlaagse neurale netwerken ontstond. Wat gebeurt er eigenlijk met deze lagen? Tegenwoordig bestaan bijna alle bruikbare neurale netwerken die in onze omgeving actief zijn uit meerdere lagen. We hebben een invoerlaag die tot taak heeft invoergegevens en parameters (gewichten) te ontvangen. Het aantal van deze parameters varieert afhankelijk van de complexiteit van het rekenprobleem dat door het netwerk moet worden opgelost.
Bovendien hebben we zogenaamde ‘verborgen lagen’ – dit is waar alle ‘magie’ die gepaard gaat met deep machine learning plaatsvindt. Het zijn de verborgen lagen die verantwoordelijk zijn voor het vermogen van dit neurale netwerk om te leren en de nodige berekeningen uit te voeren. Ten slotte is het laatste element de uitvoerlaag, dat wil zeggen de laag van het neurale netwerk die het gewenste resultaat oplevert, in dit geval: herkend handschrift, gezicht, stem, gevormd beeld op basis van de tekstuele beschrijving, het resultaat van tomografische analyse van het diagnostische beeld en nog veel meer.
Lees ook: Ik heb de chatbot van Bing getest en geïnterviewd
Hoe leren neurale netwerken?
Zoals we al weten, verwerken individuele neuronen in neurale netwerken informatie met behulp van parameters (gewichten), waaraan individuele waarden en verbindingen worden toegewezen. Deze gewichten veranderen tijdens het leerproces, waardoor je de structuur van dit netwerk zo kunt aanpassen dat het het gewenste resultaat oplevert. Hoe leert het netwerk precies? Het is duidelijk dat het voortdurend moet worden getraind. Wees niet verrast door dit gezegde. We leren ook, en dit proces is niet chaotisch, maar ordelijk, laten we zeggen. Wij noemen het onderwijs. Hoe dan ook kunnen neurale netwerken ook worden getraind, en dit gebeurt meestal met behulp van een op de juiste manier geselecteerde set inputs, die het netwerk op de een of andere manier voorbereiden op de taken die het in de toekomst zal uitvoeren. En dit alles wordt stap voor stap herhaald, soms lijkt het leerproces tot op zekere hoogte op het trainingsproces zelf.
Als de taak van dit neurale netwerk bijvoorbeeld het herkennen van gezichten is, wordt het vooraf getraind op een groot aantal afbeeldingen met gezichten. Tijdens het leerproces veranderen de gewichten en parameters van de verborgen lagen. Experts gebruiken hier de uitdrukking "minimalisatie van de kostenfunctie". Een kostenfunctie is een grootheid die ons vertelt hoeveel een bepaald neuraal netwerk fouten maakt. Hoe meer we de kostenfunctie als gevolg van training kunnen minimaliseren, hoe beter dit neurale netwerk in de echte wereld zal presteren. Het belangrijkste kenmerk dat elk neuraal netwerk onderscheidt van een taak die is geprogrammeerd met behulp van een klassiek algoritme, is dat, in het geval van klassieke algoritmen, de programmeur stap voor stap moet ontwerpen welke acties het programma zal uitvoeren. In het geval van neurale netwerken is het netwerk zelf in staat zelfstandig taken correct te leren uitvoeren. En niemand weet precies hoe een complex neuraal netwerk zijn berekeningen uitvoert.
Tegenwoordig worden neurale netwerken op grote schaal gebruikt en, misschien verrassend, heel vaak zonder te begrijpen hoe het rekenproces in een bepaald netwerk eigenlijk werkt. Dit is niet nodig. Programmeurs gebruiken kant-en-klare, machinaal geleerde neurale netwerken die zijn voorbereid op invoergegevens van een bepaald type, deze verwerken op een manier die alleen zij kennen en het gewenste resultaat opleveren. Een programmeur hoeft niet te weten hoe het inferentieproces binnen een neuraal netwerk werkt. Dat wil zeggen, een persoon blijft afzijdig van een groot aantal berekeningen, een methode om informatie te verkrijgen en de verwerking ervan door neurale netwerken. Vanwaar bepaalde angsten van de mensheid met betrekking tot modellen van kunstmatige intelligentie. We zijn gewoon bang dat het neurale netwerk zichzelf op een dag een bepaalde taak zal stellen en zelfstandig, zonder de hulp van een persoon, manieren zal vinden om deze op te lossen. Dit baart de mensheid zorgen, veroorzaakt angst en wantrouwen bij het gebruik van machine learning-algoritmen.
Deze utilitaire benadering is tegenwoordig gebruikelijk. Bij ons is het hetzelfde: we weten hoe we iemand moeten trainen in een specifieke activiteit, en we weten dat het trainingsproces effectief zal zijn als het op de juiste manier wordt uitgevoerd. Een persoon zal de gewenste vaardigheden verwerven. Maar begrijpen we precies hoe het deductieproces in zijn hersenen plaatsvindt, wat dit effect veroorzaakte? Wij hebben geen idee.
De taak van wetenschappers is om deze problemen zoveel mogelijk te bestuderen, zodat ze ons dienen en helpen waar nodig, en vooral geen bedreiging worden. Als mensen zijn we bang voor wat we niet weten.
Ook interessant: