EITC/AI/DLPTFK Deep Learning met Python, TensorFlow en Keras

Kunsmatige neurale netwerke (ANN's) is geïnspireer deur inligtingverwerking en verspreide kommunikasieknope in biologiese stelsels. Die byvoeglike naamwoord "diep" in diep leer verwys na die gebruik van verskeie lae in die netwerk. Vroeë werk het getoon dat 'n lineêre perseptron nie 'n universele klassifiseerder kan wees nie, en dat 'n netwerk met 'n nie-polinoom-aktiveringsfunksie met een verborge laag van onbegrensde breedte daarenteen kan wees. Diep leer is 'n moderne variasie wat te make het met 'n onbeperkte aantal lae van begrensde grootte, wat praktiese toepassing en optimale implementering moontlik maak, terwyl die teoretiese universaliteit onder sagte omstandighede behoue ​​bly. In diepgaande leer kan die lae ook heterogeen wees en wyd afwyk van biologies ingeligte konneksionistiese modelle ter wille van doeltreffendheid, opleibaarheid en verstaanbaarheid, waarvandaan die 'gestruktureerde' deel is.

Python is dinamies getik (voer tydens algemene gebruik baie algemene programmeringsgedrag uit wat statiese programmeertale tydens samestelling uitvoer) en vullis versamel (met outomatiese geheuebestuur). Dit ondersteun verskeie programmeringsparadigmas, insluitend gestruktureerde (veral prosedurele), objekgerigte en funksionele programmering. Dit is in die laat 1980's geskep, en die eerste keer vrygestel in 1991 deur Guido van Rossum as 'n opvolger van die ABC-programmeertaal. Python 2.0, wat in 2000 vrygestel is, het nuwe funksies bekendgestel, soos 'n lysbegrip, en 'n vullisverwyderingstelsel met verwysingtelling, en is in 2.7 met weergawe 2020 gestaak. Python 3.0, wat in 2008 vrygestel is, was 'n belangrike hersiening van die taal wat nie heeltemal agtertoe-versoenbaar nie en baie Python 2-kode loop nie onveranderd op Python 3. nie. Met Python 2 se einde van die lewe (en pip het die ondersteuning in 2021 laat val), word slegs Python 3.6.x en later ondersteun, met nog ouer weergawes ondersteun byvoorbeeld Windows 7 (en ou installeerders nie beperk tot 64-bis Windows nie).

Python-tolke word ondersteun vir hoofstroom-bedryfstelsels en is beskikbaar vir 'n paar meer (en in die verlede baie meer ondersteun). 'N Globale gemeenskap van programmeerders ontwikkel en onderhou CPython, 'n gratis en open source-verwysingsimplementering. 'N Organisasie sonder winsbejag, die Python Software Foundation, bestuur en stuur hulpbronne vir die ontwikkeling van Python en CPython.

Met ingang van Januarie 2021 beklee Python die derde plek in TIOBE se indeks van gewildste programmeertale, agter C en Java, nadat hy voorheen die tweede plek behaal het en die toekenning vir die gewildste wins vir 2020 behaal het. In 2007, 2010 is dit die programmeertaal van die jaar gekies. , en 2018.

In 'n empiriese studie is bevind dat skripttale, soos Python, produktiewer is as konvensionele tale, soos C en Java, vir programmeringsprobleme met betrekking tot snaarmanipulasie en soek in 'n woordeboek, en het vasgestel dat geheueverbruik dikwels 'beter is as Java en nie baie erger as C of C ++ ”. Groot organisasies wat Python gebruik, is onder andere Wikipedia, Google, Yahoo !, CERN, NASA, Facebook, Amazon, Instagram.

Behalwe vir kunsmatige intelligensie-toepassings, word Python, as 'n skriptaal met modulêre argitektuur, eenvoudige sintaksis en ryk teksverwerkingsinstrumente, dikwels gebruik vir die verwerking van natuurlike tale.

TensorFlow is ontwikkel deur die Google Brain-span vir interne Google-gebruik. Dit is in 2.0 vrygestel onder die Apache License 2015.

Vanaf 2011 het Google Brain DistBelief gebou as 'n eie masjienleerstelsel gebaseer op neurale netwerke met diep leer. Die gebruik daarvan het vinnig toegeneem in verskillende Alfabet-ondernemings in sowel navorsings- as kommersiële toepassings. Google het verskeie rekenaarwetenskaplikes, waaronder Jeff Dean, aangewys om die kodebasis van DistBelief te vereenvoudig in 'n vinniger, meer robuuste biblioteek vir toepassingsgraad, wat TensorFlow geword het. In 2009 het die span, onder leiding van Geoffrey Hinton, algemene backpropagation en ander verbeterings geïmplementeer wat die opwekking van neurale netwerke met 'n aansienlik hoër akkuraatheid moontlik gemaak het, byvoorbeeld 'n vermindering van 25% in spraakherkenning met XNUMX%.

TensorFlow is die tweede generasie stelsel van Google Brain. Weergawe 1.0.0 is op 11 Februarie 2017 vrygestel. Alhoewel die verwysingsimplementering op enkele toestelle uitgevoer word, kan TensorFlow op verskeie SVE's en GPU's werk (met opsionele CUDA- en SYCL-uitbreidings vir algemene rekenaars op grafiese verwerkingseenhede). TensorFlow is beskikbaar op 64-bis Linux-, macOS-, Windows- en mobiele rekenaarplatforms, insluitend Android en iOS. Die buigsame argitektuur maak dit maklik om berekenings op verskillende platforms (CPU's, GPU's, TPU's) te implementeer, en van lessenaars tot bedienersgroepe tot mobiele en randtoestelle. TensorFlow-berekeninge word uitgedruk as statiewe datavloeigrafieke. Die naam TensorFlow is afgelei van die bewerkings wat sulke neurale netwerke op multidimensionele data-skikkings uitvoer, wat tensors genoem word. Tydens die Google I/O-konferensie in Junie 2016 het Jeff Dean gesê dat 1,500 bewaarplekke op GitHub TensorFlow genoem het, waarvan slegs 5 van Google afkomstig was. In Desember 2017 stel ontwikkelaars van Google, Cisco, RedHat, CoreOS en CaiCloud Kubeflow tydens 'n konferensie bekend. Met Kubeflow kan TensorFlow op Kubernetes bedryf en ontplooi word. In Maart 2018 het Google TensorFlow.js weergawe 1.0 vir masjienleer in JavaScript aangekondig. In Januarie 2019 het Google TensorFlow 2.0 aangekondig. Dit het amptelik beskikbaar geword in September 2019. In Mei 2019 het Google TensorFlow Graphics aangekondig vir diep leer in rekenaargrafika.

Tot en met weergawe 2.3 ondersteun Keras verskeie backends, waaronder TensorFlow, Microsoft Cognitive Toolkit, Theano en PlaidML. Vanaf weergawe 2.4 word slegs TensorFlow ondersteun. Dit is ontwerp om vinnige eksperimentering met diep neurale netwerke moontlik te maak, en fokus daarop om gebruikersvriendelik, modulêr en uitbreidbaar te wees. Dit is ontwikkel as deel van die navorsingsinspanning van projek ONEIROS (oop-end neuro-elektroniese intelligente robotbedryfstelsel), en François Chollet, 'n Google-ingenieur, se hoofskrywer en instandhouer. Chollet is ook die outeur van die XCeption diep neurale netwerkmodel.

Keras bevat talle implementerings van algemeen gebruikte boustene van neurale netwerke, soos lae, doelstellings, aktiveringsfunksies, optimaliseerders en 'n aantal instrumente om die werk met beeld- en teksdata makliker te maak om die kodering wat nodig is vir die skryf van diepe neurale netwerkkodes te vereenvoudig. Die kode word op GitHub aangebied, en gemeenskapsondersteuningsforums sluit die GitHub-uitgaweblad en 'n Slack-kanaal in.

Benewens standaard neurale netwerke, het Keras ondersteuning vir konvolusionele en herhalende neurale netwerke. Dit ondersteun ander algemene nutslae, soos dropout, batch normalisering en pooling. Met Keras kan gebruikers diep modelle op slimfone (iOS en Android), op die internet of op die Java Virtual Machine vervaardig. Dit laat ook die gebruik van verspreide opleiding van diepleermodelle toe op trosse grafiese verwerkingseenhede (GPU) en tensorverwerkingseenhede (TPU). Keras is aangeneem vir gebruik in wetenskaplike navorsing as gevolg van Python (programmeertaal) en die gemak en gebruik daarvan. Keras was die 10de mees genoemde instrument in die KDnuggets 2018-sagteware-peiling en het 'n gebruik van 22% geregistreer.