EITC/AI/DLPP Deep Learning met Python en PyTorch

Kunsmatige neurale netwerke (ANN's) is geïnspireer deur inligtingverwerking en verspreide kommunikasieknope in biologiese stelsels. Die byvoeglike naamwoord "diep" in diep leer verwys na die gebruik van verskeie lae in die netwerk. Vroeë werk het getoon dat 'n lineêre perseptron nie 'n universele klassifiseerder kan wees nie, en dat 'n netwerk met 'n nie-polinoom-aktiveringsfunksie met een verborge laag van onbegrensde breedte daarenteen kan wees. Diep leer is 'n moderne variasie wat te make het met 'n onbeperkte aantal lae van begrensde grootte, wat praktiese toepassing en optimale implementering moontlik maak, terwyl die teoretiese universaliteit onder sagte omstandighede behoue ​​bly. In diepgaande leer kan die lae ook heterogeen wees en wyd afwyk van biologies ingeligte konneksionistiese modelle ter wille van doeltreffendheid, opleibaarheid en verstaanbaarheid, waarvandaan die 'gestruktureerde' deel is.

Python is dinamies getik (voer tydens algemene gebruik baie algemene programmeringsgedrag uit wat statiese programmeertale tydens samestelling uitvoer) en vullis versamel (met outomatiese geheuebestuur). Dit ondersteun verskeie programmeringsparadigmas, insluitend gestruktureerde (veral prosedurele), objekgerigte en funksionele programmering. Dit is in die laat 1980's geskep, en die eerste keer vrygestel in 1991 deur Guido van Rossum as 'n opvolger van die ABC-programmeertaal. Python 2.0, wat in 2000 vrygestel is, het nuwe funksies bekendgestel, soos 'n lysbegrip, en 'n vullisverwyderingstelsel met verwysingtelling, en is in 2.7 met weergawe 2020 gestaak. Python 3.0, wat in 2008 vrygestel is, was 'n belangrike hersiening van die taal wat nie heeltemal agtertoe-versoenbaar nie en baie Python 2-kode loop nie onveranderd op Python 3. nie. Met Python 2 se einde van die lewe (en pip het die ondersteuning in 2021 laat val), word slegs Python 3.6.x en later ondersteun, met nog ouer weergawes ondersteun byvoorbeeld Windows 7 (en ou installeerders nie beperk tot 64-bis Windows nie).

Python-tolke word ondersteun vir hoofstroom-bedryfstelsels en is beskikbaar vir 'n paar meer (en in die verlede baie meer ondersteun). 'N Globale gemeenskap van programmeerders ontwikkel en onderhou CPython, 'n gratis en open source-verwysingsimplementering. 'N Organisasie sonder winsbejag, die Python Software Foundation, bestuur en stuur hulpbronne vir die ontwikkeling van Python en CPython.

Met ingang van Januarie 2021 beklee Python die derde plek in TIOBE se indeks van gewildste programmeertale, agter C en Java, nadat hy voorheen die tweede plek behaal het en die toekenning vir die gewildste wins vir 2020 behaal het. In 2007, 2010 is dit die programmeertaal van die jaar gekies. , en 2018.

In 'n empiriese studie is bevind dat skripttale, soos Python, produktiewer is as konvensionele tale, soos C en Java, vir programmeringsprobleme met betrekking tot snaarmanipulasie en soek in 'n woordeboek, en het vasgestel dat geheueverbruik dikwels 'beter is as Java en nie baie erger as C of C ++ ”. Groot organisasies wat Python gebruik, is onder andere Wikipedia, Google, Yahoo !, CERN, NASA, Facebook, Amazon, Instagram.

Behalwe vir kunsmatige intelligensie-toepassings, word Python, as 'n skriptaal met modulêre argitektuur, eenvoudige sintaksis en ryk teksverwerkingsinstrumente, dikwels gebruik vir die verwerking van natuurlike tale.

PyTorch bied twee funksies op hoë vlak:

• Tensorberekening (soos NumPy) met sterk versnelling via grafiese verwerkingseenhede (GPU)
• Diep neurale netwerke gebou op 'n bandgebaseerde outomatiese (berekenings) differensiasie-stelsel

Facebook bedryf beide PyTorch en Convolutional Architecture for Fast Feature Embedding (Caffe2), maar modelle wat deur die twee raamwerke gedefinieer word, was onderling onversoenbaar. Die Open Neural Network Exchange (ONNX) -projek is in September 2017 deur Facebook en Microsoft geskep vir die omskakeling van modelle tussen raamwerke. Caffe2 is einde Maart 2018 in PyTorch saamgevoeg.

PyTorch definieer 'n klas genaamd Tensor (fakkel. Tensor) om homogene multidimensionele reghoekige skikkings van getalle op te slaan en te werk. PyTorch Tensors is soortgelyk aan NumPy Arrays, maar kan ook op 'n CUDA-geskikte Nvidia GPU gebruik word. PyTorch ondersteun verskillende subtipes Tensors.

Daar is min belangrike modules vir Pytorch. Dit sluit in:

• Autograd-module: PyTorch gebruik 'n metode genaamd outomatiese differensiasie. 'N Optekenaar teken aan wat bewerkings uitgevoer het, en speel dit dan agteruit om die gradiënte te bereken. Hierdie metode is veral kragtig wanneer u neurale netwerke bou om tyd in een tyd te bespaar deur die differensiasie van die parameters by die voorwaartse pas te bereken.
• Optim-module: torch.optim is 'n module wat verskillende optimaliseringsalgoritmes implementeer wat gebruik word vir die bou van neurale netwerke. Die meeste van die algemeen gebruikte metodes word al ondersteun, en dit is dus nie nodig om dit van nuuts af te bou nie.
• nn module: PyTorch autograd maak dit maklik om berekeningsgrafieke te definieer en gradiënte te neem, maar rou autograd kan 'n bietjie te laag wees om komplekse neurale netwerke te definieer. Dit is waar die nn-module kan help.