Wat is regularisering?

/ / gepubliseer in Kunsmatige Intelligensie, EITC/AI/GCML Google Cloud Machine Learning, Eerste stappe in masjienleer, Die 7 stappe van masjienleer

Regularisering in die konteks van masjienleer is 'n belangrike tegniek wat gebruik word om die veralgemeningsprestasie van modelle te verbeter, veral wanneer daar met hoë-dimensionele data of komplekse modelle te doen is wat geneig is tot oorpassing. Oorpassing vind plaas wanneer 'n model nie net die onderliggende patrone in die opleidingsdata leer nie, maar ook die geraas, wat lei tot swak prestasie op onsigbare data. Regularisering stel addisionele inligting of beperkings aan 'n model bekend om oorpassing te voorkom deur te komplekse modelle te penaliseer.

Die fundamentele idee agter regularisering is om 'n strafterm in te sluit in die verliesfunksie wat die model probeer minimaliseer. Hierdie strafterme ontmoedig die model om die geraas in die opleidingsdata in te pas deur 'n koste op kompleksiteit te plaas, tipies gemeet aan die grootte van die modelparameters. Deur dit te doen, help regularisering om 'n balans te bewerkstellig tussen die inpas van die opleidingsdata en die handhawing van die model se vermoë om na nuwe data te veralgemeen.

Daar is verskeie tipes regulariseringstegnieke wat algemeen in masjienleer gebruik word, met die algemeenste L1-regularisering, L2-regularisering en uitval. Elkeen van hierdie tegnieke het sy eie kenmerke en toepassings.

1. L1-regularisering (lasso-regressie): L1-regularisering voeg 'n straf gelyk aan die absolute waarde van die grootte van koëffisiënte by die verliesfunksie. Wiskundig kan dit voorgestel word as:

    \[ L(\theta) = L_0(\theta) + \lambda \sum_{i=1}^{n} |\theta_i| \]

waar L_0(\theta) is die oorspronklike verliesfunksie, \lambda is die regulariseringsparameter, en \theta_i is die model parameters. Die effek van L1-regularisering is dat dit geneig is om yl modelle te produseer, wat beteken dat dit sommige van die koëffisiënte na nul dryf, wat kenmerkseleksie effektief uitvoer. Dit kan veral nuttig wees wanneer hoëdimensionele data hanteer word waar baie kenmerke irrelevant kan wees.

2. L2-regularisering (Ridge-regressie): L2-regularisering voeg 'n straf gelyk aan die kwadraat van die grootte van koëffisiënte by die verliesfunksie. Dit word wiskundig uitgedruk as:

    \[ L(\theta) = L_0(\theta) + \lambda \sum_{i=1}^{n} \theta_i^2 \]

L2-regularisering ontmoedig groot koëffisiënte deur hul kwadraatwaardes te penaliseer, wat lei tot 'n meer eweredig verspreide stel gewigte. Anders as L1, lewer L2-regularisering nie yl modelle nie, aangesien dit nie koëffisiënte dwing om presies nul te wees nie, maar eerder klein hou. Dit is veral nuttig om ooraanpassing te vermy wanneer alle kenmerke 'n mate van relevansie het.

3. Elastiese netto regulasie: Elastic Net kombineer beide L1 en L2 regularisering. Dit is veral nuttig in situasies waar daar verskeie gekorreleerde kenmerke is. Die Elastic Net-straf is 'n lineêre kombinasie van die L1- en L2-strawwe:

    \[ L(\theta) = L_0(\theta) + \lambda_1 \sum_{i=1}^{n} |\theta_i| + \lambda_2 \sum_{i=1}^{n} \theta_i^2 \]

Deur die parameters in te stel \lambda_1 en \lambda_2, Elastic Net kan die voordele van beide L1- en L2-regularisering balanseer.

4. Uitval: Uitval is 'n regulariseringstegniek wat spesifiek ontwerp is vir neurale netwerke. Tydens opleiding stel uitval lukraak 'n fraksie van die nodusse (neurone) in 'n laag na nul by elke iterasie. Dit verhoed dat die netwerk te swaar op enige enkele nodus staatmaak en moedig die netwerk aan om meer robuuste kenmerke te leer. Uitval is veral effektief in diepleermodelle waar ooraanpassing 'n algemene probleem is as gevolg van die groot aantal parameters.

5. Vroeë stop: Alhoewel dit nie 'n regulariseringstegniek in die tradisionele sin is nie, is vroeë stop 'n strategie om ooraanpassing te voorkom deur die opleidingsproses te stop sodra die prestasie op 'n valideringsstel begin verswak. Dit is veral nuttig in iteratiewe metodes soos gradiënt afkoms waar die model voortdurend opgedateer word.

Regularisering is noodsaaklik in masjienleer omdat dit modelle toelaat om goed te presteer op onsigbare data deur hul kompleksiteit te beheer. Die keuse van regulariseringstegniek en die afstemming van sy parameters (\lambda vir L1 en L2, uitvalsyfer vir uitval) is belangrik en vereis dikwels eksperimentering en kruisvalidering om optimale resultate te behaal.

Oorweeg byvoorbeeld 'n lineêre regressiemodel wat op 'n datastel met baie kenmerke opgelei is. Sonder regulasie kan die model groot gewigte aan sommige kenmerke toeken, wat die opleidingsdata baie nou pas, maar swak presteer op toetsdata as gevolg van oorpassing. Deur L2-regularisering toe te pas, word die model aangemoedig om gewigte meer eweredig te versprei, wat moontlik lei tot beter veralgemening op nuwe data.

In 'n ander scenario kan 'n neurale netwerk wat op beelddata opgelei is, dalk oorpas deur spesifieke patrone in die opleidingsbeelde te memoriseer. Deur uitval toe te pas, word die netwerk gedwing om meer algemene kenmerke te leer wat bruikbaar is oor verskillende beelde, wat sy werkverrigting op ongesiene data verbeter.

Regularisering is 'n fundamentele konsep in masjienleer wat help om ooraanpassing te voorkom deur 'n straf vir kompleksiteit by die model se verliesfunksie te voeg. Deur die kompleksiteit van die model te beheer, maak regulariseringstegnieke soos L1, L2, Elastic Net, uitval en vroeë stop beter veralgemening na nuwe data moontlik, wat hulle onontbeerlike hulpmiddels in die masjienleerpraktisyn se gereedskapstel maak.

Ander onlangse vrae en antwoorde t.o.v EITC/AI/GCML Google Cloud Machine Learning:

Bekyk meer vrae en antwoorde in EITC/AI/GCML Google Cloud Machine Learning

Meer vrae en antwoorde:

Gemerk onder: , , , , ,