PyTorch tarjoaa torch.nn-moduulin, joka auttaa meitä luomaan ja kouluttamaan hermoverkkoa. Koulutamme ensin perushermoverkon MNIST-tietojoukossa käyttämättä mitään näiden mallien ominaisuuksia. Käytämme vain PyTorchin perustensoritoimintoa ja lisäämme sitten asteittain yhden ominaisuuden torch.nn:stä kerrallaan.

torch.nn tarjoaa meille monia muita luokkia ja moduuleja neuroverkon toteuttamiseen ja kouluttamiseen.

nn-paketti sisältää seuraavat moduulit ja luokat:

Kyllä ei	Luokka ja moduuli	Kuvaus
1.	taskulamppu.nn.Parametri	Se on eräänlainen tensori, jota on pidettävä moduuliparametrina.
2.	Kontit
1) taskulamppu.nn.Moduuli	Se on perusluokka kaikille hermoverkkomoduuleille.
2) taskulamppu.nn.Sequential	Se on peräkkäinen kontti, johon moduulit lisätään samassa järjestyksessä kuin ne välitetään rakentajassa.
3) torch.nn.ModuleList	Tämä pitää alimoduulit luettelossa.
4) torch.nn.ModuleDict	Tämä pitää alimoduulit hakemistossa.
5) torch.nn.ParameterList	Tämä säilyttää parametrit luettelossa.
6) torch.nn.parameterDict	Tämä säilyttää parametrit hakemistossa.
3.	Konvoluutiokerrokset
1) taskulamppu.nn.Conv1d	Tätä pakettia käytetään 1D-konvoluution soveltamiseen useista tulotasoista koostuvan tulosignaalin yli.
2) torch.nn.Conv2d	Tätä pakettia käytetään 2D-konvoluution soveltamiseen useista tulotasoista koostuvan tulosignaalin yli.
3) torch.nn.Conv3d	Tätä pakettia käytetään 3D-konvoluution soveltamiseen useista tulotasoista koostuvan tulosignaalin yli.
4) torch.nn.ConvTranspose1d	Tätä pakettia käytetään 1D-transponoidun konvoluutiooperaattorin soveltamiseen useista syöttötasoista koostuvan syöttökuvan päälle.
5) torch.nn.ConvTranspose2d	Tätä pakettia käytetään 2D-transponoidun konvoluutiooperaattorin soveltamiseen useista syöttötasoista koostuvan syöttökuvan päälle.
6) torch.nn.ConvTranspose3d	Tätä pakettia käytetään 3D-transponoidun konvoluutiooperaattorin soveltamiseen useista syöttötasoista koostuvan syöttökuvan päälle.
7) taskulamppu.nn.Avaa	Sitä käytetään liukuvien paikallisten lohkojen poimimiseen erästä syötetensorista.
8) taskulamppu.nn.Taita	Sitä käytetään yhdistämään joukko liukuvia paikallisia lohkoja suureksi sisältäväksi tensoriksi.
4.	Kerrosten yhdistäminen
1) taskulamppu.nn.MaxPool1d	Sitä käytetään soveltamaan 1D max -jakoa useista tulotasoista koostuvan tulosignaalin yli.
2) taskulamppu.nn.MaxPool2d	Sitä käytetään soveltamaan 2D max -jakoa useista tulotasoista koostuvan tulosignaalin yli.
3) taskulamppu.nn.MaxPool3d	Sitä käytetään soveltamaan 3D max -jakoa useista tulotasoista koostuvan tulosignaalin yli.
4) taskulamppu.nn.MaxUnpool1d	Sitä käytetään MaxPool1d:n osittaisen käänteisarvon laskemiseen.
5) taskulamppu.nn.MaxUnpool2d	Sitä käytetään MaxPool2d:n osittaisen käänteisarvon laskemiseen.
6) torch.nn.MaxUnpool3d	Sitä käytetään MaxPool3d:n osittaisen käänteisarvon laskemiseen.
7) taskulamppu.nn.AvgPool1d	Sitä käytetään 1D-keskiarvon yhdistämiseen useista tulotasoista koostuvan tulosignaalin yli.
8) torch.nn.AvgPool2d	Sitä käytetään 2D-keskiarvon yhdistämiseen useista tulotasoista koostuvan tulosignaalin yli.
9) torch.nn.AvgPool3d	Sitä käytetään soveltamaan 3D-keskiarvoa useista tulotasoista koostuvan tulosignaalin yli.
10) taskulamppu.nn.FractionalMaxPool2d	Sitä käytetään soveltamaan 2D:n murto-osaa maksimivarausta useista tulotasoista koostuvan tulosignaalin yli.
11) taskulamppu.nn.LPPool1d	Sitä käytetään 1D-tehon keskiarvon yhdistämiseen useista tulotasoista koostuvan tulosignaalin yli.
12) taskulamppu.nn.LPPool2d	Sitä käytetään 2D-tehon keskiarvon yhdistämiseen useista tulotasoista koostuvan tulosignaalin yli.
13) taskulamppu.nn.AdavtiveMaxPool1d	Sitä käytetään soveltamaan 1D adaptiivista max poolingia useista tulotasoista koostuvan tulosignaalin yli.
14) torch.nn.AdavtiveMaxPool2d	Sitä käytetään soveltamaan 2D adaptiivista maksimivarausta useista tulotasoista koostuvan tulosignaalin yli.
15) torch.nn.AdavtiveMaxPool3d	Sitä käytetään soveltamaan 3D-adaptiivista maksimivarausta useista tulotasoista koostuvan tulosignaalin yli.
16) torch.nn.AdavtiveAvgPool1d	Sitä käytetään soveltamaan 1D adaptiivista keskimääräistä yhdistämistä useista tulotasoista koostuvan tulosignaalin yli.
17) torch.nn.AdavtiveAvgPool2d	Sitä käytetään soveltamaan 2D adaptiivista keskimääräistä yhdistämistä useista tulotasoista koostuvan tulosignaalin yli.
18) torch.nn.AdavtiveAvgPool3d	Sitä käytetään soveltamaan adaptiivista 3D-keskiarvoa useista tulotasoista koostuvan tulosignaalin yli.
5.	Pehmustekerrokset
1) taskulamppu.nn.ReflectionPad1d	Se täyttää tulotensorin käyttämällä tulorajan heijastusta.
2) taskulamppu.nn.ReflactionPad2d	Se täyttää tulotensorin käyttämällä tulorajan heijastusta.
3) torch.nn.ReplicationPad1	Se täyttää syöttötensorin käyttämällä tulorajan replikaatiota.
4) torch.nn.ReplicationPad2d	Se täyttää syöttötensorin käyttämällä tulorajan replikaatiota.
5) torch.nn.ReplicationPad3d	Se täyttää syöttötensorin käyttämällä tulorajan replikaatiota.
6) taskulamppu.nn.ZeroPad2d	Se täyttää tulotensorin rajat nollalla.
7) taskulamppu.nn.ConstantPad1d	Se täyttää tulotensorin rajat vakioarvolla.
8) torch.nn.ConstantPad2d	Se täyttää tulotensorin rajat vakioarvolla.
9) torch.nn.ConstantPad3d	Se täyttää tulotensorin rajat vakioarvolla.
6.	Epälineaariset aktivaatiot (painotettu summa, epälineaarisuus)
1) taskulamppu.nn.ELU	Sitä käytetään elementtikohtaisen funktion soveltamiseen: ELU(x)=max(0,x)+min(0,α*(exp(x)-1))
2) taskulamppu.nn.Hardshrink	Sitä käytetään kovakutistumisfunktion elementtikohtaiseen toimintoon:
3) taskulamppu.nn.LeakyReLU	Sitä käytetään elementtikohtaisen funktion soveltamiseen: LeakyReLu(x)=max(0,x) +negatiivinen_kaltevuus*min(0,x)
4) taskulamppu.nn.LogSigmoid	Sitä käytetään elementtikohtaisen funktion soveltamiseen:
5) taskulamppu.nn.MultiheadAttention	Sitä käytetään antamaan mallille mahdollisuus käsitellä tietoja eri esitysalaavaruuksista
6) taskulamppu.nn.PReLU	Sitä käytetään elementtikohtaisen funktion soveltamiseen: PReLU(x)=max(0,x)+a*min(0,x)
7) taskulamppu.nn.ReLU	Sitä käytetään korjatun lineaarisen yksikön funktioelementtikohtaisesti: ReLU(x)=max(0,x)
8) taskulamppu.nn.ReLU6	Sitä käytetään elementtikohtaisen funktion soveltamiseen: ReLU6(x)=min(max(0,x),6)
9) taskulamppu.nn.RReLU	Sitä käytetään satunnaistetun vuotavan oikaistun lineaarisen yksikköfunktion soveltamiseen elementtikohtaisesti, kuten artikkelissa on kuvattu:
10) taskulamppu.nn.SELU	Sitä käytetään elementtikohtaisen funktion soveltamiseen seuraavasti: SELU(x)=skaala*(max(0,x)+ min(0,a*(exp(x)-1))) Tässä α = 1,6732632423543772848170429916717 ja mittakaava = 1,0507009873554804934193349852946.
11) taskulamppu.nn.TARGET	Sitä käytetään elementtikohtaisen funktion soveltamiseen seuraavasti:
12) taskulamppu.nn.Sigmoid	Sitä käytetään elementtikohtaisen funktion soveltamiseen seuraavasti:
13) taskulamppu.nn.Softplus	Sitä käytetään elementtikohtaisen funktion soveltamiseen seuraavasti:
14) taskulamppu.nn.Softshrink	Sitä käytetään pehmeän kutistumisen funktion soveltamiseen elementteihin seuraavasti:
15) taskulamppu.nn.Softsign	Sitä käytetään elementtikohtaisen funktion soveltamiseen seuraavasti:
16) taskulamppu.nn.Tanh	Sitä käytetään elementtikohtaisen funktion soveltamiseen seuraavasti:
17) taskulamppu.nn.Tanhshrink	Sitä käytetään elementtikohtaisen funktion soveltamiseen seuraavasti: Tanhshrink(x)=x-Tanh(x)
18) taskulamppu.nn.Kynnys	Sitä käytetään syötteen tensorin jokaisen elementin kynnysarvoihin. Kynnys määritellään seuraavasti:
7.	Epälineaariset aktivoinnit (muut)
1) taskulamppu.nn.Softmin	Sitä käytetään soveltamaan softmin-funktiota n-ulotteiseen Tensor-tuloon niiden skaalaamiseksi uudelleen. Sen jälkeen n-ulotteisen lähtötensorin elementit ovat välillä 0, 1 ja summa 1:een. Softmin määritellään seuraavasti:
2) taskulamppu.nn.Softmax	Sitä käytetään soveltamaan softmax-funktiota n-ulotteiseen Tensor-tuloon niiden skaalaamiseksi uudelleen. Sen jälkeen n-ulotteisen lähtötensorin elementit ovat välillä 0, 1 ja summa 1:een. Softmax määritellään seuraavasti:
3) taskulamppu.nn.Softmax2d	Sitä käytetään soveltamaan SoftMax-ominaisuuksia jokaiseen paikkaan.
4) taskulamppu.nn.LogSoftmax	Sitä käytetään soveltamaan LogSoftmax-funktiota n-ulotteiseen tulotensoriin. LofSoftmax-toiminto voidaan määritellä seuraavasti:
5) torch.nn.AdaptiveLogSoftmaxWithLoss	Se on strategia koulutusmalleille, joissa on suuret tulostustilat. Se on erittäin tehokas, kun etiketin jakelu on erittäin epätasapainoinen
8.	Normalisointikerrokset
1) taskulamppu.nn.BatchNorm1d	Sitä käytetään eränormalisointiin 2D- tai 3D-tulojen yli.
2) taskulamppu.nn.BatchNorm2d	Sitä käytetään eränormalisointiin 4D:ssä.
3) taskulamppu.nn.BatchNorm3d	Sitä käytetään eränormalisointiin 5D-tuloissa.
4) taskulamppu.nn.GroupNorm	Sitä käytetään ryhmän normalisoimiseen syötteiden minierässä.
5) torch.nn.SyncBatchNorm	Sitä käytetään eränormalisointiin n-ulotteisten tulojen yli.
6) taskulamppu.nn.InstanceNorm1d	Sitä käytetään esiintymän normalisoimiseen 3D-tulon yli.
7) taskulamppu.nn.InstanceNorm2d	Sitä käytetään esiintymän normalisoimiseen 4D-tulon yli.
8) taskulamppu.nn.InstanceNorm3d	Sitä käytetään esiintymän normalisoimiseen 5D-tulon yli.
9) taskulamppu.nn.LayerNorm	Sitä käytetään kerroksen normalisoimiseen syötteiden minierässä.
10) torch.nn.LocalResponseNorm	Sitä käytetään paikallisen vasteen normalisoimiseen useista tulotasoista koostuvan tulosignaalin yli, jossa kanava sijaitsee toisessa ulottuvuudessa.
9.	Toistuvat kerrokset
1) taskulamppu.nn.RNN	Sitä käytetään monikerroksisen Elman RNN:n lisäämiseen, jossa on tanh- tai ReLU-epälineaarisuus tulosekvenssiin. Jokainen kerros laskee seuraavan funktion jokaiselle syöttösekvenssin elementille: ht=tanh(Wniitäxt+bniitä+WHHtt-1+bHH)
2) taskulamppu.nn.LSTM	Sitä käytetään monikerroksisen pitkän lyhytaikaisen muistin (LSTM) RNN:n lisäämiseen syöttösekvenssiin. Jokainen kerros laskee seuraavan funktion jokaiselle syöttösekvenssin elementille:
3) taskulamppu.nn.GRU	Sitä käytetään monikerroksisen portitetun toistuvan yksikön (GRU) RNN:n lisäämiseen tulosekvenssiin. Jokainen kerros laskee seuraavan funktion jokaiselle syöttösekvenssin elementille:
4) taskulamppu.nn.RNNCell	Sitä käytetään syöttämään syötesekvenssiin Elman RNN -solua, jossa on tanh- tai ReLU-epälineaarisuus. Jokainen kerros laskee seuraavan funktion jokaiselle syöttösekvenssin elementille: h'=tanh(Wniitäx+bniitä+WHHh+bHH) ReLU:ta käytetään sanan tanh sijasta
5) taskulamppu.nn.LSTMCell	Sitä käytetään pitkän lyhytaikaisen muistin (LSTM) solun lisäämiseen syöttösekvenssiin. Jokainen kerros laskee seuraavan funktion jokaiselle syöttösekvenssin elementille: Missä σ on sigmoidifunktio ja * on Hadamardin tulo.
6) taskulamppu.nn.GRUCell	Sitä käytetään GRU (Gated Recurrent Unit) -solun lisäämiseen syöttösekvenssiin. Jokainen kerros laskee seuraavan funktion jokaiselle syöttösekvenssin elementille:
10.	Lineaariset kerrokset
1) taskulamppu.nn.Identiteetti	Se on paikkamerkkiidentiteettioperaattori, joka ei ole herkkä argumenteille.
2) taskulamppu.nn.Lineaarinen	Sitä käytetään lineaarisen muunnoksen soveltamiseen saapuvaan dataan: y=xAT+b
3) taskulamppu.nn.Bilineaarinen	Sitä käytetään bilineaarisen muunnoksen soveltamiseen saapuviin tietoihin: y=x1Kirves2+b
yksitoista.	Pudotuskerrokset
1) taskulamppu.nn.Dropout	Sitä käytetään hermosolujen yhteissopeutumisen normalisointiin ja ehkäisyyn. Tekijä harjoituksen aikana skaalaa tehoa. Tämä tarkoittaa, että moduuli laskee identiteettifunktion arvioinnin aikana.
2) taskulamppu.nn.Dropout2d	Jos ominaisuuskarttojen vierekkäiset pikselit korreloivat, torch.nn.Dropout ei säädä aktivaatioita ja se vähentää todellista oppimisnopeutta. Tässä tapauksessa torch.nn.Dropout2d() käytetään edistämään ominaisuuskarttojen riippumattomuutta.
3) taskulamppu.nn.Dropout3d	Jos piirrekarttojen vierekkäiset pikselit korreloivat, torch.nn.Dropout ei säädä aktivaatioita, ja se vähentää todellista oppimisnopeutta. Tässä tapauksessa torch.nn.Dropout2d () käytetään edistämään ominaisuuskarttojen riippumattomuutta.
4) taskulamppu.nn.AlphaDropout	Sitä käytetään Alpha Dropoutin lisäämiseen syötteen päälle. Alpha Dropout on Dropout-tyyppi, joka ylläpitää itsestään normalisoituvaa ominaisuutta.
12.	Harvat kerrokset
1) taskulamppu.nn.Upottaminen	Sitä käytetään sanan upotusten tallentamiseen ja niiden hakemiseen indeksien avulla. Moduulin syöte on luettelo indekseistä ja tulos on vastaava sanan upotus.
2) taskulamppu.nn.EmbeddingBag	Sitä käytetään upotuksen 'pussien' summien tai keskiarvojen laskemiseen ilman välimuotoista upotusta.
13.	Etäisyystoiminto
1) taskulamppu.nn.KosiiniSimilarity	Se palauttaa kosinin samankaltaisuuden x1 ja x2 välillä, laskettuna dim mukaan.
2) taskulamppu.nn.PairwiseDistance	Se laskee vektorien v1, v2 välisen eräkohtaisen parittaisen etäisyyden p-normin avulla:
14.	Häviötoiminto
1) taskulamppu.nn.L1Loss	Sitä käytetään kriteeriin, joka mittaa keskimääräistä absoluuttista virhettä syötteen x ja kohteen y kunkin elementin välillä. Vähentämätön tappio voidaan kuvata seuraavasti: l(x,y)=L={l1,...,ln}, ln=|xn-jan|, Missä N on erän koko.
2) taskulamppu.nn.MSELoss	Sitä käytetään kriteeriin, joka mittaa keskimääräistä neliövirhettä syötteen x ja kohteen y kunkin elementin välillä. Vähentämätön tappio voidaan kuvata seuraavasti: l(x,y)=L={l1,...,ln}, ln=(xn-jan)2, Missä N on erän koko.
3) taskulamppu.nn.CrossEntropyLoss	Tämä kriteeri yhdistää nn.LogSoftmax() ja nn.NLLLoss() yhteen luokkaan. Siitä on apua, kun harjoittelemme luokitusongelmaa C-luokilla.
4) taskulamppu.nn.CTCLoss	Connectionist Temporal Classification -häviö laskee menetyksen jatkuvan aikasarjan ja kohdesekvenssin välillä.
5) taskulamppu.nn.NLLLoss	Negative Log-Todennäköisyyshäviötä käytetään luokitteluongelman harjoittamiseen C-luokissa.
6) taskulamppu.nn.PoissonNLLLoss	Negatiivinen log-todennäköisyyshäviö Poisson-jakaumalla t kohde~Poisson(input)loss(input,target)=tulo-kohde*log(kohde!)he target.
7) taskulamppu.nn.KLDivLoss	Se on hyödyllinen etäisyysmitta jatkuvalle jakelulle, ja se on hyödyllinen myös silloin, kun suoritamme suoran regression jatkuvan tulosjakauman avaruudessa.
8) taskulamppu.nn.BCELoss	Sitä käytetään luomaan kriteeri, joka mittaa kohteen ja lähdön välistä binaarista ristientropiaa. Vähentämätön tappio voidaan kuvata seuraavasti: l(x,y)=L={l1,...,ln}, ln=-vn[jan*logxn+ (1-vn)*log(1-xn)], Missä N on erän koko.
9) torch.nn.BCEWithLogitsLoss	Se yhdistää Sigmoid-kerroksen ja BCELossin yhteen luokkaan. Voimme hyödyntää log-sum-exp temppua numeerisen vakauden saavuttamiseksi yhdistämällä operaation yhdeksi kerrokseksi.
10) taskulamppu.nn.MarginRankingLoss	Se luo kriteerin, joka mittaa annettujen syötteiden x1, x2, kahden 1D-minierätensorin häviötä ja otsikon 1D-minierätensorin y, jotka sisältävät 1 tai -1. Jokaisen minierän näytteen hävikkifunktio on seuraava: häviö(x,y)=max(0,-y*(x1-x2)+marginaali
11) torch.nn.HingeEmbeddingLoss	HingeEmbeddingLoss mittaa tietyn syötetensorin x ja tarratensorin y, jotka sisältävät 1 tai -1, häviön. Sitä käytetään mittaamaan, ovatko kaksi tuloa samanlaisia ​​vai erilaisia. Häviöfunktio määritellään seuraavasti:
12) taskulamppu.nn.MultiLabelMarginLoss	Sitä käytetään luomaan kriteeri, joka optimoi moniluokkaisen moniluokituksen saranahäviön tulon x ja lähdön y välillä.
13) taskulamppu.nn.SmoothL1Loss	Sitä käytetään luomaan kriteeri, joka käyttää neliötermiä, jos absoluuttinen alkiokohtainen virhe laskee alle 1:n ja muuten L1-termi. Se tunnetaan myös nimellä Huberin menetys:
14) torch.nn.SoftMarginLoss	Sitä käytetään luomaan kriteeri, joka optimoi kahden luokan luokittelun logistisen häviön tulotensorin x ja kohdetensorin y välillä, jotka sisältävät 1 tai -1.
15) torch.nn.MultiLabelSoftMarginLoss	Sitä käytetään luomaan kriteeri, joka optimoi usean etiketin yksi vastaan ​​kaikki -häviön tulon x ja koon (N, C) kohteen y välisen max-entropian perusteella.
16) torch.nn.CosineEmbeddingLoss	Sitä käytetään luomaan kriteeri, joka mittaa annettujen tulotensorien x1, x2 häviötä ja tensorinimike y arvoilla 1 tai -1. Sitä käytetään kosinietäisyyden avulla mittaamaan, ovatko kaksi tuloa samanlaisia ​​vai erilaisia.
17) taskulamppu.nn.MultiMarginLoss	Sitä käytetään luomaan kriteeri, joka optimoi moniluokkaisen luokituksen saranahäviön tulon x ja lähdön y välillä.
18) taskulamppu.nn.TripletMarginLoss	Sitä käytetään luomaan kriteeri, joka mittaa annettujen tulotensorien x1, x2, x3 ja marginaalin triplettihäviötä, jonka arvo on suurempi kuin 0. Sitä käytetään näytteiden välisen suhteellisen samankaltaisuuden mittaamiseen. Tripletti koostuu ankkurista, positiivisesta esimerkistä ja negatiivisesta esimerkistä. L(a,p,n)=max{d(ai, si)-d(ai,ni)+marginaali,0}
viisitoista.	Vision kerrokset
1) taskulamppu.nn.PixelShuffle	Sitä käytetään elementtien järjestämiseen uudelleen muototensoriksi (*, C×r2,H,W) muodon tensoriksi (*,C,H×r,W,r)
2) taskulamppu.nn.Yleisnäyte	Sitä käytetään tietyn monikanavaisen 1D-, 2D- tai 3D-datan näytteenottoon.
3) torch.nn.upsamplingNearest2d	Sitä käytetään soveltamaan 2D lähimmän naapurin ylösnäytteistystä tulosignaaliin, joka koostuu useista tulokanavista.
4) taskulamppu.nn.UpsamplingBilinear2d	Sitä käytetään soveltamaan 2D bilineaarista ylösnäytteistystä tulosignaaliin, joka koostuu useasta tulokanavasta.
16.	DataParallel-kerrokset (moni-GPU, hajautettu)
1) taskulamppu.nn.DataParallel	Sitä käytetään tietojen rinnakkaisuuden toteuttamiseen moduulitasolla.
2) torch.nn.DistributedDataParallel	Sitä käytetään hajautetun datan rinnakkaisuuden toteuttamiseen, joka perustuu torch.distributed-pakettiin moduulitasolla.
3) torch.nn.DistributedDataParallelCPU	Sitä käytetään hajautetun datan rinnakkaisuuden toteuttamiseen CPU:lle moduulitasolla.
17.	Apuohjelmat
1) torch.nn.clip_grad_norm_	Sitä käytetään parametrien iteroitavan gradienttinormin leikkaamiseen.
2) torch.nn.clip_grad_value_	Sitä käytetään parametrien iteroitavan gradienttinormin leikkaamiseen määritetyllä arvolla.
3) taskulamppu.nn.parameters_to_vector	Sitä käytetään parametrien muuntamiseen yhdeksi vektoriksi.
4) torch.nn.vector_to_parameters	Sitä käytetään muuntamaan yksi vektori parametreiksi.
5) taskulamppu.nn.painon_norm	Sitä käytetään painon normalisoimiseen tietyn moduulin parametriin.
6) taskulamppu.nn.remove_weight_norm	Sitä käytetään painon normalisoinnin ja uudelleenparametrisoinnin poistamiseen moduulista.
7) torch.nn.spectral_norm	Sitä käytetään spektrin normalisoimiseen tietyn moduulin parametriin.
8) torch.nn.PackedSequence	Sitä käytetään pakatun sekvenssin datan ja eräkokoluettelon säilyttämiseen.
9) torch.nn.pack_padded_sequence	Sitä käytetään pakkaamaan Tensor, joka sisältää vaihtelevan pituisia pehmustettuja sekvenssejä.
10) torch.nn.pad_packed_sequence	Sitä käytetään pakatun erän vaihtelevan pituisia sarjoja täyttämiseen.
11) torch.nn.pad_sequence	Sitä käytetään muuttuvan pituisten tensorien luettelon täyttämiseen täytearvolla.
12) torch.nn.pack_sequence	Sitä käytetään pakkaamaan muuttuvapituisten tensorien luettelo
13) torch.nn.remove_spectral_norm	Sitä käytetään poistamaan spektrin normalisointi ja uudelleenparametrisointi moduulista.

Viite:

https://pytorch.org/docs/stable/nn.html