Šta će se dogoditi ako je testni uzorak 90% dok je evaluacijski ili prediktivni uzorak 10%?
U području mašinskog učenja, posebno kada se koriste okviri kao što je Google Cloud Machine Learning, podjela skupova podataka na podskupove za obuku, validaciju i testiranje je fundamentalni korak. Ova podjela je kritična za razvoj robusnih i generaliziranih prediktivnih modela. Specifičan slučaj u kojem testni uzorak čini 90% podataka dok je evaluacijski ili prediktivni uzorak samo 10% predstavlja nekoliko značajnih implikacija i potencijalnih problema.
Proporcije podataka za obuku i testiranje
Tipično, standardna praksa u mašinskom učenju uključuje dijeljenje skupa podataka na tri glavna dijela:
1. Set za obuku: Obično obuhvata 60-80% podataka. Ovaj podskup se koristi za obuku modela.
2. Set za validaciju: Obično 10-20% podataka. Ovaj podskup se koristi za podešavanje hiperparametara i za odabir modela.
3. Test set: Generalno 10-20% podataka. Ovaj podskup se koristi za procjenu performansi konačnog modela.
Obrazloženje iza ovih proporcija je da se osigura da model ima dovoljno podataka za učenje iz (skup za obuku), dok također ima adekvatne podatke za validaciju i testiranje njegove performanse bez prekomjerne ili nedovoljno opremljene.
Implikacije 90% testnog seta
Kada je probni uzorak 90%, a evaluacijski ili prediktivni uzorak samo 10%, pojavljuje se nekoliko kritičnih problema:
1. Nedovoljni podaci o obuci: Sa samo 10% podataka dostupnih za obuku, model možda neće imati dovoljno primjera da nauči osnovne obrasce i odnose unutar podataka. Modeli mašinskog učenja, posebno oni složeni kao što su duboke neuronske mreže, zahtijevaju značajne količine podataka da bi se dobro generalizirali i izbjeglo prekomjerno prilagođavanje. Ograničeni skup treninga može dovesti do modela koji ima slab učinak na novim, nevidljivim podacima jer nije bio izložen raznolikom i sveobuhvatnom skupu primjera obuke.
2. Rizik od preopterećenja: Uz mali set za obuku, model je izložen većem riziku od prenamjene. Preopterećenje se dešava kada model nauči buku i specifične detalje podataka o obuci, a ne opšte obrasce. Ovo rezultira modelom koji dobro radi na podacima o obuci, ali loše na podacima testa. S obzirom da je 90% podataka rezervisano za testiranje, metrika performansi modela će vjerovatno otkriti ovo preklapanje, pokazujući značajan pad performansi od treninga do faze testiranja.
3. Netačnost evaluacije: Svrha testnog skupa je da pruži nepristrasnu procjenu konačnog modela. Međutim, ako je testni skup neproporcionalno velik u poređenju sa skupom za obuku, procjena možda neće biti tačna. Model nije vidio dovoljno raznolikih podataka da bi se dobro generalizovao, što čini metriku performansi testnog skupa manje pouzdanim kao pokazateljima performansi u stvarnom svijetu.
4. Hiperparametarsko podešavanje i odabir modela: Sa samo 10% podataka za obuku, također je manje dostupnih podataka u svrhu validacije. Hiperparametarsko podešavanje i procesi odabira modela oslanjaju se na dovoljan skup validacije kako bi se izbjeglo prekomjerno prilagođavanje i odabrali najbolji parametri modela. Mali skup za obuku ograničava količinu podataka koji se može dodijeliti skupu za validaciju, što dodatno komplikuje proces optimizacije modela.
Primjer scenarija
Razmislite o scenariju u kojem obučavamo model mašinskog učenja za klasifikaciju slika mačaka i pasa. Pretpostavimo da imamo skup podataka od 10,000 slika.
- Standard Split:
– Set za obuku: 7,000 slika
– Set za validaciju: 1,500 slika
– Test set: 1,500 slika
- 90% Test Split:
– Set za obuku: 1,000 slika
– Set za validaciju: 500 slika
– Test set: 9,000 slika
U standardnom split-u, model ima pristup do 7,000 slika kako bi naučio razlikovne karakteristike mačaka i pasa. Ovaj veći set za obuku omogućava modelu da razvije robusno razumijevanje varijacija na slikama. Skup za provjeru valjanosti pomaže u finom podešavanju modela, a skup za testiranje pruža nepristrasnu procjenu njegovih performansi.
U scenariju podjele testa od 90%, model ima samo 1,000 slika za obuku. Ovaj ograničeni skup podataka možda neće obuhvatiti punu varijabilnost slika, što dovodi do modela koji bi mogao dobro funkcionirati na setu za obuku, ali loše na testnom skupu. Proces validacije je takođe ugrožen sa samo 500 slika, što čini izazovom efikasno fino podešavanje modela. Skup testova, iako velik, ne nadoknađuje nedostatak dovoljno podataka za obuku, a metrika performansi modela će vjerovatno odražavati njegovu nesposobnost generalizacije.
Praktična razmatranja
1. Povećanje podataka: Ako je ograničeno na mali skup za obuku, tehnike kao što je povećanje podataka mogu se koristiti za umjetno povećanje raznolikosti podataka o obuci. Povećanje podataka uključuje kreiranje modificiranih verzija podataka obuke kroz transformacije kao što su rotacije, translacije i skaliranje. Ovo može pomoći modelu da nauči robusnije karakteristike uprkos ograničenom originalnom setu za obuku.
2. Transfer Learning: Korištenje unaprijed obučenih modela kroz transferno učenje može ublažiti probleme koji proizlaze iz malog skupa obuke. Transferno učenje uključuje korištenje modela koji je prethodno obučen na velikom skupu podataka i fino podešavanje na manjem ciljnom skupu podataka. Ovaj pristup može značajno poboljšati performanse jer model počinje sa naučenim karakteristikama iz većeg, raznovrsnijeg skupa podataka.
3. Unakrsna validacija: Korištenje tehnika unakrsne provjere također može pomoći u izvlačenju maksimuma iz ograničenog skupa podataka. Unakrsna validacija uključuje dijeljenje podataka na više podskupova i obuku modela više puta, svaki put s različitim podskupom kao skupom za provjeru valjanosti. Ovo osigurava da je model obučen i validiran na različitim dijelovima podataka, pružajući sveobuhvatniju evaluaciju.
Dodjeljivanje 90% podataka skupu testova, a ostavljanje samo 10% za obuku je općenito nepreporučljivo u praksi mašinskog učenja. Ova nesrazmjerna podjela podriva sposobnost modela da efikasno uči, povećava rizik od preopterećenja i ugrožava pouzdanost metrike evaluacije. Standardna praksa podjele podataka na obuku, validaciju i testne skupove s uravnoteženijim proporcijama je od suštinskog značaja za razvoj robusnih i generalizacijskih modela mašinskog učenja. Korištenje tehnika kao što su povećanje podataka, učenje transfera i unakrsna validacija može pomoći u ublažavanju nekih problema povezanih s ograničenim podacima o obuci, ali osnovni princip ostaje da je dobro izbalansirana podjela skupa podataka važna za uspješan razvoj modela i evaluaciju.
Ostala nedavna pitanja i odgovori u vezi EITC/AI/GCML Google Cloud Machine Learning:
- Da li je TensorBoard najpreporučljiviji alat za vizualizaciju modela?
- Prilikom čišćenja podataka, kako se može osigurati da podaci nisu pristrasni?
- Kako mašinsko učenje pomaže kupcima u kupovini usluga i proizvoda?
- Zašto je mašinsko učenje važno?
- Koje su različite vrste mašinskog učenja?
- Treba li koristiti odvojene podatke u narednim koracima obuke modela mašinskog učenja?
- Šta znači termin predviđanje bez servera na nivou?
- Šta je metrika evaluacije?
- Šta su hiperparametri algoritma?
- Kako najbolje sažeti šta je TensorFlow?
Pogledajte više pitanja i odgovora u EITC/AI/GCML Google Cloud Machine Learning