big data 2

În cazul metodelor cu învățare supervizată:

• Dacă performanțele modelului sunt foarte bune la antrenare și slabe la testare se recomandă utilizarea clasificarii

• Setul de date se imparte in cel putin 2 subseturi: set de antrenare si set de testare

• Pentru evitarea supra-antrenării se recomandă arborii de decizie

• Nu se recomanda scalarea sau normalizarea datelor deoarece se modifica distributia setului de date setului de date

Modelele de clasificare se pot evalua cu ajutorul următoarelor metrici:

• Recall – dacă valoarea sa este apropiată de valoarea 0.5, atunci modelul înregistrează performanțe bune

• RO-AUC - daca valoarea este apropiata de 0, atunci modelul inregistreaza performante bune

• F1 Score - dacă valoarea sa este apropiata de 1 atunci modelul înregistrează performanțe bune

• Precission – dacă valoarea sa este apropiată de valoarea 0.5, atunci modelul înregistrează performanțe bune

În construirea unei rețele neuronale artificiale:

• Stratul final (output layer) conține întotdeauna un singur neuron

• Numărul de neuroni pe stratul de intrare poate fi diferit de dimensiunea variabilei X

• Numarul de straturi ascuse este direct proportional cu numarul de iteratii

• Parametrii cei mai importanti sunt: numărul de neuroni pe fiecare strat, funcțiile de activare si learning rate

Metodele de analiza prescriptiva:

• Utilizeaza preponderent algoritmi de tip Machine Learning

• Presupun aplicarea metodelor matematice si computationale pentru determinarea unor optiuni de decizie

• Sunt utilizate pentru a prezice tendintele si tiparele de comportament

• Furnizeaza actiunile necesare pentru a obtine rezultatele previzibile, cat si efectele si implicatiile fiecarei optiuni decizionale

Se consideră următorul grafic obținut în urma evaluării performanțelor unui model de clafisificare Selectați răspunsul corect:

• Sunt reprezentate metricile Recall și Precission, iar în acest caz modelul are valorile de 0.5 și 0.98

• Graficul reprezintă curba de învățare și validare

• Sunt reprezentate metricile Recall și Precission, iar în acest caz modelul are valorile de 0.5 și 1

• Graficul evaluează scorul ROC-AUC obținut de model. In acest caz modelul are un scor de aproximativ 0.98, ceea ce reprezintă o performanță bună

Metodele de analiza descriptiva:

• Ofera o retrospectiva unica asupra datelor istorice

• Permit analiza evenimentelor istorice prin metrici, indicatori cheie de performanta (KPI), rapoarte integrate in tablouri de bord (dashboard)

• Identifica principalele puncte slabe/forte si cauzele care le genereaza

• Se aplica de regula pe date prelucrate si structurate

Modelele de tip regresie se pot evalua cu ajutorul următoarelor metrici:

• 𝑅2score (coeficientul de determinare) – dacă valoarea sa este apropiată de valoarea 1, atunci modelul înregistrează performanțe bune

• Precission (precizia) – dacă valoarea sa este apropiată de valoarea 1, atunci modelul înregistrează performanțe bune

• Mean Squared Error (MSE) - dacă valoarea sa este apropiată de valoarea 1, atunci modelul înregistrează performanțe bune

• Accuracy (acuratețea) – dacă valoarea sa este apropiată de valoarea 1, atunci modelul înregistrează performanțe bune

În evaluarea metodelor cu învățare supervizată:

• Pentru cazurile de overfitting se recomandă utilizarea regresiei polinomiale

• Pentru cazurile de high bias se recomandă creșterea setului de antrenare

• Pentru cazurile de high bias se recomandă diminuarea complexității modelului

• Pentru cazurile de overfitting se recomandă printre altele: reducerea complexității modelului sau mărirea setului de antrenare

Pentru metodele de clasificare:

• Obiectivul este de a determina apartenenta variabilei target la o clasa de valori cu o anumita probabilitate

• Variabila target trebuie să aparțină doar mulțimii {0,1}

• Retelele neuronale nu se pot utiliza in clasificare deoarece au doar functii de activare de tip liniar

• Nu se pot estima probabilitățile de apartenență a variabilei target la clasele inițiale

Rețele neuronale artificiale:

• Rezolvă problemele de High Variance deoarece au un model complex

• Nu sunt recomandate în aplicații cu date nestructurate deoarece sunt modele complexe și necesită resurse de calcul

• Presupun propagarea inainte a semnalului de pe stratul de intrare (feed-forward)

• Presupun actualizarea iterativă a ponderilor în etapa de antrenare pornind de la primul strat până la ultimul strat (feed-forward of errors)