Big Data

Què és Big Data?

• Volum: treballen amb gran quantitat de dades recopilades de diferents fonts, com transaccions comercials, dispositius intel·ligents (IoT), xarxes socials, i més. El seu emmagatzament suposa un gran problema.

• Varietat:fan servir tot tipus de formats sempre dades estructurades.

• És una disciplina que s'encarrega de l'emmagatzematge, processament i anàlisi de grans quantitats de dades.

• Alguns dels objectius que persegueix Big Data són:

  Millora el procés de presa de decisions, prediccions acurades, detecció de fallades o fraus. Per arribar a aconseguir aquests objectius normalment es parteix d'un datagreat o conjunt de files.

Tipus d'anàlisi de les dades:

• Anàlisi descriptiva. Respon a la pregunta Què podem fer per a que hi passi?

• Anàlisi prescriptiva. Respon a la pregunta Què va passar?

• Anàlisi diagnòstica. Respon a la pregunta On va passar?

• Anàlisi predictiva. Respon a la pregunta Què passarà?

Es defineixen cinc característiques que compleixen grans datasets utilitzats en Big Data, s'anomenen les 5 Vs:

• Volum

  Ddisposar de grans quantitat de dades, les dades poden provenir de:

  - Sensors integrats a l'IoT

  - Xarxes socials

  - Transaccions online

  - Experiments científics

• Velocitat

  Les dades que s'han d'analitzar són estàtiques, es generen arreu, de manera que el flux de dades és constant.

• Varietat

  Les dades provenen de múltiples fonts que constitueixen múltiples datasets que ens veiem obligats a "integrar" de manera que els models generats deixin dades clau sense processar per generar models acurats.

• Veracitat

  És necessari que les dades utilitzades per generar els nostres models siguin veraces. Això vol dir que aquestes dades no han de proporcionar informació i han de ser de qualitat.

Tipus de dades a Big Data:

Les dades generades normalment es poden classificar en generades pels humans i generades per les màquines. De totes maneres, les dades generades pels humans ho són amb la interacció d'una màquina, que capta el comportament del humans, com poden ser els sensors d'un dispositiu mòbil. Les dades generades per màquines poden venir d'una varietat de fonts, com sensors o programes.

Les dades poden arribar en diferents formats:

Dades estructurades

Dades no-estructurades

Dades semi-estructurades

• Dades no-estructurades

  Són les dades que responen al format de taula, i per tant disposa les observacions en files i els atributs en les columnes.

  S'estima que un 80% de les dades generades són en aquest format.

• Dades semiestructurades

  En aquest apartat podem classificar dades sense jerarquia, sempre en format tabular.

  Per exemple, la informació provinent de sensors pot ser inserida en aquesta categoria.

  També dades en formats JSON i XML poden ser encabides en aquesta categoria.

• Totes les altres respostes són incorrectes.

• Dades estructurades

  Les dades estructurades habitualment es representen en format tabular, de manera que tenim clarament identificats observacions i atributs.

Emmagatzematge de dades

• Clusters

  Un cluster és un conjunt de màquines connectades entre si per mitjà d'una xarxa, anomenats nodes. Cadascun d'aquests nodes té un recursos físics disponibles

• Sistemes de fitxers distribuïts

  Un sistema de fitxers proveeix als discs durs i altres suports físics com DVD, pen drives, etc, una estructura física que permet als sistemes operatius guardar i llegir dades de diferents suports lògics.

• NoSQL

  És un tipus de bases de dades que està especialitzat en l'emmagatzematge de dades estructurades i semiestructurades,

• Fragmentació (sharding)

  La fragmentació o sharding és un procés pel qual un conjunt de dades s'agrupen en conjunts de dades més grans i després es reparteixen entre els nodes d'un cluster

Teorema CAP

CAP és l'acrònim de Consistency, Availability i Partition (consistència, disponibilitat i partició). El teorema CAP estableix que només dues de les tres propietats següents poden complir-se en un sistema distribuït:

• Partició: el sistema no funciona si un número de missatges es perden o es retarden.

• Consistència: qualsevol escriptura rep una resposta o un error.

• Divisió: les dades estructurades i no estructurades es classifiquen per separat i reben diferents respostes.

• Disponibilitat: qualsevol petició rep una respostà no errònia, encara que no sigui la més recent.

Es poden realitzar dos tipus d'anàlisi que condicionen els resultats obtinguts. Són:

· Anàlisi quantativa

· Anàlisi qualitativa

Dir les diferències entre les dues.

Data Minin
La mineria de dades o data mining és el procés pel qual s'analitzen grans quantitat de dades per extreure coneixement d'elles, i que utilitza algoritmes de machine learning aplicats a grans conjunts de dades. 

• Utilitza uns algoritmes de l'estadística tradicional, i que són aplicades a grans conjunts de dades, que és el que es coneix com Big Data.

• El data mining forma part de l'anàlisi de dades utilitzant una branca de la intel·ligència artificial, que és el machine learning

• La mineria de dades o Big Data tenen el mateix significat.

• Totes les respostes són correctes.

Anàlisi visual

Per iniciar un procés d'anàlisi de dades és visualitzar-les convenienment. Amb una bona visualització inicial, podem ser capaços de discernir certs patrons (o absència d'ells), i ens pot ajudar a saber què és el que volem buscar (anàlisi exploratori).

• Gràfic de barres

  Representa la relació entre una variable categòrica i les alçades de les barres proporcionals als valors que representen.

• Histograma

  Ens permet visualitzar la distribució d'una variable numèrica. A l'eix x tindrem la variable de la qual volem veure la distribució i a l'eix y la mitjana d'ocurrències.

• Gràfic de dispersió o scatterplot

  Ens permet relacionar tres o més dades numèriques i visualitzar-ne relacions (o la manca d'elles).

• Diagrama de caixa o boxplot

  Representa gràficament una variable alfanumèrica a través dels seus quartils.