-
Addestramento con Dataset Sbilanciati
Authors:
Massimiliano Morrelli
Abstract:
English. The following document pursues the objective of comparing some useful methods to balance a dataset and obtain a trained model. The dataset used for training is made up of short and medium length sentences, such as simple phrases or extracts from conversations that took place on web channels. The training of the models will take place with the help of the structures made available by the A…
▽ More
English. The following document pursues the objective of comparing some useful methods to balance a dataset and obtain a trained model. The dataset used for training is made up of short and medium length sentences, such as simple phrases or extracts from conversations that took place on web channels. The training of the models will take place with the help of the structures made available by the Apache Spark framework, the models may subsequently be useful for a possible implementation of a solution capable of classifying sentences using the distributed environment, as described in "New frontier of textual classification: Big data and distributed calculation" by Massimiliano Morrelli et al.
Italiano. Il seguente documento persegue l'obiettivo di mettere a confronto alcuni metodi utili a bilanciare un dataset e ottenere un modello addestrato. Il dataset utilizzato per l'addestramento è composto da frasi di lunghezza breve e media, come frasi semplici o estratte da conversazioni avvenute su canali web. L'addestramento dei modelli avverrà con l'ausilio delle strutture messe a disposizione dal framework Apache Spark, i modelli successivamente potranno essere utili a un eventuale implementazione di una soluzione in grado di classificare frasi sfruttando l'ambiente distribuito, come descritto in "Nuova frontiera della classificazione testuale: Big data e calcolo distribuito" di Massimiliano Morrelli et al.
△ Less
Submitted 18 August, 2020;
originally announced August 2020.
-
Similarità per la ricerca del dominio di una frase
Authors:
Massimiliano Morrelli,
Giacomo Pansini,
Massimiliano Polito,
Arturo Vitale
Abstract:
English. This document aims to study the best algorithms to verify the belonging of a specific document to a related domain by comparing different methods for calculating the distance between two vectors. This study has been made possible with the help of the structures made available by the Apache Spark framework. Starting from the study illustrated in the publication "New frontier of textual cla…
▽ More
English. This document aims to study the best algorithms to verify the belonging of a specific document to a related domain by comparing different methods for calculating the distance between two vectors. This study has been made possible with the help of the structures made available by the Apache Spark framework. Starting from the study illustrated in the publication "New frontier of textual classification: Big data and distributed calculus" by Massimiliano Morrelli et al., We wanted to carry out a study on the possible implementation of a solution capable of calculating the Similarity of a sentence using the distributed environment.
Italiano. Il presente documento persegue l'obiettivo di studiare gli algoritmi migliori per verificare l'appartenenza di un determinato documento a un relativo dominio tramite un confronto di diversi metodi per il calcolo della distanza fra due vettori. Tale studio è stato condotto con l'ausilio delle strutture messe a disposizione dal framework Apache Spark. Partendo dallo studio illustrato nella pubblicazione "Nuova frontiera della classificazione testuale: Big data e calcolo distribuito" di Massimiliano Morrelli et al., si è voluto realizzare uno studio sulla possibile implementazione di una soluzione in grado di calcolare la Similarità di una frase sfruttando l'ambiente distribuito.
△ Less
Submitted 31 January, 2020;
originally announced February 2020.
-
Nuova frontiera della classificazione testuale: Big data e calcolo distribuito
Authors:
Marco Covelli,
Massimiliano Morrelli
Abstract:
This document was created in order to study the algorithms for the categorization of phrases and rank them using the facilities provided by the framework Apache Spark. Starting from the study illustrated in the publication "Classifying textual data: shallow, deep and ensemble methods" by Laura Anderlucci, Lucia Guastadisegni, Cinzia Viroli, we wanted to carry out a study on the possible realizatio…
▽ More
This document was created in order to study the algorithms for the categorization of phrases and rank them using the facilities provided by the framework Apache Spark. Starting from the study illustrated in the publication "Classifying textual data: shallow, deep and ensemble methods" by Laura Anderlucci, Lucia Guastadisegni, Cinzia Viroli, we wanted to carry out a study on the possible realization of a solution that uses the distributed environment and allows the classification of phrases. Italiano. Il presente documento persegue l'obiettivo di studiare gli algoritmi per la categorizzazione di frasi e classificarle con l'ausilio delle strutture messe a disposizione dal framework Apache Spark. Partendo dallo studio illustrato nella pubblicazione "Classifying textual data: shallow, deep and ensemble methods" di Laura Anderlucci, Lucia Guastadisegni e Cinzia Viroli si è voluto realizzare uno studio sulla possibile implementazione di una soluzione in grado di classificare frasi sfruttando i l'ambiente distribuito.
△ Less
Submitted 28 June, 2019;
originally announced August 2019.
-
Integrazione di Apache Hive con Spark
Authors:
Michele Gentile,
Massimiliano Morrelli
Abstract:
English. This document describes the solutions adopted, which arose from the need to transfer a large amount of information between the most famous distributed SQL and NoSQL storage systems to perform analysis and/or modification operations exploiting the peculiarities of the same. The goal was achieved using the Spark engine and studying and using the open source library "Hive Warehouse Connector…
▽ More
English. This document describes the solutions adopted, which arose from the need to transfer a large amount of information between the most famous distributed SQL and NoSQL storage systems to perform analysis and/or modification operations exploiting the peculiarities of the same. The goal was achieved using the Spark engine and studying and using the open source library "Hive Warehouse Connector" made by Hortonworks. It provides new interoperability features between Hive and Spark. The choice fell on these APIs in order to take advantage from Spark's distributed computing through Spark-Sql libraries, to allow a quick reading and writing on the databases chosen by the Network Contacts Systems Engineering Team and to make the stored information available for consultation outside the Ambari cluster.
Italiano. Il presente documento descrive le soluzioni adottate, nate dalla necessità di trasferire un elevato numero di informazioni tra i più famosi sistemi distribuiti di archiviazione SQL e NoSQL per effettuare operazioni di analisi e/o modifica sfruttando le peculiarità degli stessi. L'obiettivo è stato raggiunto utilizzando l'engine Spark e studiando e utilizzando la libreria open source "Hive Warehouse Connector" messa a disposizione da Hortonworks che fornisce nuove funzionalità di interoperabilità tra Hive e Spark. La scelta è ricaduta su queste API per poter avvalersi del calcolo distribuito di Spark mediante le librerie di Spark-Sql, per consentire una rapida lettura e scrittura sui database scelti dal team di Ingegneria dei Sistemi di Network Contacts al fine di rendere consultabili le informazioni archiviate all'esterno del cluster Ambari.
△ Less
Submitted 15 January, 2019;
originally announced January 2019.
-
Studio e confronto delle strutture di Apache Spark
Authors:
Massimiliano Morrelli
Abstract:
English. This document is designed to study the data structures that can be used in the Apache Spark framework and to evaluate the best performing ones to implement solutions, in particular we will evaluate advantages / disadvantages deriving from the use of Dataset for job creation. The observation of the results provides further support in evaluating the use of Dataset as an alternative to RDD,…
▽ More
English. This document is designed to study the data structures that can be used in the Apache Spark framework and to evaluate the best performing ones to implement solutions, in particular we will evaluate advantages / disadvantages deriving from the use of Dataset for job creation. The observation of the results provides further support in evaluating the use of Dataset as an alternative to RDD, in order to understand its strengths and weaknesses. The examination of the results is possible thanks to specifically designed and implemented in Java 1.8 language. The execution of the jobs, entrusted to a suitable distributed environment, will end with the comparison between execution times and results obtained.
Italiano. Il presente documento nasce allo scopo di studiare le strutture dati utilizzabili nel framework Apache Spark e valutare quelle più performanti per implementare soluzioni; valuteremo in articolare i vantaggi / svantaggi derivanti dall'utilizzo dei Dataset nella progettazione dei job. L'osservazione dei risultati fornisce ulteriore supporto nel valutare l'utilizzo dei Dataset in alternativa a RDD, al fine di comprederne i punti di forza e di debolezza. L'esame dei risultati è possibile in virtù di due casi appositamente pensati e implementati in linguaggio Java 1.8. L'esecuzione dei job, affidata a un adeguato ambiente distribuito, si concluderà con il confronto tra tempi di esecuzione e risultati ottenuti.
△ Less
Submitted 29 October, 2018;
originally announced October 2018.
