Dissertação
Does Big Data Require Big Systems? A Study of Complex Versus Lean Distributed Data Processing Systems EVALUATED
O paradigma dos macrodados é caracterizado pela necessidade de reunir e processar conjuntos de dados com grandes volumetrias, que chegam aos sistemas com grandes velocidades, numa variedade de formatos. Os sistemas especializados de processamento de macrodados, como o Apache Hadoop, o Hive e o Spark, oferecem abstrações úteis para lidar com os macrodados em conjuntos de máquinas distribuídos, mas são sistemas complexos e combinam muitas bibliotecas em extensas árvores de dependências. Como alternativa, Unicage depende somente do sistema operativo e das bibliotecas de tempo de execução do C para criar sistemas mais simples de processamento de macrodados. Este estudo compara os desempenhos das duas abordagens através de medições para o carregamento e processamento de conjuntos de macrodados estruturados e não estruturados em conjuntos de máquinas na nuvem de computação da IBM. As volumetrias dos conjuntos de dados de entrada variaram de 64 GB a 8192 GB. Os resultados experimentais mostram que o desempenho do carregamento de dados com Unicage é comparável ao do carregamento para o HDFS (o sistema de ficheiros distribuídos do Hadoop) para dados não estruturados e muito superior para dados estruturados. Para o processamento de dados, os resultados mostram que o desempenho do Unicage é superior ao do Spark para cargas de procura e inferior mas comparável ao do Spark para cargas de agrupamento. No entanto, as abstrações distribuídas do Hadoop permitem ao Spark executar cargas de processamento mais complicadas, como a ordenação e a junção, com resultados corretos, quando não é possível com Unicage.
novembro 14, 2022, 13:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Auxiliar
