大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色。

什么是大数据?

大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色。

大数据测试类型

测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。

在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。处理可以是三种类型：批量、实时、交互。

与此同时，数据质量也是大数据测试的一个重要因素。在测试应用程序之前，有必要检查数据的质量，并将其视为数据库测试的一部分。它涉及检查各种字段，如一致性，准确性，重复，一致性，有效性，数据完整性等。

大数据测试步骤

下图给出了测试大数据应用程序阶段的高级概述：

大数据测试实现被分成三个步。

Step 1：数据阶段验证

大数据测试的第一步，也称作pre-hadoop阶段该过程包括如下验证：

  来自各方面的数据资源应该被验证，来确保正确的数据被加载进系统

  将源数据与推送到Hadoop系统中的数据进行比较，以确保它们匹配

  验证正确的数据被提取并被加载到HDFS正确的位置

该阶段可以使用工具Talend或Datameer，进行数据阶段验证。

Step 2："MapReduce"验证

大数据测试的第二步是MapReduce的验证。在这个阶段，测试者在每个节点上进行业务逻辑验证，然后在运行多个节点后验证它们，确保如下操作的正确性：

  Map与Reduce进程正常工作

  在数据上实施数据聚合或隔离规则

  生成键值对

   在执行Map和Reduce进程后验证数据

Step 3：输出阶段验证

大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件，同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括：

  检查转换(Transformation)规则被正确应用

   检查数据完整性和成功的数据加载到目标系统中

  通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏

架构测试

Hadoop处理大量的数据，并且是非常耗费资源的。因此，架构测试对于确保您的大数据项目的成功至关重要。系统设计不当或设计不当可能导致性能下降，系统不能满足要求。至少，性能和故障转移测试服务应该在Hadoop环境中完成。

性能测试包括测试作业完成时间，内存使用率，数据吞吐量和类似的系统指标。而故障转移测试服务的动机是为了验证在数据节点发生故障的情况下数据处理是否无缝地发生

性能测试

大数据性能测试包括两个主要的行动

数据采集和整个过程：在这个阶段，测试人员验证快速系统如何消耗来自各种数据源的数据。测试涉及识别队列在给定时间框架内可以处理的不同消息。它还包括如何快速将数据插入到底层数据存储中，例如插入到Mongo和Cassandra数据库中。

数据处理：它涉及验证执行查询或映射缩减作业的速度。它还包括在底层数据存储填充到数据集中时独立测试数据处理。例如，在底层HDFS上运行Map Reduce作业

子组件性能：这些系统由多个组件组成，而且必须单独测试每个组件。例如，消息的索引和消费速度有多快，mapreduce作业，查询性能，搜索等

性能测试方法

大数据应用性能测试涉及大量结构化和非结构化数据的测试，并且需要特定的测试方法来测试这些海量数据。

原文链接：https://www.qiquanji.com/post/7881.html

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时处理。