Como Testamos Computadores

Como testamos computadores' (How we test computers)

Na ENBLE, revisamos muitos computadores e fazemos isso há muito tempo. Ao longo dos anos, parte da metodologia mudou, mas nosso compromisso central com análises de produtos detalhadas não mudou. Nosso processo de análise para laptops, desktops, tablets e outros dispositivos semelhantes a computadores consiste em duas partes: testes de desempenho em condições controladas nos Laboratórios ENBLE e uso extensivo por nossos revisores especialistas. Isso inclui avaliar a estética, ergonomia e recursos de um dispositivo. O veredicto final da análise é uma combinação desses julgamentos objetivos e subjetivos.

Quando um computador – normalmente um laptop, desktop, híbrido dois em um ou Chromebook – chega aos Laboratórios ENBLE, configuramos como um usuário típico do produto faria. Como prática recomendada, durante a configuração, desativamos o máximo possível das opções invasivas de privacidade e coleta de dados. Em seguida, atualizamos o sistema operacional, drivers da GPU, BIOS e utilitários do fabricante, conforme necessário, e usamos aplicativos como Sandra da SiSoftware, CPU-Z da CPUID, GPU-Z da TechPowerUp e outros para coletar informações sobre os componentes do sistema, como CPU, GPU, RAM, SSD e placa-mãe.

Nossos testes de referência consistem em um conjunto principal que executamos em todos os sistemas compatíveis, além de um conjunto estendido de testes para casos de uso específicos, como jogos ou criação de conteúdo, onde os sistemas podem ter GPUs mais poderosas ou monitores de alta resolução que precisam ser avaliados.

Dan Ackerman/CNET

A lista de softwares de referência que usamos muda ao longo do tempo à medida que os dispositivos que testamos evoluem. Os testes principais mais importantes que estamos executando atualmente em cada computador compatível são:

Primate Labs Geekbench 5 e 6 Executamos testes de CPU de núcleo único e multicore, e teste de Computação Vulkan (Windows) ou Metal (MacOS). No Android, dispositivos Apple e Chromebooks, executamos os testes de CPU e o teste de computação. Os testes de CPU do Geekbench medem o desempenho de uma carga de trabalho mista. (Executamos as duas versões do teste para poder comparar com modelos testados antes do Geekbench 6 estar disponível.)

Cinebench R23 Executamos os testes de núcleo único e multicore em dispositivos Windows e MacOS. O Cinebench mede o desempenho de processamento puro da CPU para renderização 3D.

PCMark 10 Estamos descontinuando este benchmark do Windows, mas atualmente ainda executamos a versão da geração anterior, que simula uma ampla variedade de funções, incluindo navegação na web, videoconferência, edição de fotos, edição de vídeos e muito mais.

3DMark Wild Life Extreme Executamos este teste em sistemas MacOS (Apple silicon), Windows, Android e iPadOS; é um dos poucos benchmarks multiplataforma disponíveis para testar o desempenho gráfico. Além disso, executamos no modo Ilimitado, que elimina a resolução da tela como uma variável ao fazer comparações entre dispositivos.

3DMark Fire Strike Ultra, Time Spy e Port Royal Executamos esses testes em qualquer sistema com GPU discreta para testar o desempenho gráfico do DirectX 11 e DirectX 12 do sistema, o que é especialmente importante para computadores de jogos. Estamos descontinuando o Port Royal, que é especificamente projetado para testar o desempenho de ray tracing da Nvidia RTX, e mudando para o DXR do 3DMark ou Speed Way (o primeiro testa o desempenho de ray tracing do DX12 Ultimate e o segundo testa uma mistura de recursos do DX12 Ultimate). Também adicionamos os testes de Profiler de CPU, Armazenamento e Recursos PCI do 3DMark para entender os resultados que vemos nos testes com cargas de trabalho mais mistas.

Benchmark Shadow of the Tomb Raider Este é um jogo mais antigo que pode rodar bem em hardware de jogos de baixo custo. Equilibra as cargas da CPU e da GPU em vez de depender exclusivamente da GPU, e relata como as duas são usadas. Executamos o benchmark integrado do jogo em sistemas com GPU discreta usando a configuração de qualidade mais alta em resolução de 1.920×1.080.

Benchmark Guardians of the Galaxy Um jogo mais moderno que ainda pode rodar em hardware de jogos de baixo custo, isso mede o desempenho puro da GPU. Executamos o teste principal com resolução de 1.920×1.080 pixels e qualidade alta, mas em hardware relevante, podemos executá-lo em resoluções mais altas e qualidade superior (como com ray tracing completo ativado) para comparação.

Benchmarks de CPU e GPU do Rift Breaker O Rift Breaker incorpora ação e simulação complexa, o que significa que ele pode depender muito da CPU, bem como da GPU para diferentes aspectos do jogo. Executamos o teste principal em resolução de 1.920×1.080 pixels e qualidade alta, mas em hardware relevante, podemos executá-lo em resoluções mais altas e qualidade superior (como com ray tracing completo ativado) para comparação.

UL Procyon benchmarks Se um sistema atender aos requisitos básicos para executar o Adobe Premiere Pro e o Photoshop com o Photoshop Lightroom Classic, usamos esses dois benchmarks com resolução de 1.920×1.080 pixels para medir a adequação de um sistema para criação de conteúdo. Eles também fornecem uma imagem de como as cargas mistas de CPU e GPU são tratadas, ao contrário dos benchmarks puramente de GPU.

Teste de vida útil da bateria Para todos os computadores com bateria, alteramos as configurações para evitar que o sistema entre em modo de suspensão ou hibernação, desativamos pop-ups e notificações que possam interferir no teste e ajustamos o brilho da tela e o volume (saída para fones de ouvido) para 50%. Em seguida, transmitimos um vídeo personalizado do YouTube em loop por Wi-Fi no Chrome e usamos um aplicativo de temporizador para acompanhar quanto tempo o sistema permanece ativo.

JetStream 2, MotionMark e WebXPRT 3 Executamos esses testes baseados em navegador para avaliar o desempenho do Chromebook e, ocasionalmente, os executamos em sistemas Windows para comparação.

Josh Goldman/CNET

Testes adicionais

Podemos executar vários testes adicionais ou variações nos testes padrão; por exemplo, executaremos o Geekbench e o Cinebench com a bateria para poder ver o impacto das configurações de economia de energia de um laptop no desempenho. Para sistemas com componentes poderosos, podemos executar loops de outros benchmarks para ver o quão estável o sistema é e o quão quentes os componentes podem ficar sob carga total.

Os testes discricionários também podem incluir as tecnologias de aprimoramento e otimização de jogos DLSS 2 e 3 (na Nvidia), FidelityFX Super Resolution 2.x (na AMD) ou XeSS (para hardware Intel) no 3DMark, bem como em jogos que as suportam. Para sistemas com GPUs intermediárias e superiores, às vezes executamos o SpecViewPerf 2020 (criação de conteúdo profissional e análise além de edição de fotos e vídeos) ou testes anecdóticos com o OBS Studio (transmissão).

Como parte de uma análise, geralmente incluímos um gráfico de comparação de pontuações de testes relevantes entre produtos comparáveis. Quando fazemos uma mudança significativa nos testes, como a transição de uma versão de teste para outra, testamos ambas as versões ou o conjunto antigo e novo inteiro para construir um banco de dados de dados de comparação.

Atualmente, estamos avaliando mais dois conjuntos de benchmarks para inclusão em nosso conjunto de testes: os testes de Inferência de IA recentemente adicionados da UL Procyon e o jogo Returnal, com gráficos de alta qualidade e um benchmark informativo.

Com tantos computadores usando o mesmo punhado de CPUs e GPUs, os mesmos sistemas operacionais e quantidades semelhantes de RAM e armazenamento, os resultados desses benchmarks geralmente se encaixam em nossas expectativas. Isso significa que, ao analisar as especificações de um sistema, podemos ter uma ideia razoável de como ele se comportará em relação a sistemas com especificações melhores ou piores. É quando comparamos com sistemas de especificações semelhantes que uma marca específica pode se destacar como boa, não tão boa ou apenas comum. Especialmente com laptops, o desempenho reflete as decisões do fabricante sobre onde alocar energia, mesmo quando estão conectados. Tornou-se especialmente confuso, porque pode haver várias maneiras de alterar configurações ou ajustes automáticos impulsionados por “IA” que tornam impossível saber o que está realmente acontecendo.