System Performance Evaluation Cooperative
Estabelecer, manter e aplicar um conjunto de benchmarks e métricas standardizado para a avaliação da performance dos sistemas computorizados modernos.
A SPEC foi fundada em 1988 por um grupo de vendedores de Workstations que se
aperceberam que o mercado estava desesperado por testes de desempenho realistas e
standardizados. É uma das instituições de standardização mais bem sucedidas, com mais
de 60 companhias associadas.
O objectivo da SPEC é assegurar ao mercado um conjunto justo e útil de métricas que
possam diferenciar sistemas candidatos. O caminho seguido é uma tentativa de encontrar um
balanço entre o requerer de rígida compatibilidade e permitir aos vendedores demonstrar
as suas vantagens.
A metodologia da SPEC é fornecer ao benchmarker pedaços de código fonte standardizados
baseados em aplicações existentes e que já tenham sido usados numa vasta gama de
plataformas. O benchmarker pega nesse código, compila-o para o sistema em questão e pode
depois Sintonizar esse sistema de forma a obter os melhores resultados. O uso de
código já aceite, nas palavras da SPEC, reduz grandemente o problema de se estarem a
comparar "laranjas com maçãs".
Originalmente apenas um conjunto de vendedores de Workstations que desenvolviam métricas de CPU, a SPEC tornou-se hoje numa organização abrangente, divididada em três grupos diversos:
O Open Systems Group(OSG)
Comité original da SPEC. Este grupo concentra-se em benchmarks para workstations de grande performance e servidores que corram ambientes de sistemas abertos.
Sub-comités do OSG:
CPU - Produziu o SPECmarks e outras benchmarks para CPUs(SPECint, SPECfp, SPECrates...).
JAVA - Produziu o JVM98 e o JBB2000, benchmarks para clientes Java e servidores.
SDM - Produziu o SDET e o Kenbusl, benchmarks para comandos multi-utilizador de UN*X.
SFS - Produziu o SFS93(LADDIS) e o SFS97. Estas como outras em que correntemente trabalham, são benchmarks para servidores de ficheiros(file servers).
WEB - Produziu o WEB96 e o WEB99, benchmarks para servidores web.
As mais apelativas actualmente:
SPEC CPU2000 - Benchmark para avaliar o desempenho do processador.
SPEC JVM98 - Benchmark para comparar plataformas de clientes Java virtual machine(JVM).
SPEC MAIL2001 - Benchmark para avaliar a capacidade de um servidor mail processar pedidos de e-mail, baseado nos protocolos Internet básicos SMTP e POP3.
O High-Performance Group (HPG)
Este grupo é um fórum para estabelecer, manter e aplicar um conjunto de benchmarks que representem aplicações computacionais de alto desempenho.
Os objectos de aplicação destas benchmarks incluem arquitecturas de sistemas de alto desempenho, tais como sistemas de Symmetric MultiProcessor(SMP), clusters de workstations, sistemas paralelos de memória distribuída, etc...
As mais apelativas actualmente:
SPEC OMP2001 - benchmark para avaliar a "performance" de aplicações OpenMP e sistemas SMP(symmetric multiprocessing).
SPEChpc96 - incluída no âmbito do HPG,
esta benchmark avalia o desempenho dos sistemas que correm programas industriais
"pesados".
É especializada em computação paralela e distribuída.
Siga este ponteiro para uma
página extremamente interessante com resultados de testes com esta benchmark. São
empresas
como a Hewlett-Packard e a Compaq, a correrem programas de Química Computacional e
Modelação Climática, por
exemplo, que fornecem estes resultados.
O Graphics Performance Characterization Group (GPC)
Este grupo juntou-se à SPEC em 1996. Já criaram um nome, na área dos testes standardizados de performance gráfica.
Está dividido em três sub-grupos:
SPECapc - O Application
Performance Characterization Group dedica-se exclusivamente à criação de benchmarks
para programas que
usam intensivamente a parte gráfica do sistema. Um programa muito famoso nesta área é o
3D Studio Max. Faça aqui
o
download da respectiva benchmark.
SPECmedia - O Multimedia
Benchmark Committee Group desenvolve benchmarks em áreas diversas como: codificação
MPEG-2,
reconhecimento de voz, som 3D, gráficos 3D(vertente de entretenimento), e páginas Web
que usam Java.
SPECopc - O OpenGL
Performance Characterization Group, como o nome diz, dedica-se ao desenvolvimento de
maneiras de
caracterizar a performance usando a interface de programação de aplicações
OpenGL. Os desenvolvimentos mais recentes
incluem a benchmark Viewperf.