Como trapacear em benchmarks (e por que devemos minimizar sua importância)

Os benchmarks podem ser úteis, quer estejamos falando de dispositivos móveis ou qualquer outro hardware de computador. Porém, há um problema - você precisa depender de todos sendo honestos. Deixe-me explicar. Sempre que você vê um vídeo ou uma captura de tela de uma pontuação de benchmark, o que você realmente está vendo é uma medida de como o software interage com o hardware. Existem dois grandes problemas com isso: dois telefones Android não rodam o mesmo software e sempre há algum curinga que quer trapacear. recentemente nosso amigo John da Phone Arena observou algumas pontuações do quadrante de um novo aparelho que são muito baixos em comparação com os outros telefones listados. E bom para John por apontar isso.

Claro, benchmarks podem ser divertidos, como ver quão pouco impacto a IU da LG tem no Optimus 2X em comparação com o Stock Froyo, e eles podem ser úteis se você os executar para avaliar algumas alterações que está fazendo em seu próprio software. Mas nós superamos isso. Vamos basear nosso julgamento de desempenho baseado no desempenho, e não números.

É muito fácil trapacear em todos os benchmarks, porque eles são apenas aplicativos Android. Olhe para todas as outras mágicas as pessoas fazem com os aplicativos Android e se perguntem - os benchmarks são tão diferentes que não podem ser "hackeados"? A resposta é não, e vamos mostrar a você como hackear o mais fácil (mas definitivamente não o único) de manipular, o Quadrant.

Verifique depois do salto.

Link do YouTube para visualização no celular

Você vai precisar ser enraizado para este exemplo. Existem muitas outras maneiras de trapacear em telefones sem root, editando o código e reconstruindo o próprio aplicativo, mas essa maneira fácil precisa de root. Você também vai precisar de algumas ferramentas:

• Tenha o adb funcionando, com acesso root no shell.
• Quadrant Standard no Android Market. Usamos o Quadrant Advanced em nossa demonstração, porque é muito fácil ver a trapaça. Você vai querer usar o Standard, porque é muito fácil ver a trapaça.
• Painel do Sistema (ou qualquer aplicativo que possa eliminar todos os processos) do Android Market.
• SetCPU do Android Market ou equivalente (se você tiver um kernel com overclock).
• Duas mãos, um teclado e nenhuma consciência.

Instale todos os seus aplicativos e reinicie o telefone. Deixe-o descansar por 5 a 10 minutos para que toda a sincronização e varredura sejam concluídas, então execute o Quadrant (veja o lado "antes" na imagem acima) para saber a verdade.

Conecte seu telefone ao computador e entre no shell. Como root, execute o seguinte comando:

mount -t tmpfs tmpfs /data/data/com.aurorasoftworks.quadrant.ui.standard

Digite exatamente como está escrito. O que isso está fazendo é simples - as partes de E / S de todos os telefones são o maior gargalo, então estamos movendo a pasta de dados Quadrant do armazenamento físico para a RAM. RAM é bom. Ler e escrever nele é rápido. Super rápido. Isso desaparece na reinicialização, então é fácil voltar ao normal.

A seguir, queremos cancelar qualquer efeito de escala da CPU. Quem precisa economizar bateria, queremos pontuações altas! Ative SetCPU e aumente a velocidade do clock da CPU o máximo possível e escolha "desempenho" como governador da CPU. Isso manterá as coisas funcionando em alta velocidade o tempo todo.

Agora use qualquer aplicativo que você decidir (eu uso o Painel do Sistema para monitorar coisas, e ele inclui o temido kill-all como uma função extra) para eliminar todas as suas tarefas em segundo plano. Se você pode matar processos do sistema, melhor ainda. Não nos importamos quão bem o telefone funcione, apenas quão altos são os números.

Abra o Quadrant e execute seu benchmark. Execute-o duas ou três vezes para instalá-lo e comece a fazer capturas de tela. Perceba como foi fácil fazer isso e, em seguida, imagine que outros truques podem ser feitos por meio da engenharia reversa dos aplicativos de benchmark e da alteração da matemática usada para escrever as pontuações. Adicione alguns outros truques, como alterar uma ou duas linhas no arquivo build.prop para aumentar as pontuações da CPU, e você está certo. Antes que alguém diga "Sim, mas eu uso o Bechmark xyz9000 Pro e você não pode trapacear nele." Sim você pode. Até eu posso, e há muitas pessoas por aí muito mais talentosas do que eu. Acredite apenas em benchmarks que usam muitos metros e fios, com luzes piscando, porque qualquer outra coisa é apenas software que alguém pode hackear.

Agora o campo de jogo está nivelado. Parabéns, você é um trapaceiro.