Tag Archives: testfest

Escrevendo testes com PHPT e contribuindo com o PHP

Este ano esteve em destaque a PHPTestFest09, sendo realizada em vários cantos do mundo e destacando-se a participação do PHPSP que contribuiu com o maior número de testes. Ficou de fora? Então já comece a se preparar para ano que vem.

O PHPT é um framework extremamente simples de testes criado e usado internamente pelos desenvolvedores do core. Ele é extremamente atômico e centrado em testes como os que esperamos do PHP, como testar funções e bugs específicos.

O que preciso saber?

A grande vantagem do PHPT é que para poder escrever um teste, tudo que você precisa saber é: como escrever código PHP. Claro que um pouco de conhecimento interno do funcionamento do PHP vai te ajudar a procurar detalhes para testar, mas sabendo escrever PHP você já pode contribuir com uma grande percentagem dos testes que precisamos.

Vamos então atacar por partes:

  1. Preparando o ambiente
  2. Escolhendo um teste
  3. Escrevendo um teste
  4. Rodando um teste
  5. Enviando seu teste para o PHP

1. Preparando o Ambiente

A preparação do ambiente não é nada complicada e exemplos estão disponíveis para referencia. A primeira coisa que você precisa é da versão do PHP que vai precisar para rodar testes. No caso do TestFest focamos no PHP 5.3, no momento recomendo pegar as últimas disponíveis na página do PHP QA (qa.php.net) vá lá e baixe o pacote (source ou binary para windows).

Em ambientes Linux/Mac Os X, você irá passar pelo processo de compilar o PHP, passando pelos processos normais de “./configure”, “make” mas antes de rodar o “make install”, você poderá rodar o comando “make tests”. Este comando irá rodar todos os testes do PHP (em torno de 900+), pode demorar, mas é um ótimo procedimento, pois ao final você poderá mandar um relatório para a equipe de QA e “fazer sua parte”. Rode também o comando make install pois durante a confecção de um teste será interessante você poder testar ele com a versão correta do PHP.

Mais pra frente vamos ver como usar o make tests para rodar os seus novos testes.

2. Escolhendo um teste

Antes de escrever um teste é necessário escolher o objeto de nosso teste. Para tal é preciso identificar um ponto do PHP que necessita de um teste, isto pode vir de duas fontes, um bug ou uma linha de código não “coberta” (code coverage). Para descobrir bugs com/sem testes a melhor forma é olhando a pasta de testes da extensão do bug (GD -> /ext/gd/tests) ou conversando com o pessoal na lista do QA.

Para testes específicos de linhas de código sua melhor aposta é o site http://gcov.php.net onde você deve navegar até a versão correta que esta testando e então escolher uma área sem cobertura. No caso da testfest deste ano, o PHPSP focou na GD pois sua cobertura estava bem baixa então navegamos até o gcov do gd.c para ver onde poderiamos atuar. Para fazer esta parte do processo um conhecimento básico de C e de como o PHP funciona por baixo dos panos é muito bom, mas após alguns testes você aprende a identificar os pontos e durante o testfest o Guilherme Blanco e o Erick nos ajudaram a entender o código.

Para exemplificar melhor vamos ver como identificar estas linhas e o que elas fazem. Veja por exemplo a linha abaixo:

PHPT-Gcov

O que queremos é que todas as linhas fiquem azuis (executadas) ou brancas (código não executável), as linhas não testadas estão marcadas de vermelho. Identificando a linha 1856 como não executada devemos interpretar que como há um if logo antes, a condição “== FAILURE” nunca é atingida, ou seja, esta linha nunca é executada pois a função zend_parse_parameters não retorna falso em nenhuma das chamadas a função imagecolorallocatealpha identificada logo ali encima na linha 1848.

Mas e ae? Ok, a função zend_parse_parameters é responsável por validar os parâmetros da função, ou seja, para testar esta função precisamos escrever alguns testes que passem parâmetros inválidos para a função e verifique se ela alerta o erro corretamente. Agora podemos passar para o passo de escrever este teste.

3. Escrevendo um teste

Escrever um teste é incrivelmente simples, e como testes devem ser objetivos e pontuais isso é bem claro. Você deve limitar o escopo de seu teste, procurando testar apenas uma função ou aspecto. Isso irá facilitar a nomeclatura de seu teste.

3.1 Nomeclatura de arquivos

A nomeclatura é bem simples:

  • Teste para bug: bug<bugid>.phpt
  • Funcionamento básico da função: <função>_basic.phpt
  • Erros da função: <função>_error.phpt
  • Variação do funcionamento da função: <função>_variation.phpt
  • Extensões: <extensão>_<#>.phpt

3.2 Estrutura de um .phpt

Arquivos de teste seguem uma estrutura bem simples:

Como vemos, a sessão TEST é um título de uma linha do teste descrito no arquivo. A sessão FILE é usada como o corpo de um arquivo .php que será gerado para o teste, e a sessão EXPECT demonstra o resultado que esperamos da execução da função. Recomenda-se o uso de var_dump para gerar saídas.

Estas são sessões padrões, mas a documentação completa pode ser vista aqui: phpt format

Você poderá ver situações onde os blocos acima não são o bastante, mas em geral você estará checando para ver se executando a função X irá retornar a saída esperada. Porem um bloco é interessante ser mencionado aqui, o bloco CREDIT. Caso você não tenha acesso ao CVS, colocando seu nome nesse bloco irá levar seu nome aos créditos do PHP, no caso do TestFest utilizamos este formato:

Ok. Vamos tentar escrever um teste agora para ver se entendemos tudo até agora. Usando o exemplo acima onde identificamos uma linha não coberta por testes, vamos escrever um teste para testar o primeiro parâmetro da função. Observe a linha abaixo:

O que devemos entender aqui é o trecho que diz “rllll” pois ele identifica o tipo que cada parâmetro deve ter, neste caso o primeiro parâmetro deve ser um “Resource” por isso o “r”, e os outros devem ser do tipo “long”. Pare um momento agora e verifique o manual do PHP para esta função

Ele confirma exatamente o que vemos no código, mas você poderia também achar uma situação onde o manual esta incorreto, mais um ponto onde você poderia contribuir com o PHP.

Voltando ao nosso exemplo, vamos então escrever um teste para testar a validação do primeiro parâmetro da função. Verificando a pasta /ext/gd/tests vemos que não há testes desta função, mas especificamente não há um teste chamado imagecolorallocatealpha_error1.phpt, então como vamos testar justamente isto, podemos usar esse nome. (podemos usar _error2… para os outros parametros por exemplo)

Primeiramente vamos definir o título, deixando claro que estamos testando o parâmetro 1 da função e adicionar nosso crédito, que também é importante se houver algum erro no teste ou adaptação e precisarem saber quem foi o autor original do mesmo.

O bloco –SKIPIF– é muito importante neste caso. Como estamos testando uma função da GD, que é uma extensão do PHP, ela não estará sempre ativada, portanto só devemos executar os testes caso a extensão esteja ativa. O bloco SKIPIF é exatamente para isso, faça as verificações necessárias, caso não deva rodar, execute um die. O processo que executa os testes interpreta isso como SKIP e não FAIL. Isto vale para outras condições também, como arquivos necessários e qualquer outro fator que possa determinar se um teste deve ou não ser “pulado”.

Este é o corpo do teste, a parte mais importante. Basicamente estamos executando a chamada à função com diversos parâmetros inválidos, como strings, arrays e um resource que não é uma imagem. Passando um resource que não é imagem estamos na verdade testando a linha 1859, mas é uma condição importante de se testar também. O restante dos parâmetros recebem valores válidos.

Finalmente vamos testar o resultado. Aqui no caso utilizamos o EXPECTF que funciona como um printf, poderíamos ter usado outros disponíveis com expressões regulares por exemplo, mas o funcionamento deste é bem mais simples. Aqui basicamente estamos conferindo se o texto de erro bate com o que esperamos e como usamos um formato de printf $s e %d substituem textos que são dinâmicos, como o nome do arquivo que varia em cada máquina.

Dica: Para obter as mensagens de erro, rode o arquivos usando o PHP, ex: php imagecolorallocatealpha_error1.phpt. O arquivo será executado, todo conteudo dele será echoado na tela, mas dentro do bloco –FILE– o conteudo que aparecer é o resultado da execução.


4. Rodando um teste e fazendo faxina

Agora você tem um arquivo phpt pronto e precisamos ver se este teste esta mesmo passando. Para isso precisamos chamar o executor de testes e passar o nosso teste, caso contrário ele irá executar todos os 900+ testes. Para fazer isso o processo é simples, execute o comando make test da mesma forma de antes, mas definindo o parâmetro TESTS, assim:

Você pode dar o caminho completo para o arquivo, ou usar um wildcard como assim, isso é útil se você acabou de escrever os testes para todos parâmetros e quer rodar todos testes daquela função.

Veja o resultado:

Test Results

Note que o teste passou, como indica o PASS logo em frente ao que escrevemos no bloco –TEST–.  É interessante também comentar o que acontece quando um teste falha, além de ser marcado com um FAIL o sistema gera um numero de arquivos com o mesmo nome e diferentes extensões:

  • .out – output do arquivo php criado po teste
  • .php – o código gerado para o teste (bloco –FILE–)
  • .diff – uma comparacao do que foi o output e do que se esperava
  • .exp – o texto em –EXPECTEDF– isaolado
  • .log – um resumo do processo

Estes arquivos são muito uteis para que se analise o resultado e poque da falha.

5. Enviado seu teste para o PHP

Você possui algumas formas de fazer seu teste chegar no PHP. A primeira é participando do PHPTestFest anual, onde todos os testes são enviados para um repositório separado e então integrados ao SVN oficial. A segunda forma é você enviar este teste que escreveu para a lista do QA Team e alguem irá colocar ele no SVN por você. A terceira forma é uma junção de ambas, muitas pessoas apos a testfest são presenteadas com contas do SVN e karma para poderem comitar seus próprios testes, como ocorreu comigo (viu, não é mentira!)

Conclusão

Pronto, agora você tem todas as ferramentas para começar a escreve testes para o PHP. O PHPT é excelente para sua função em testes do PHP, mas testes não param por ai, procure incluir os testes em seus sistemas e bibliotecas, mas para isso procure o PHPUnit e aprende sobre Test Driven Development (TDD). Em breve falarei destes por aqui também.


© Rafael Dohms for Rafael Dohms, 2009. |
Permalink |
No comments
Want more on these topics ? Browse the archive of posts filed under PHP.

PHPTestFest2009: No Mundo e em São Paulo

phpsptestfest09 - LogoChegou ao fim o PHP Test Fest 2009.

Durante 3 meses Grupos de Usuários e programadores independentes de todo o mundo participaram deste evento, somando números incríveis, terminando com um lançamento histórico do PHP 5.3. De Abril a Julho (3/Julho precisamente) várias pessoas participaram enviando testes para avaliar as mais diversas funções do PHP, neste e em futuros lançamentos.

O PHPSP não deixou passar e aos 40 min. do segundo tempo realizou seu testfest no dia 21/Junho, como já foi descrito aqui e aqui. Este evento é um grande motivo de alegria e orgulho para as pessoas que organizaram, pois após este evento continuamos tendo contribuições de testes, no dia foram 71 testes, hoje são 144! Sim o PHPSP foi o grupo que mais contribuiu testes nesta edição do PHP Test Fest.

Nós agradecemos todos que participaram do PHPSPTestFest’09, com a certeza de que ano que vem estaremos todos de volta procurando nosso bi-campeonato! :)

Veja o resultado final: (retirado do site results.phptestfest.php.net)

Tests from group MunichUG = 27
Tests from group CataloniaUG = 17
Tests from group ParisUG = 24
Tests from group DutchUG = 57
Tests from group CesenaUG = 113
Tests from group NorwayUG = 31
Tests from group Quebec = 17
Tests from group AtlantaUG = 34
Tests from group NewYorkUG = 25
Tests from group TEK = 19
Tests from group SaoPauloUG = 144
Tests from group LondonUG = 62
Tests from group BerlinUG = 80
Tests from group BelgiumUG = 118
Tests from group WurzbrugUG = 14
Tests from group NorthWestUG = 104

Total tests contributed = 886

Total tests moved to PHP CVS = 627

Destes 144 testes, quase todos já foram incorporados no CVS do PHP e agora fazem parte de todos releases futuros a partir do 5.3.1, isso é motivo de muito orgulho a cada um que escreveu testes durante o evento, cada um de vocês é agora um “contribuinte” do PHP, vocês deram um passo a frente e ganharam um lugar de destaque e um adendo no curriculo talvez!

PHPSP TestTeam

PHPSP TestTeam

Veja abaixo a equipe de testes do PHPSP e como cada um contribuiu:

Rodrigo Moyle : 13 (13 basic)

ftp_alloc: 2
ftp_chmod: 1
ftp_exec: 1
ftp_fget: 3
ftp_nb_fget: 3
ftp_rawlist: 2
ftp_rmdir: 1

Guilherme Blanco : 26 (25 error, 1 basic)

imageantialias: 2
imageconvolution: 4
imagefilter: 20

Edgar Ferreira da Silva : 13 (3 basic, 4 error, 6 variation)

imagearc: 4
imagefilledarc: 4
imageinterlace: 5

Rafael Dohms : 51 (9 basic, 41 error, 1 variation)

imagechar: 8
imagecharup: 8
imagecolordeallocate: 5
imagefontheight: 2
imagefontwidth: 2
imagegammacorrect: 6
imagelayereffect: 4
imagestring: 8
imagestringup: 8

Paulo Alves de Sousa Filho : 5 (1 basic, 4 error)

imagecolormatch: 5

Erick Belluci Tedeschi : 2 (2 basic)

imagecolorset: 1
imagesetbrush: 1

Cleston Viel Vieira de Sousa : 2 (1 basic, 1 error)

imagecopymerge: 2

Ivan Rosolen : 26 (3 basic, 23 error)

imageellipse: 9
imagefilltoborder: 8
imagerectangle: 9

Levi Fukumori : 6 (6 error)

jpeg2wbmp: 3
png2wbmp: 3

Marcelo Toscano

Parabens a todos presentes acima, e esperamos que em 2010 esta lista dobre de tamanho!

PHPSPTestFest 09: Local confirmado!

Foi definido nesta terça feira o local para realização do evento.

Com o apoio da Microsoft, agora parceira do PHPSP, conseguimos o apoio da Faculdade Impacta de Tecnologia, que será nossa parceira pra realização deste evento.

A FIT nos cedeu uma sala de aula com espaço para 50 pessoas onde poderemos passar o dia todo escrevendo testes e mais testes.

Anote o Local:

FIT – Faculdade Impacta de Tecnologia
Rua Arabé,71 – Vila Clementino – São Paulo – SP
Próximo ao Metro Santa Cruz (detalhes)

E não é só isso, nossa parceira de eventos anteriores, a Zend, nos ofereceu uma licença do Zend Studio for Eclipse para ser sorteada para os participantes do evento.

Exatamente além de concorrer aos prêmios da TestFest, como elephpantes e um email @php.net, você também poderá sair de lá com uma licença da IDE de PHP da Zend.

Não se inscreveu ainda?

Inscreva-se!

Parceiros:

Microsoft FIT Zend

PHP TestFest 2009

testfest_big

Estamos muito próximos do lançamento da próxima versão do PHP, por isso o PHP.net organiza o chamado TestFest. O intuito é melhorar a cobertura de código, que nada mais é do que as linhas de código que possuem teste automatizado para verificar se as coisas estão funcionando como deveriam.

Você programa em PHP a algum tempo? Quer contribuir com o projeto de alguma forma? Sua chance é esta!

Continue reading