Testes automatizados com TestDroid, AppThwack,TestObject e Xamarin TestCloud

Pessoal, tudo bem?

Hoje eu estava em um dilema sobre plataformas que podemos utilizar para fazer testes automatizados em aparelhos reais. Atualmente temos um problema muito grande com o porting de aplicativos Android por conta da fragmentação da plataforma, atualmente temos cerca de 18 mil (18.000) aparelhos únicos de fabricantes diferentes espalhados pelo mercado. 

Voltando as plataformas de teste, testei 3 delas:  TestDroid , AppThwack e TestObject. Estou esperando a resposta de uma quarta Xamarin-TestCloud

Alguns dados que anotei durante os testes:

TestDroid: 

• +280 devices;
• Ferramentas de teste adicional: Monkey Teste/TestDroid Recorder/Robotium;
• Stress test customizável: pode utilizar nome do usuário e senha para login;
• Customização dos devices: Nenhuma;
• Integração contínua com Jenkins;
• Pode testar em um aparelho físico; 
• Plano mensal mínimo: $599,00;

AppThwack: 

• +300 devices
• Ferramentas de teste adicional: Monkey Teste/Calabash/JUnit/MonkeyTalk/UiAutomator
• Stress test customizável: pode utilizar nome do usuário e senha para login;
• Integração contínua com Jenkins;
• Não pode testar em aparelho fisico;
• Plano diario: $75,00 ou $20 200 minutos de teste (Cada aparelho dura em média 4 minutos o teste);

TestObject: 

• 40 devices;
• Ferramentas de teste adicional: Robotium;
• Stress test padrão;
• Integração contínua com Jenkins;
• Pode testar em um aparelho físico;
• Plano de minutos $20 100 minutos de teste (Cada aparelho em média 3 minutos);

Xamarim TestCloud:

• Aguardando contato de um consultor para disponibilizar mais informações, uma demo e testar;
• 800 devices;
• Ferramentas de teste adicional: Calabash;
• Integração contínua com Jenkins, Team City e TFS;
• Teste em aparelho físico:?;
• Planos:?;

Optei pelo AppThwack por enquanto, com ele é possível re-utilizar a suite de testes Calabash (a que eu estou usando atualmente), dessa forma posso reutilizar os códigos de teste.

Os códigos feitos em calabash podem ser utilizados também nos celulares que tenho na empresa, com o celular plugado no USB, o re-aproveitamento será maior e o re-trabalho desenvolvendo testes em outras suites será menor. 

O AppThwack também pode ser integrado com o Jenkins de forma bem simples, deixando as práticas ainda melhores.

Por enquanto é isso!!

Bom fim de semana pessoal!