Tests

Test d'applications Web Ajax avec Visual Studio Team Edition for Software Testers (Team Test)

Antoine Driard — Wed, 20 Dec 2006 23:02:00 GMT

Un certain nombre d'entre vous m'ont déjà fait part de la limitation des fonctionnalités de "Test Web" en ce qui concerne le test de pages utilisant la technologie Ajax. En effet celle-ci implique des appels asynchrones qui ne sont pas vus par Internet Explorer comme un chargement de page. Du coup, l'outil utilisé par Visual Studio Team Test pour enregistrer les tests étant un IE instrumenté, ces appels asynchrones ne sont pas enregistrés, et donc pas rejoués.

Comme il exite des outils spécialisés dans l'enregistrement de tests de pages incluant de l'Ajax, l'idée est de les utiliser en combinaison avec VS Team Edition for Software Testers.

Eh bien Florent Santin de Winwise nous a gratifié d'un super article à ce sujet en utilisant l'outil Fiddler (qui est un outil Microsoft, soit dit en passant) : http://blogs.developpeur.org/azra/archive/2006/12/17/tester-des-applications-web-utilisant-ajax.aspx.

Profiling d'applications Web

Antoine Driard — Thu, 14 Sep 2006 19:36:00 GMT

En quelques semaines j'ai rencontré plusieurs clients qui m'ont demandé si le profiler inclut dans Visual Studio Team Edition for Software Developers fonctionnait également pour des applications Web, et j'avoue que je n'étais pas sur de la réponse. Après vérification, c'est bien possible.

Voici plusieurs articles qui expliquent comment vous y prendre. Il y a la manière évidente (graphique dans Visual Studio) et l'autre (il faut aimer la ligne de commande et les fichiers de config). La seconde est manuelle et pour les cas où vous ne souhaitez pas que Visual Studio tourne sur la machine qui doit être profilée, ou pour éviter d'avoir à redémarrer IIS :

Dans Visual Studio :

Beta 2 Whidbey ASP.NET Profiler HowTo : https://blogs.msdn.com/ejarvi/archive/2005/04/08/406578.aspx
Et même une vidéo : http://teamsystemrocks.com/files/10/vste-dev/entry186.aspx

Et en ligne de commande :

Off Road Profiling of ASP.NET Applications, sur le blog GrayCode : http://blogs.msdn.com/graycode/articles/AspNetOffRoadProfilingArticle.aspx
TN_1204: Profiling ASP.NET in sampling mode from the command line http://msdn.microsoft.com/vstudio/teamsystem/reference/technotes/profiling_asp_apps/profile_sampling.aspx
TN_1206: Profiling ASP.NET in instrumentation mode from the command line
http://msdn.microsoft.com/vstudio/teamsystem/reference/technotes/profiling_asp_apps/profile_instrumental.aspx

Automatisation des builds : rejeu de tests, analyse de code...

Antoine Driard — Tue, 27 Jun 2006 22:50:00 GMT

Une des fonctions appréciables de Team System permet de rejouer lors des builds tout ou partie de l'analyse de code et des tests automatisables (unitaires, Web ou génériques) qui ont été créés avec "Team Developer" ou "Team Tester".

Mais pour cela, il faut installer les bonnes éditions de Team System sur le serveur de Build (qui est soit le serveur de gestion de configuration soit une machine déportée).

Pour rejouer de l'analyse statique de code, il faut Visual Studio Team Edition for Software Developers.
Pour rejouer des tests unitaires, Web ou génériques, il faut Visual Studio Team Edition for Software Testers (car en plus des outils de test, il faut les outils de gestion de test, pour les répartir par catégorie et déterminer quelle catégorie doit être rejouée).
Pour faire les deux, il faut donc Team Developer et Team Tester ou bien Team Suite sur le serveur.

La question qui vient ensuite c'est de savoir s'il faut acheter une licence du produit adéquat pour le serveur de Build. La réponse est non. Enfin, pas spécifiquement pour le serveur. En effet, toutes les licences de la gamme Visual Studio et Visual Studio Team Editions sont des licences par personne et non par PC.

Du coup il faut que les personnes qui créent les builds aient les licences des bonnes "Team Editions". En revanche, pas besoin de licence supplémentaire spécifiquement pour le serveur de Build.

Enfin, précision utile, les personnes qui lancent des builds n'ont pas besoin d'avoir de licence des "Team Editions" concernées. Il leur faut tout de même une CAL, bien sur.

Visual Studio Team Edition for Database Professionals : 2 vidéos disponibles

Antoine Driard — Mon, 19 Jun 2006 23:41:00 GMT

Voici deux vidéos faites par le groupe produit sur :

Importing a Database Schema and Adding it to Team Foundation Server Source Code Control
Creating a Test Project and a Database Unit Test

Vous pouvez les regarder ici : http://msdn.microsoft.com/vstudio/teamsystem/dbpro/default.aspx

Des Vidéos sur Team System

Antoine Driard — Sun, 28 May 2006 23:57:00 GMT

J'ai glané ici et là (ou encore ailleurs) des webcasts (ou screencasts) sur Team System et vous en livre une sélection (à télécharger ou à streamer suivant les cas) :

Tracing Technical Requirements through to Tests and Builds : le titre n'est pas parfaitement fidèle, mais ce webcast montre bien comment créer des tests unitaires, les rejouer lors des builds, et les différentes façons d'accéder à l'info ensuite, avec les liens entre builds, work items et changesets. Ces infos sont d'ailleurs accessibles directement depuis le portail.
Work Items in Visual Studio Team System : on y voit la manipulation des WI dans Excel et Visual Studio, via les requêtes ou au checkin, la création de bugs d'un simple clic après une erreur, l'historique enregistré automatiquement. Seul Project manque à l'appel.
Team Foundation Server Proxy : 6 vidéos à télécharger qui présentent respectivement les aspects suivants du proxy TFS éventuellement mis en oeuvre dans les scénarios multi-site : Présentation générale, Installation, Configuration (simple !), Gestion du cache, Gestion des requêtes, "Dogfooding", c'est à dire utilisation en interne chez Microsoft du proxy.
Introducing the Class Designer : présentation rapide des principales fonctionnalités du Class Designer (qui, j'en profite pour le rappeler, est dans toutes les éditions "Visual Studio" à l'exception des Express).

Vous en trouverez donc d'autres sur Channel 9 et sur MSDN. Au fait, tout est en anglais, mais bientôt à venir des webcasts en français sur Team System.

Webcast : Team Developer Overview

Antoine Driard — Fri, 21 Apr 2006 19:46:00 GMT

Un superbe Webcast (en anglais) qui présente avec démos à l'appui les fonctionnalités spécifiques de l'édition "Visual Studio Team Edition for Software Developers", en particulier les outils de test unitaire, de profiling et d'analyse statique de code.

Ne le ratez pas : http://msdn.microsoft.com/msdntv/episode.aspx?xml=episodes/en/20060420VSTSGM/manifest.xml.

Webcasts des Developer Days : ils sont disponibles sur MSDN !

Antoine Driard — Fri, 21 Apr 2006 19:24:00 GMT

La journée des Developer Days qui a eu lieu un peu partout en France en mars/avril a été filmée et découpée en 48 petits passages. Vous pouvez les visionner ici : http://www.microsoft.com/france/msdn/devdays2006.

En particulier la première session dédiée aux tests dans Team System avec Tests en général, tests génériques, profiling, tests unitaires, tests de montée en charge, analyse statique de code.

Dernière minute : discutez des éditions Tester et Developer de Team System avec le groupe produit

Antoine Driard — Wed, 19 Apr 2006 11:30:00 GMT

Ce soir, lors d'un chat de 19h à 20h heure française, échangez avec le groupe produit des éditions "Visual Studio Team Edition for Software Testers" et "Visual Studio Team Edition for Software Developers".

Ceci inclut donc spécifiquement les fonctionnalités suivantes : test Web, test de charge, test unitaire, couverture de code, profiler, analyse statique de code et quelques autres.

Ca se passe sur le site MSDN US.

Test de charge avec Team System : quoi, quand, comment ?

Antoine Driard — Tue, 20 Dec 2005 10:37:00 GMT

Vous l'aurez sans doute remarqué, en plus de Team Foundation Server et des produits "rôles" (Architect/Developer/Tester), la gamme Visual Studio Team System inclut aussi le produit Team Test Load Agent. Il existe déjà plusieurs outils de test de charge. Les points forts les plus marquants de celui-ci sont sa simplicité relative d'utilisation et son prix très attractif. Pour plus d'infos sur ce dernier point (son prix), contactez-moi. J'ai néanmoins intégré dans ce post des indications sur le prix de cette offre et updaté mon ancien post qui parlait des prix en général de Team System.

Ce produit, comme son nom l'indique s'intègre aux autres produits de la gamme Team System pour les fonctionnalités de test de charge. Il s'agit de simuler un grand nombre d'utilisateurs virtuels navigant sur votre site Web afin de tester sa capacité à supporter la charge. Il s’utilise de la façon suivante :

1. Enregistrement de scénarios de parcours de votre site Web directement depuis Internet Explorer. On parle de « test Web » dans Team System. Par exemple, pour un site de commerce électronique, il sera probablement pertinent d’enregistrer différents types de navigation : la personne qui arrive directement sur une page puis quitte votre site, celle qui visite le site puis le quitte, celle qui met des produits dans son panier sans les acheter et enfin celle qui va jusqu’à l’acte d’achat.

2. Spécification dans un assistant graphique des caractéristiques de votre campagne de test : quels tests Web enregistrés précédemment doivent être joués, dans quelle proportion, ainsi que plusieurs paramètres pour simuler une charge réaliste : navigateurs utilisés, rapidité de connexion Internet et leurs proportions respectives.

3. Exécution de ces tests via la simulation d’utilisateurs virtuels naviguant sur le site à tester. Ces utilisateurs virtuels peuvent être simulés directement depuis le PC de test pour des besoins modestes, ou répartis sur plusieurs injecteurs pour simuler plus d’utilisateurs virtuels.

4. En plus des temps de réponse forcément mesurés depuis le ou les PC qui injectent les tests, Team System collecte de très nombreuses informations sur l’état du serveur, au fur et à mesure que la charge augmente (tous les compteurs rendus disponibles par Windows, sur l’état du système, des disques, de la mémoire…)

Je vais considérer deux cas d’utilisation différents par la charge à simuler sur le serveur Web :

Scénario 1 : besoin de tester un petit nombre d’utilisateurs virtuels. Dans ce cas, il suffit d’installer Visual Studio Team Edition for Software Testers (ou bien sur Team Suite) qui permettra d’enregistrer les scénarios de parcours du site à tester, de définir les scénarios de test, de simuler les utilisateurs virtuels, et de collecter les résultats du test. Sur le serveur, distinct, on installera l’application Web à tester. Il suffit alors de deux PC en tout et pour tout.

Prix estimé dans ce cas, fortement dépendant de la taille de votre entreprise, du type de contrat de licence, d'un éventuel partenariat avec Microsoft, avec la maintenance et l'offre MSDN : 2000 à 3000€ / an / utilisateur de Visual Studio Team Edition for Software Developers. Il inclut alors le droit d'utilisation du Load Agent et le contrôlleur sur le même PC. Il n'y a pas de limite au nombre d'utilisateurs simulés autre que les limites de votre machine et votre réseau.

Scénario 2 : besoin de tester un grand nombre d’utilisateurs virtuels. Dans ce cas, on peut envisager ce scénario :

- Visual Studio Team Edition for Software Testers (ou Team Suite) sur le PC de la personne en charge de la gestion des tests. Ce PC servira aux étapes 1 et 2 décrites ci-dessus. Dans ce cas, si la charge est élevée, il ne faut utiliser cet ordinateur ni pour simuler les utilisateurs virtuels, ni pour collecter les résultats des tests.

- Visual Studio Team Test Load Agent installé sur chaque PC qui devra servir à injecter de la charge / simuler des utilisateurs virtuels. Les PC sur lesquels le Load Agent est installé exécuteront l’étape 3.

- Visual Studio Team Test Controller installé sur un PC (idéalement ni celui d’un agent ni celui de l’édition Test Developer), qui collecte en temps réel les informations des différents agents (temps de réponse) et de la part du serveur soumis à la charge (tous les compteurs système sélectionnés). Ce contrôleur gère la phase 4. Par défaut il stocke les résultats dans SQL Server 2005 Express. Du point de vue performances, il suffit. Mais il est limité à 4 Go de données, ce qui peut vite être atteint (Attention la doc du Load Agent parle de 10Go pour SQL Express, mais c'est bien 4). Dans ce cas, vous pouvez le brancher sur un autre SQL Server, que vous avez déjà, ou dont vous ferez l'acquisition pour cet usage. SQL Server Standard et Enterprise conviennent tous les deux.

Le prix estimé dans ce cas est toujours de 2000 à 3000€ par an par utilisateur de Visual Studio Team Edition for Software Developers auquel il faut ajouter un prix à peu près équivalent par processeur sur lequel vous souhaitez installer l'injecteur. Le contrôleur, lui, n'est pas facturé. Il est possible d'acheter les uns ou les autres de ces produits sans maintenance, donc sans payer un coût par an. Je vous invite à me contacter pour connaître ce prix dans votre cas particulier si vous le souhaitez. Néanmoins, compte tenu des évolutions à venir sur cette offre, je suggère fortement de ne pas l'acheter sans maintenance.

Avant que vous ne posiez les questions, voici quelques précisions :

- Les services Web sont testables par cet outil, mais aucun autre protocole que http/https (pour l'instant)

- Il est très difficile de dire combien d’utilisateurs virtuels sont simulables par un processeur ou un PC. Nos docs officielles disent 1000, mais je préfère être plus prudent. Ca dépend vraiment de la config de vos machines et encore plus de la complexité des scénarios simulés. Cela dépend aussi de la complexité des pages et du nombre d'images, de composants qu'elles contiennent

Outil de conversion Nunit vers Team System - et présentation du test unitaire dans Team System

Antoine Driard — Mon, 19 Dec 2005 21:39:00 GMT

On l'avait annoncé depuis un moment, voici la première mouture de notre outil de conversion de vos éventuels tests unitaires NUnit vers les tests unitaires de Team System. Ils sont assez proches et du coup l'outil fonctionne bien.

Il accepte les tests NUnit 2.1 et 2.2 et génère des tests pour la version RTM (finale) de Visual Studio Team Edition for Software Developers ou Testers. Pour plus d'infos et pour le télécharger, voir le blog de James Newkirk.

J'ai dit plus haut que ces deux outils étaient proches, on peut donc se demander pourquoi passer à Team System pour les tests unitaires, au lieu de continuer à utiliser NUnit. En fait, comme pour la plupart des fonctionnalités de Team System, la raison principale c'est l'intégration. Je m'explique.

NUnit vous fournit un framework de gestion de tests unitaires, avec un outil graphique et un outil en ligne de commande selon vos préférences (voir le site nunit). Mais il n'y a quasiment pas d'intégration (EDIT: en tous cas nettement moins que dans Team System). Une fois encore, on se retrouve dans la situation où chaque démarche implique le choix et la prise en main d'un nouvel outil (ici potentiellement test unitaire, couverture de code et intégration de la couverture de code dans Visual Studio : 3 outils). Dans Visual Studio Team System, vous gagnez :

- un outil de génération automatique des tests unitaires, en VB, C# ou C++. D'un clic, vous sélectionnez graphiquement les méthodes à tester, le code d'appel de vos méthodes est généré automatiquement, il ne vous reste plus qu'à spécifier les valeurs d'entrée et celles de sortie attendues, et d'indiquer à l'aide d'une grammaire spécifique (assertions) si le test a réussi. Il est également prévu de pouvoir brancher le test sur un jeu de tests externe (fichier Excel, XML, base de données...)

- Le test est créé sous la forme d'un projet Visual Studio lié à celui qu'il teste. Il sera forcément stocké avec en gestion de configuration dans Team System, et pourra être ré-exécuté, suivant vos choix, soit automatiquement à chaque check-in du code, en tant que test de non régression, pour vérifier que les modifications qui viennent d'être apportées n'empêchent pas la bonne exécution des tests initialement écrits.

- Framework d'exécution des tests aussi bien dans Visual Studio que sur sur le serveur d'intégration, à chaque compilation, ou à certains moments définis par vos soins.

- intégration native avec la couverture de code. En effet, là aussi, il existe des outils Open Source, mais leur intégration laisse à désirer. Ici, en quelques clics, on active la couverture de code, et on obtient deux types de résultats dans l'environnement de développement. D'une part des résultats statistiques permettant de voir quelle proportion du code a été testée au niveau du projet puis de façon de plus en plus fine jusqu'à chaque méthode. En complément de cette approche, il est également possible de visualiser directement le code qui a été testé et celui qui ne l'a pas été dans l'éditeur de code. Les lignes de code sont surlignées en couleur en fonction de si elles ont été testées ou pas. En effet, faire des tests unitaires pour obtenir une couverture du code inférieure à 80% est rarement utile. On se rend compte que seuls les scénarios classiques sont testés et non les cas limites.

- Enfin, dans bien des équipes où le choix a été fait d'utiliser NUnit pour gérer les tests unitaires, personne n'a de réelle vision globale de la qualité du projet, des développeurs qui effectuent les tests comme prévu et de ceux qui s'y soustraient... Avec les outils de reporting de Visual Studio Team Foundation, on peut avoir une vue d'ensemble synthétique de où, quand et avec quel résultats les tests sont exécutés. Ainsi, la politique de tests unitaires est assurée d'être appliquée.

J'en oublie certainement, n'hésitez pas à compléter, je mettrai à jour le post.

Pour plus d'infos sur les tests unitaires dans Team System, voir le site MSDN.