On Sat, Apr 17, 2010 at 10:29 PM, Robert Goldman <span dir="ltr"><<a href="mailto:rpgoldman@sift.info">rpgoldman@sift.info</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">

I applaud the idea of having a declarative spec of tests to be run, but<br>
is the test function really the only way to do this?  Seems like there<br>
are test frameworks where what you want to do is to specify (somehow) a<br>
set of test objects to be run, where the framework "knows" how to run them.<br></blockquote><div><br>There are several reasons why I used the function name and did not create framework specific options<br><br>* People are using their own custom functions for running tests, and never in an uniform way.<br>

* It was argued here that ASDF should never be bound to any particular test framework. I have become convinced of the arguments in that respect.<br>* We can not impose test frameworks how to behave, but we can recommend users what they should output their tests (please have a look at the thread I started long ago).<br>

 </div><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
suggestion:  if we are to propose an ASDF extension for testing, we<br>
should first survey the CL test frameworks (off-hand: FiveAM, NST,<br>
cl-unit, LIFT, RT, and ? ...) and see what they would most "like" in the<br>
way of a test specification.<br></blockquote></div><br>Given that the :tests keyword work, I have a mean to do what you want without really binding ASDF to the test framework.<br><br>The idea would be to provide plug-ins for those frameworks with system classes that take those new options. We would then extend the syntax of :tests to include closures (would be 
great!) and let the system-test class set the appropriate value of :tests.<br><br>But note that is completely independent of the current patch and does not preclude or make it less useful, since users may also want to write their own tests.<br>

<br>But what this does bring into the light is the need of means to describe that a given DEFSYSTEM form depends on a given plug in or other system. This would be what I was calling the :ASDF-DEPENDENCIES or :ASDF-SUPPORT option in previous emails. Something like<br>

<br>(defsystem :my-test-system<br>   :asdf-dependencies (:rt-system)<br>   :rt-tests ("TEST1" "TEST2" ...)<br>   ...)<br><br>Let's see if I can produce something like that tonight -- stranded in Madrid because of the volcano cloud :-/<br>

<br>Juanjo<br clear="all"><br>-- <br>Instituto de Física Fundamental, CSIC<br>c/ Serrano, 113b, Madrid 28006 (Spain) <br><a href="http://tream.dreamhosters.com">http://tream.dreamhosters.com</a><br>