<div dir="ltr">I'm getting ready to push a functional change to the IKEv2 responder: when auth succeeds but the first child fails the IKE SA hangs around.  I expect this will perturb the test results in some pretty weird ways so before doing this I'd like to be working with a very clean test result (i.e. 0 failures).<div><br></div><div>Which brings me to my problem. A look at <a href="https://testing.libreswan.org/">https://testing.libreswan.org/</a> shows things are stuck at 40 fails.  A closer look shows:</div><div><br></div><div>- 30 or so of those just refuse to pass (as in after 10 attempts they still fail)</div><div>- the remainder are racy but do pass if given enough encouragement; for instance sometimes fail due to a LEAK race during shutdown</div><div><br></div><div>I'd like to change this.  In order of preference:</div><div><br></div><div>- change the tests that simply refuse to pass to WIP so that they aren't part of a default test run</div><div>- move the tests that refuse to pass to the end of TESTLIST so they are run after the tests that should pass</div><div><br></div><div>I don't see a good reason to remove the tests that flip flop.  If anything, with the broken tests out the way it will be easier to give those some tlc.</div><div><br></div><div>Of course this suggestion isn't new.  The counter argument is that "we" should instead be fixing these tests.  And the counter counter argument is that if these tests were important someone would have fixed them already.</div><div><br></div><div>(regardless I'm going to start using a custom TESTLIST that excludes tests I consider broken)</div><div><br></div><div><br></div><div><br></div></div>