<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 28 Sep 2020 at 21:53, Paul Wouters <<a href="mailto:paul@nohats.ca">paul@nohats.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Mon, 28 Sep 2020, Andrew Cagney wrote:<br>
<br>
> I'm planning on removing the sanitizer ipsec-auto-up.n.sed.<br>
<br>
I understand why, but I also understand's Antony's point.<br>
<br>
To make it harder, once I rewrite the tests to also be documentation,<br>
we have an additionally issue of adding weird things to the configs<br>
people might copy. Like slow retransmit timeouts or impairs.<br></blockquote><div><br></div><div>slow-retransmits should be deleted (I thought I had, I see I hadn't)</div><div>Your suspicion that IKEv1 didn't suppress retransmits turned out to be because the tests in question weren't trying to supress retransmits.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
I'm also a bit nervous if 90% of our tests use --impair<br>
delete-on-retransmit At one point are we still testing "regular operation"<br>
code with our tests.<br></blockquote><div><br></div><div>Two types of tests:</div><div>1. regression tests - these should be deterministic - someone reports a bug or we add a feature and we add a test for it</div><div>2. stress testing; the whole point of these is to be non-deterministic</div><div>but we're discussing deterministic tests here</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Antony's filter in ipsec-auto-up.n.sed does address most of these<br>
issues.</blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br></blockquote><div><br></div><div>This assertion is not true.  Please look at the examples I posted.  It silently removes important contextual information from test output - namely that a retransmit occurred - while leaving behind the consequences.  The upshot is that a retransmit still causes the test to fail; only that the retransmit happened is obscured.</div><div><br></div><div>With the sanitizer disabled I got roughly the same number of fails.</div><div><br></div><div><br></div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"></blockquote><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"> But other issues still remain, such as retransmits causing<br>
different traffic counters in the output and causing false positives.</blockquote></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
So, I guess I have no good answers or strong opinions here. Just<br>
concerns :)<br>
<br>
Paul<br>
</blockquote></div></div>