testing: Log leaks and fail tests if any are detected
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16
17 DIR=$(dirname `readlink -f $0`)
18 . $DIR/testing.conf
19 . $DIR/scripts/function.sh
20 SSHCONF="-F $DIR/ssh_config"
21
22 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
23 [ -d $DIR/tests ] || die "Directory 'tests' not found"
24 [ -d $BUILDDIR ] ||
25         die "Directory '$BUILDDIR' does not exist, please run make-testing first"
26 running_any $STRONGSWANHOSTS || die "Please start test environment before running $0"
27
28 ln -sfT $DIR $TESTDIR/testing
29
30 ##############################################################################
31 # take care of new path and file variables
32 #
33
34 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
35
36 TESTDATE=`date +%Y%m%d-%H%M-%S`
37
38 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
39 mkdir $TODAYDIR
40 TESTRESULTSHTML=$TODAYDIR/all.html
41 INDEX=$TODAYDIR/index.html
42 DEFAULTTESTSDIR=$TESTDIR/testing/tests
43
44 SOURCEIP_ROUTING_TABLE=220
45
46 testnumber="0"
47 failed_cnt="0"
48 passed_cnt="0"
49 subdir_cnt="0"
50
51 ##############################################################################
52 # copy default tests to $BUILDDIR
53 #
54
55 TESTSDIR=$BUILDDIR/tests
56 [ -d $TESTSDIR ] || mkdir $TESTSDIR
57
58 ##############################################################################
59 # assign IP for each host to hostname
60 #
61
62 for host in $STRONGSWANHOSTS
63 do
64     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
65     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
66
67     case $host in
68     moon)
69         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
70         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
71         ;;
72     sun)
73         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
74         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
75         ;;
76     alice)
77         eval ipv4_alice1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
78         eval ipv6_alice1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
79         ;;
80     venus)
81         ;;
82     bob)
83         ;;
84     carol)
85         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
86         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
87          ;;
88     dave)
89         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
90         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
91         ;;
92     winnetou)
93         ;;
94     esac
95 done
96
97
98 ##############################################################################
99 # open ssh sessions
100 #
101 for host in $STRONGSWANHOSTS
102 do
103     ssh $SSHCONF -N root@`eval echo \\\$ipv4_$host` >/dev/null 2>&1 &
104     eval ssh_pid_$host="`echo $!`"
105     do_on_exit kill `eval echo \\\$ssh_pid_$host`
106 done
107
108 ##############################################################################
109 # determine actual software versions
110 #
111
112 [ -f $SHAREDDIR/.strongswan-version ] && SWANVERSION=`cat $SHAREDDIR/.strongswan-version`
113 KERNELVERSION=`ssh $SSHCONF root@\$ipv4_winnetou uname -r 2>/dev/null`
114
115 # check if tcpdump supports --immediate-mode
116 ssh $SSHCONF root@$ipv4_winnetou tcpdump --immediate-mode -c 1 >/dev/null 2>&1
117 if [ $? -eq 0 ]
118 then
119         TCPDUMP_IM=--immediate-mode
120 fi
121
122 ##############################################################################
123 # create header for the results html file
124 #
125
126 ENVIRONMENT_HEADER=$(cat <<@EOF
127   <table border="0" cellspacing="2" cellpadding="2">
128     <tr valign="top">
129       <td><b>Host</b></td>
130       <td colspan="3">`uname -a`</td>
131     </tr>
132     <tr valign="top">
133       <td><b>Guest kernel</b></td>
134       <td colspan="3">$KERNELVERSION</td>
135     </tr>
136     <tr valign="top">
137       <td><b>strongSwan</b></td>
138       <td colspan="3">$SWANVERSION</td>
139     </tr>
140     <tr valign="top">
141       <td><b>Date</b></td>
142       <td colspan="3">$TESTDATE</td>
143     </tr>
144     <tr>
145       <td width="100">&nbsp;</td>
146       <td width="300">&nbsp;</td>
147       <td width=" 80">&nbsp;</td>
148       <td >&nbsp;</td>
149     </tr>
150 @EOF
151 )
152
153 cat > $INDEX <<@EOF
154 <html>
155 <head>
156   <title>strongSwan KVM Tests</title>
157 </head>
158 <body>
159   <h2>strongSwan KVM Tests</h2>
160   $ENVIRONMENT_HEADER
161 @EOF
162
163 cat > $TESTRESULTSHTML <<@EOF
164 <html>
165 <head>
166   <title>strongSwan KVM Tests - All Tests</title>
167 </head>
168 <body>
169   <div><a href="index.html">strongSwan KVM Tests</a> / All Tests</div>
170   <h2>All Tests</h2>
171   $ENVIRONMENT_HEADER
172     <tr align="left">
173       <th>Number</th>
174       <th>Test</th>
175       <th align="right">Time [s]</th>
176       <th>Result</th>
177     </tr>
178 @EOF
179
180 echo "Guest kernel : $KERNELVERSION"
181 echo "strongSwan   : $SWANVERSION"
182 echo "Date         : $TESTDATE"
183 echo
184
185 ##############################################################################
186 # trap CTRL-C to properly terminate a long run
187 #
188
189 function abort_tests()
190 {
191         echo -n "...aborting..." > /dev/tty
192         aborted=YES
193 }
194 trap abort_tests INT
195
196 ##############################################################################
197 # enter specific test directory
198 #
199 if [ $# -gt 0 ]
200 then
201     TESTS=$(printf "%s\n" $* | sort -u)
202 else
203     TESTS=$(ls $DEFAULTTESTSDIR)
204 fi
205
206 for SUBDIR in $TESTS
207 do
208     SUBTESTS="`basename $SUBDIR`"
209
210     if [ $SUBTESTS = $SUBDIR ]
211     then
212         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
213     else
214         SUBDIR="`dirname $SUBDIR`"
215     fi
216
217     if [ ! -d $TODAYDIR/$SUBDIR ]
218     then
219         mkdir $TODAYDIR/$SUBDIR
220         if [ $testnumber == 0 ]
221         then
222             FIRST="<b>Category</b>"
223         else
224             FIRST="&nbsp;"
225         fi
226
227         if [ $subdir_cnt != 0 ]
228         then
229             echo "      <td align=\"right\">$subdir_cnt</td>" >> $INDEX
230             echo "      <td>&nbsp;</td>" >> $INDEX
231             echo "    </tr>" >> $INDEX
232             subdir_cnt="0"
233         fi
234         echo "    <tr>" >> $INDEX
235     echo "      <td>$FIRST</td>">> $INDEX
236     echo "      <td><a href=\"$SUBDIR/index.html\">$SUBDIR</a></td>" >> $INDEX
237
238         SUBTESTSINDEX=$TODAYDIR/$SUBDIR/index.html
239         cat > $SUBTESTSINDEX <<@EOF
240 <html>
241 <head>
242   <title>strongSwan $SUBDIR Tests</title>
243 </head>
244 <body>
245   <div><a href="../index.html">strongSwan KVM Tests</a> / $SUBDIR</div>
246   <h2>strongSwan $SUBDIR Tests</h2>
247   <table border="0" cellspacing="2" cellpadding="2">
248     <tr valign="top">
249       <td><b>Guest kernel</b></td>
250       <td colspan="3">$KERNELVERSION</td>
251     </tr>
252     <tr valign="top">
253       <td><b>strongSwan</b></td>
254       <td colspan="3">$SWANVERSION</td>
255     </tr>
256     <tr valign="top">
257       <td><b>Date</b></td>
258       <td colspan="3">$TESTDATE</td>
259     </tr>
260     <tr>
261       <td width="100">&nbsp;</td>
262       <td width="300">&nbsp;</td>
263       <td width=" 50">&nbsp;</td>
264       <td >&nbsp;</td>
265     </tr>
266     <tr align="left">
267        <th>Number</th>
268        <th>Test</th>
269        <th colspan="2">Result</th>
270     </tr>
271 @EOF
272     fi
273
274     for name in $SUBTESTS
275     do
276         let "testnumber += 1"
277         let "subdir_cnt += 1"
278         testname=$SUBDIR/$name
279         log_action " $testnumber $testname:"
280
281         teststart=$(date +%s)
282
283         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
284         then
285             echo "is missing..skipped"
286             continue
287         fi
288
289         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
290         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
291         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
292         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
293         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
294
295         TESTRESULTDIR=$TODAYDIR/$testname
296         mkdir -p $TESTRESULTDIR
297         CONSOLE_LOG=$TESTRESULTDIR/console.log
298         touch $CONSOLE_LOG
299
300         TESTDIR=$TESTSDIR/${testname}
301         rm -rf $TESTDIR
302         mkdir -p $TESTDIR
303         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
304
305
306         ##############################################################################
307         # replace IP wildcards with actual IPv4 and IPv6 addresses
308         #
309
310         for host in $STRONGSWANHOSTS
311         do
312             case $host in
313             moon)
314                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
315                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
316                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
317                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
318                 ;;
319             sun)
320                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
321                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
322                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
323                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
324                 ;;
325             alice)
326                 searchandreplace PH_IP_ALICE1    $ipv4_alice1 $TESTDIR
327                 searchandreplace PH_IP_ALICE     $ipv4_alice  $TESTDIR
328                 searchandreplace PH_IP6_ALICE1   $ipv6_alice1 $TESTDIR
329                 searchandreplace PH_IP6_ALICE    $ipv6_alice  $TESTDIR
330                 ;;
331             venus)
332                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
333                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
334                 ;;
335             bob)
336                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
337                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
338                 ;;
339             carol)
340                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
341                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
342                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
343                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
344                 ;;
345             dave)
346                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
347                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
348                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
349                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
350                 ;;
351             winnetou)
352                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
353                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
354                 ;;
355             esac
356         done
357
358
359         ##########################################################################
360         # copy test specific configurations to hosts and clear log files
361         #
362
363         DBDIR=/etc/db.d
364
365         $DIR/scripts/load-testconfig $testname
366         unset RADIUSHOSTS
367         unset DBHOSTS
368         unset IPV6
369         unset SWANCTL
370         source $TESTDIR/test.conf
371
372
373         ##########################################################################
374         # run tcpdump in the background
375         #
376
377         if [ "$TCPDUMPHOSTS" != "" ]
378         then
379             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
380
381             for host_iface in $TCPDUMPHOSTS
382             do
383                 host=`echo $host_iface | awk -F ":" '{print $1}'`
384                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
385                 tcpdump_cmd="tcpdump -l $TCPDUMP_IM -i $iface not port ssh and not port domain >/tmp/tcpdump.log 2>/tmp/tcpdump.err.log &"
386                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
387                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
388                 eval TDUP_${host}="true"
389             done
390         fi
391
392         ##########################################################################
393         # create database directory in RAM
394         #
395
396         for host in $DBHOSTS
397         do
398                 eval HOSTLOGIN=root@\$ipv4_${host}
399             ssh $SSHCONF $HOSTLOGIN "mkdir -p $DBDIR; mount -t ramfs -o size=5m ramfs $DBDIR" >/dev/null 2>&1
400             ssh $SSHCONF $HOSTLOGIN "chgrp www-data $DBDIR; chmod g+w $DBDIR" >/dev/null 2>&1
401         done
402
403         ##########################################################################
404         # flush conntrack table on all hosts
405         #
406
407         for host in $STRONGSWANHOSTS
408         do
409                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'conntrack -F' >/dev/null 2>&1
410         done
411
412         ##########################################################################
413         # remove leak detective log on all hosts
414         #
415
416         export LEAK_DETECTIVE_LOG=/var/log/leak-detective.log
417         for host in $STRONGSWANHOSTS
418         do
419                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'rm -f $LEAK_DETECTIVE_LOG' >/dev/null 2>&1
420         done
421
422         ##########################################################################
423         # flush IPsec state on all hosts
424         #
425
426         for host in $STRONGSWANHOSTS
427         do
428                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'ip xfrm state flush; ip xfrm policy flush' >/dev/null 2>&1
429         done
430
431         ##########################################################################
432         # execute pre-test commands
433         #
434
435         echo -n "pre.."
436         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
437
438         eval `awk -F "::" '{
439             if ($1 !~ /^#.*/ && $2 != "")
440             {
441                 printf("echo \"%s# %s\"; ", $1, $2)
442                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
443                 printf("echo;\n")
444             }
445         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
446
447
448         ##########################################################################
449         # stop tcpdump
450         #
451
452         function stop_tcpdump {
453             # wait for packets to get processed, but don't wait longer than 1s
454             eval ssh $SSHCONF root@\$ipv4_${1} "\"i=100; while [ \\\$i -gt 0 ]; do pkill -USR1 tcpdump; tail -1 /tmp/tcpdump.err.log | perl -n -e '/(\\d+).*?(\\d+)/; exit (\\\$1 == \\\$2)' || break; sleep 0.01; i=\\\$((\\\$i-1)); done;\""
455             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
456             eval ssh $SSHCONF root@\$ipv4_${1} "\"killall tcpdump; while true; do killall -q -0 tcpdump || break; sleep 0.01; done;\""
457             eval TDUP_${1}="false"
458             echo "" >> $CONSOLE_LOG
459         }
460
461
462         ##########################################################################
463         # get and evaluate test results
464         #
465
466         echo -n "test.."
467         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
468
469         STATUS="passed"
470
471         eval `awk -F "::" '{
472             host=$1
473             command=$2
474             pattern=$3
475             hit=$4
476             if (host !~ /^#.*/ && command != "")
477             {
478                 if (command == "tcpdump")
479                 {
480                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
481                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
482                     printf("ssh \044SSHCONF root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
483                 }
484                 else
485                 {
486                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
487                     printf("ssh \044SSHCONF root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
488                 }
489                 printf("cmd_exit=\044?; ")
490                 printf("echo; ")
491                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
492                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
493                 printf("; then STATUS=\"failed\"; fi; \n")
494             }
495         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
496
497
498         ##########################################################################
499         # set counters
500         #
501
502         if [ $STATUS = "failed" ]
503         then
504             let "failed_cnt += 1"
505         else
506             let "passed_cnt += 1"
507         fi
508
509
510         ##########################################################################
511         # log statusall and listall output
512         # get copies of ipsec.conf, ipsec.secrets
513         # create index.html for the given test case
514
515         cat > $TESTRESULTDIR/index.html <<@EOF
516 <html>
517 <head>
518   <title>Test $testname</title>
519 </head>
520 <body>
521 <table border="0" cellpadding="0" cellspacing="0" width="600">
522   <tr><td>
523     <div><a href="../../index.html">strongSwan KVM Tests</a> / <a href="../index.html">$SUBDIR</a> / $name</div>
524     <h2>Test $testname</h2>
525     <h3>Description</h3>
526 @EOF
527
528         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
529
530         cat >> $TESTRESULTDIR/index.html <<@EOF
531     <ul>
532       <li><a href="console.log">console.log</a></li>
533     </ul>
534     <img src="../../images/$DIAGRAM" alt="$VIRTHOSTS">
535 @EOF
536
537         IPTABLES_CMD_V4="echo -e '=== filter table ==='; iptables  -v -n -L; echo -e '\n=== nat table ==='; iptables  -v -n -t nat -L; echo -e '\n=== mangle table ==='; iptables  -v -n -t mangle -L"
538         IPTABLES_CMD_V6="echo -e '=== filter table ==='; ip6tables -v -n -L; echo -e '\n=== nat table ==='; ip6tables -v -n -t nat -L; echo -e '\n=== mangle table ==='; ip6tables -v -n -t mangle -L"
539
540         if [ -n "$IPV6" ]
541         then
542             IPROUTE_CMD="ip -6 route list table $SOURCEIP_ROUTING_TABLE"
543             IPROUTE_DSP=$IPROUTE_CMD
544             IPTABLES_CMD="$IPTABLES_CMD_V6"
545             IPTABLES_DSP="ip6tables -L"
546             IPTABLES_SAVE_CMD="ip6tables-save"
547             IPTABLES_SAVE_DSP="ip6tables-save"
548         else
549             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE"
550             IPROUTE_DSP=$IPROUTE_CMD
551             IPTABLES_CMD="$IPTABLES_CMD_V4"
552             IPTABLES_DSP="iptables -L"
553             IPTABLES_SAVE_CMD="iptables-save"
554             IPTABLES_SAVE_DSP="iptables-save"
555         fi
556
557         if [ $name = "net2net-ip4-in-ip6-ikev2" -o $name = "net2net-ip6-in-ip4-ikev2" ]
558         then
559             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE; echo; ip -6 route list table $SOURCEIP_ROUTING_TABLE"
560             IPROUTE_DSP="ip (-6) route list table $SOURCEIP_ROUTING_TABLE"
561             IPTABLES_CMD="$IPTABLES_CMD_V4; echo; $IPTABLES_CMD_V6"
562             IPTABLES_DSP="iptables -L ; ip6tables -L"
563             IPTABLES_SAVE_CMD="iptables-save; echo; ip6tables-save"
564             IPTABLES_SAVE_DSP="iptables-save ; ip6tables-save"
565         fi
566
567         for host in $DBHOSTS
568         do
569             eval HOSTLOGIN=root@\$ipv4_${host}
570
571                 scp $SSHCONF $HOSTLOGIN:/etc/db.d/ipsec.sql \
572                     $TESTRESULTDIR/${host}.ipsec.sql  > /dev/null 2>&1
573         done
574
575         for host in $IPSECHOSTS
576         do
577             eval HOSTLOGIN=root@\$ipv4_${host}
578
579                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
580                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
581                 if [  -n "$SWANCTL" ]
582                 then
583                         scp $SSHCONF $HOSTLOGIN:/etc/swanctl/swanctl.conf \
584                         $TESTRESULTDIR/${host}.swanctl.conf  > /dev/null 2>&1
585
586                         for subsys in conns algs certs pools authorities sas pols
587                         do
588                                 ssh $SSHCONF $HOSTLOGIN swanctl --list-$subsys \
589                                         > $TESTRESULTDIR/${host}.swanctl.$subsys 2>/dev/null
590                         done
591
592                         ssh $SSHCONF $HOSTLOGIN swanctl --stats \
593                                 > $TESTRESULTDIR/${host}.swanctl.stats 2>/dev/null
594
595                         echo "" >> $TESTRESULTDIR/${host}.swanctl.sas
596                         cat $TESTRESULTDIR/${host}.swanctl.pols >> \
597                                 $TESTRESULTDIR/${host}.swanctl.sas
598                         cat $TESTRESULTDIR/${host}.swanctl.algs >> \
599                                 $TESTRESULTDIR/${host}.swanctl.stats
600                 else
601                     for file in ipsec.conf ipsec.secrets
602                     do
603                                 scp $SSHCONF $HOSTLOGIN:/etc/$file \
604                             $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
605                     done
606
607                     for command in statusall listall
608                     do
609                                 ssh $SSHCONF $HOSTLOGIN ipsec $command \
610                             > $TESTRESULTDIR/${host}.$command 2>/dev/null
611                     done
612                 fi
613
614                 if (! [ -f $TESTRESULTDIR/${host}.ipsec.sql ] ) then
615                         scp $SSHCONF $HOSTLOGIN:/etc/ipsec.d/ipsec.sql \
616                                 $TESTRESULTDIR/${host}.ipsec.sql  > /dev/null 2>&1
617                 fi
618
619             ssh $SSHCONF $HOSTLOGIN ip -s xfrm policy \
620                     > $TESTRESULTDIR/${host}.ip.policy 2>/dev/null
621             ssh $SSHCONF $HOSTLOGIN ip -s xfrm state \
622                     > $TESTRESULTDIR/${host}.ip.state 2>/dev/null
623             ssh $SSHCONF $HOSTLOGIN $IPROUTE_CMD \
624                     > $TESTRESULTDIR/${host}.ip.route 2>/dev/null
625             ssh $SSHCONF $HOSTLOGIN $IPTABLES_CMD \
626                     > $TESTRESULTDIR/${host}.iptables 2>/dev/null
627                 ssh $SSHCONF $HOSTLOGIN $IPTABLES_SAVE_CMD \
628                     > $TESTRESULTDIR/${host}.iptables-save 2>/dev/null
629             chmod a+r $TESTRESULTDIR/*
630
631                 if [ -n "$SWANCTL" ]
632                 then
633                     cat >> $TESTRESULTDIR/index.html <<@EOF
634     <h3>$host</h3>
635       <table border="0" cellspacing="0" width="600">
636       <tr>
637         <td valign="top">
638           <ul>
639             <li><a href="$host.swanctl.conf">swanctl.conf</a></li>
640             <li><a href="$host.swanctl.conns">swanctl --list-conns</a></li>
641             <li><a href="$host.swanctl.certs">swanctl --list-certs</a></li>
642             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
643             <li><a href="$host.ipsec.sql">ipsec.sql</a></li>
644           </ul>
645         </td>
646         <td valign="top">
647           <ul>
648             <li><a href="$host.swanctl.sas">swanctl --list-sas|--list-pols</a></li>
649             <li><a href="$host.swanctl.pools">swanctl --list-pools</a></li>
650             <li><a href="$host.swanctl.authorities">swanctl --list-authorities</a></li>
651             <li><a href="$host.swanctl.stats">swanctl --stats|--list-algs</a></li>
652             <li><a href="$host.auth.log">auth.log</a></li>
653             <li><a href="$host.daemon.log">daemon.log</a></li>
654           </ul>
655       </td>
656         <td valign="top">
657           <ul>
658             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
659             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
660             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
661             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
662             <li><a href="$host.iptables-save">$IPTABLES_SAVE_DSP</a></li>
663           </ul>
664           &nbsp;
665       </td>
666     </tr>
667     </table>
668 @EOF
669
670                 else
671                     cat >> $TESTRESULTDIR/index.html <<@EOF
672     <h3>$host</h3>
673       <table border="0" cellspacing="0" width="600">
674       <tr>
675         <td valign="top">
676           <ul>
677             <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
678             <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
679             <li><a href="$host.ipsec.sql">ipsec.sql</a></li>
680             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
681           </ul>
682         </td>
683         <td valign="top">
684           <ul>
685             <li><a href="$host.statusall">ipsec statusall</a></li>
686             <li><a href="$host.listall">ipsec listall</a></li>
687             <li><a href="$host.auth.log">auth.log</a></li>
688             <li><a href="$host.daemon.log">daemon.log</a></li>
689           </ul>
690       </td>
691         <td valign="top">
692           <ul>
693             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
694             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
695             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
696             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
697             <li><a href="$host.iptables-save">$IPTABLES_SAVE_DSP</a></li>
698           </ul>
699       </td>
700     </tr>
701     </table>
702 @EOF
703                 fi
704         done
705
706         for host in $RADIUSHOSTS
707         do
708             eval HOSTLOGIN=root@\$ipv4_${host}
709
710             for file in clients.conf eap.conf radiusd.conf proxy.conf users
711             do
712                 scp $SSHCONF $HOSTLOGIN:/etc/freeradius/$file \
713                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
714             done
715
716                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
717                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
718
719             scp $SSHCONF $HOSTLOGIN:/var/log/freeradius/radius.log \
720                 $TESTRESULTDIR/${host}.radius.log  > /dev/null 2>&1
721
722             ssh $SSHCONF $HOSTLOGIN grep imcv /var/log/daemon.log \
723                 >> $TESTRESULTDIR/${host}.daemon.log 2>/dev/null
724
725             chmod a+r $TESTRESULTDIR/*
726             cat >> $TESTRESULTDIR/index.html <<@EOF
727     <h3>$host</h3>
728       <table border="0" cellspacing="0" width="600">
729       <tr>
730         <td valign="top">
731           <ul>
732             <li><a href="$host.clients.conf">clients.conf</a></li>
733             <li><a href="$host.radiusd.conf">radiusd.conf</a></li>
734             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
735           </ul>
736         </td>
737         <td valign="top">
738           <ul>
739             <li><a href="$host.eap.conf">eap.conf</a></li>
740             <li><a href="$host.radius.log">radius.log</a></li>
741             <li><a href="$host.daemon.log">daemon.log</a></li>
742           </ul>
743       </td>
744         <td valign="top">
745           <ul>
746             <li><a href="$host.proxy.conf">proxy.conf</a></li>
747             <li><a href="$host.users">users</a></li>
748           </ul>
749       </td>
750     </tr>
751     </table>
752 @EOF
753
754         done
755
756         cat >> $TESTRESULTDIR/index.html <<@EOF
757         <h3>tcpdump</h3>
758         <ul>
759 @EOF
760
761         for host in $TCPDUMPHOSTS
762         do
763             cat >> $TESTRESULTDIR/index.html <<@EOF
764             <li><a href="$host.tcpdump.log">$host tcpdump.log</a></li>
765 @EOF
766         done
767
768         cat >> $TESTRESULTDIR/index.html <<@EOF
769         </ul>
770 @EOF
771
772         cat >> $TESTRESULTDIR/index.html <<@EOF
773   </td></tr>
774 </table>
775 </body>
776 </html>
777 @EOF
778
779
780         ##########################################################################
781         # execute post-test commands
782         #
783
784         echo -n "post"
785         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
786
787         eval `awk -F "::" '{
788             if ($1 !~ /^#.*/ && $2 != "")
789             {
790                 printf("echo \"%s# %s\"; ", $1, $2)
791                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
792                 printf("echo;\n")
793             }
794         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
795
796         ##########################################################################
797         # check that IPsec state was cleaned up properly
798         #
799
800         for host in $IPSECHOSTS
801         do
802                 eval HOSTLOGIN=root@\$ipv4_${host}
803                 IPSECSTATE=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm state'`
804                 IPSECPOLICY=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm policy'`
805                 if [ -n "$IPSECSTATE" -o -n "$IPSECPOLICY" ]
806                 then
807                         echo -e "\n$host# ip xfrm state [NO]" >> $CONSOLE_LOG
808                         echo "$IPSECSTATE" >> $CONSOLE_LOG
809                         echo -e "\n$host# ip xfrm policy [NO]" >> $CONSOLE_LOG
810                         echo "$IPSECPOLICY" >> $CONSOLE_LOG
811                         STATUS="failed"
812                 fi
813         done
814
815
816         ##########################################################################
817         # make sure there were no leaks
818         #
819
820         for host in $STRONGSWANHOSTS
821         do
822                 eval HOSTLOGIN=root@\$ipv4_${host}
823                 LEAKS=`ssh $SSHCONF $HOSTLOGIN 'cat $LEAK_DETECTIVE_LOG 2>/dev/null | grep -v "No leaks detected.*"'`
824                 if [ -n "$LEAKS" ]
825                 then
826                         echo -e "\n$host# cat $LEAK_DETECTIVE_LOG [NO]" >> $CONSOLE_LOG
827                         echo "$LEAKS" >> $CONSOLE_LOG
828                         echo "<<< $host $LEAK_DETECTIVE_LOG >>>" >> $CONSOLE_LOG
829                         STATUS="failed"
830                 fi
831         done
832
833
834         ##########################################################################
835         # get a copy of /var/log/auth.log
836         #
837
838         for host in $IPSECHOSTS
839         do
840             eval HOSTLOGIN=root@\$ipv4_${host}
841             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv|pt-tls-client' \
842                 /var/log/auth.log" >> $TESTRESULTDIR/${host}.auth.log
843         done
844
845
846         ##########################################################################
847         # get a copy of /var/log/daemon.log
848         #
849
850         for host in $IPSECHOSTS
851         do
852             eval HOSTLOGIN=root@\$ipv4_${host}
853             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv' \
854                 /var/log/daemon.log" >> $TESTRESULTDIR/${host}.daemon.log
855         done
856
857
858         ##########################################################################
859         # stop tcpdump if necessary
860         #
861
862         for host in $TCPDUMPHOSTS
863         do
864             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
865             then
866                         stop_tcpdump $host
867             fi
868             eval HOSTLOGIN=root@\$ipv4_${host}
869                 scp $SSHCONF $HOSTLOGIN:/tmp/tcpdump.log \
870                         $TESTRESULTDIR/${host}.tcpdump.log > /dev/null 2>&1
871         done
872
873         ##########################################################################
874         # remove database directory if needed
875         #
876
877         for host in $DBHOSTS
878         do
879                 eval HOSTLOGIN=root@\$ipv4_${host}
880             ssh $SSHCONF $HOSTLOGIN "umount $DBDIR; rm -r $DBDIR" > /dev/null 2>&1
881         done
882
883         ##########################################################################
884         # copy default host config back if necessary
885         #
886
887         $DIR/scripts/restore-defaults $testname
888
889
890         ##########################################################################
891         # write test status to html file
892         #
893         testend=$(date +%s)
894         let "testend -= teststart"
895         let "timetotal += testend"
896
897         if [ $STATUS = "passed" ]
898         then
899                 COLOR="green"
900                 log_status 0
901         else
902                 COLOR="red"
903                 log_status 1
904         fi
905
906         cat >> $TESTRESULTSHTML << @EOF
907   <tr>
908     <td>$testnumber</td>
909     <td><a href="$testname/index.html">$testname</a></td>
910     <td align="right">$testend</td>
911     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
912   </tr>
913 @EOF
914         cat >> $SUBTESTSINDEX << @EOF
915   <tr>
916     <td>$testnumber</td>
917     <td><a href="$name/index.html">$name</a></td>
918     <td><a href="$name/console.log"><font color="$COLOR">$STATUS</font></a></td>
919     <td>&nbsp;</td>
920   </tr>
921 @EOF
922
923
924         ##########################################################################
925         # remove any charon.pid files that still may exist
926         #
927
928         for host in $IPSECHOSTS
929         do
930             eval HOSTLOGIN=root@\$ipv4_${host}
931             ssh $SSHCONF $HOSTLOGIN 'if [ -f /var/run/charon.pid ]; then rm /var/run/charon.pid; echo "    removed charon.pid on `hostname`"; fi'
932         done
933
934         if [ -n "$aborted" ]
935         then
936             break 2
937         fi
938
939     done
940
941 done
942
943
944 ##############################################################################
945 # finish the results html file
946 #
947
948 cat >> $TESTRESULTSHTML << @EOF
949     <tr>
950       <td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td>
951     </tr>
952     <tr>
953       <td><b>Passed</b></td><td><b><font color="green">$passed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
954     </tr>
955     <tr>
956       <td><b>Failed</b></td><td><b><font color="red">$failed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
957     </tr>
958     <tr>
959       <td><b>Time [s]</b></td><td><b><font color="blue">$timetotal</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
960     </tr>
961   </table>
962 </body>
963 </html>
964 @EOF
965
966 if [ $subdir_cnt != 0 ]
967 then
968 cat >> $INDEX << @EOF
969       <td align="right">$subdir_cnt</td>
970       <td>&nbsp;</td>
971     </tr>
972 @EOF
973 fi
974
975 let "all_cnt = $passed_cnt + $failed_cnt"
976
977 cat >> $INDEX << @EOF
978     <tr>
979       <td>&nbsp;</td>
980       <td><a href="all.html"><b>all</b></a></td>
981       <td align="right"><b>$all_cnt</b></td>
982       <td>&nbsp;</td>
983     </tr>
984     <tr>
985       <td><b>Failed</b></td>
986       <td>&nbsp;</td>
987       <td align="right"><b><font color="red">$failed_cnt</font></b></td>
988       <td>&nbsp;</td>
989     </tr>
990   </table>
991 </body>
992 </html>
993 @EOF
994
995 echo
996 echo_ok     "Passed : $passed_cnt"
997 echo_failed "Failed : $failed_cnt"
998
999 echo
1000 echo "The results are available in $TODAYDIR"
1001 echo "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"
1002
1003 ENDDATE=`date +%Y%m%d-%H%M-%S`
1004 echo
1005 echo "Finished : $ENDDATE"