testing: Report time required for all scenarios on test overview page
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16
17 DIR=$(dirname `readlink -f $0`)
18 . $DIR/testing.conf
19 . $DIR/scripts/function.sh
20 SSHCONF="-F $DIR/ssh_config"
21
22 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
23 [ -d $DIR/tests ] || die "Directory 'tests' not found"
24 [ -d $BUILDDIR ] ||
25         die "Directory '$BUILDDIR' does not exist, please run make-testing first"
26 running_any $STRONGSWANHOSTS || die "Please start test environment before running $0"
27
28 ln -sfT $DIR $TESTDIR/testing
29
30 ##############################################################################
31 # take care of new path and file variables
32 #
33
34 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
35
36 TESTDATE=`date +%Y%m%d-%H%M-%S`
37
38 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
39 mkdir $TODAYDIR
40 TESTRESULTSHTML=$TODAYDIR/all.html
41 INDEX=$TODAYDIR/index.html
42 DEFAULTTESTSDIR=$TESTDIR/testing/tests
43
44 SOURCEIP_ROUTING_TABLE=220
45
46 testnumber="0"
47 failed_cnt="0"
48 passed_cnt="0"
49
50
51 ##############################################################################
52 # copy default tests to $BUILDDIR
53 #
54
55 TESTSDIR=$BUILDDIR/tests
56 [ -d $TESTSDIR ] || mkdir $TESTSDIR
57
58 ##############################################################################
59 # assign IP for each host to hostname
60 #
61
62 for host in $STRONGSWANHOSTS
63 do
64     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
65     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
66
67     case $host in
68     moon)
69         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
70         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
71         ;;
72     sun)
73         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
74         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
75         ;;
76     alice)
77         eval ipv4_alice1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
78         eval ipv6_alice1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
79         ;;
80     venus)
81         ;;
82     bob)
83         ;;
84     carol)
85         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
86         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
87          ;;
88     dave)
89         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
90         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
91         ;;
92     winnetou)
93         ;;
94     esac
95 done
96
97
98 ##############################################################################
99 # open ssh sessions
100 #
101 for host in $STRONGSWANHOSTS
102 do
103     ssh $SSHCONF -N root@`eval echo \\\$ipv4_$host` >/dev/null 2>&1 &
104     eval ssh_pid_$host="`echo $!`"
105     do_on_exit kill `eval echo \\\$ssh_pid_$host`
106 done
107
108
109 ##############################################################################
110 # create header for the results html file
111 #
112
113 ENVIRONMENT_HEADER=$(cat <<@EOF
114   <table border="0" cellspacing="2" cellpadding="2">
115     <tr valign="top">
116       <td><b>Host</b></td>
117       <td colspan="3">`uname -a`</td>
118     </tr>
119     <tr valign="top">
120       <td><b>Guest kernel</b></td>
121       <td colspan="3">$KERNELVERSION</td>
122     </tr>
123     <tr valign="top">
124       <td><b>strongSwan</b></td>
125       <td colspan="3">$SWANVERSION</td>
126     </tr>
127     <tr valign="top">
128       <td><b>Date</b></td>
129       <td colspan="3">$TESTDATE</td>
130     </tr>
131     <tr>
132       <td width="100">&nbsp;</td>
133       <td width="300">&nbsp;</td>
134       <td width=" 80">&nbsp;</td>
135       <td >&nbsp;</td>
136     </tr>
137 @EOF
138 )
139
140 cat > $INDEX <<@EOF
141 <html>
142 <head>
143   <title>strongSwan KVM Tests</title>
144 </head>
145 <body>
146   <h2>strongSwan KVM Tests</h2>
147   $ENVIRONMENT_HEADER
148 @EOF
149
150 cat > $TESTRESULTSHTML <<@EOF
151 <html>
152 <head>
153   <title>strongSwan KVM Tests - All Tests</title>
154 </head>
155 <body>
156   <div><a href="index.html">strongSwan KVM Tests</a> / All Tests</div>
157   <h2>All Tests</h2>
158   $ENVIRONMENT_HEADER
159     <tr align="left">
160       <th>Number</th>
161       <th>Test</th>
162       <th align="right">Time [s]</th>
163       <th>Result</th>
164     </tr>
165 @EOF
166
167 echo "Guest kernel : $KERNELVERSION"
168 echo "strongSwan   : $SWANVERSION"
169 echo "Date         : $TESTDATE"
170 echo
171
172
173 ##############################################################################
174 # enter specific test directory
175 #
176
177 if [ $# -gt 0 ]
178 then
179     TESTS=$*
180 else
181     # set internal field seperator
182     TESTS="`ls $DEFAULTTESTSDIR`"
183 fi
184
185 for SUBDIR in $TESTS
186 do
187     SUBTESTS="`basename $SUBDIR`"
188
189     if [ $SUBTESTS = $SUBDIR ]
190     then
191         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
192     else
193         SUBDIR="`dirname $SUBDIR`"
194     fi
195
196     if [ ! -d $TODAYDIR/$SUBDIR ]
197     then
198         mkdir $TODAYDIR/$SUBDIR
199         if [ $testnumber == 0 ]
200         then
201             FIRST="<b>Category</b>"
202         else
203             FIRST="&nbsp;"
204         fi
205         echo "    <tr>" >> $INDEX
206     echo "      <td>$FIRST</td>">> $INDEX
207     echo "      <td><a href=\"$SUBDIR/index.html\">$SUBDIR</a></td>" >> $INDEX
208     echo "      <td align=\"right\">x</td>" >> $INDEX
209     echo "      <td>&nbsp;</td>" >> $INDEX
210     echo "    </tr>" >> $INDEX
211         SUBTESTSINDEX=$TODAYDIR/$SUBDIR/index.html
212         cat > $SUBTESTSINDEX <<@EOF
213 <html>
214 <head>
215   <title>strongSwan $SUBDIR Tests</title>
216 </head>
217 <body>
218   <div><a href="../index.html">strongSwan KVM Tests</a> / $SUBDIR</div>
219   <h2>strongSwan $SUBDIR Tests</h2>
220   <table border="0" cellspacing="2" cellpadding="2">
221     <tr valign="top">
222       <td><b>Guest kernel</b></td>
223       <td colspan="3">$KERNELVERSION</td>
224     </tr>
225     <tr valign="top">
226       <td><b>strongSwan</b></td>
227       <td colspan="3">$SWANVERSION</td>
228     </tr>
229     <tr valign="top">
230       <td><b>Date</b></td>
231       <td colspan="3">$TESTDATE</td>
232     </tr>
233     <tr>
234       <td width="100">&nbsp;</td>
235       <td width="300">&nbsp;</td>
236       <td width=" 50">&nbsp;</td>
237       <td >&nbsp;</td>
238     </tr>
239     <tr align="left">
240        <th>Number</th>
241        <th>Test</th>
242        <th colspan="2">Result</th>
243     </tr>
244 @EOF
245     fi
246
247     for name in $SUBTESTS
248     do
249         let "testnumber += 1"
250         testname=$SUBDIR/$name
251         log_action " $testnumber $testname:"
252
253         teststart=$(date +%s)
254
255         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
256         then
257             echo "is missing..skipped"
258             continue
259         fi
260
261         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
262         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
263         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
264         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
265         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
266
267         TESTRESULTDIR=$TODAYDIR/$testname
268         mkdir -p $TESTRESULTDIR
269         CONSOLE_LOG=$TESTRESULTDIR/console.log
270         touch $CONSOLE_LOG
271
272         TESTDIR=$TESTSDIR/${testname}
273         rm -rf $TESTDIR
274         mkdir -p $TESTDIR
275         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
276
277
278         ##############################################################################
279         # replace IP wildcards with actual IPv4 and IPv6 addresses
280         #
281
282         for host in $STRONGSWANHOSTS
283         do
284             case $host in
285             moon)
286                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
287                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
288                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
289                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
290                 ;;
291             sun)
292                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
293                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
294                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
295                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
296                 ;;
297             alice)
298                 searchandreplace PH_IP_ALICE1    $ipv4_alice1 $TESTDIR
299                 searchandreplace PH_IP_ALICE     $ipv4_alice  $TESTDIR
300                 searchandreplace PH_IP6_ALICE1   $ipv6_alice1 $TESTDIR
301                 searchandreplace PH_IP6_ALICE    $ipv6_alice  $TESTDIR
302                 ;;
303             venus)
304                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
305                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
306                 ;;
307             bob)
308                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
309                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
310                 ;;
311             carol)
312                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
313                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
314                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
315                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
316                 ;;
317             dave)
318                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
319                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
320                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
321                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
322                 ;;
323             winnetou)
324                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
325                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
326                 ;;
327             esac
328         done
329
330
331         ##########################################################################
332         # copy test specific configurations to uml hosts and clear auth.log files
333         #
334
335         $DIR/scripts/load-testconfig $testname
336         unset RADIUSHOSTS
337         unset IPV6
338         unset SWANCTL
339         source $TESTDIR/test.conf
340
341
342         ##########################################################################
343         # run tcpdump in the background
344         #
345
346         if [ "$TCPDUMPHOSTS" != "" ]
347         then
348             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
349
350             for host_iface in $TCPDUMPHOSTS
351             do
352                 host=`echo $host_iface | awk -F ":" '{print $1}'`
353                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
354                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain > /tmp/tcpdump.log 2>&1 &"
355                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
356                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
357                 eval TDUP_${host}="true"
358             done
359         fi
360
361         ##########################################################################
362         # flush conntrack table on all hosts
363         #
364
365         for host in $STRONGSWANHOSTS
366         do
367                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'conntrack -F' >/dev/null 2>&1
368         done
369
370         ##########################################################################
371         # flush IPsec state on all hosts
372         #
373
374         for host in $STRONGSWANHOSTS
375         do
376                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'ip xfrm state flush; ip xfrm policy flush' >/dev/null 2>&1
377         done
378
379         ##########################################################################
380         # execute pre-test commands
381         #
382
383         echo -n "pre.."
384         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
385
386         eval `awk -F "::" '{
387             if ($2 != "")
388             {
389                 printf("echo \"%s# %s\"; ", $1, $2)
390                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
391                 printf("echo;\n")
392             }
393         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
394
395
396         ##########################################################################
397         # stop tcpdump
398         #
399
400         function stop_tcpdump {
401             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
402             eval ssh $SSHCONF root@\$ipv4_${1} killall tcpdump
403             eval TDUP_${1}="false"
404             echo ""
405         }
406
407
408         ##########################################################################
409         # get and evaluate test results
410         #
411
412         echo -n "test.."
413         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
414
415         STATUS="passed"
416
417         eval `awk -F "::" '{
418             host=$1
419             command=$2
420             pattern=$3
421             hit=$4
422             if (command != "")
423             {
424                 if (command == "tcpdump")
425                 {
426                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
427                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
428                     printf("ssh \044SSHCONF root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
429                 }
430                 else
431                 {
432                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
433                     printf("ssh \044SSHCONF root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
434                 }
435                 printf("cmd_exit=\044?; ")
436                 printf("echo; ")
437                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
438                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
439                 printf("; then STATUS=\"failed\"; fi; \n")
440             }
441         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
442
443
444         ##########################################################################
445         # set counters
446         #
447
448         if [ $STATUS = "failed" ]
449         then
450             let "failed_cnt += 1"
451         else
452             let "passed_cnt += 1"
453         fi
454
455
456         ##########################################################################
457         # log statusall and listall output
458         # get copies of ipsec.conf, ipsec.secrets
459         # create index.html for the given test case
460
461         cat > $TESTRESULTDIR/index.html <<@EOF
462 <html>
463 <head>
464   <title>Test $testname</title>
465 </head>
466 <body>
467 <table border="0" cellpadding="0" cellspacing="0" width="600">
468   <tr><td>
469     <div><a href="../../index.html">strongSwan KVM Tests</a> / <a href="../index.html">$SUBDIR</a> / $name</div>
470     <h2>Test $testname</h2>
471     <h3>Description</h3>
472 @EOF
473
474         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
475
476         cat >> $TESTRESULTDIR/index.html <<@EOF
477     <ul>
478       <li><a href="console.log">console.log</a></li>
479     </ul>
480     <img src="../../images/$DIAGRAM" alt="$VIRTHOSTS">
481 @EOF
482
483         if [ -n "$IPV6" ]
484         then
485             IPROUTE_CMD="ip -6 route list table $SOURCEIP_ROUTING_TABLE"
486             IPROUTE_DSP=$IPROUTE_CMD
487             IPTABLES_CMD="ip6tables -v -n -L"
488             IPTABLES_DSP="ip6tables -L"
489         else
490             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE"
491             IPROUTE_DSP=$IPROUTE_CMD
492             IPTABLES_CMD="iptables -v -n -L"
493             IPTABLES_DSP="iptables -L"
494         fi
495
496         if [ $name = "net2net-ip4-in-ip6-ikev2" -o $name = "net2net-ip6-in-ip4-ikev2" ]
497         then
498             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE; echo; ip -6 route list table $SOURCEIP_ROUTING_TABLE"
499             IPROUTE_DSP="ip (-6) route list table $SOURCEIP_ROUTING_TABLE"
500             IPTABLES_CMD="iptables -v -n -L ; echo ; ip6tables -v -n -L"
501             IPTABLES_DSP="iptables -L ; ip6tables -L"
502         fi
503
504         for host in $IPSECHOSTS
505         do
506             eval HOSTLOGIN=root@\$ipv4_${host}
507
508                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
509                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
510                 if [  -n "$SWANCTL" ]
511                 then
512                         scp $SSHCONF $HOSTLOGIN:/etc/swanctl/swanctl.conf \
513                         $TESTRESULTDIR/${host}.swanctl.conf  > /dev/null 2>&1
514
515                         for subsys in conns certs pools authorities sas pols
516                         do
517                                 ssh $SSHCONF $HOSTLOGIN swanctl --list-$subsys \
518                                         > $TESTRESULTDIR/${host}.swanctl.$subsys 2>/dev/null
519                         done
520
521                         # this is quite slow due to allocation stats via leak-detective
522                         ssh $SSHCONF $HOSTLOGIN swanctl --stats \
523                                 > $TESTRESULTDIR/${host}.swanctl.stats 2>/dev/null
524                 else
525                     for file in ipsec.conf ipsec.secrets
526                     do
527                                 scp $SSHCONF $HOSTLOGIN:/etc/$file \
528                             $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
529                     done
530
531                     for command in statusall listall
532                     do
533                                 ssh $SSHCONF $HOSTLOGIN ipsec $command \
534                             > $TESTRESULTDIR/${host}.$command 2>/dev/null
535                     done
536
537                     scp $SSHCONF $HOSTLOGIN:/etc/ipsec.d/ipsec.sql \
538                         $TESTRESULTDIR/${host}.ipsec.sql  > /dev/null 2>&1
539                 fi
540
541             ssh $SSHCONF $HOSTLOGIN ip -s xfrm policy \
542                     > $TESTRESULTDIR/${host}.ip.policy 2>/dev/null
543             ssh $SSHCONF $HOSTLOGIN ip -s xfrm state \
544                     > $TESTRESULTDIR/${host}.ip.state 2>/dev/null
545             ssh $SSHCONF $HOSTLOGIN $IPROUTE_CMD \
546                     > $TESTRESULTDIR/${host}.ip.route 2>/dev/null
547             ssh $SSHCONF $HOSTLOGIN $IPTABLES_CMD \
548                     > $TESTRESULTDIR/${host}.iptables 2>/dev/null
549             chmod a+r $TESTRESULTDIR/*
550
551                 if [ -n "$SWANCTL" ]
552                 then
553                     cat >> $TESTRESULTDIR/index.html <<@EOF
554     <h3>$host</h3>
555       <table border="0" cellspacing="0" width="600">
556       <tr>
557         <td valign="top">
558           <ul>
559             <li><a href="$host.swanctl.conf">swanctl.conf</a></li>
560             <li><a href="$host.swanctl.conns">swanctl --list-conns</a></li>
561             <li><a href="$host.swanctl.certs">swanctl --list-certs</a></li>
562             <li><a href="$host.swanctl.pools">swanctl --list-pools</a></li>
563             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
564           </ul>
565         </td>
566         <td valign="top">
567           <ul>
568             <li><a href="$host.swanctl.sas">swanctl --list-sas</a></li>
569             <li><a href="$host.swanctl.pols">swanctl --list-pols</a></li>
570             <li><a href="$host.swanctl.authorities">swanctl --list-authorities</a></li>
571             <li><a href="$host.swanctl.stats">swanctl --stats</a></li>
572             <li><a href="$host.daemon.log">daemon.log</a></li>
573           </ul>
574       </td>
575         <td valign="top">
576           <ul>
577             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
578             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
579             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
580             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
581             <li><a href="$host.auth.log">auth.log</a></li>
582           </ul>
583           &nbsp;
584       </td>
585     </tr>
586     </table>
587 @EOF
588
589                 else
590                     cat >> $TESTRESULTDIR/index.html <<@EOF
591     <h3>$host</h3>
592       <table border="0" cellspacing="0" width="600">
593       <tr>
594         <td valign="top">
595           <ul>
596             <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
597             <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
598             <li><a href="$host.ipsec.sql">ipsec.sql</a></li>
599             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
600           </ul>
601         </td>
602         <td valign="top">
603           <ul>
604             <li><a href="$host.statusall">ipsec statusall</a></li>
605             <li><a href="$host.listall">ipsec listall</a></li>
606             <li><a href="$host.auth.log">auth.log</a></li>
607             <li><a href="$host.daemon.log">daemon.log</a></li>
608           </ul>
609       </td>
610         <td valign="top">
611           <ul>
612             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
613             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
614             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
615             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
616           </ul>
617       </td>
618     </tr>
619     </table>
620 @EOF
621                 fi
622         done
623
624         for host in $RADIUSHOSTS
625         do
626             eval HOSTLOGIN=root@\$ipv4_${host}
627
628             for file in clients.conf eap.conf radiusd.conf proxy.conf users
629             do
630                 scp $SSHCONF $HOSTLOGIN:/etc/freeradius/$file \
631                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
632             done
633
634                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
635                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
636
637             scp $SSHCONF $HOSTLOGIN:/var/log/freeradius/radius.log \
638                 $TESTRESULTDIR/${host}.radius.log  > /dev/null 2>&1
639
640             ssh $SSHCONF $HOSTLOGIN grep imcv /var/log/daemon.log \
641                 >> $TESTRESULTDIR/${host}.daemon.log 2>/dev/null
642
643             chmod a+r $TESTRESULTDIR/*
644             cat >> $TESTRESULTDIR/index.html <<@EOF
645     <h3>$host</h3>
646       <table border="0" cellspacing="0" width="600">
647       <tr>
648         <td valign="top">
649           <ul>
650             <li><a href="$host.clients.conf">clients.conf</a></li>
651             <li><a href="$host.radiusd.conf">radiusd.conf</a></li>
652             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
653           </ul>
654         </td>
655         <td valign="top">
656           <ul>
657             <li><a href="$host.eap.conf">eap.conf</a></li>
658             <li><a href="$host.radius.log">radius.log</a></li>
659             <li><a href="$host.daemon.log">daemon.log</a></li>
660           </ul>
661       </td>
662         <td valign="top">
663           <ul>
664             <li><a href="$host.proxy.conf">proxy.conf</a></li>
665             <li><a href="$host.users">users</a></li>
666           </ul>
667       </td>
668     </tr>
669     </table>
670 @EOF
671
672         done
673
674         cat >> $TESTRESULTDIR/index.html <<@EOF
675         <h3>tcpdump</h3>
676         <ul>
677 @EOF
678
679         for host in $TCPDUMPHOSTS
680         do
681             eval HOSTLOGIN=root@\$ipv4_${host}
682
683                 scp $SSHCONF $HOSTLOGIN:/tmp/tcpdump.log \
684                         $TESTRESULTDIR/${host}.tcpdump.log > /dev/null 2>&1
685
686             cat >> $TESTRESULTDIR/index.html <<@EOF
687             <li><a href="$host.tcpdump.log">$host tcpdump.log</a></li>
688 @EOF
689
690         done
691
692         cat >> $TESTRESULTDIR/index.html <<@EOF
693         </ul>
694 @EOF
695
696         cat >> $TESTRESULTDIR/index.html <<@EOF
697   </td></tr>
698 </table>
699 </body>
700 </html>
701 @EOF
702
703
704         ##########################################################################
705         # execute post-test commands
706         #
707
708         echo -n "post"
709         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
710
711         eval `awk -F "::" '{
712             if ($2 != "")
713             {
714                 printf("echo \"%s# %s\"; ", $1, $2)
715                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
716                 printf("echo;\n")
717             }
718         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
719
720         ##########################################################################
721         # check that IPsec state was cleaned up properly
722         #
723
724         for host in $IPSECHOSTS
725         do
726                 eval HOSTLOGIN=root@\$ipv4_${host}
727                 IPSECSTATE=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm state'`
728                 IPSECPOLICY=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm policy'`
729                 if [ -n "$IPSECSTATE" -o -n "$IPSECPOLICY" ]
730                 then
731                         echo -e "\n$host# ip xfrm state [NO]" >> $CONSOLE_LOG
732                         echo "$IPSECSTATE" >> $CONSOLE_LOG
733                         echo -e "\n$host# ip xfrm policy [NO]" >> $CONSOLE_LOG
734                         echo "$IPSECPOLICY" >> $CONSOLE_LOG
735                         STATUS="failed"
736                 fi
737         done
738
739         ##########################################################################
740         # get a copy of /var/log/auth.log
741         #
742
743         for host in $IPSECHOSTS
744         do
745             eval HOSTLOGIN=root@\$ipv4_${host}
746             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv|pt-tls-client' \
747                 /var/log/auth.log" >> $TESTRESULTDIR/${host}.auth.log
748         done
749
750
751         ##########################################################################
752         # get a copy of /var/log/daemon.log
753         #
754
755         for host in $IPSECHOSTS
756         do
757             eval HOSTLOGIN=root@\$ipv4_${host}
758             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv' \
759                 /var/log/daemon.log" >> $TESTRESULTDIR/${host}.daemon.log
760         done
761
762
763         ##########################################################################
764         # stop tcpdump if necessary
765         #
766
767         for host in $TCPDUMPHOSTS
768         do
769             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
770             then
771                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
772                 eval ssh $SSHCONF root@\$ipv4_$host killall tcpdump
773                 eval TDUP_${host}="false"
774             fi
775         done
776
777
778         ##########################################################################
779         # copy default host config back if necessary
780         #
781
782         $DIR/scripts/restore-defaults $testname
783
784
785         ##########################################################################
786         # write test status to html file
787         #
788         testend=$(date +%s)
789         let "testend -= teststart"
790         let "timetotal += testend"
791
792         if [ $STATUS = "passed" ]
793         then
794                 COLOR="green"
795                 log_status 0
796         else
797                 COLOR="red"
798                 log_status 1
799         fi
800
801         cat >> $TESTRESULTSHTML << @EOF
802   <tr>
803     <td>$testnumber</td>
804     <td><a href="$testname/index.html">$testname</a></td>
805     <td align="right">$testend</td>
806     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
807   </tr>
808 @EOF
809         cat >> $SUBTESTSINDEX << @EOF
810   <tr>
811     <td>$testnumber</td>
812     <td><a href="$name/index.html">$name</a></td>
813     <td><a href="$name/console.log"><font color="$COLOR">$STATUS</font></a></td>
814     <td>&nbsp;</td>
815   </tr>
816 @EOF
817
818
819         ##########################################################################
820         # remove any charon.pid files that still may exist
821         #
822
823         for host in $IPSECHOSTS
824         do
825             eval HOSTLOGIN=root@\$ipv4_${host}
826             ssh $SSHCONF $HOSTLOGIN 'if [ -f /var/run/charon.pid ]; then rm /var/run/charon.pid; echo "    removed charon.pid on `hostname`"; fi'
827         done
828
829     done
830
831 done
832
833
834 ##############################################################################
835 # finish the results html file
836 #
837
838 cat >> $TESTRESULTSHTML << @EOF
839     <tr>
840       <td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td>
841     </tr>
842     <tr>
843       <td><b>Passed</b></td><td><b><font color="green">$passed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
844     </tr>
845     <tr>
846       <td><b>Failed</b></td><td><b><font color="red">$failed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
847     </tr>
848     <tr>
849       <td><b>Time [s]</b></td><td><b><font color="blue">$timetotal</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
850     </tr>
851   </table>
852 </body>
853 </html>
854 @EOF
855
856 let "all_cnt = $passed_cnt + $failed_cnt"
857
858 cat >> $INDEX << @EOF
859     <tr>
860       <td>&nbsp;</td>
861       <td><a href="all.html"><b>all</b></a></td>
862       <td align="right"><b>$all_cnt</b></td>
863       <td>&nbsp;</td>
864     </tr>
865     <tr>
866       <td><b>Failed</b></td>
867       <td>&nbsp;</td>
868       <td align="right"><b><font color="red">$failed_cnt</font></b></td>
869       <td>&nbsp;</td>
870     </tr>
871   </table>
872 </body>
873 </html>
874 @EOF
875
876 echo
877 echo_ok     "Passed : $passed_cnt"
878 echo_failed "Failed : $failed_cnt"
879 echo
880
881
882 ##############################################################################
883 # copy the test results to the apache server
884 #
885
886 HTDOCS="/var/www"
887
888 ssh $SSHCONF root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
889 scp $SSHCONF -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
890 ssh $SSHCONF root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
891 echo
892 echo "The results are available in $TODAYDIR"
893 echo "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"
894
895 ENDDATE=`date +%Y%m%d-%H%M-%S`
896 echo
897 echo "Finished : $ENDDATE"