testing: Report the actual strongSwan and kernel versions
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16
17 DIR=$(dirname `readlink -f $0`)
18 . $DIR/testing.conf
19 . $DIR/scripts/function.sh
20 SSHCONF="-F $DIR/ssh_config"
21
22 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
23 [ -d $DIR/tests ] || die "Directory 'tests' not found"
24 [ -d $BUILDDIR ] ||
25         die "Directory '$BUILDDIR' does not exist, please run make-testing first"
26 running_any $STRONGSWANHOSTS || die "Please start test environment before running $0"
27
28 ln -sfT $DIR $TESTDIR/testing
29
30 ##############################################################################
31 # take care of new path and file variables
32 #
33
34 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
35
36 TESTDATE=`date +%Y%m%d-%H%M-%S`
37
38 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
39 mkdir $TODAYDIR
40 TESTRESULTSHTML=$TODAYDIR/all.html
41 INDEX=$TODAYDIR/index.html
42 DEFAULTTESTSDIR=$TESTDIR/testing/tests
43
44 SOURCEIP_ROUTING_TABLE=220
45
46 testnumber="0"
47 failed_cnt="0"
48 passed_cnt="0"
49
50
51 ##############################################################################
52 # copy default tests to $BUILDDIR
53 #
54
55 TESTSDIR=$BUILDDIR/tests
56 [ -d $TESTSDIR ] || mkdir $TESTSDIR
57
58 ##############################################################################
59 # assign IP for each host to hostname
60 #
61
62 for host in $STRONGSWANHOSTS
63 do
64     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
65     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
66
67     case $host in
68     moon)
69         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
70         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
71         ;;
72     sun)
73         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
74         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
75         ;;
76     alice)
77         eval ipv4_alice1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
78         eval ipv6_alice1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
79         ;;
80     venus)
81         ;;
82     bob)
83         ;;
84     carol)
85         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
86         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
87          ;;
88     dave)
89         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
90         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
91         ;;
92     winnetou)
93         ;;
94     esac
95 done
96
97
98 ##############################################################################
99 # open ssh sessions
100 #
101 for host in $STRONGSWANHOSTS
102 do
103     ssh $SSHCONF -N root@`eval echo \\\$ipv4_$host` >/dev/null 2>&1 &
104     eval ssh_pid_$host="`echo $!`"
105     do_on_exit kill `eval echo \\\$ssh_pid_$host`
106 done
107
108 ##############################################################################
109 # determine actual software versions
110 #
111
112 [ -f $SHAREDDIR/.strongswan-version ] && SWANVERSION=`cat $SHAREDDIR/.strongswan-version`
113 KERNELVERSION=`ssh $SSHCONF root@\$ipv4_winnetou uname -r 2>/dev/null`
114
115 ##############################################################################
116 # create header for the results html file
117 #
118
119 ENVIRONMENT_HEADER=$(cat <<@EOF
120   <table border="0" cellspacing="2" cellpadding="2">
121     <tr valign="top">
122       <td><b>Host</b></td>
123       <td colspan="3">`uname -a`</td>
124     </tr>
125     <tr valign="top">
126       <td><b>Guest kernel</b></td>
127       <td colspan="3">$KERNELVERSION</td>
128     </tr>
129     <tr valign="top">
130       <td><b>strongSwan</b></td>
131       <td colspan="3">$SWANVERSION</td>
132     </tr>
133     <tr valign="top">
134       <td><b>Date</b></td>
135       <td colspan="3">$TESTDATE</td>
136     </tr>
137     <tr>
138       <td width="100">&nbsp;</td>
139       <td width="300">&nbsp;</td>
140       <td width=" 80">&nbsp;</td>
141       <td >&nbsp;</td>
142     </tr>
143 @EOF
144 )
145
146 cat > $INDEX <<@EOF
147 <html>
148 <head>
149   <title>strongSwan KVM Tests</title>
150 </head>
151 <body>
152   <h2>strongSwan KVM Tests</h2>
153   $ENVIRONMENT_HEADER
154 @EOF
155
156 cat > $TESTRESULTSHTML <<@EOF
157 <html>
158 <head>
159   <title>strongSwan KVM Tests - All Tests</title>
160 </head>
161 <body>
162   <div><a href="index.html">strongSwan KVM Tests</a> / All Tests</div>
163   <h2>All Tests</h2>
164   $ENVIRONMENT_HEADER
165     <tr align="left">
166       <th>Number</th>
167       <th>Test</th>
168       <th align="right">Time [s]</th>
169       <th>Result</th>
170     </tr>
171 @EOF
172
173 echo "Guest kernel : $KERNELVERSION"
174 echo "strongSwan   : $SWANVERSION"
175 echo "Date         : $TESTDATE"
176 echo
177
178
179 ##############################################################################
180 # enter specific test directory
181 #
182
183 if [ $# -gt 0 ]
184 then
185     TESTS=$*
186 else
187     # set internal field seperator
188     TESTS="`ls $DEFAULTTESTSDIR`"
189 fi
190
191 for SUBDIR in $TESTS
192 do
193     SUBTESTS="`basename $SUBDIR`"
194
195     if [ $SUBTESTS = $SUBDIR ]
196     then
197         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
198     else
199         SUBDIR="`dirname $SUBDIR`"
200     fi
201
202     if [ ! -d $TODAYDIR/$SUBDIR ]
203     then
204         mkdir $TODAYDIR/$SUBDIR
205         if [ $testnumber == 0 ]
206         then
207             FIRST="<b>Category</b>"
208         else
209             FIRST="&nbsp;"
210         fi
211         echo "    <tr>" >> $INDEX
212     echo "      <td>$FIRST</td>">> $INDEX
213     echo "      <td><a href=\"$SUBDIR/index.html\">$SUBDIR</a></td>" >> $INDEX
214     echo "      <td align=\"right\">x</td>" >> $INDEX
215     echo "      <td>&nbsp;</td>" >> $INDEX
216     echo "    </tr>" >> $INDEX
217         SUBTESTSINDEX=$TODAYDIR/$SUBDIR/index.html
218         cat > $SUBTESTSINDEX <<@EOF
219 <html>
220 <head>
221   <title>strongSwan $SUBDIR Tests</title>
222 </head>
223 <body>
224   <div><a href="../index.html">strongSwan KVM Tests</a> / $SUBDIR</div>
225   <h2>strongSwan $SUBDIR Tests</h2>
226   <table border="0" cellspacing="2" cellpadding="2">
227     <tr valign="top">
228       <td><b>Guest kernel</b></td>
229       <td colspan="3">$KERNELVERSION</td>
230     </tr>
231     <tr valign="top">
232       <td><b>strongSwan</b></td>
233       <td colspan="3">$SWANVERSION</td>
234     </tr>
235     <tr valign="top">
236       <td><b>Date</b></td>
237       <td colspan="3">$TESTDATE</td>
238     </tr>
239     <tr>
240       <td width="100">&nbsp;</td>
241       <td width="300">&nbsp;</td>
242       <td width=" 50">&nbsp;</td>
243       <td >&nbsp;</td>
244     </tr>
245     <tr align="left">
246        <th>Number</th>
247        <th>Test</th>
248        <th colspan="2">Result</th>
249     </tr>
250 @EOF
251     fi
252
253     for name in $SUBTESTS
254     do
255         let "testnumber += 1"
256         testname=$SUBDIR/$name
257         log_action " $testnumber $testname:"
258
259         teststart=$(date +%s)
260
261         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
262         then
263             echo "is missing..skipped"
264             continue
265         fi
266
267         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
268         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
269         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
270         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
271         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
272
273         TESTRESULTDIR=$TODAYDIR/$testname
274         mkdir -p $TESTRESULTDIR
275         CONSOLE_LOG=$TESTRESULTDIR/console.log
276         touch $CONSOLE_LOG
277
278         TESTDIR=$TESTSDIR/${testname}
279         rm -rf $TESTDIR
280         mkdir -p $TESTDIR
281         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
282
283
284         ##############################################################################
285         # replace IP wildcards with actual IPv4 and IPv6 addresses
286         #
287
288         for host in $STRONGSWANHOSTS
289         do
290             case $host in
291             moon)
292                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
293                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
294                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
295                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
296                 ;;
297             sun)
298                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
299                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
300                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
301                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
302                 ;;
303             alice)
304                 searchandreplace PH_IP_ALICE1    $ipv4_alice1 $TESTDIR
305                 searchandreplace PH_IP_ALICE     $ipv4_alice  $TESTDIR
306                 searchandreplace PH_IP6_ALICE1   $ipv6_alice1 $TESTDIR
307                 searchandreplace PH_IP6_ALICE    $ipv6_alice  $TESTDIR
308                 ;;
309             venus)
310                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
311                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
312                 ;;
313             bob)
314                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
315                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
316                 ;;
317             carol)
318                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
319                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
320                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
321                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
322                 ;;
323             dave)
324                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
325                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
326                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
327                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
328                 ;;
329             winnetou)
330                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
331                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
332                 ;;
333             esac
334         done
335
336
337         ##########################################################################
338         # copy test specific configurations to uml hosts and clear auth.log files
339         #
340
341         $DIR/scripts/load-testconfig $testname
342         unset RADIUSHOSTS
343         unset IPV6
344         unset SWANCTL
345         source $TESTDIR/test.conf
346
347
348         ##########################################################################
349         # run tcpdump in the background
350         #
351
352         if [ "$TCPDUMPHOSTS" != "" ]
353         then
354             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
355
356             for host_iface in $TCPDUMPHOSTS
357             do
358                 host=`echo $host_iface | awk -F ":" '{print $1}'`
359                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
360                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain > /tmp/tcpdump.log 2>&1 &"
361                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
362                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
363                 eval TDUP_${host}="true"
364             done
365         fi
366
367         ##########################################################################
368         # flush conntrack table on all hosts
369         #
370
371         for host in $STRONGSWANHOSTS
372         do
373                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'conntrack -F' >/dev/null 2>&1
374         done
375
376         ##########################################################################
377         # flush IPsec state on all hosts
378         #
379
380         for host in $STRONGSWANHOSTS
381         do
382                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'ip xfrm state flush; ip xfrm policy flush' >/dev/null 2>&1
383         done
384
385         ##########################################################################
386         # execute pre-test commands
387         #
388
389         echo -n "pre.."
390         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
391
392         eval `awk -F "::" '{
393             if ($2 != "")
394             {
395                 printf("echo \"%s# %s\"; ", $1, $2)
396                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
397                 printf("echo;\n")
398             }
399         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
400
401
402         ##########################################################################
403         # stop tcpdump
404         #
405
406         function stop_tcpdump {
407             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
408             eval ssh $SSHCONF root@\$ipv4_${1} killall tcpdump
409             eval TDUP_${1}="false"
410             echo ""
411         }
412
413
414         ##########################################################################
415         # get and evaluate test results
416         #
417
418         echo -n "test.."
419         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
420
421         STATUS="passed"
422
423         eval `awk -F "::" '{
424             host=$1
425             command=$2
426             pattern=$3
427             hit=$4
428             if (command != "")
429             {
430                 if (command == "tcpdump")
431                 {
432                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
433                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
434                     printf("ssh \044SSHCONF root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
435                 }
436                 else
437                 {
438                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
439                     printf("ssh \044SSHCONF root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
440                 }
441                 printf("cmd_exit=\044?; ")
442                 printf("echo; ")
443                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
444                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
445                 printf("; then STATUS=\"failed\"; fi; \n")
446             }
447         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
448
449
450         ##########################################################################
451         # set counters
452         #
453
454         if [ $STATUS = "failed" ]
455         then
456             let "failed_cnt += 1"
457         else
458             let "passed_cnt += 1"
459         fi
460
461
462         ##########################################################################
463         # log statusall and listall output
464         # get copies of ipsec.conf, ipsec.secrets
465         # create index.html for the given test case
466
467         cat > $TESTRESULTDIR/index.html <<@EOF
468 <html>
469 <head>
470   <title>Test $testname</title>
471 </head>
472 <body>
473 <table border="0" cellpadding="0" cellspacing="0" width="600">
474   <tr><td>
475     <div><a href="../../index.html">strongSwan KVM Tests</a> / <a href="../index.html">$SUBDIR</a> / $name</div>
476     <h2>Test $testname</h2>
477     <h3>Description</h3>
478 @EOF
479
480         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
481
482         cat >> $TESTRESULTDIR/index.html <<@EOF
483     <ul>
484       <li><a href="console.log">console.log</a></li>
485     </ul>
486     <img src="../../images/$DIAGRAM" alt="$VIRTHOSTS">
487 @EOF
488
489         if [ -n "$IPV6" ]
490         then
491             IPROUTE_CMD="ip -6 route list table $SOURCEIP_ROUTING_TABLE"
492             IPROUTE_DSP=$IPROUTE_CMD
493             IPTABLES_CMD="ip6tables -v -n -L"
494             IPTABLES_DSP="ip6tables -L"
495         else
496             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE"
497             IPROUTE_DSP=$IPROUTE_CMD
498             IPTABLES_CMD="iptables -v -n -L"
499             IPTABLES_DSP="iptables -L"
500         fi
501
502         if [ $name = "net2net-ip4-in-ip6-ikev2" -o $name = "net2net-ip6-in-ip4-ikev2" ]
503         then
504             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE; echo; ip -6 route list table $SOURCEIP_ROUTING_TABLE"
505             IPROUTE_DSP="ip (-6) route list table $SOURCEIP_ROUTING_TABLE"
506             IPTABLES_CMD="iptables -v -n -L ; echo ; ip6tables -v -n -L"
507             IPTABLES_DSP="iptables -L ; ip6tables -L"
508         fi
509
510         for host in $IPSECHOSTS
511         do
512             eval HOSTLOGIN=root@\$ipv4_${host}
513
514                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
515                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
516                 if [  -n "$SWANCTL" ]
517                 then
518                         scp $SSHCONF $HOSTLOGIN:/etc/swanctl/swanctl.conf \
519                         $TESTRESULTDIR/${host}.swanctl.conf  > /dev/null 2>&1
520
521                         for subsys in conns certs pools authorities sas pols
522                         do
523                                 ssh $SSHCONF $HOSTLOGIN swanctl --list-$subsys \
524                                         > $TESTRESULTDIR/${host}.swanctl.$subsys 2>/dev/null
525                         done
526
527                         # this is quite slow due to allocation stats via leak-detective
528                         ssh $SSHCONF $HOSTLOGIN swanctl --stats \
529                                 > $TESTRESULTDIR/${host}.swanctl.stats 2>/dev/null
530                 else
531                     for file in ipsec.conf ipsec.secrets
532                     do
533                                 scp $SSHCONF $HOSTLOGIN:/etc/$file \
534                             $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
535                     done
536
537                     for command in statusall listall
538                     do
539                                 ssh $SSHCONF $HOSTLOGIN ipsec $command \
540                             > $TESTRESULTDIR/${host}.$command 2>/dev/null
541                     done
542
543                     scp $SSHCONF $HOSTLOGIN:/etc/ipsec.d/ipsec.sql \
544                         $TESTRESULTDIR/${host}.ipsec.sql  > /dev/null 2>&1
545                 fi
546
547             ssh $SSHCONF $HOSTLOGIN ip -s xfrm policy \
548                     > $TESTRESULTDIR/${host}.ip.policy 2>/dev/null
549             ssh $SSHCONF $HOSTLOGIN ip -s xfrm state \
550                     > $TESTRESULTDIR/${host}.ip.state 2>/dev/null
551             ssh $SSHCONF $HOSTLOGIN $IPROUTE_CMD \
552                     > $TESTRESULTDIR/${host}.ip.route 2>/dev/null
553             ssh $SSHCONF $HOSTLOGIN $IPTABLES_CMD \
554                     > $TESTRESULTDIR/${host}.iptables 2>/dev/null
555             chmod a+r $TESTRESULTDIR/*
556
557                 if [ -n "$SWANCTL" ]
558                 then
559                     cat >> $TESTRESULTDIR/index.html <<@EOF
560     <h3>$host</h3>
561       <table border="0" cellspacing="0" width="600">
562       <tr>
563         <td valign="top">
564           <ul>
565             <li><a href="$host.swanctl.conf">swanctl.conf</a></li>
566             <li><a href="$host.swanctl.conns">swanctl --list-conns</a></li>
567             <li><a href="$host.swanctl.certs">swanctl --list-certs</a></li>
568             <li><a href="$host.swanctl.pools">swanctl --list-pools</a></li>
569             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
570           </ul>
571         </td>
572         <td valign="top">
573           <ul>
574             <li><a href="$host.swanctl.sas">swanctl --list-sas</a></li>
575             <li><a href="$host.swanctl.pols">swanctl --list-pols</a></li>
576             <li><a href="$host.swanctl.authorities">swanctl --list-authorities</a></li>
577             <li><a href="$host.swanctl.stats">swanctl --stats</a></li>
578             <li><a href="$host.daemon.log">daemon.log</a></li>
579           </ul>
580       </td>
581         <td valign="top">
582           <ul>
583             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
584             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
585             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
586             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
587             <li><a href="$host.auth.log">auth.log</a></li>
588           </ul>
589           &nbsp;
590       </td>
591     </tr>
592     </table>
593 @EOF
594
595                 else
596                     cat >> $TESTRESULTDIR/index.html <<@EOF
597     <h3>$host</h3>
598       <table border="0" cellspacing="0" width="600">
599       <tr>
600         <td valign="top">
601           <ul>
602             <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
603             <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
604             <li><a href="$host.ipsec.sql">ipsec.sql</a></li>
605             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
606           </ul>
607         </td>
608         <td valign="top">
609           <ul>
610             <li><a href="$host.statusall">ipsec statusall</a></li>
611             <li><a href="$host.listall">ipsec listall</a></li>
612             <li><a href="$host.auth.log">auth.log</a></li>
613             <li><a href="$host.daemon.log">daemon.log</a></li>
614           </ul>
615       </td>
616         <td valign="top">
617           <ul>
618             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
619             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
620             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
621             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
622           </ul>
623       </td>
624     </tr>
625     </table>
626 @EOF
627                 fi
628         done
629
630         for host in $RADIUSHOSTS
631         do
632             eval HOSTLOGIN=root@\$ipv4_${host}
633
634             for file in clients.conf eap.conf radiusd.conf proxy.conf users
635             do
636                 scp $SSHCONF $HOSTLOGIN:/etc/freeradius/$file \
637                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
638             done
639
640                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
641                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
642
643             scp $SSHCONF $HOSTLOGIN:/var/log/freeradius/radius.log \
644                 $TESTRESULTDIR/${host}.radius.log  > /dev/null 2>&1
645
646             ssh $SSHCONF $HOSTLOGIN grep imcv /var/log/daemon.log \
647                 >> $TESTRESULTDIR/${host}.daemon.log 2>/dev/null
648
649             chmod a+r $TESTRESULTDIR/*
650             cat >> $TESTRESULTDIR/index.html <<@EOF
651     <h3>$host</h3>
652       <table border="0" cellspacing="0" width="600">
653       <tr>
654         <td valign="top">
655           <ul>
656             <li><a href="$host.clients.conf">clients.conf</a></li>
657             <li><a href="$host.radiusd.conf">radiusd.conf</a></li>
658             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
659           </ul>
660         </td>
661         <td valign="top">
662           <ul>
663             <li><a href="$host.eap.conf">eap.conf</a></li>
664             <li><a href="$host.radius.log">radius.log</a></li>
665             <li><a href="$host.daemon.log">daemon.log</a></li>
666           </ul>
667       </td>
668         <td valign="top">
669           <ul>
670             <li><a href="$host.proxy.conf">proxy.conf</a></li>
671             <li><a href="$host.users">users</a></li>
672           </ul>
673       </td>
674     </tr>
675     </table>
676 @EOF
677
678         done
679
680         cat >> $TESTRESULTDIR/index.html <<@EOF
681         <h3>tcpdump</h3>
682         <ul>
683 @EOF
684
685         for host in $TCPDUMPHOSTS
686         do
687             eval HOSTLOGIN=root@\$ipv4_${host}
688
689                 scp $SSHCONF $HOSTLOGIN:/tmp/tcpdump.log \
690                         $TESTRESULTDIR/${host}.tcpdump.log > /dev/null 2>&1
691
692             cat >> $TESTRESULTDIR/index.html <<@EOF
693             <li><a href="$host.tcpdump.log">$host tcpdump.log</a></li>
694 @EOF
695
696         done
697
698         cat >> $TESTRESULTDIR/index.html <<@EOF
699         </ul>
700 @EOF
701
702         cat >> $TESTRESULTDIR/index.html <<@EOF
703   </td></tr>
704 </table>
705 </body>
706 </html>
707 @EOF
708
709
710         ##########################################################################
711         # execute post-test commands
712         #
713
714         echo -n "post"
715         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
716
717         eval `awk -F "::" '{
718             if ($2 != "")
719             {
720                 printf("echo \"%s# %s\"; ", $1, $2)
721                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
722                 printf("echo;\n")
723             }
724         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
725
726         ##########################################################################
727         # check that IPsec state was cleaned up properly
728         #
729
730         for host in $IPSECHOSTS
731         do
732                 eval HOSTLOGIN=root@\$ipv4_${host}
733                 IPSECSTATE=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm state'`
734                 IPSECPOLICY=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm policy'`
735                 if [ -n "$IPSECSTATE" -o -n "$IPSECPOLICY" ]
736                 then
737                         echo -e "\n$host# ip xfrm state [NO]" >> $CONSOLE_LOG
738                         echo "$IPSECSTATE" >> $CONSOLE_LOG
739                         echo -e "\n$host# ip xfrm policy [NO]" >> $CONSOLE_LOG
740                         echo "$IPSECPOLICY" >> $CONSOLE_LOG
741                         STATUS="failed"
742                 fi
743         done
744
745         ##########################################################################
746         # get a copy of /var/log/auth.log
747         #
748
749         for host in $IPSECHOSTS
750         do
751             eval HOSTLOGIN=root@\$ipv4_${host}
752             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv|pt-tls-client' \
753                 /var/log/auth.log" >> $TESTRESULTDIR/${host}.auth.log
754         done
755
756
757         ##########################################################################
758         # get a copy of /var/log/daemon.log
759         #
760
761         for host in $IPSECHOSTS
762         do
763             eval HOSTLOGIN=root@\$ipv4_${host}
764             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv' \
765                 /var/log/daemon.log" >> $TESTRESULTDIR/${host}.daemon.log
766         done
767
768
769         ##########################################################################
770         # stop tcpdump if necessary
771         #
772
773         for host in $TCPDUMPHOSTS
774         do
775             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
776             then
777                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
778                 eval ssh $SSHCONF root@\$ipv4_$host killall tcpdump
779                 eval TDUP_${host}="false"
780             fi
781         done
782
783
784         ##########################################################################
785         # copy default host config back if necessary
786         #
787
788         $DIR/scripts/restore-defaults $testname
789
790
791         ##########################################################################
792         # write test status to html file
793         #
794         testend=$(date +%s)
795         let "testend -= teststart"
796         let "timetotal += testend"
797
798         if [ $STATUS = "passed" ]
799         then
800                 COLOR="green"
801                 log_status 0
802         else
803                 COLOR="red"
804                 log_status 1
805         fi
806
807         cat >> $TESTRESULTSHTML << @EOF
808   <tr>
809     <td>$testnumber</td>
810     <td><a href="$testname/index.html">$testname</a></td>
811     <td align="right">$testend</td>
812     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
813   </tr>
814 @EOF
815         cat >> $SUBTESTSINDEX << @EOF
816   <tr>
817     <td>$testnumber</td>
818     <td><a href="$name/index.html">$name</a></td>
819     <td><a href="$name/console.log"><font color="$COLOR">$STATUS</font></a></td>
820     <td>&nbsp;</td>
821   </tr>
822 @EOF
823
824
825         ##########################################################################
826         # remove any charon.pid files that still may exist
827         #
828
829         for host in $IPSECHOSTS
830         do
831             eval HOSTLOGIN=root@\$ipv4_${host}
832             ssh $SSHCONF $HOSTLOGIN 'if [ -f /var/run/charon.pid ]; then rm /var/run/charon.pid; echo "    removed charon.pid on `hostname`"; fi'
833         done
834
835     done
836
837 done
838
839
840 ##############################################################################
841 # finish the results html file
842 #
843
844 cat >> $TESTRESULTSHTML << @EOF
845     <tr>
846       <td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td>
847     </tr>
848     <tr>
849       <td><b>Passed</b></td><td><b><font color="green">$passed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
850     </tr>
851     <tr>
852       <td><b>Failed</b></td><td><b><font color="red">$failed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
853     </tr>
854     <tr>
855       <td><b>Time [s]</b></td><td><b><font color="blue">$timetotal</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
856     </tr>
857   </table>
858 </body>
859 </html>
860 @EOF
861
862 let "all_cnt = $passed_cnt + $failed_cnt"
863
864 cat >> $INDEX << @EOF
865     <tr>
866       <td>&nbsp;</td>
867       <td><a href="all.html"><b>all</b></a></td>
868       <td align="right"><b>$all_cnt</b></td>
869       <td>&nbsp;</td>
870     </tr>
871     <tr>
872       <td><b>Failed</b></td>
873       <td>&nbsp;</td>
874       <td align="right"><b><font color="red">$failed_cnt</font></b></td>
875       <td>&nbsp;</td>
876     </tr>
877   </table>
878 </body>
879 </html>
880 @EOF
881
882 echo
883 echo_ok     "Passed : $passed_cnt"
884 echo_failed "Failed : $failed_cnt"
885 echo
886
887
888 ##############################################################################
889 # copy the test results to the apache server
890 #
891
892 HTDOCS="/var/www"
893
894 ssh $SSHCONF root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
895 scp $SSHCONF -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
896 ssh $SSHCONF root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
897 echo
898 echo "The results are available in $TODAYDIR"
899 echo "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"
900
901 ENDDATE=`date +%Y%m%d-%H%M-%S`
902 echo
903 echo "Finished : $ENDDATE"