vici: Don't report memory usage via leak-detective
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16
17 DIR=$(dirname `readlink -f $0`)
18 . $DIR/testing.conf
19 . $DIR/scripts/function.sh
20 SSHCONF="-F $DIR/ssh_config"
21
22 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
23 [ -d $DIR/tests ] || die "Directory 'tests' not found"
24 [ -d $BUILDDIR ] ||
25         die "Directory '$BUILDDIR' does not exist, please run make-testing first"
26 running_any $STRONGSWANHOSTS || die "Please start test environment before running $0"
27
28 ln -sfT $DIR $TESTDIR/testing
29
30 ##############################################################################
31 # take care of new path and file variables
32 #
33
34 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
35
36 TESTDATE=`date +%Y%m%d-%H%M-%S`
37
38 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
39 mkdir $TODAYDIR
40 TESTRESULTSHTML=$TODAYDIR/all.html
41 INDEX=$TODAYDIR/index.html
42 DEFAULTTESTSDIR=$TESTDIR/testing/tests
43
44 SOURCEIP_ROUTING_TABLE=220
45
46 testnumber="0"
47 failed_cnt="0"
48 passed_cnt="0"
49
50 ##############################################################################
51 # copy default tests to $BUILDDIR
52 #
53
54 TESTSDIR=$BUILDDIR/tests
55 [ -d $TESTSDIR ] || mkdir $TESTSDIR
56
57 ##############################################################################
58 # assign IP for each host to hostname
59 #
60
61 for host in $STRONGSWANHOSTS
62 do
63     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
64     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
65
66     case $host in
67     moon)
68         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
69         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
70         ;;
71     sun)
72         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
73         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
74         ;;
75     alice)
76         eval ipv4_alice1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
77         eval ipv6_alice1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
78         ;;
79     venus)
80         ;;
81     bob)
82         ;;
83     carol)
84         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
85         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
86          ;;
87     dave)
88         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
89         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
90         ;;
91     winnetou)
92         ;;
93     esac
94 done
95
96
97 ##############################################################################
98 # open ssh sessions
99 #
100 for host in $STRONGSWANHOSTS
101 do
102     ssh $SSHCONF -N root@`eval echo \\\$ipv4_$host` >/dev/null 2>&1 &
103     eval ssh_pid_$host="`echo $!`"
104     do_on_exit kill `eval echo \\\$ssh_pid_$host`
105 done
106
107 ##############################################################################
108 # determine actual software versions
109 #
110
111 [ -f $SHAREDDIR/.strongswan-version ] && SWANVERSION=`cat $SHAREDDIR/.strongswan-version`
112 KERNELVERSION=`ssh $SSHCONF root@\$ipv4_winnetou uname -r 2>/dev/null`
113
114 ##############################################################################
115 # create header for the results html file
116 #
117
118 ENVIRONMENT_HEADER=$(cat <<@EOF
119   <table border="0" cellspacing="2" cellpadding="2">
120     <tr valign="top">
121       <td><b>Host</b></td>
122       <td colspan="3">`uname -a`</td>
123     </tr>
124     <tr valign="top">
125       <td><b>Guest kernel</b></td>
126       <td colspan="3">$KERNELVERSION</td>
127     </tr>
128     <tr valign="top">
129       <td><b>strongSwan</b></td>
130       <td colspan="3">$SWANVERSION</td>
131     </tr>
132     <tr valign="top">
133       <td><b>Date</b></td>
134       <td colspan="3">$TESTDATE</td>
135     </tr>
136     <tr>
137       <td width="100">&nbsp;</td>
138       <td width="300">&nbsp;</td>
139       <td width=" 80">&nbsp;</td>
140       <td >&nbsp;</td>
141     </tr>
142 @EOF
143 )
144
145 cat > $INDEX <<@EOF
146 <html>
147 <head>
148   <title>strongSwan KVM Tests</title>
149 </head>
150 <body>
151   <h2>strongSwan KVM Tests</h2>
152   $ENVIRONMENT_HEADER
153 @EOF
154
155 cat > $TESTRESULTSHTML <<@EOF
156 <html>
157 <head>
158   <title>strongSwan KVM Tests - All Tests</title>
159 </head>
160 <body>
161   <div><a href="index.html">strongSwan KVM Tests</a> / All Tests</div>
162   <h2>All Tests</h2>
163   $ENVIRONMENT_HEADER
164     <tr align="left">
165       <th>Number</th>
166       <th>Test</th>
167       <th align="right">Time [s]</th>
168       <th>Result</th>
169     </tr>
170 @EOF
171
172 echo "Guest kernel : $KERNELVERSION"
173 echo "strongSwan   : $SWANVERSION"
174 echo "Date         : $TESTDATE"
175 echo
176
177
178 ##############################################################################
179 # enter specific test directory
180 #
181
182 if [ $# -gt 0 ]
183 then
184     TESTS=$*
185 else
186     # set internal field seperator
187     TESTS="`ls $DEFAULTTESTSDIR`"
188 fi
189
190 for SUBDIR in $TESTS
191 do
192     SUBTESTS="`basename $SUBDIR`"
193
194     if [ $SUBTESTS = $SUBDIR ]
195     then
196         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
197     else
198         SUBDIR="`dirname $SUBDIR`"
199     fi
200
201     if [ ! -d $TODAYDIR/$SUBDIR ]
202     then
203         mkdir $TODAYDIR/$SUBDIR
204         if [ $testnumber == 0 ]
205         then
206             FIRST="<b>Category</b>"
207         else
208             FIRST="&nbsp;"
209         fi
210         echo "    <tr>" >> $INDEX
211     echo "      <td>$FIRST</td>">> $INDEX
212     echo "      <td><a href=\"$SUBDIR/index.html\">$SUBDIR</a></td>" >> $INDEX
213     echo "      <td align=\"right\">x</td>" >> $INDEX
214     echo "      <td>&nbsp;</td>" >> $INDEX
215     echo "    </tr>" >> $INDEX
216         SUBTESTSINDEX=$TODAYDIR/$SUBDIR/index.html
217         cat > $SUBTESTSINDEX <<@EOF
218 <html>
219 <head>
220   <title>strongSwan $SUBDIR Tests</title>
221 </head>
222 <body>
223   <div><a href="../index.html">strongSwan KVM Tests</a> / $SUBDIR</div>
224   <h2>strongSwan $SUBDIR Tests</h2>
225   <table border="0" cellspacing="2" cellpadding="2">
226     <tr valign="top">
227       <td><b>Guest kernel</b></td>
228       <td colspan="3">$KERNELVERSION</td>
229     </tr>
230     <tr valign="top">
231       <td><b>strongSwan</b></td>
232       <td colspan="3">$SWANVERSION</td>
233     </tr>
234     <tr valign="top">
235       <td><b>Date</b></td>
236       <td colspan="3">$TESTDATE</td>
237     </tr>
238     <tr>
239       <td width="100">&nbsp;</td>
240       <td width="300">&nbsp;</td>
241       <td width=" 50">&nbsp;</td>
242       <td >&nbsp;</td>
243     </tr>
244     <tr align="left">
245        <th>Number</th>
246        <th>Test</th>
247        <th colspan="2">Result</th>
248     </tr>
249 @EOF
250     fi
251
252     for name in $SUBTESTS
253     do
254         let "testnumber += 1"
255         testname=$SUBDIR/$name
256         log_action " $testnumber $testname:"
257
258         teststart=$(date +%s)
259
260         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
261         then
262             echo "is missing..skipped"
263             continue
264         fi
265
266         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
267         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
268         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
269         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
270         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
271
272         TESTRESULTDIR=$TODAYDIR/$testname
273         mkdir -p $TESTRESULTDIR
274         CONSOLE_LOG=$TESTRESULTDIR/console.log
275         touch $CONSOLE_LOG
276
277         TESTDIR=$TESTSDIR/${testname}
278         rm -rf $TESTDIR
279         mkdir -p $TESTDIR
280         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
281
282
283         ##############################################################################
284         # replace IP wildcards with actual IPv4 and IPv6 addresses
285         #
286
287         for host in $STRONGSWANHOSTS
288         do
289             case $host in
290             moon)
291                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
292                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
293                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
294                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
295                 ;;
296             sun)
297                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
298                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
299                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
300                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
301                 ;;
302             alice)
303                 searchandreplace PH_IP_ALICE1    $ipv4_alice1 $TESTDIR
304                 searchandreplace PH_IP_ALICE     $ipv4_alice  $TESTDIR
305                 searchandreplace PH_IP6_ALICE1   $ipv6_alice1 $TESTDIR
306                 searchandreplace PH_IP6_ALICE    $ipv6_alice  $TESTDIR
307                 ;;
308             venus)
309                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
310                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
311                 ;;
312             bob)
313                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
314                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
315                 ;;
316             carol)
317                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
318                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
319                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
320                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
321                 ;;
322             dave)
323                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
324                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
325                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
326                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
327                 ;;
328             winnetou)
329                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
330                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
331                 ;;
332             esac
333         done
334
335
336         ##########################################################################
337         # copy test specific configurations to uml hosts and clear auth.log files
338         #
339
340         DBDIR=/etc/db.d
341
342         $DIR/scripts/load-testconfig $testname
343         unset RADIUSHOSTS
344         unset DBHOSTS
345         unset IPV6
346         unset SWANCTL
347         source $TESTDIR/test.conf
348
349
350         ##########################################################################
351         # run tcpdump in the background
352         #
353
354         if [ "$TCPDUMPHOSTS" != "" ]
355         then
356             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
357
358             for host_iface in $TCPDUMPHOSTS
359             do
360                 host=`echo $host_iface | awk -F ":" '{print $1}'`
361                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
362                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain > /tmp/tcpdump.log 2>&1 &"
363                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
364                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
365                 eval TDUP_${host}="true"
366             done
367         fi
368
369         ##########################################################################
370         # create database directory in RAM
371         #
372
373         for host in $DBHOSTS
374         do
375                 eval HOSTLOGIN=root@\$ipv4_${host}
376             ssh $SSHCONF $HOSTLOGIN "mkdir -p $DBDIR; mount -t ramfs -o size=5m ramfs $DBDIR" >/dev/null 2>&1
377             ssh $SSHCONF $HOSTLOGIN "chgrp www-data $DBDIR; chmod g+w $DBDIR" >/dev/null 2>&1
378         done
379
380         ##########################################################################
381         # flush conntrack table on all hosts
382         #
383
384         for host in $STRONGSWANHOSTS
385         do
386                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'conntrack -F' >/dev/null 2>&1
387         done
388
389         ##########################################################################
390         # flush IPsec state on all hosts
391         #
392
393         for host in $STRONGSWANHOSTS
394         do
395                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'ip xfrm state flush; ip xfrm policy flush' >/dev/null 2>&1
396         done
397
398         ##########################################################################
399         # execute pre-test commands
400         #
401
402         echo -n "pre.."
403         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
404
405         eval `awk -F "::" '{
406             if ($2 != "")
407             {
408                 printf("echo \"%s# %s\"; ", $1, $2)
409                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
410                 printf("echo;\n")
411             }
412         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
413
414
415         ##########################################################################
416         # stop tcpdump
417         #
418
419         function stop_tcpdump {
420             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
421             eval ssh $SSHCONF root@\$ipv4_${1} killall tcpdump
422             eval TDUP_${1}="false"
423             echo ""
424         }
425
426
427         ##########################################################################
428         # get and evaluate test results
429         #
430
431         echo -n "test.."
432         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
433
434         STATUS="passed"
435
436         eval `awk -F "::" '{
437             host=$1
438             command=$2
439             pattern=$3
440             hit=$4
441             if (command != "")
442             {
443                 if (command == "tcpdump")
444                 {
445                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
446                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
447                     printf("ssh \044SSHCONF root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
448                 }
449                 else
450                 {
451                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
452                     printf("ssh \044SSHCONF root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
453                 }
454                 printf("cmd_exit=\044?; ")
455                 printf("echo; ")
456                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
457                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
458                 printf("; then STATUS=\"failed\"; fi; \n")
459             }
460         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
461
462
463         ##########################################################################
464         # set counters
465         #
466
467         if [ $STATUS = "failed" ]
468         then
469             let "failed_cnt += 1"
470         else
471             let "passed_cnt += 1"
472         fi
473
474
475         ##########################################################################
476         # log statusall and listall output
477         # get copies of ipsec.conf, ipsec.secrets
478         # create index.html for the given test case
479
480         cat > $TESTRESULTDIR/index.html <<@EOF
481 <html>
482 <head>
483   <title>Test $testname</title>
484 </head>
485 <body>
486 <table border="0" cellpadding="0" cellspacing="0" width="600">
487   <tr><td>
488     <div><a href="../../index.html">strongSwan KVM Tests</a> / <a href="../index.html">$SUBDIR</a> / $name</div>
489     <h2>Test $testname</h2>
490     <h3>Description</h3>
491 @EOF
492
493         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
494
495         cat >> $TESTRESULTDIR/index.html <<@EOF
496     <ul>
497       <li><a href="console.log">console.log</a></li>
498     </ul>
499     <img src="../../images/$DIAGRAM" alt="$VIRTHOSTS">
500 @EOF
501
502         if [ -n "$IPV6" ]
503         then
504             IPROUTE_CMD="ip -6 route list table $SOURCEIP_ROUTING_TABLE"
505             IPROUTE_DSP=$IPROUTE_CMD
506             IPTABLES_CMD="ip6tables -v -n -L"
507             IPTABLES_DSP="ip6tables -L"
508         else
509             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE"
510             IPROUTE_DSP=$IPROUTE_CMD
511             IPTABLES_CMD="iptables -v -n -L"
512             IPTABLES_DSP="iptables -L"
513         fi
514
515         if [ $name = "net2net-ip4-in-ip6-ikev2" -o $name = "net2net-ip6-in-ip4-ikev2" ]
516         then
517             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE; echo; ip -6 route list table $SOURCEIP_ROUTING_TABLE"
518             IPROUTE_DSP="ip (-6) route list table $SOURCEIP_ROUTING_TABLE"
519             IPTABLES_CMD="iptables -v -n -L ; echo ; ip6tables -v -n -L"
520             IPTABLES_DSP="iptables -L ; ip6tables -L"
521         fi
522
523         for host in $IPSECHOSTS
524         do
525             eval HOSTLOGIN=root@\$ipv4_${host}
526
527                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
528                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
529                 if [  -n "$SWANCTL" ]
530                 then
531                         scp $SSHCONF $HOSTLOGIN:/etc/swanctl/swanctl.conf \
532                         $TESTRESULTDIR/${host}.swanctl.conf  > /dev/null 2>&1
533
534                         for subsys in conns certs pools authorities sas pols
535                         do
536                                 ssh $SSHCONF $HOSTLOGIN swanctl --list-$subsys \
537                                         > $TESTRESULTDIR/${host}.swanctl.$subsys 2>/dev/null
538                         done
539
540                         ssh $SSHCONF $HOSTLOGIN swanctl --stats \
541                                 > $TESTRESULTDIR/${host}.swanctl.stats 2>/dev/null
542                 else
543                     for file in ipsec.conf ipsec.secrets
544                     do
545                                 scp $SSHCONF $HOSTLOGIN:/etc/$file \
546                             $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
547                     done
548
549                     for command in statusall listall
550                     do
551                                 ssh $SSHCONF $HOSTLOGIN ipsec $command \
552                             > $TESTRESULTDIR/${host}.$command 2>/dev/null
553                     done
554
555                     scp $SSHCONF $HOSTLOGIN:/etc/ipsec.d/ipsec.sql \
556                         $TESTRESULTDIR/${host}.ipsec.sql  > /dev/null 2>&1
557                 fi
558
559             ssh $SSHCONF $HOSTLOGIN ip -s xfrm policy \
560                     > $TESTRESULTDIR/${host}.ip.policy 2>/dev/null
561             ssh $SSHCONF $HOSTLOGIN ip -s xfrm state \
562                     > $TESTRESULTDIR/${host}.ip.state 2>/dev/null
563             ssh $SSHCONF $HOSTLOGIN $IPROUTE_CMD \
564                     > $TESTRESULTDIR/${host}.ip.route 2>/dev/null
565             ssh $SSHCONF $HOSTLOGIN $IPTABLES_CMD \
566                     > $TESTRESULTDIR/${host}.iptables 2>/dev/null
567             chmod a+r $TESTRESULTDIR/*
568
569                 if [ -n "$SWANCTL" ]
570                 then
571                     cat >> $TESTRESULTDIR/index.html <<@EOF
572     <h3>$host</h3>
573       <table border="0" cellspacing="0" width="600">
574       <tr>
575         <td valign="top">
576           <ul>
577             <li><a href="$host.swanctl.conf">swanctl.conf</a></li>
578             <li><a href="$host.swanctl.conns">swanctl --list-conns</a></li>
579             <li><a href="$host.swanctl.certs">swanctl --list-certs</a></li>
580             <li><a href="$host.swanctl.pools">swanctl --list-pools</a></li>
581             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
582           </ul>
583         </td>
584         <td valign="top">
585           <ul>
586             <li><a href="$host.swanctl.sas">swanctl --list-sas</a></li>
587             <li><a href="$host.swanctl.pols">swanctl --list-pols</a></li>
588             <li><a href="$host.swanctl.authorities">swanctl --list-authorities</a></li>
589             <li><a href="$host.swanctl.stats">swanctl --stats</a></li>
590             <li><a href="$host.daemon.log">daemon.log</a></li>
591           </ul>
592       </td>
593         <td valign="top">
594           <ul>
595             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
596             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
597             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
598             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
599             <li><a href="$host.auth.log">auth.log</a></li>
600           </ul>
601           &nbsp;
602       </td>
603     </tr>
604     </table>
605 @EOF
606
607                 else
608                     cat >> $TESTRESULTDIR/index.html <<@EOF
609     <h3>$host</h3>
610       <table border="0" cellspacing="0" width="600">
611       <tr>
612         <td valign="top">
613           <ul>
614             <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
615             <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
616             <li><a href="$host.ipsec.sql">ipsec.sql</a></li>
617             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
618           </ul>
619         </td>
620         <td valign="top">
621           <ul>
622             <li><a href="$host.statusall">ipsec statusall</a></li>
623             <li><a href="$host.listall">ipsec listall</a></li>
624             <li><a href="$host.auth.log">auth.log</a></li>
625             <li><a href="$host.daemon.log">daemon.log</a></li>
626           </ul>
627       </td>
628         <td valign="top">
629           <ul>
630             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
631             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
632             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
633             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
634           </ul>
635       </td>
636     </tr>
637     </table>
638 @EOF
639                 fi
640         done
641
642         for host in $RADIUSHOSTS
643         do
644             eval HOSTLOGIN=root@\$ipv4_${host}
645
646             for file in clients.conf eap.conf radiusd.conf proxy.conf users
647             do
648                 scp $SSHCONF $HOSTLOGIN:/etc/freeradius/$file \
649                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
650             done
651
652                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
653                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
654
655             scp $SSHCONF $HOSTLOGIN:/var/log/freeradius/radius.log \
656                 $TESTRESULTDIR/${host}.radius.log  > /dev/null 2>&1
657
658             ssh $SSHCONF $HOSTLOGIN grep imcv /var/log/daemon.log \
659                 >> $TESTRESULTDIR/${host}.daemon.log 2>/dev/null
660
661             chmod a+r $TESTRESULTDIR/*
662             cat >> $TESTRESULTDIR/index.html <<@EOF
663     <h3>$host</h3>
664       <table border="0" cellspacing="0" width="600">
665       <tr>
666         <td valign="top">
667           <ul>
668             <li><a href="$host.clients.conf">clients.conf</a></li>
669             <li><a href="$host.radiusd.conf">radiusd.conf</a></li>
670             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
671           </ul>
672         </td>
673         <td valign="top">
674           <ul>
675             <li><a href="$host.eap.conf">eap.conf</a></li>
676             <li><a href="$host.radius.log">radius.log</a></li>
677             <li><a href="$host.daemon.log">daemon.log</a></li>
678           </ul>
679       </td>
680         <td valign="top">
681           <ul>
682             <li><a href="$host.proxy.conf">proxy.conf</a></li>
683             <li><a href="$host.users">users</a></li>
684           </ul>
685       </td>
686     </tr>
687     </table>
688 @EOF
689
690         done
691
692         cat >> $TESTRESULTDIR/index.html <<@EOF
693         <h3>tcpdump</h3>
694         <ul>
695 @EOF
696
697         for host in $TCPDUMPHOSTS
698         do
699             eval HOSTLOGIN=root@\$ipv4_${host}
700
701                 scp $SSHCONF $HOSTLOGIN:/tmp/tcpdump.log \
702                         $TESTRESULTDIR/${host}.tcpdump.log > /dev/null 2>&1
703
704             cat >> $TESTRESULTDIR/index.html <<@EOF
705             <li><a href="$host.tcpdump.log">$host tcpdump.log</a></li>
706 @EOF
707
708         done
709
710         cat >> $TESTRESULTDIR/index.html <<@EOF
711         </ul>
712 @EOF
713
714         cat >> $TESTRESULTDIR/index.html <<@EOF
715   </td></tr>
716 </table>
717 </body>
718 </html>
719 @EOF
720
721
722         ##########################################################################
723         # execute post-test commands
724         #
725
726         echo -n "post"
727         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
728
729         eval `awk -F "::" '{
730             if ($2 != "")
731             {
732                 printf("echo \"%s# %s\"; ", $1, $2)
733                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
734                 printf("echo;\n")
735             }
736         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
737
738         ##########################################################################
739         # check that IPsec state was cleaned up properly
740         #
741
742         for host in $IPSECHOSTS
743         do
744                 eval HOSTLOGIN=root@\$ipv4_${host}
745                 IPSECSTATE=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm state'`
746                 IPSECPOLICY=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm policy'`
747                 if [ -n "$IPSECSTATE" -o -n "$IPSECPOLICY" ]
748                 then
749                         echo -e "\n$host# ip xfrm state [NO]" >> $CONSOLE_LOG
750                         echo "$IPSECSTATE" >> $CONSOLE_LOG
751                         echo -e "\n$host# ip xfrm policy [NO]" >> $CONSOLE_LOG
752                         echo "$IPSECPOLICY" >> $CONSOLE_LOG
753                         STATUS="failed"
754                 fi
755         done
756
757         ##########################################################################
758         # get a copy of /var/log/auth.log
759         #
760
761         for host in $IPSECHOSTS
762         do
763             eval HOSTLOGIN=root@\$ipv4_${host}
764             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv|pt-tls-client' \
765                 /var/log/auth.log" >> $TESTRESULTDIR/${host}.auth.log
766         done
767
768
769         ##########################################################################
770         # get a copy of /var/log/daemon.log
771         #
772
773         for host in $IPSECHOSTS
774         do
775             eval HOSTLOGIN=root@\$ipv4_${host}
776             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv' \
777                 /var/log/daemon.log" >> $TESTRESULTDIR/${host}.daemon.log
778         done
779
780
781         ##########################################################################
782         # stop tcpdump if necessary
783         #
784
785         for host in $TCPDUMPHOSTS
786         do
787             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
788             then
789                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
790                 eval ssh $SSHCONF root@\$ipv4_$host killall tcpdump
791                 eval TDUP_${host}="false"
792             fi
793         done
794
795         ##########################################################################
796         # remove database directory if needed
797         #
798
799         for host in $DBHOSTS
800         do
801                 eval HOSTLOGIN=root@\$ipv4_${host}
802             ssh $SSHCONF $HOSTLOGIN "umount $DBDIR; rm -r $DBDIR" > /dev/null 2>&1
803         done
804
805         ##########################################################################
806         # copy default host config back if necessary
807         #
808
809         $DIR/scripts/restore-defaults $testname
810
811
812         ##########################################################################
813         # write test status to html file
814         #
815         testend=$(date +%s)
816         let "testend -= teststart"
817         let "timetotal += testend"
818
819         if [ $STATUS = "passed" ]
820         then
821                 COLOR="green"
822                 log_status 0
823         else
824                 COLOR="red"
825                 log_status 1
826         fi
827
828         cat >> $TESTRESULTSHTML << @EOF
829   <tr>
830     <td>$testnumber</td>
831     <td><a href="$testname/index.html">$testname</a></td>
832     <td align="right">$testend</td>
833     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
834   </tr>
835 @EOF
836         cat >> $SUBTESTSINDEX << @EOF
837   <tr>
838     <td>$testnumber</td>
839     <td><a href="$name/index.html">$name</a></td>
840     <td><a href="$name/console.log"><font color="$COLOR">$STATUS</font></a></td>
841     <td>&nbsp;</td>
842   </tr>
843 @EOF
844
845
846         ##########################################################################
847         # remove any charon.pid files that still may exist
848         #
849
850         for host in $IPSECHOSTS
851         do
852             eval HOSTLOGIN=root@\$ipv4_${host}
853             ssh $SSHCONF $HOSTLOGIN 'if [ -f /var/run/charon.pid ]; then rm /var/run/charon.pid; echo "    removed charon.pid on `hostname`"; fi'
854         done
855
856     done
857
858 done
859
860
861 ##############################################################################
862 # finish the results html file
863 #
864
865 cat >> $TESTRESULTSHTML << @EOF
866     <tr>
867       <td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td>
868     </tr>
869     <tr>
870       <td><b>Passed</b></td><td><b><font color="green">$passed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
871     </tr>
872     <tr>
873       <td><b>Failed</b></td><td><b><font color="red">$failed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
874     </tr>
875     <tr>
876       <td><b>Time [s]</b></td><td><b><font color="blue">$timetotal</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
877     </tr>
878   </table>
879 </body>
880 </html>
881 @EOF
882
883 let "all_cnt = $passed_cnt + $failed_cnt"
884
885 cat >> $INDEX << @EOF
886     <tr>
887       <td>&nbsp;</td>
888       <td><a href="all.html"><b>all</b></a></td>
889       <td align="right"><b>$all_cnt</b></td>
890       <td>&nbsp;</td>
891     </tr>
892     <tr>
893       <td><b>Failed</b></td>
894       <td>&nbsp;</td>
895       <td align="right"><b><font color="red">$failed_cnt</font></b></td>
896       <td>&nbsp;</td>
897     </tr>
898   </table>
899 </body>
900 </html>
901 @EOF
902
903 echo
904 echo_ok     "Passed : $passed_cnt"
905 echo_failed "Failed : $failed_cnt"
906 echo
907
908
909 ##############################################################################
910 # copy the test results to the apache server
911 #
912
913 HTDOCS="/var/www"
914
915 ssh $SSHCONF root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
916 scp $SSHCONF -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
917 ssh $SSHCONF root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
918 echo
919 echo "The results are available in $TODAYDIR"
920 echo "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"
921
922 ENDDATE=`date +%Y%m%d-%H%M-%S`
923 echo
924 echo "Finished : $ENDDATE"