testing: Add test config to create and remove a directory for DBs stored in ramfs
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16
17 DIR=$(dirname `readlink -f $0`)
18 . $DIR/testing.conf
19 . $DIR/scripts/function.sh
20 SSHCONF="-F $DIR/ssh_config"
21
22 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
23 [ -d $DIR/tests ] || die "Directory 'tests' not found"
24 [ -d $BUILDDIR ] ||
25         die "Directory '$BUILDDIR' does not exist, please run make-testing first"
26 running_any $STRONGSWANHOSTS || die "Please start test environment before running $0"
27
28 ln -sfT $DIR $TESTDIR/testing
29
30 ##############################################################################
31 # take care of new path and file variables
32 #
33
34 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
35
36 TESTDATE=`date +%Y%m%d-%H%M-%S`
37
38 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
39 mkdir $TODAYDIR
40 TESTRESULTSHTML=$TODAYDIR/all.html
41 INDEX=$TODAYDIR/index.html
42 DEFAULTTESTSDIR=$TESTDIR/testing/tests
43
44 SOURCEIP_ROUTING_TABLE=220
45
46 testnumber="0"
47 failed_cnt="0"
48 passed_cnt="0"
49
50 ##############################################################################
51 # copy default tests to $BUILDDIR
52 #
53
54 TESTSDIR=$BUILDDIR/tests
55 [ -d $TESTSDIR ] || mkdir $TESTSDIR
56
57 ##############################################################################
58 # assign IP for each host to hostname
59 #
60
61 for host in $STRONGSWANHOSTS
62 do
63     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
64     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
65
66     case $host in
67     moon)
68         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
69         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
70         ;;
71     sun)
72         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
73         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
74         ;;
75     alice)
76         eval ipv4_alice1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
77         eval ipv6_alice1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
78         ;;
79     venus)
80         ;;
81     bob)
82         ;;
83     carol)
84         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
85         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
86          ;;
87     dave)
88         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
89         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
90         ;;
91     winnetou)
92         ;;
93     esac
94 done
95
96
97 ##############################################################################
98 # open ssh sessions
99 #
100 for host in $STRONGSWANHOSTS
101 do
102     ssh $SSHCONF -N root@`eval echo \\\$ipv4_$host` >/dev/null 2>&1 &
103     eval ssh_pid_$host="`echo $!`"
104     do_on_exit kill `eval echo \\\$ssh_pid_$host`
105 done
106
107 ##############################################################################
108 # determine actual software versions
109 #
110
111 [ -f $SHAREDDIR/.strongswan-version ] && SWANVERSION=`cat $SHAREDDIR/.strongswan-version`
112 KERNELVERSION=`ssh $SSHCONF root@\$ipv4_winnetou uname -r 2>/dev/null`
113
114 ##############################################################################
115 # create header for the results html file
116 #
117
118 ENVIRONMENT_HEADER=$(cat <<@EOF
119   <table border="0" cellspacing="2" cellpadding="2">
120     <tr valign="top">
121       <td><b>Host</b></td>
122       <td colspan="3">`uname -a`</td>
123     </tr>
124     <tr valign="top">
125       <td><b>Guest kernel</b></td>
126       <td colspan="3">$KERNELVERSION</td>
127     </tr>
128     <tr valign="top">
129       <td><b>strongSwan</b></td>
130       <td colspan="3">$SWANVERSION</td>
131     </tr>
132     <tr valign="top">
133       <td><b>Date</b></td>
134       <td colspan="3">$TESTDATE</td>
135     </tr>
136     <tr>
137       <td width="100">&nbsp;</td>
138       <td width="300">&nbsp;</td>
139       <td width=" 80">&nbsp;</td>
140       <td >&nbsp;</td>
141     </tr>
142 @EOF
143 )
144
145 cat > $INDEX <<@EOF
146 <html>
147 <head>
148   <title>strongSwan KVM Tests</title>
149 </head>
150 <body>
151   <h2>strongSwan KVM Tests</h2>
152   $ENVIRONMENT_HEADER
153 @EOF
154
155 cat > $TESTRESULTSHTML <<@EOF
156 <html>
157 <head>
158   <title>strongSwan KVM Tests - All Tests</title>
159 </head>
160 <body>
161   <div><a href="index.html">strongSwan KVM Tests</a> / All Tests</div>
162   <h2>All Tests</h2>
163   $ENVIRONMENT_HEADER
164     <tr align="left">
165       <th>Number</th>
166       <th>Test</th>
167       <th align="right">Time [s]</th>
168       <th>Result</th>
169     </tr>
170 @EOF
171
172 echo "Guest kernel : $KERNELVERSION"
173 echo "strongSwan   : $SWANVERSION"
174 echo "Date         : $TESTDATE"
175 echo
176
177
178 ##############################################################################
179 # enter specific test directory
180 #
181
182 if [ $# -gt 0 ]
183 then
184     TESTS=$*
185 else
186     # set internal field seperator
187     TESTS="`ls $DEFAULTTESTSDIR`"
188 fi
189
190 for SUBDIR in $TESTS
191 do
192     SUBTESTS="`basename $SUBDIR`"
193
194     if [ $SUBTESTS = $SUBDIR ]
195     then
196         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
197     else
198         SUBDIR="`dirname $SUBDIR`"
199     fi
200
201     if [ ! -d $TODAYDIR/$SUBDIR ]
202     then
203         mkdir $TODAYDIR/$SUBDIR
204         if [ $testnumber == 0 ]
205         then
206             FIRST="<b>Category</b>"
207         else
208             FIRST="&nbsp;"
209         fi
210         echo "    <tr>" >> $INDEX
211     echo "      <td>$FIRST</td>">> $INDEX
212     echo "      <td><a href=\"$SUBDIR/index.html\">$SUBDIR</a></td>" >> $INDEX
213     echo "      <td align=\"right\">x</td>" >> $INDEX
214     echo "      <td>&nbsp;</td>" >> $INDEX
215     echo "    </tr>" >> $INDEX
216         SUBTESTSINDEX=$TODAYDIR/$SUBDIR/index.html
217         cat > $SUBTESTSINDEX <<@EOF
218 <html>
219 <head>
220   <title>strongSwan $SUBDIR Tests</title>
221 </head>
222 <body>
223   <div><a href="../index.html">strongSwan KVM Tests</a> / $SUBDIR</div>
224   <h2>strongSwan $SUBDIR Tests</h2>
225   <table border="0" cellspacing="2" cellpadding="2">
226     <tr valign="top">
227       <td><b>Guest kernel</b></td>
228       <td colspan="3">$KERNELVERSION</td>
229     </tr>
230     <tr valign="top">
231       <td><b>strongSwan</b></td>
232       <td colspan="3">$SWANVERSION</td>
233     </tr>
234     <tr valign="top">
235       <td><b>Date</b></td>
236       <td colspan="3">$TESTDATE</td>
237     </tr>
238     <tr>
239       <td width="100">&nbsp;</td>
240       <td width="300">&nbsp;</td>
241       <td width=" 50">&nbsp;</td>
242       <td >&nbsp;</td>
243     </tr>
244     <tr align="left">
245        <th>Number</th>
246        <th>Test</th>
247        <th colspan="2">Result</th>
248     </tr>
249 @EOF
250     fi
251
252     for name in $SUBTESTS
253     do
254         let "testnumber += 1"
255         testname=$SUBDIR/$name
256         log_action " $testnumber $testname:"
257
258         teststart=$(date +%s)
259
260         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
261         then
262             echo "is missing..skipped"
263             continue
264         fi
265
266         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
267         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
268         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
269         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
270         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
271
272         TESTRESULTDIR=$TODAYDIR/$testname
273         mkdir -p $TESTRESULTDIR
274         CONSOLE_LOG=$TESTRESULTDIR/console.log
275         touch $CONSOLE_LOG
276
277         TESTDIR=$TESTSDIR/${testname}
278         rm -rf $TESTDIR
279         mkdir -p $TESTDIR
280         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
281
282
283         ##############################################################################
284         # replace IP wildcards with actual IPv4 and IPv6 addresses
285         #
286
287         for host in $STRONGSWANHOSTS
288         do
289             case $host in
290             moon)
291                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
292                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
293                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
294                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
295                 ;;
296             sun)
297                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
298                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
299                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
300                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
301                 ;;
302             alice)
303                 searchandreplace PH_IP_ALICE1    $ipv4_alice1 $TESTDIR
304                 searchandreplace PH_IP_ALICE     $ipv4_alice  $TESTDIR
305                 searchandreplace PH_IP6_ALICE1   $ipv6_alice1 $TESTDIR
306                 searchandreplace PH_IP6_ALICE    $ipv6_alice  $TESTDIR
307                 ;;
308             venus)
309                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
310                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
311                 ;;
312             bob)
313                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
314                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
315                 ;;
316             carol)
317                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
318                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
319                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
320                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
321                 ;;
322             dave)
323                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
324                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
325                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
326                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
327                 ;;
328             winnetou)
329                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
330                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
331                 ;;
332             esac
333         done
334
335
336         ##########################################################################
337         # copy test specific configurations to uml hosts and clear auth.log files
338         #
339
340         DBDIR=/etc/db.d
341
342         $DIR/scripts/load-testconfig $testname
343         unset RADIUSHOSTS
344         unset DBHOSTS
345         unset IPV6
346         unset SWANCTL
347         source $TESTDIR/test.conf
348
349
350         ##########################################################################
351         # run tcpdump in the background
352         #
353
354         if [ "$TCPDUMPHOSTS" != "" ]
355         then
356             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
357
358             for host_iface in $TCPDUMPHOSTS
359             do
360                 host=`echo $host_iface | awk -F ":" '{print $1}'`
361                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
362                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain > /tmp/tcpdump.log 2>&1 &"
363                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
364                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
365                 eval TDUP_${host}="true"
366             done
367         fi
368
369         ##########################################################################
370         # create database directory in RAM
371         #
372
373         for host in $DBHOSTS
374         do
375                 eval HOSTLOGIN=root@\$ipv4_${host}
376             ssh $SSHCONF $HOSTLOGIN "mkdir -p $DBDIR; mount -t ramfs -o size=5m ramfs $DBDIR" >/dev/null 2>&1
377             ssh $SSHCONF $HOSTLOGIN "chgrp www-data $DBDIR; chmod g+w $DBDIR" >/dev/null 2>&1
378         done
379
380         ##########################################################################
381         # flush conntrack table on all hosts
382         #
383
384         for host in $STRONGSWANHOSTS
385         do
386                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'conntrack -F' >/dev/null 2>&1
387         done
388
389         ##########################################################################
390         # flush IPsec state on all hosts
391         #
392
393         for host in $STRONGSWANHOSTS
394         do
395                 ssh $SSHCONF root@`eval echo \\\$ipv4_$host` 'ip xfrm state flush; ip xfrm policy flush' >/dev/null 2>&1
396         done
397
398         ##########################################################################
399         # execute pre-test commands
400         #
401
402         echo -n "pre.."
403         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
404
405         eval `awk -F "::" '{
406             if ($2 != "")
407             {
408                 printf("echo \"%s# %s\"; ", $1, $2)
409                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
410                 printf("echo;\n")
411             }
412         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
413
414
415         ##########################################################################
416         # stop tcpdump
417         #
418
419         function stop_tcpdump {
420             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
421             eval ssh $SSHCONF root@\$ipv4_${1} killall tcpdump
422             eval TDUP_${1}="false"
423             echo ""
424         }
425
426
427         ##########################################################################
428         # get and evaluate test results
429         #
430
431         echo -n "test.."
432         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
433
434         STATUS="passed"
435
436         eval `awk -F "::" '{
437             host=$1
438             command=$2
439             pattern=$3
440             hit=$4
441             if (command != "")
442             {
443                 if (command == "tcpdump")
444                 {
445                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
446                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
447                     printf("ssh \044SSHCONF root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
448                 }
449                 else
450                 {
451                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
452                     printf("ssh \044SSHCONF root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
453                 }
454                 printf("cmd_exit=\044?; ")
455                 printf("echo; ")
456                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
457                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
458                 printf("; then STATUS=\"failed\"; fi; \n")
459             }
460         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
461
462
463         ##########################################################################
464         # set counters
465         #
466
467         if [ $STATUS = "failed" ]
468         then
469             let "failed_cnt += 1"
470         else
471             let "passed_cnt += 1"
472         fi
473
474
475         ##########################################################################
476         # log statusall and listall output
477         # get copies of ipsec.conf, ipsec.secrets
478         # create index.html for the given test case
479
480         cat > $TESTRESULTDIR/index.html <<@EOF
481 <html>
482 <head>
483   <title>Test $testname</title>
484 </head>
485 <body>
486 <table border="0" cellpadding="0" cellspacing="0" width="600">
487   <tr><td>
488     <div><a href="../../index.html">strongSwan KVM Tests</a> / <a href="../index.html">$SUBDIR</a> / $name</div>
489     <h2>Test $testname</h2>
490     <h3>Description</h3>
491 @EOF
492
493         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
494
495         cat >> $TESTRESULTDIR/index.html <<@EOF
496     <ul>
497       <li><a href="console.log">console.log</a></li>
498     </ul>
499     <img src="../../images/$DIAGRAM" alt="$VIRTHOSTS">
500 @EOF
501
502         if [ -n "$IPV6" ]
503         then
504             IPROUTE_CMD="ip -6 route list table $SOURCEIP_ROUTING_TABLE"
505             IPROUTE_DSP=$IPROUTE_CMD
506             IPTABLES_CMD="ip6tables -v -n -L"
507             IPTABLES_DSP="ip6tables -L"
508         else
509             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE"
510             IPROUTE_DSP=$IPROUTE_CMD
511             IPTABLES_CMD="iptables -v -n -L"
512             IPTABLES_DSP="iptables -L"
513         fi
514
515         if [ $name = "net2net-ip4-in-ip6-ikev2" -o $name = "net2net-ip6-in-ip4-ikev2" ]
516         then
517             IPROUTE_CMD="ip route list table $SOURCEIP_ROUTING_TABLE; echo; ip -6 route list table $SOURCEIP_ROUTING_TABLE"
518             IPROUTE_DSP="ip (-6) route list table $SOURCEIP_ROUTING_TABLE"
519             IPTABLES_CMD="iptables -v -n -L ; echo ; ip6tables -v -n -L"
520             IPTABLES_DSP="iptables -L ; ip6tables -L"
521         fi
522
523         for host in $IPSECHOSTS
524         do
525             eval HOSTLOGIN=root@\$ipv4_${host}
526
527                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
528                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
529                 if [  -n "$SWANCTL" ]
530                 then
531                         scp $SSHCONF $HOSTLOGIN:/etc/swanctl/swanctl.conf \
532                         $TESTRESULTDIR/${host}.swanctl.conf  > /dev/null 2>&1
533
534                         for subsys in conns certs pools authorities sas pols
535                         do
536                                 ssh $SSHCONF $HOSTLOGIN swanctl --list-$subsys \
537                                         > $TESTRESULTDIR/${host}.swanctl.$subsys 2>/dev/null
538                         done
539
540                         # this is quite slow due to allocation stats via leak-detective
541                         ssh $SSHCONF $HOSTLOGIN swanctl --stats \
542                                 > $TESTRESULTDIR/${host}.swanctl.stats 2>/dev/null
543                 else
544                     for file in ipsec.conf ipsec.secrets
545                     do
546                                 scp $SSHCONF $HOSTLOGIN:/etc/$file \
547                             $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
548                     done
549
550                     for command in statusall listall
551                     do
552                                 ssh $SSHCONF $HOSTLOGIN ipsec $command \
553                             > $TESTRESULTDIR/${host}.$command 2>/dev/null
554                     done
555
556                     scp $SSHCONF $HOSTLOGIN:/etc/ipsec.d/ipsec.sql \
557                         $TESTRESULTDIR/${host}.ipsec.sql  > /dev/null 2>&1
558                 fi
559
560             ssh $SSHCONF $HOSTLOGIN ip -s xfrm policy \
561                     > $TESTRESULTDIR/${host}.ip.policy 2>/dev/null
562             ssh $SSHCONF $HOSTLOGIN ip -s xfrm state \
563                     > $TESTRESULTDIR/${host}.ip.state 2>/dev/null
564             ssh $SSHCONF $HOSTLOGIN $IPROUTE_CMD \
565                     > $TESTRESULTDIR/${host}.ip.route 2>/dev/null
566             ssh $SSHCONF $HOSTLOGIN $IPTABLES_CMD \
567                     > $TESTRESULTDIR/${host}.iptables 2>/dev/null
568             chmod a+r $TESTRESULTDIR/*
569
570                 if [ -n "$SWANCTL" ]
571                 then
572                     cat >> $TESTRESULTDIR/index.html <<@EOF
573     <h3>$host</h3>
574       <table border="0" cellspacing="0" width="600">
575       <tr>
576         <td valign="top">
577           <ul>
578             <li><a href="$host.swanctl.conf">swanctl.conf</a></li>
579             <li><a href="$host.swanctl.conns">swanctl --list-conns</a></li>
580             <li><a href="$host.swanctl.certs">swanctl --list-certs</a></li>
581             <li><a href="$host.swanctl.pools">swanctl --list-pools</a></li>
582             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
583           </ul>
584         </td>
585         <td valign="top">
586           <ul>
587             <li><a href="$host.swanctl.sas">swanctl --list-sas</a></li>
588             <li><a href="$host.swanctl.pols">swanctl --list-pols</a></li>
589             <li><a href="$host.swanctl.authorities">swanctl --list-authorities</a></li>
590             <li><a href="$host.swanctl.stats">swanctl --stats</a></li>
591             <li><a href="$host.daemon.log">daemon.log</a></li>
592           </ul>
593       </td>
594         <td valign="top">
595           <ul>
596             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
597             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
598             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
599             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
600             <li><a href="$host.auth.log">auth.log</a></li>
601           </ul>
602           &nbsp;
603       </td>
604     </tr>
605     </table>
606 @EOF
607
608                 else
609                     cat >> $TESTRESULTDIR/index.html <<@EOF
610     <h3>$host</h3>
611       <table border="0" cellspacing="0" width="600">
612       <tr>
613         <td valign="top">
614           <ul>
615             <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
616             <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
617             <li><a href="$host.ipsec.sql">ipsec.sql</a></li>
618             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
619           </ul>
620         </td>
621         <td valign="top">
622           <ul>
623             <li><a href="$host.statusall">ipsec statusall</a></li>
624             <li><a href="$host.listall">ipsec listall</a></li>
625             <li><a href="$host.auth.log">auth.log</a></li>
626             <li><a href="$host.daemon.log">daemon.log</a></li>
627           </ul>
628       </td>
629         <td valign="top">
630           <ul>
631             <li><a href="$host.ip.policy">ip -s xfrm policy</a></li>
632             <li><a href="$host.ip.state">ip -s xfrm state</a></li>
633             <li><a href="$host.ip.route">$IPROUTE_DSP</a></li>
634             <li><a href="$host.iptables">$IPTABLES_DSP</a></li>
635           </ul>
636       </td>
637     </tr>
638     </table>
639 @EOF
640                 fi
641         done
642
643         for host in $RADIUSHOSTS
644         do
645             eval HOSTLOGIN=root@\$ipv4_${host}
646
647             for file in clients.conf eap.conf radiusd.conf proxy.conf users
648             do
649                 scp $SSHCONF $HOSTLOGIN:/etc/freeradius/$file \
650                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
651             done
652
653                 scp $SSHCONF $HOSTLOGIN:/etc/strongswan.conf \
654                     $TESTRESULTDIR/${host}.strongswan.conf  > /dev/null 2>&1
655
656             scp $SSHCONF $HOSTLOGIN:/var/log/freeradius/radius.log \
657                 $TESTRESULTDIR/${host}.radius.log  > /dev/null 2>&1
658
659             ssh $SSHCONF $HOSTLOGIN grep imcv /var/log/daemon.log \
660                 >> $TESTRESULTDIR/${host}.daemon.log 2>/dev/null
661
662             chmod a+r $TESTRESULTDIR/*
663             cat >> $TESTRESULTDIR/index.html <<@EOF
664     <h3>$host</h3>
665       <table border="0" cellspacing="0" width="600">
666       <tr>
667         <td valign="top">
668           <ul>
669             <li><a href="$host.clients.conf">clients.conf</a></li>
670             <li><a href="$host.radiusd.conf">radiusd.conf</a></li>
671             <li><a href="$host.strongswan.conf">strongswan.conf</a></li>
672           </ul>
673         </td>
674         <td valign="top">
675           <ul>
676             <li><a href="$host.eap.conf">eap.conf</a></li>
677             <li><a href="$host.radius.log">radius.log</a></li>
678             <li><a href="$host.daemon.log">daemon.log</a></li>
679           </ul>
680       </td>
681         <td valign="top">
682           <ul>
683             <li><a href="$host.proxy.conf">proxy.conf</a></li>
684             <li><a href="$host.users">users</a></li>
685           </ul>
686       </td>
687     </tr>
688     </table>
689 @EOF
690
691         done
692
693         cat >> $TESTRESULTDIR/index.html <<@EOF
694         <h3>tcpdump</h3>
695         <ul>
696 @EOF
697
698         for host in $TCPDUMPHOSTS
699         do
700             eval HOSTLOGIN=root@\$ipv4_${host}
701
702                 scp $SSHCONF $HOSTLOGIN:/tmp/tcpdump.log \
703                         $TESTRESULTDIR/${host}.tcpdump.log > /dev/null 2>&1
704
705             cat >> $TESTRESULTDIR/index.html <<@EOF
706             <li><a href="$host.tcpdump.log">$host tcpdump.log</a></li>
707 @EOF
708
709         done
710
711         cat >> $TESTRESULTDIR/index.html <<@EOF
712         </ul>
713 @EOF
714
715         cat >> $TESTRESULTDIR/index.html <<@EOF
716   </td></tr>
717 </table>
718 </body>
719 </html>
720 @EOF
721
722
723         ##########################################################################
724         # execute post-test commands
725         #
726
727         echo -n "post"
728         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
729
730         eval `awk -F "::" '{
731             if ($2 != "")
732             {
733                 printf("echo \"%s# %s\"; ", $1, $2)
734                 printf("ssh \044SSHCONF root@\044ipv4_%s \"%s\"; ", $1, $2)
735                 printf("echo;\n")
736             }
737         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
738
739         ##########################################################################
740         # check that IPsec state was cleaned up properly
741         #
742
743         for host in $IPSECHOSTS
744         do
745                 eval HOSTLOGIN=root@\$ipv4_${host}
746                 IPSECSTATE=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm state'`
747                 IPSECPOLICY=`ssh $SSHCONF $HOSTLOGIN 'ip xfrm policy'`
748                 if [ -n "$IPSECSTATE" -o -n "$IPSECPOLICY" ]
749                 then
750                         echo -e "\n$host# ip xfrm state [NO]" >> $CONSOLE_LOG
751                         echo "$IPSECSTATE" >> $CONSOLE_LOG
752                         echo -e "\n$host# ip xfrm policy [NO]" >> $CONSOLE_LOG
753                         echo "$IPSECPOLICY" >> $CONSOLE_LOG
754                         STATUS="failed"
755                 fi
756         done
757
758         ##########################################################################
759         # get a copy of /var/log/auth.log
760         #
761
762         for host in $IPSECHOSTS
763         do
764             eval HOSTLOGIN=root@\$ipv4_${host}
765             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv|pt-tls-client' \
766                 /var/log/auth.log" >> $TESTRESULTDIR/${host}.auth.log
767         done
768
769
770         ##########################################################################
771         # get a copy of /var/log/daemon.log
772         #
773
774         for host in $IPSECHOSTS
775         do
776             eval HOSTLOGIN=root@\$ipv4_${host}
777             ssh $SSHCONF $HOSTLOGIN "grep -s -E 'charon|last message repeated|imcv' \
778                 /var/log/daemon.log" >> $TESTRESULTDIR/${host}.daemon.log
779         done
780
781
782         ##########################################################################
783         # stop tcpdump if necessary
784         #
785
786         for host in $TCPDUMPHOSTS
787         do
788             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
789             then
790                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
791                 eval ssh $SSHCONF root@\$ipv4_$host killall tcpdump
792                 eval TDUP_${host}="false"
793             fi
794         done
795
796         ##########################################################################
797         # remove database directory if needed
798         #
799
800         for host in $DBHOSTS
801         do
802                 eval HOSTLOGIN=root@\$ipv4_${host}
803             ssh $SSHCONF $HOSTLOGIN "umount $DBDIR; rm -r $DBDIR" > /dev/null 2>&1
804         done
805
806         ##########################################################################
807         # copy default host config back if necessary
808         #
809
810         $DIR/scripts/restore-defaults $testname
811
812
813         ##########################################################################
814         # write test status to html file
815         #
816         testend=$(date +%s)
817         let "testend -= teststart"
818         let "timetotal += testend"
819
820         if [ $STATUS = "passed" ]
821         then
822                 COLOR="green"
823                 log_status 0
824         else
825                 COLOR="red"
826                 log_status 1
827         fi
828
829         cat >> $TESTRESULTSHTML << @EOF
830   <tr>
831     <td>$testnumber</td>
832     <td><a href="$testname/index.html">$testname</a></td>
833     <td align="right">$testend</td>
834     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
835   </tr>
836 @EOF
837         cat >> $SUBTESTSINDEX << @EOF
838   <tr>
839     <td>$testnumber</td>
840     <td><a href="$name/index.html">$name</a></td>
841     <td><a href="$name/console.log"><font color="$COLOR">$STATUS</font></a></td>
842     <td>&nbsp;</td>
843   </tr>
844 @EOF
845
846
847         ##########################################################################
848         # remove any charon.pid files that still may exist
849         #
850
851         for host in $IPSECHOSTS
852         do
853             eval HOSTLOGIN=root@\$ipv4_${host}
854             ssh $SSHCONF $HOSTLOGIN 'if [ -f /var/run/charon.pid ]; then rm /var/run/charon.pid; echo "    removed charon.pid on `hostname`"; fi'
855         done
856
857     done
858
859 done
860
861
862 ##############################################################################
863 # finish the results html file
864 #
865
866 cat >> $TESTRESULTSHTML << @EOF
867     <tr>
868       <td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td><td>&nbsp;</td>
869     </tr>
870     <tr>
871       <td><b>Passed</b></td><td><b><font color="green">$passed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
872     </tr>
873     <tr>
874       <td><b>Failed</b></td><td><b><font color="red">$failed_cnt</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
875     </tr>
876     <tr>
877       <td><b>Time [s]</b></td><td><b><font color="blue">$timetotal</font></b></td><td>&nbsp;</td><td>&nbsp;</td>
878     </tr>
879   </table>
880 </body>
881 </html>
882 @EOF
883
884 let "all_cnt = $passed_cnt + $failed_cnt"
885
886 cat >> $INDEX << @EOF
887     <tr>
888       <td>&nbsp;</td>
889       <td><a href="all.html"><b>all</b></a></td>
890       <td align="right"><b>$all_cnt</b></td>
891       <td>&nbsp;</td>
892     </tr>
893     <tr>
894       <td><b>Failed</b></td>
895       <td>&nbsp;</td>
896       <td align="right"><b><font color="red">$failed_cnt</font></b></td>
897       <td>&nbsp;</td>
898     </tr>
899   </table>
900 </body>
901 </html>
902 @EOF
903
904 echo
905 echo_ok     "Passed : $passed_cnt"
906 echo_failed "Failed : $failed_cnt"
907 echo
908
909
910 ##############################################################################
911 # copy the test results to the apache server
912 #
913
914 HTDOCS="/var/www"
915
916 ssh $SSHCONF root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
917 scp $SSHCONF -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
918 ssh $SSHCONF root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
919 echo
920 echo "The results are available in $TODAYDIR"
921 echo "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"
922
923 ENDDATE=`date +%Y%m%d-%H%M-%S`
924 echo
925 echo "Finished : $ENDDATE"