delay OCSP response by 5 seconds
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16 #
17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
18
19 DIR=`dirname $0`
20
21 source $DIR/scripts/function.sh
22
23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
26
27 source $DIR/testing.conf
28
29
30 ##############################################################################
31 # test if UMLs have been built at all
32 #
33
34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
35
36
37 ##############################################################################
38 # take care of new path and file variables
39 #
40
41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
42
43 TESTDATE=`date +%Y%m%d-%H%M`
44
45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
46 mkdir $TODAYDIR
47 TESTRESULTSHTML=$TODAYDIR/index.html
48 ALLHTML=$TODAYDIR/all.html
49 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
50
51 testnumber="0"
52 failed_cnt="0"
53 passed_cnt="0"
54
55
56 ##############################################################################
57 # copy default tests to $BUILDDIR
58 #
59
60 TESTSDIR=$BUILDDIR/tests
61 [ -d $TESTSDIR ] || mkdir $TESTSDIR
62
63 ##############################################################################
64 # assign IP for each host to hostname
65 #
66
67 for host in $STRONGSWANHOSTS
68 do
69     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
70     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
71
72     case $host in
73     moon)
74         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
75         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
76         ;;
77     sun)
78         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
79         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
80         ;;
81     alice)
82         ;;
83     venus)
84         ;;
85     bob)
86         ;;
87     carol)
88         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
89         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
90          ;;
91     dave)
92         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
93         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
94         ;;
95     winnetou)
96         ;;
97     esac
98 done
99
100
101 ##############################################################################
102 # create header for the results html file
103 #
104
105 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
106 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
107
108 cat > $TESTRESULTSHTML <<@EOF
109 <html>
110 <head>
111   <title>strongSwan UML Testing</title>
112 </head>
113 <body>
114   <h2>strongSwan UML Testing</h2>
115   <table border="0" cellspacing="2">
116     <tr><td><b>Host:</b></td><td>`uname -a`</td></tr>
117     <tr><td><b>UML kernel: &nbsp;</b></td><td>$KERNEL_VERSION</td></tr>
118     <tr><td><b>IPsec:</b></td><td>$IPSEC_VERSION</td></tr>
119     <tr><td><b>Date:</b></td><td>$TESTDATE</td></tr>
120   </table>
121   <p>
122   <table border="0" width="500">
123     <thead align="left"><th>Number</th><th>Test</th><th>Result</th></thead>
124 @EOF
125
126 cecho "UML kernel: $KERNEL_VERSION"
127 cecho "IPsec:      $IPSEC_VERSION"
128 cecho "Date:       $TESTDATE"
129 cecho ""
130
131
132 ##############################################################################
133 # enter specific test directory
134 #
135
136 if [ $# -gt 0 ]
137 then
138     TESTS=$*
139 elif [ $SELECTEDTESTSONLY = "yes" ]
140 then
141     # set internal field seperator
142     TESTS=$SELECTEDTESTS
143 else
144     # set internal field seperator
145     TESTS="`ls $DEFAULTTESTSDIR`"
146 fi
147
148 for SUBDIR in $TESTS
149 do
150     SUBTESTS="`basename $SUBDIR`"
151
152     if [ $SUBTESTS = $SUBDIR ]
153     then
154         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
155     else
156         SUBDIR="`dirname $SUBDIR`"
157     fi
158
159     for name in $SUBTESTS
160     do
161         let "testnumber += 1"
162         testname=$SUBDIR/$name
163         cecho-n " $testnumber $testname.."
164
165         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
166         then
167             cecho "is missing..skipped"
168             continue
169         fi
170
171         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
172         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
173         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
174         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
175         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
176
177         TESTRESULTDIR=$TODAYDIR/$testname
178         mkdir -p $TESTRESULTDIR
179         CONSOLE_LOG=$TESTRESULTDIR/console.log
180         touch $CONSOLE_LOG
181
182         TESTDIR=$TESTSDIR/${testname}
183         rm -rf $TESTDIR
184         mkdir -p $TESTDIR
185         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
186
187
188         ##############################################################################
189         # replace IP wildcards with actual IPv4 and IPv6 addresses
190         #
191
192         for host in $STRONGSWANHOSTS
193         do
194             case $host in
195             moon)
196                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
197                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
198                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
199                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
200                 ;;
201             sun)
202                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
203                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
204                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
205                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
206                 ;;
207             alice)
208                 searchandreplace PH_IP_ALICE     $ipv4_alice $TESTDIR
209                 searchandreplace PH_IP6_ALICE    $ipv6_alice $TESTDIR
210                 ;;
211             venus)
212                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
213                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
214                 ;;
215             bob)
216                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
217                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
218                 ;;
219             carol)
220                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
221                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
222                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
223                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
224                 ;;
225             dave)
226                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
227                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
228                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
229                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
230                 ;;
231             winnetou)
232                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
233                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
234                 ;;
235             esac
236         done
237
238
239         ##########################################################################
240         # copy test specific configurations to uml hosts and clear auth.log files
241         #
242
243         $DIR/scripts/load-testconfig $testname
244         source $TESTDIR/test.conf
245
246
247         ##########################################################################
248         # run tcpdump in the background
249         #
250
251         if [ "$TCPDUMPHOSTS" != "" ]
252         then
253             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
254
255             for host_iface in $TCPDUMPHOSTS
256             do
257                 host=`echo $host_iface | awk -F ":" '{print $1}'`
258                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
259                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
260                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
261                 ssh root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
262                 eval TDUP_${host}="true"
263             done
264         fi
265
266
267         ##########################################################################
268         # execute pre-test commands
269         #
270
271         cecho-n "pre.."
272         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
273
274         eval `awk -F "::" '{
275             if ($2 != "")
276             {
277                 printf("echo \"%s# %s\"; ", $1, $2)
278                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
279                 printf("echo;\n")
280             }
281         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
282
283
284         ##########################################################################
285         # stop tcpdump
286         #
287
288         function stop_tcpdump {
289             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
290             eval ssh root@\$ipv4_${1} killall tcpdump
291             eval TDUP_${1}="false"
292             echo ""
293         }
294
295
296         ##########################################################################
297         # get and evaluate test results
298         #
299
300         cecho-n "test.."
301         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
302
303         STATUS="passed"
304
305         eval `awk -F "::" '{
306             host=$1
307             command=$2
308             pattern=$3
309             hit=$4
310             if (command != "")
311             {
312                 if (command == "tcpdump")
313                 {
314                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
315                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
316                     printf("ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
317                 }
318                 else if (command == "tcpdumpcount")
319                 {
320                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
321                     printf("echo -e \"%s# [ \\\\140cat /tmp/tcpdump.log | grep \047%s\047 | tee -a /dev/stderr | wc -l\\\\140 -eq %s ]  [YES]\"; ", host, pattern, hit)
322                     printf("tcpdumpcount=\`ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\" | tee -a /dev/stderr | wc -l\`; ", host, pattern)
323                     printf("[ \044tcpdumpcount -eq %s ]; ", hit)
324                     hit="YES"
325                 }
326                 else if (command == "cmd")
327                 {
328                     printf("echo \"%s# %s  [%s]\"; ", host, pattern, hit)
329                     printf("ssh root@\044ipv4_%s %s; ",  host, pattern)
330                 }
331                 else
332                 {
333                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
334                     printf("ssh root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
335                 }
336                 printf("cmd_exit=\044?; ")
337                 printf("echo; ")
338                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
339                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
340                 printf("; then STATUS=\"failed\"; fi; \n")
341             }
342         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
343
344
345         ##########################################################################
346         # set counters
347         #
348
349         if [ $STATUS = "failed" ]
350         then
351             let "failed_cnt += 1"
352         else
353             let "passed_cnt += 1"
354         fi
355
356
357         ##########################################################################
358         # log statusall and listall output
359         # get copies of ipsec.conf, ipsec.secrets
360         # create index.html for the given test case
361
362         cat > $TESTRESULTDIR/index.html <<@EOF
363 <html>
364 <head>
365   <title>Test $testname</title>
366 </head>
367 <body>
368 <table border="0" width="600">
369   <tr><td>
370     <h2>Test $testname</h2>
371     <h3>Description</h3>
372 @EOF
373
374         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
375
376         cat >> $TESTRESULTDIR/index.html <<@EOF
377     <ul>
378       <li><a href="console.log">console.log</a></li>
379     </ul>
380     <img src="../../images/$DIAGRAM" alt="$UMLHOSTS">
381 @EOF
382
383         for host in $IPSECHOSTS
384         do
385             eval HOSTLOGIN=root@\$ipv4_${host}
386
387             for command in statusall listall
388             do
389                 ssh $HOSTLOGIN ipsec $command \
390                     > $TESTRESULTDIR/${host}.$command 2>/dev/null
391             done
392
393             for file in ipsec.conf ipsec.secrets
394             do
395                 scp $HOSTLOGIN:/etc/$file \
396                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
397             done
398
399             cat >> $TESTRESULTDIR/index.html <<@EOF
400     <h3>$host</h3>
401     <ul>
402       <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
403       <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
404       <li><a href="$host.statusall">ipsec statusall</a></li>
405       <li><a href="$host.listall">ipsec listall</a></li>
406       <li><a href="$host.auth.log">auth.log</a></li>
407       <li><a href="$host.daemon.log">daemon.log</a></li>
408     </ul>
409 @EOF
410
411         done
412
413         cat >> $TESTRESULTDIR/index.html <<@EOF
414   </td></tr>
415   <tr><td align="right">
416     <b><a href="../index.html">Back</a></b>
417   </td></tr>
418 </table>
419 </body>
420 </html>
421 @EOF
422
423
424         ##########################################################################
425         # execute post-test commands
426         #
427
428         cecho-n "post.."
429         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
430
431         eval `awk -F "::" '{
432             if ($2 != "")
433             {
434                 printf("echo \"%s# %s\"; ", $1, $2)
435                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
436                 printf("echo;\n")
437             }
438         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
439
440
441         ##########################################################################
442         # get a copy of /var/log/auth.log
443         #
444
445         for host in $IPSECHOSTS
446         do
447             eval HOSTLOGIN=root@\$ipv4_${host}
448             ssh $HOSTLOGIN grep pluto /var/log/auth.log \
449                 > $TESTRESULTDIR/${host}.auth.log
450             echo >> $TESTRESULTDIR/${host}.auth.log
451             ssh $HOSTLOGIN grep charon /var/log/auth.log \
452                 >> $TESTRESULTDIR/${host}.auth.log
453         done
454
455
456         ##########################################################################
457         # get a copy of /var/log/daemon.log
458         #
459
460         for host in $IPSECHOSTS
461         do
462             eval HOSTLOGIN=root@\$ipv4_${host}
463             ssh $HOSTLOGIN grep pluto /var/log/daemon.log \
464                 > $TESTRESULTDIR/${host}.daemon.log
465             echo >> $TESTRESULTDIR/${host}.daemon.log
466             ssh $HOSTLOGIN grep charon /var/log/daemon.log \
467                 >> $TESTRESULTDIR/${host}.daemon.log
468         done
469
470
471         ##########################################################################
472         # stop tcpdump if necessary
473         #
474
475         for host in $TCPDUMPHOSTS
476         do
477             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
478             then
479                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
480                 eval ssh root@\$ipv4_$host killall tcpdump
481                 eval TDUP_${host}="false"
482             fi
483         done
484
485
486         ##########################################################################
487         # copy default host config back if necessary
488         #
489
490         $DIR/scripts/restore-defaults $testname
491
492
493         ##########################################################################
494         # write test status to html file
495         #
496
497         cecho "$STATUS"
498         if [ $STATUS = "passed" ]
499         then
500             COLOR="green"
501         else
502             COLOR="red"
503         fi
504
505         cat >> $TESTRESULTSHTML << @EOF
506   <tr>
507     <td>$testnumber</td>
508     <td><a href="$testname/">$testname</a></td>
509     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
510   </tr>
511 @EOF
512
513     done
514 done
515
516
517 ##############################################################################
518 # finish the results html file
519 #
520
521 cat >> $TESTRESULTSHTML << @EOF
522   </table>
523   <p>
524   <b>Passed: &nbsp; $passed_cnt</b><br>
525   <b>Failed: &nbsp; $failed_cnt</b><br>
526   <p>
527 </body>
528 </html>
529 @EOF
530
531 cecho ""
532 cecho "Passed:   $passed_cnt"
533 cecho "Failed:   $failed_cnt"
534 cecho ""
535
536
537 ##############################################################################
538 # copy the test results to the apache server
539 #
540
541 HTDOCS="/var/www/localhost/htdocs"
542
543 cecho-n "Copying test results to winnetou.."
544 ssh root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
545 scp -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
546 ssh root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
547 cecho "done"
548 cecho ""
549 cecho "The results are available in $TODAYDIR"
550 cecho "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"