generalized get_ca_certificate() to get_auth_certificate(auth_flags)
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16 #
17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
18
19 DIR=`dirname $0`
20
21 source $DIR/scripts/function.sh
22
23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
26
27 source $DIR/testing.conf
28
29
30 ##############################################################################
31 # test if UMLs have been built at all
32 #
33
34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
35
36
37 ##############################################################################
38 # take care of new path and file variables
39 #
40
41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
42
43 TESTDATE=`date +%Y%m%d-%H%M`
44
45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
46 mkdir $TODAYDIR
47 TESTRESULTSHTML=$TODAYDIR/index.html
48 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
49
50 testnumber="0"
51 failed_cnt="0"
52 passed_cnt="0"
53
54
55 ##############################################################################
56 # copy default tests to $BUILDDIR
57 #
58
59 TESTSDIR=$BUILDDIR/tests
60 [ -d $TESTSDIR ] || mkdir $TESTSDIR
61
62 ##############################################################################
63 # assign IP for each host to hostname
64 #
65
66 for host in $STRONGSWANHOSTS
67 do
68     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
69     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
70
71     case $host in
72     moon)
73         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
74         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
75         ;;
76     sun)
77         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
78         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
79         ;;
80     alice)
81         ;;
82     venus)
83         ;;
84     bob)
85         ;;
86     carol)
87         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
88         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
89          ;;
90     dave)
91         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
92         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
93         ;;
94     winnetou)
95         ;;
96     esac
97 done
98
99
100 ##############################################################################
101 # create header for the results html file
102 #
103
104 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
105 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
106
107 cat > $TESTRESULTSHTML <<@EOF
108 <html>
109 <head>
110   <title>strongSwan UML Testing</title>
111 </head>
112 <body>
113   <h2>strongSwan UML Testing</h2>
114   <table border="0" cellspacing="2">
115     <tr><td><b>Host:</b></td><td>`uname -a`</td></tr>
116     <tr><td><b>UML kernel: &nbsp;</b></td><td>$KERNEL_VERSION</td></tr>
117     <tr><td><b>IPsec:</b></td><td>$IPSEC_VERSION</td></tr>
118     <tr><td><b>Date:</b></td><td>$TESTDATE</td></tr>
119   </table>
120   <p>
121   <table border="0" width="500">
122     <thead align="left"><th>Number</th><th>Test</th><th>Result</th></thead>
123 @EOF
124
125 cecho "UML kernel: $KERNEL_VERSION"
126 cecho "IPsec:      $IPSEC_VERSION"
127 cecho "Date:       $TESTDATE"
128 cecho ""
129
130
131 ##############################################################################
132 # enter specific test directory
133 #
134
135 if [ $# -gt 0 ]
136 then
137     TESTS=$*
138 elif [ $SELECTEDTESTSONLY = "yes" ]
139 then
140     # set internal field seperator
141     TESTS=$SELECTEDTESTS
142 else
143     # set internal field seperator
144     TESTS="`ls $DEFAULTTESTSDIR`"
145 fi
146
147 for SUBDIR in $TESTS
148 do
149     SUBTESTS="`basename $SUBDIR`"
150
151     if [ $SUBTESTS = $SUBDIR ]
152     then
153         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
154     else
155         SUBDIR="`dirname $SUBDIR`"
156     fi
157
158     for name in $SUBTESTS
159     do
160         let "testnumber += 1"
161         testname=$SUBDIR/$name
162         cecho-n " $testnumber $testname.."
163
164         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
165         then
166             cecho "is missing..skipped"
167             continue
168         fi
169
170         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
171         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
172         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
173         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
174         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
175
176         TESTRESULTDIR=$TODAYDIR/$testname
177         mkdir -p $TESTRESULTDIR
178         CONSOLE_LOG=$TESTRESULTDIR/console.log
179         touch $CONSOLE_LOG
180
181         TESTDIR=$TESTSDIR/${testname}
182         rm -rf $TESTDIR
183         mkdir -p $TESTDIR
184         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
185
186
187         ##############################################################################
188         # replace IP wildcards with actual IPv4 and IPv6 addresses
189         #
190
191         for host in $STRONGSWANHOSTS
192         do
193             case $host in
194             moon)
195                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
196                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
197                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
198                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
199                 ;;
200             sun)
201                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
202                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
203                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
204                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
205                 ;;
206             alice)
207                 searchandreplace PH_IP_ALICE     $ipv4_alice $TESTDIR
208                 searchandreplace PH_IP6_ALICE    $ipv6_alice $TESTDIR
209                 ;;
210             venus)
211                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
212                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
213                 ;;
214             bob)
215                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
216                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
217                 ;;
218             carol)
219                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
220                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
221                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
222                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
223                 ;;
224             dave)
225                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
226                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
227                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
228                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
229                 ;;
230             winnetou)
231                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
232                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
233                 ;;
234             esac
235         done
236
237
238         ##########################################################################
239         # copy test specific configurations to uml hosts and clear auth.log files
240         #
241
242         $DIR/scripts/load-testconfig $testname
243         source $TESTDIR/test.conf
244
245
246         ##########################################################################
247         # run tcpdump in the background
248         #
249
250         if [ "$TCPDUMPHOSTS" != "" ]
251         then
252             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
253
254             for host_iface in $TCPDUMPHOSTS
255             do
256                 host=`echo $host_iface | awk -F ":" '{print $1}'`
257                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
258                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
259                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
260                 ssh root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
261                 eval TDUP_${host}="true"
262             done
263         fi
264
265
266         ##########################################################################
267         # execute pre-test commands
268         #
269
270         cecho-n "pre.."
271         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
272
273         eval `awk -F "::" '{
274             if ($2 != "")
275             {
276                 printf("echo \"%s# %s\"; ", $1, $2)
277                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
278                 printf("echo;\n")
279             }
280         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
281
282
283         ##########################################################################
284         # stop tcpdump
285         #
286
287         function stop_tcpdump {
288             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
289             eval ssh root@\$ipv4_${1} killall tcpdump
290             eval TDUP_${1}="false"
291             echo ""
292         }
293
294
295         ##########################################################################
296         # get and evaluate test results
297         #
298
299         cecho-n "test.."
300         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
301
302         STATUS="passed"
303
304         eval `awk -F "::" '{
305             host=$1
306             command=$2
307             pattern=$3
308             hit=$4
309             if (command != "")
310             {
311                 if (command == "tcpdump")
312                 {
313                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
314                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
315                     printf("ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
316                 }
317                 else if (command == "tcpdumpcount")
318                 {
319                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
320                     printf("echo -e \"%s# [ \\\\140cat /tmp/tcpdump.log | grep \047%s\047 | tee -a /dev/stderr | wc -l\\\\140 -eq %s ]  [YES]\"; ", host, pattern, hit)
321                     printf("tcpdumpcount=\`ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\" | tee -a /dev/stderr | wc -l\`; ", host, pattern)
322                     printf("[ \044tcpdumpcount -eq %s ]; ", hit)
323                     hit="YES"
324                 }
325                 else if (command == "cmd")
326                 {
327                     printf("echo \"%s# %s  [%s]\"; ", host, pattern, hit)
328                     printf("ssh root@\044ipv4_%s %s; ",  host, pattern)
329                 }
330                 else
331                 {
332                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
333                     printf("ssh root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
334                 }
335                 printf("cmd_exit=\044?; ")
336                 printf("echo; ")
337                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
338                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
339                 printf("; then STATUS=\"failed\"; fi; \n")
340             }
341         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
342
343
344         ##########################################################################
345         # set counters
346         #
347
348         if [ $STATUS = "failed" ]
349         then
350             let "failed_cnt += 1"
351         else
352             let "passed_cnt += 1"
353         fi
354
355
356         ##########################################################################
357         # log statusall and listall output
358         # get copies of ipsec.conf, ipsec.secrets
359         # create index.html for the given test case
360
361         cat > $TESTRESULTDIR/index.html <<@EOF
362 <html>
363 <head>
364   <title>Test $testname</title>
365 </head>
366 <body>
367 <table border="0" width="600">
368   <tr><td>
369     <h2>Test $testname</h2>
370     <h3>Description</h3>
371 @EOF
372
373         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
374
375         cat >> $TESTRESULTDIR/index.html <<@EOF
376     <ul>
377       <li><a href="console.log">console.log</a></li>
378     </ul>
379     <img src="../../images/$DIAGRAM" alt="$UMLHOSTS">
380 @EOF
381
382         for host in $IPSECHOSTS
383         do
384             eval HOSTLOGIN=root@\$ipv4_${host}
385
386             for command in statusall listall
387             do
388                 ssh $HOSTLOGIN ipsec $command \
389                     > $TESTRESULTDIR/${host}.$command 2>/dev/null
390             done
391
392             for file in ipsec.conf ipsec.secrets
393             do
394                 scp $HOSTLOGIN:/etc/$file \
395                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
396             done
397
398             cat >> $TESTRESULTDIR/index.html <<@EOF
399     <h3>$host</h3>
400     <ul>
401       <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
402       <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
403       <li><a href="$host.statusall">ipsec statusall</a></li>
404       <li><a href="$host.listall">ipsec listall</a></li>
405       <li><a href="$host.auth.log">auth.log</a></li>
406     </ul>
407 @EOF
408
409         done
410
411         cat >> $TESTRESULTDIR/index.html <<@EOF
412   </td></tr>
413   <tr><td align="right">
414     <b><a href="../index.html">Back</a></b>
415   </td></tr>
416 </table>
417 </body>
418 </html>
419 @EOF
420
421
422         ##########################################################################
423         # execute post-test commands
424         #
425
426         cecho-n "post.."
427         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
428
429         eval `awk -F "::" '{
430             if ($2 != "")
431             {
432                 printf("echo \"%s# %s\"; ", $1, $2)
433                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
434                 printf("echo;\n")
435             }
436         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
437
438
439         ##########################################################################
440         # get a copy of /var/log/auth.log
441         #
442
443         for host in $IPSECHOSTS
444         do
445             eval HOSTLOGIN=root@\$ipv4_${host}
446             ssh $HOSTLOGIN grep pluto /var/log/auth.log \
447                 > $TESTRESULTDIR/${host}.auth.log
448             echo >> $TESTRESULTDIR/${host}.auth.log
449             ssh $HOSTLOGIN grep charon /var/log/auth.log \
450                 >> $TESTRESULTDIR/${host}.auth.log
451         done
452
453
454         ##########################################################################
455         # stop tcpdump if necessary
456         #
457
458         for host in $TCPDUMPHOSTS
459         do
460             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
461             then
462                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
463                 eval ssh root@\$ipv4_$host killall tcpdump
464                 eval TDUP_${host}="false"
465             fi
466         done
467
468
469         ##########################################################################
470         # copy default host config back if necessary
471         #
472
473         $DIR/scripts/restore-defaults $testname
474
475
476         ##########################################################################
477         # write test status to html file
478         #
479
480         cecho "$STATUS"
481         if [ $STATUS = "passed" ]
482         then
483             COLOR="green"
484         else
485             COLOR="red"
486         fi
487
488         cat >> $TESTRESULTSHTML << @EOF
489   <tr>
490     <td>$testnumber</td>
491     <td><a href="$testname/">$testname</a></td>
492     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
493   </tr>
494 @EOF
495
496     done
497 done
498
499
500 ##############################################################################
501 # finish the results html file
502 #
503
504 cat >> $TESTRESULTSHTML << @EOF
505   </table>
506   <p>
507   <b>Passed: &nbsp; $passed_cnt</b><br>
508   <b>Failed: &nbsp; $failed_cnt</b><br>
509   <p>
510 </body>
511 </html>
512 @EOF
513
514 cecho ""
515 cecho "Passed:   $passed_cnt"
516 cecho "Failed:   $failed_cnt"
517 cecho ""
518
519
520 ##############################################################################
521 # copy the test results to the apache server
522 #
523
524 HTDOCS="/var/www/localhost/htdocs"
525
526 cecho-n "Copying test results to winnetou.."
527 ssh root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
528 scp -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
529 ssh root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
530 cecho "done"
531 cecho ""
532 cecho "The results are available in $TODAYDIR"
533 cecho "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"