- import of strongswan-2.7.0
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16 #
17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
18
19 DIR=`dirname $0`
20
21 source $DIR/scripts/function.sh
22
23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
26
27 source $DIR/testing.conf
28
29
30 ##############################################################################
31 # test if UMLs have been built at all
32 #
33
34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
35
36
37 ##############################################################################
38 # take care of new path and file variables
39 #
40
41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
42
43 TESTDATE=`date +%Y%m%d-%H%M`
44
45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
46 mkdir $TODAYDIR
47 TESTRESULTSHTML=$TODAYDIR/index.html
48 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
49
50 testnumber="0"
51 failed_cnt="0"
52 passed_cnt="0"
53
54
55 ##############################################################################
56 # copy default tests to $BUILDDIR
57 #
58
59 TESTSDIR=$BUILDDIR/tests
60 [ -d $TESTSDIR ] || mkdir $TESTSDIR
61 rm -rf $TESTSDIR/*
62 cp -rfp $DEFAULTTESTSDIR/* $TESTSDIR
63
64
65 ##############################################################################
66 # assign IP for each host to hostname
67 #
68
69 for host in $STRONGSWANHOSTS
70 do
71     eval ip_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $1 }' | awk '{ print $1 }'`"
72     case $host in
73     moon)
74         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
75         searchandreplace PH_IP_MOON $ip_moon $TESTSDIR
76         searchandreplace PH_IP1_MOON $ip1_moon $TESTSDIR
77         ;;
78     sun)
79         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
80         searchandreplace PH_IP_SUN $ip_sun $TESTSDIR
81         searchandreplace PH_IP1_SUN $ip1_sun $TESTSDIR
82         ;;
83     alice)
84         searchandreplace PH_IP_ALICE $ip_alice $TESTSDIR
85         ;;
86     venus)
87         searchandreplace PH_IP_VENUS $ip_venus $TESTSDIR
88         ;;
89     bob)
90         searchandreplace PH_IP_BOB $ip_bob $TESTSDIR
91         ;;
92     carol)
93         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
94         searchandreplace PH_IP_CAROL $ip_carol $TESTSDIR
95         searchandreplace PH_IP1_CAROL $ip1_carol $TESTSDIR
96         ;;
97     dave)
98         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
99         searchandreplace PH_IP_DAVE $ip_dave $TESTSDIR
100         searchandreplace PH_IP1_DAVE $ip1_dave $TESTSDIR
101         ;;
102     winnetou)
103         searchandreplace PH_IP_WINNETOU $ip_winnetou $TESTSDIR
104         ;;
105     esac
106 done
107
108
109 ##############################################################################
110 # create header for the results html file
111 #
112
113 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
114 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
115
116 cat > $TESTRESULTSHTML <<@EOF
117 <html>
118 <head>
119   <title>strongSwan UML Testing</title>
120 </head>
121 <body>
122   <h2>strongSwan UML Testing</h2>
123   <table border="0" cellspacing="2">
124     <tr><td><b>Host:</b></td><td>`uname -a`</td></tr>
125     <tr><td><b>UML kernel: &nbsp;</b></td><td>$KERNEL_VERSION</td></tr>
126     <tr><td><b>IPsec:</b></td><td>$IPSEC_VERSION</td></tr>
127     <tr><td><b>Date:</b></td><td>$TESTDATE</td></tr>
128   </table>
129   <p>
130   <table border="0" width="500">
131     <thead align="left"><th>Number</th><th>Test</th><th>Result</th></thead>
132 @EOF
133
134 cecho "UML kernel: $KERNEL_VERSION"
135 cecho "IPsec:      $IPSEC_VERSION"
136 cecho "Date:       $TESTDATE"
137 cecho ""
138
139
140 ##############################################################################
141 # enter specific test directory
142 #
143
144 if [ $# -gt 0 ]
145 then
146     TESTS=$*
147 elif [ $SELECTEDTESTSONLY = "yes" ]
148 then
149     # set internal field seperator
150     TESTS=$SELECTEDTESTS
151 else
152     # set internal field seperator
153     TESTS="`ls $TESTSDIR`"
154 fi
155
156 for testname in $TESTS
157 do
158     let "testnumber += 1"
159     cecho-n " $testnumber $testname.."
160     
161     if [ ! -d $TESTSDIR/${testname} ]
162     then
163         cecho "is missing..skipped"
164         continue
165     fi
166
167     [ -f $TESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
168     [ -f $TESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
169     [ -f $TESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
170     [ -f $TESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
171     [ -f $TESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
172
173     TESTRESULTDIR=$TODAYDIR/$testname
174     mkdir $TESTRESULTDIR
175     CONSOLE_LOG=$TESTRESULTDIR/console.log
176     touch $CONSOLE_LOG
177
178
179     ##########################################################################
180     # copy test specific configurations to uml hosts and clear auth.log files
181     #
182
183     $DIR/scripts/load-testconfig $testname
184     source $TESTSDIR/$testname/test.conf
185
186     
187     ##########################################################################
188     # run tcpdump in the background
189     #
190
191     if [ "$TCPDUMPHOSTS" != "" ]
192     then
193         echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
194
195         for host_iface in $TCPDUMPHOSTS
196         do
197             host=`echo $host_iface | awk -F ":" '{print $1}'`
198             iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
199             tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
200             echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
201             ssh root@`eval echo \\\$ip_$host '$tcpdump_cmd'`
202             eval TDUP_${host}="true"
203         done
204     fi
205
206     ##########################################################################
207     # execute pre-test commands
208     #
209
210     cecho-n "pre.."
211     echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
212
213     eval `awk -F "::" '{
214         if ($2 != "")
215         {
216             printf("echo \"%s# %s\"; ", $1, $2)
217             printf("ssh root@\044ip_%s \"%s\"; ", $1, $2)
218             printf("echo;\n")
219         }
220     }' $TESTSDIR/${testname}/pretest.dat` >> $CONSOLE_LOG 2>&1
221
222
223     ##########################################################################
224     # stop tcpdump
225     #
226
227     function stop_tcpdump {
228         echo "${1}# killall tcpdump" >> $CONSOLE_LOG
229         eval ssh root@\$ip_${1} killall tcpdump
230         eval TDUP_${1}="false"
231         echo ""
232     }
233
234
235     ##########################################################################
236     # get and evaluate test results
237     #
238
239     cecho-n "test.."
240     echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
241
242     STATUS="passed"
243
244     eval `awk -F "::" '{
245         host=$1
246         command=$2
247         pattern=$3
248         hit=$4
249         if (command != "")
250         {
251             if (command == "tcpdump")
252             {
253                 printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
254                 printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
255                 printf("ssh root@\044ip_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
256             }
257             else
258             {
259                 printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
260                 printf("ssh root@\044ip_%s %s | grep \"%s\"; ",  host, command, pattern)
261             }
262             printf("cmd_exit=\044?; ")
263             printf("echo; ")
264             printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
265             printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
266             printf("; then STATUS=\"failed\"; fi; \n")
267
268         }
269     }' $TESTSDIR/${testname}/evaltest.dat` >> $CONSOLE_LOG 2>&1
270
271
272     ##########################################################################
273     # set counters
274     #
275
276     if [ $STATUS = "failed" ]
277     then
278         let "failed_cnt += 1"
279     else
280         let "passed_cnt += 1"
281     fi
282
283
284     ##########################################################################
285     # log statusall and listall output
286     # get copies of ipsec.conf, ipsec.secrets
287     # create index.html for the given test case
288
289     cat > $TESTRESULTDIR/index.html <<@EOF
290 <html>
291 <head>
292   <title>Test $testname</title>
293 </head>
294 <body>
295 <table border="0" width="600">
296   <tr><td>
297     <h2>Test $testname</h2>
298     <h3>Description</h3>
299 @EOF
300
301     cat $TESTSDIR/${testname}/description.txt >> $TESTRESULTDIR/index.html
302
303     cat >> $TESTRESULTDIR/index.html <<@EOF
304     <ul>
305       <li><a href="console.log">console.log</a></li>
306     </ul>
307     <img src="../images/$DIAGRAM" alt="$UMLHOSTS">
308 @EOF
309
310
311     for host in $IPSECHOSTS
312     do
313         eval HOSTLOGIN=root@\$ip_${host}
314
315         for command in statusall listall
316         do
317             ssh $HOSTLOGIN ipsec $command \
318                 > $TESTRESULTDIR/${host}.$command 2>/dev/null
319         done
320
321         for file in ipsec.conf ipsec.secrets
322         do
323             scp $HOSTLOGIN:/etc/$file \
324                 $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
325         done
326
327         cat >> $TESTRESULTDIR/index.html <<@EOF
328     <h3>$host</h3>
329     <ul>
330       <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
331       <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
332       <li><a href="$host.statusall">ipsec statusall</a></li>
333       <li><a href="$host.listall">ipsec listall</a></li>
334       <li><a href="$host.auth.log">auth.log</a></li>
335     </ul>
336 @EOF
337
338     done
339
340     cat >> $TESTRESULTDIR/index.html <<@EOF
341   </td></tr>
342   <tr><td align="right">
343     <b><a href="../index.html">Back</a></b>
344   </td></tr>
345 </table>
346 </body>
347 </html>
348 @EOF
349
350
351     ##########################################################################
352     # execute post-test commands
353     #
354
355     cecho-n "post.."
356     echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
357
358     eval `awk -F "::" '{
359         if ($2 != "")
360         {
361             printf("echo \"%s# %s\"; ", $1, $2)
362             printf("ssh root@\044ip_%s \"%s\"; ", $1, $2)
363             printf("echo;\n")
364         }
365     }' $TESTSDIR/${testname}/posttest.dat` >> $CONSOLE_LOG 2>&1
366
367
368     ##########################################################################
369     # get a copy of /var/log/auth.log
370     #
371
372     for host in $IPSECHOSTS
373     do
374         eval HOSTLOGIN=root@\$ip_${host}
375         ssh $HOSTLOGIN grep pluto /var/log/auth.log \
376             > $TESTRESULTDIR/${host}.auth.log
377     done
378
379
380     ##########################################################################
381     # stop tcpdump if necessary
382     #
383
384     for host in $TCPDUMPHOSTS
385     do
386         if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
387         then
388             echo "${host}# killall tcpdump" >> $CONSOLE_LOG
389             eval ssh root@\$ip_$host killall tcpdump
390             eval TDUP_${host}="false"
391         fi
392     done
393
394
395     ##########################################################################
396     # copy default host config back if necessary
397     #
398
399     $DIR/scripts/restore-defaults $testname
400
401
402     ##########################################################################
403     # write test status to html file
404     #
405
406     cecho "$STATUS"
407     if [ $STATUS = "passed" ]
408     then
409         COLOR="green"
410     else
411         COLOR="red"
412     fi
413
414     cat >> $TESTRESULTSHTML << @EOF
415   <tr>
416     <td>$testnumber</td>
417     <td><a href="$testname/">$testname</a></td>
418     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
419   </tr>
420 @EOF
421
422 done
423
424
425 ##############################################################################
426 # finish the results html file
427 #
428
429 cat >> $TESTRESULTSHTML << @EOF
430   </table>
431   <p>
432   <b>Passed: &nbsp; $passed_cnt</b><br>
433   <b>Failed: &nbsp; $failed_cnt</b><br>
434   <p>
435 </body>
436 </html>
437 @EOF
438
439 cecho ""
440 cecho "Passed:   $passed_cnt"
441 cecho "Failed:   $failed_cnt"
442 cecho ""
443
444
445 ##############################################################################
446 # copy the test results to the apache server
447 #
448
449 HTDOCS="/var/www/localhost/htdocs"
450
451 cecho-n "Copying test results to winnetou.."
452 ssh root@${ip_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
453 scp -r $TODAYDIR root@${ip_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
454 ssh root@${ip_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
455 cecho "done"
456 cecho ""
457 cecho "The results are available in $TODAYDIR"
458 cecho "or via the link http://$ip_winnetou/testresults/$TESTDATE"