cecho changes in UML scripts
[strongswan.git] / testing / do-tests
1 #!/bin/bash
2 # Automatically execute the strongSwan test cases
3 #
4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
5 # Zuercher Hochschule Winterthur
6 #
7 # This program is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by the
9 # Free Software Foundation; either version 2 of the License, or (at your
10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 # for more details.
16 #
17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
18
19 DIR=`dirname $0`
20
21 source $DIR/scripts/function.sh
22
23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
26
27 source $DIR/testing.conf
28
29
30 ##############################################################################
31 # test if UMLs have been built at all
32 #
33
34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
35
36
37 ##############################################################################
38 # take care of new path and file variables
39 #
40
41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
42
43 TESTDATE=`date +%Y%m%d-%H%M`
44
45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
46 mkdir $TODAYDIR
47 TESTRESULTSHTML=$TODAYDIR/all.html
48 INDEX=$TODAYDIR/index.html
49 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
50
51 testnumber="0"
52 failed_cnt="0"
53 passed_cnt="0"
54
55
56 ##############################################################################
57 # copy default tests to $BUILDDIR
58 #
59
60 TESTSDIR=$BUILDDIR/tests
61 [ -d $TESTSDIR ] || mkdir $TESTSDIR
62
63 ##############################################################################
64 # assign IP for each host to hostname
65 #
66
67 for host in $STRONGSWANHOSTS
68 do
69     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
70     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
71
72     case $host in
73     moon)
74         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
75         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
76         ;;
77     sun)
78         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
79         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
80         ;;
81     alice)
82         ;;
83     venus)
84         ;;
85     bob)
86         ;;
87     carol)
88         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
89         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
90          ;;
91     dave)
92         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
93         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
94         ;;
95     winnetou)
96         ;;
97     esac
98 done
99
100
101 ##############################################################################
102 # create header for the results html file
103 #
104
105 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
106 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
107
108 cat > $INDEX <<@EOF
109 <html>
110 <head>
111   <title>strongSwan UML Tests</title>
112 </head>
113 <body>
114   <h2>strongSwan UML Tests</h2>
115   <table border="0" cellspacing="2">
116     <tr valign="top">
117       <td><b>Host:</b></td>
118       <td colspan="3">`uname -a`</td>
119     </tr>
120     <tr valign="top">
121       <td><b>UML kernel: &nbsp;</b></td>
122       <td colspan="3">$KERNEL_VERSION</td>
123     </tr>
124     <tr valign="top">
125       <td><b>IPsec:</b></td>
126       <td colspan="3">$IPSEC_VERSION</td>
127     </tr>
128     <tr valign="top">
129       <td><b>Date:</b></td>
130       <td colspan="3">$TESTDATE</td>
131     </tr>
132     <tr>
133       <td width="100">&nbsp;</td>
134       <td width="200">&nbsp;</td>
135       <td width=" 50">&nbsp;</td>
136       <td >&nbsp;</td>
137     </tr>
138 @EOF
139
140 cat $INDEX > $TESTRESULTSHTML
141 cat >> $TESTRESULTSHTML <<@EOF
142     <tr align="left">
143       <th>Number</th>
144       <th>Test</th>
145       <th colspan="2">Result</th>
146     </tr>
147 @EOF
148
149 cecho "UML kernel: $KERNEL_VERSION"
150 cecho "IPsec:      $IPSEC_VERSION"
151 cecho "Date:       $TESTDATE"
152 cecho ""
153
154
155 ##############################################################################
156 # enter specific test directory
157 #
158
159 if [ $# -gt 0 ]
160 then
161     TESTS=$*
162 elif [ $SELECTEDTESTSONLY = "yes" ]
163 then
164     # set internal field seperator
165     TESTS=$SELECTEDTESTS
166 else
167     # set internal field seperator
168     TESTS="`ls $DEFAULTTESTSDIR`"
169 fi
170
171 for SUBDIR in $TESTS
172 do
173     SUBTESTS="`basename $SUBDIR`"
174
175     if [ $SUBTESTS = $SUBDIR ]
176     then
177         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
178     else
179         SUBDIR="`dirname $SUBDIR`"
180     fi
181
182     if [ ! -d $TODAYDIR/$SUBDIR ]
183     then
184         mkdir $TODAYDIR/$SUBDIR
185         if [ $testnumber == 0 ]
186         then
187             FIRST="<b>Category:</b"
188         else
189             FIRST="&nbsp;"
190         fi
191         echo "    <tr><td>$FIRST</td><td><a href=\"$SUBDIR/index.html\">$SUBDIR</a></td></tr>" >> $INDEX
192         SUBTESTSINDEX=$TODAYDIR/$SUBDIR/index.html
193         cat > $SUBTESTSINDEX <<@EOF
194 <html>
195 <head>
196   <title>strongSwan $SUBDIR Tests</title>
197 </head>
198 <body>
199   <h2>strongSwan $SUBDIR Tests</h2>
200   <table border="0" cellspacing="2">
201     <tr valign="top">
202       <td><b>UML kernel: &nbsp;</b></td>
203       <td colspan="3">$KERNEL_VERSION</td>
204     </tr>
205     <tr valign="top">
206       <td><b>IPsec:</b></td>
207       <td colspan="3">$IPSEC_VERSION</td>
208     </tr>
209     <tr valign="top">
210       <td><b>Date:</b></td>
211       <td colspan="3">$TESTDATE</td>
212     </tr>
213     <tr>
214       <td width="100">&nbsp;</td>
215       <td width="200">&nbsp;</td>
216       <td width=" 50">&nbsp;</td>
217       <td >&nbsp;</td>
218     </tr>
219     <tr align="left">
220        <th>Number</th>
221        <th>Test</th>
222        <th colspan="2">Result</th>
223     </tr>
224 @EOF
225     fi
226
227     for name in $SUBTESTS
228     do
229         let "testnumber += 1"
230         testname=$SUBDIR/$name
231         cecho-n " $testnumber $testname.."
232
233         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
234         then
235             cecho "is missing..skipped"
236             continue
237         fi
238
239         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
240         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
241         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
242         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
243         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
244
245         TESTRESULTDIR=$TODAYDIR/$testname
246         mkdir -p $TESTRESULTDIR
247         CONSOLE_LOG=$TESTRESULTDIR/console.log
248         touch $CONSOLE_LOG
249
250         TESTDIR=$TESTSDIR/${testname}
251         rm -rf $TESTDIR
252         mkdir -p $TESTDIR
253         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
254
255
256         ##############################################################################
257         # replace IP wildcards with actual IPv4 and IPv6 addresses
258         #
259
260         for host in $STRONGSWANHOSTS
261         do
262             case $host in
263             moon)
264                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
265                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
266                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
267                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
268                 ;;
269             sun)
270                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
271                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
272                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
273                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
274                 ;;
275             alice)
276                 searchandreplace PH_IP_ALICE     $ipv4_alice $TESTDIR
277                 searchandreplace PH_IP6_ALICE    $ipv6_alice $TESTDIR
278                 ;;
279             venus)
280                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
281                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
282                 ;;
283             bob)
284                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
285                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
286                 ;;
287             carol)
288                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
289                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
290                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
291                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
292                 ;;
293             dave)
294                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
295                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
296                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
297                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
298                 ;;
299             winnetou)
300                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
301                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
302                 ;;
303             esac
304         done
305
306
307         ##########################################################################
308         # copy test specific configurations to uml hosts and clear auth.log files
309         #
310
311         $DIR/scripts/load-testconfig $testname
312         source $TESTDIR/test.conf
313
314
315         ##########################################################################
316         # run tcpdump in the background
317         #
318
319         if [ "$TCPDUMPHOSTS" != "" ]
320         then
321             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
322
323             for host_iface in $TCPDUMPHOSTS
324             do
325                 host=`echo $host_iface | awk -F ":" '{print $1}'`
326                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
327                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
328                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
329                 ssh root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
330                 eval TDUP_${host}="true"
331             done
332         fi
333
334
335         ##########################################################################
336         # execute pre-test commands
337         #
338
339         cecho-n "pre.."
340         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
341
342         eval `awk -F "::" '{
343             if ($2 != "")
344             {
345                 printf("echo \"%s# %s\"; ", $1, $2)
346                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
347                 printf("echo;\n")
348             }
349         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
350
351
352         ##########################################################################
353         # stop tcpdump
354         #
355
356         function stop_tcpdump {
357             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
358             eval ssh root@\$ipv4_${1} killall tcpdump
359             eval TDUP_${1}="false"
360             echo ""
361         }
362
363
364         ##########################################################################
365         # get and evaluate test results
366         #
367
368         cecho-n "test.."
369         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
370
371         STATUS="passed"
372
373         eval `awk -F "::" '{
374             host=$1
375             command=$2
376             pattern=$3
377             hit=$4
378             if (command != "")
379             {
380                 if (command == "tcpdump")
381                 {
382                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
383                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
384                     printf("ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
385                 }
386                 else
387                 {
388                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
389                     printf("ssh root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
390                 }
391                 printf("cmd_exit=\044?; ")
392                 printf("echo; ")
393                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
394                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
395                 printf("; then STATUS=\"failed\"; fi; \n")
396             }
397         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
398
399
400         ##########################################################################
401         # set counters
402         #
403
404         if [ $STATUS = "failed" ]
405         then
406             let "failed_cnt += 1"
407         else
408             let "passed_cnt += 1"
409         fi
410
411
412         ##########################################################################
413         # log statusall and listall output
414         # get copies of ipsec.conf, ipsec.secrets
415         # create index.html for the given test case
416
417         cat > $TESTRESULTDIR/index.html <<@EOF
418 <html>
419 <head>
420   <title>Test $testname</title>
421 </head>
422 <body>
423 <table border="0" width="600">
424   <tr><td>
425     <h2>Test $testname</h2>
426     <h3>Description</h3>
427 @EOF
428
429         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
430
431         cat >> $TESTRESULTDIR/index.html <<@EOF
432     <ul>
433       <li><a href="console.log">console.log</a></li>
434     </ul>
435     <img src="../../images/$DIAGRAM" alt="$UMLHOSTS">
436 @EOF
437
438         for host in $IPSECHOSTS
439         do
440             eval HOSTLOGIN=root@\$ipv4_${host}
441
442             for command in statusall listall
443             do
444                 ssh $HOSTLOGIN ipsec $command \
445                     > $TESTRESULTDIR/${host}.$command 2>/dev/null
446             done
447
448             for file in ipsec.conf ipsec.secrets
449             do
450                 scp $HOSTLOGIN:/etc/$file \
451                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
452             done
453
454             ssh $HOSTLOGIN ip route list \
455                     > $TESTRESULTDIR/${host}.iproute 2>/dev/null
456             ssh $HOSTLOGIN iptables -v -n -L \
457                     > $TESTRESULTDIR/${host}.iptables 2>/dev/null
458             cat >> $TESTRESULTDIR/index.html <<@EOF
459     <h3>$host</h3>
460       <table border="0" cellspacing="0" width="400">
461       <tr>
462         <td>
463           <ul>
464             <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
465             <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
466             <li><a href="$host.statusall">ipsec statusall</a></li>
467             <li><a href="$host.listall">ipsec listall</a></li>
468           </ul>
469         </td>
470         <td>
471           <ul>
472             <li><a href="$host.auth.log">auth.log</a></li>
473             <li><a href="$host.daemon.log">daemon.log</a></li>
474             <li><a href="$host.iproute">ip route list</a></li>
475             <li><a href="$host.iptables">iptables -L</a></li>
476         </ul>
477       </td>
478     </tr>
479     </table>
480 @EOF
481
482         done
483
484         cat >> $TESTRESULTDIR/index.html <<@EOF
485   </td></tr>
486   <tr><td align="right">
487     <b><a href="../index.html">Back</a></b>
488   </td></tr>
489 </table>
490 </body>
491 </html>
492 @EOF
493
494
495         ##########################################################################
496         # execute post-test commands
497         #
498
499         cecho-n "post.."
500         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
501
502         eval `awk -F "::" '{
503             if ($2 != "")
504             {
505                 printf("echo \"%s# %s\"; ", $1, $2)
506                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
507                 printf("echo;\n")
508             }
509         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
510
511
512         ##########################################################################
513         # get a copy of /var/log/auth.log
514         #
515
516         for host in $IPSECHOSTS
517         do
518             eval HOSTLOGIN=root@\$ipv4_${host}
519             ssh $HOSTLOGIN grep pluto /var/log/auth.log \
520                 > $TESTRESULTDIR/${host}.auth.log
521             echo >> $TESTRESULTDIR/${host}.auth.log
522             ssh $HOSTLOGIN grep charon /var/log/auth.log \
523                 >> $TESTRESULTDIR/${host}.auth.log
524         done
525
526
527         ##########################################################################
528         # get a copy of /var/log/daemon.log
529         #
530
531         for host in $IPSECHOSTS
532         do
533             eval HOSTLOGIN=root@\$ipv4_${host}
534             ssh $HOSTLOGIN grep pluto /var/log/daemon.log \
535                 > $TESTRESULTDIR/${host}.daemon.log
536             echo >> $TESTRESULTDIR/${host}.daemon.log
537             ssh $HOSTLOGIN grep charon /var/log/daemon.log \
538                 >> $TESTRESULTDIR/${host}.daemon.log
539         done
540
541
542         ##########################################################################
543         # stop tcpdump if necessary
544         #
545
546         for host in $TCPDUMPHOSTS
547         do
548             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
549             then
550                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
551                 eval ssh root@\$ipv4_$host killall tcpdump
552                 eval TDUP_${host}="false"
553             fi
554         done
555
556
557         ##########################################################################
558         # copy default host config back if necessary
559         #
560
561         $DIR/scripts/restore-defaults $testname
562
563
564         ##########################################################################
565         # write test status to html file
566         #
567
568         if [ $STATUS = "passed" ]
569         then
570             COLOR="green"
571             cecho "\033[1;32m$STATUS"
572         else
573             COLOR="red"
574             cecho "$STATUS"
575         fi
576
577         cat >> $TESTRESULTSHTML << @EOF
578   <tr>
579     <td>$testnumber</td>
580     <td><a href="$testname/">$testname</a></td>
581     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
582     <td>&nbsp;</td>
583   </tr>
584 @EOF
585         cat >> $SUBTESTSINDEX << @EOF
586   <tr>
587     <td>$testnumber</td>
588     <td><a href="$name/">$name</a></td>
589     <td><a href="$name/console.log"><font color="$COLOR">$STATUS</font></a></td>
590     <td>&nbsp;</td>
591   </tr>
592 @EOF
593
594     done
595
596 done
597
598
599 ##############################################################################
600 # finish the results html file
601 #
602
603 cat >> $TESTRESULTSHTML << @EOF
604   </table>
605   <p>
606   <b>Passed: &nbsp; <font color="green">$passed_cnt</font></b><br>
607   <b>Failed: &nbsp; <font color="red">$failed_cnt</font></b><br>
608   <p>
609 </body>
610 </html>
611 @EOF
612
613 let "all_cnt = $passed_cnt + $failed_cnt"
614
615 cat >> $INDEX << @EOF
616     <tr>
617       <td>&nbsp;</td>
618       <td><a href="all.html"><b>all</b></a></td>
619           <td><b>$all_cnt</td>
620           <td>&nbsp;</td>
621     </tr>
622     <tr>
623       <td><b>Failed:</b></td>
624       <td>&nbsp;</td>
625           <td><b><font color="red">$failed_cnt</font></b></td>
626           <td>&nbsp;</td>
627     </tr>
628   </table>
629 </body>
630 </html>
631 @EOF
632
633 cecho ""
634 cecho "\033[1;32mPassed:   $passed_cnt"
635 cecho "Failed:   $failed_cnt"
636 cecho ""
637
638
639 ##############################################################################
640 # copy the test results to the apache server
641 #
642
643 HTDOCS="/var/www/localhost/htdocs"
644
645 cecho-n "Copying test results to winnetou.."
646 ssh root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
647 scp -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
648 ssh root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
649 cecho "done"
650 cecho ""
651 cecho "The results are available in $TODAYDIR"
652 cecho "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"