testing/do-tests

   1 #!/bin/bash
   2 # Automatically execute the strongSwan test cases
   3 #
   4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
   5 # Zuercher Hochschule Winterthur
   6 #
   7 # This program is free software; you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by the
   9 # Free Software Foundation; either version 2 of the License, or (at your
  10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
  11 #
  12 # This program is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
  14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 # for more details.
  16 #
  17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
  18
  19 DIR=`dirname $0`
  20
  21 source $DIR/scripts/function.sh
  22
  23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
  24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
  25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
  26
  27 source $DIR/testing.conf
  28
  29
  30 ##############################################################################
  31 # test if UMLs have been built at all
  32 #
  33
  34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
  35
  36
  37 ##############################################################################
  38 # take care of new path and file variables
  39 #
  40
  41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
  42
  43 TESTDATE=`date +%Y%m%d-%H%M`
  44
  45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
  46 mkdir $TODAYDIR
  47 TESTRESULTSHTML=$TODAYDIR/index.html
  48 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
  49
  50 testnumber="0"
  51 failed_cnt="0"
  52 passed_cnt="0"
  53
  54
  55 ##############################################################################
  56 # copy default tests to $BUILDDIR
  57 #
  58
  59 TESTSDIR=$BUILDDIR/tests
  60 [ -d $TESTSDIR ] || mkdir $TESTSDIR
  61 rm -rf $TESTSDIR/*
  62 cp -rfp $DEFAULTTESTSDIR/* $TESTSDIR
  63
  64
  65 ##############################################################################
  66 # assign IP for each host to hostname
  67 #
  68
  69 for host in $STRONGSWANHOSTS
  70 do
  71     eval ip_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $1 }' | awk '{ print $1 }'`"
  72     case $host in
  73     moon)
  74         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
  75         searchandreplace PH_IP_MOON $ip_moon $TESTSDIR
  76         searchandreplace PH_IP1_MOON $ip1_moon $TESTSDIR
  77         ;;
  78     sun)
  79         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
  80         searchandreplace PH_IP_SUN $ip_sun $TESTSDIR
  81         searchandreplace PH_IP1_SUN $ip1_sun $TESTSDIR
  82         ;;
  83     alice)
  84         searchandreplace PH_IP_ALICE $ip_alice $TESTSDIR
  85         ;;
  86     venus)
  87         searchandreplace PH_IP_VENUS $ip_venus $TESTSDIR
  88         ;;
  89     bob)
  90         searchandreplace PH_IP_BOB $ip_bob $TESTSDIR
  91         ;;
  92     carol)
  93         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
  94         searchandreplace PH_IP_CAROL $ip_carol $TESTSDIR
  95         searchandreplace PH_IP1_CAROL $ip1_carol $TESTSDIR
  96         ;;
  97     dave)
  98         eval ip1_${host}="`echo $HOSTNAMEIPS | sed -n -e "s/^.*${host}://gp" | awk -F : '{ print $2 }' | awk '{ print $1 }'`"
  99         searchandreplace PH_IP_DAVE $ip_dave $TESTSDIR
 100         searchandreplace PH_IP1_DAVE $ip1_dave $TESTSDIR
 101         ;;
 102     winnetou)
 103         searchandreplace PH_IP_WINNETOU $ip_winnetou $TESTSDIR
 104         ;;
 105     esac
 106 done
 107
 108
 109 ##############################################################################
 110 # create header for the results html file
 111 #
 112
 113 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
 114 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
 115
 116 cat > $TESTRESULTSHTML <<@EOF
 117 <html>
 118 <head>
 119   <title>strongSwan UML Testing</title>
 120 </head>
 121 <body>
 122   <h2>strongSwan UML Testing</h2>
 123   <table border="0" cellspacing="2">
 124     <tr><td><b>Host:</b></td><td>`uname -a`</td></tr>
 125     <tr><td><b>UML kernel: &nbsp;</b></td><td>$KERNEL_VERSION</td></tr>
 126     <tr><td><b>IPsec:</b></td><td>$IPSEC_VERSION</td></tr>
 127     <tr><td><b>Date:</b></td><td>$TESTDATE</td></tr>
 128   </table>
 129   <p>
 130   <table border="0" width="500">
 131     <thead align="left"><th>Number</th><th>Test</th><th>Result</th></thead>
 132 @EOF
 133
 134 cecho "UML kernel: $KERNEL_VERSION"
 135 cecho "IPsec:      $IPSEC_VERSION"
 136 cecho "Date:       $TESTDATE"
 137 cecho ""
 138
 139
 140 ##############################################################################
 141 # enter specific test directory
 142 #
 143
 144 if [ $# -gt 0 ]
 145 then
 146     TESTS=$*
 147 elif [ $SELECTEDTESTSONLY = "yes" ]
 148 then
 149     # set internal field seperator
 150     TESTS=$SELECTEDTESTS
 151 else
 152     # set internal field seperator
 153     TESTS="`ls $TESTSDIR`"
 154 fi
 155
 156 for testname in $TESTS
 157 do
 158     let "testnumber += 1"
 159     cecho-n " $testnumber $testname.."
 160
 161     if [ ! -d $TESTSDIR/${testname} ]
 162     then
 163         cecho "is missing..skipped"
 164         continue
 165     fi
 166
 167     [ -f $TESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
 168     [ -f $TESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
 169     [ -f $TESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
 170     [ -f $TESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
 171     [ -f $TESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
 172
 173     TESTRESULTDIR=$TODAYDIR/$testname
 174     mkdir $TESTRESULTDIR
 175     CONSOLE_LOG=$TESTRESULTDIR/console.log
 176     touch $CONSOLE_LOG
 177
 178
 179     ##########################################################################
 180     # copy test specific configurations to uml hosts and clear auth.log files
 181     #
 182
 183     $DIR/scripts/load-testconfig $testname
 184     source $TESTSDIR/$testname/test.conf
 185
 186
 187     ##########################################################################
 188     # run tcpdump in the background
 189     #
 190
 191     if [ "$TCPDUMPHOSTS" != "" ]
 192     then
 193         echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
 194
 195         for host_iface in $TCPDUMPHOSTS
 196         do
 197             host=`echo $host_iface | awk -F ":" '{print $1}'`
 198             iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
 199             tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
 200             echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
 201             ssh root@`eval echo \\\$ip_$host '$tcpdump_cmd'`
 202             eval TDUP_${host}="true"
 203         done
 204     fi
 205
 206     ##########################################################################
 207     # execute pre-test commands
 208     #
 209
 210     cecho-n "pre.."
 211     echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
 212
 213     eval `awk -F "::" '{
 214         if ($2 != "")
 215         {
 216             printf("echo \"%s# %s\"; ", $1, $2)
 217             printf("ssh root@\044ip_%s \"%s\"; ", $1, $2)
 218             printf("echo;\n")
 219         }
 220     }' $TESTSDIR/${testname}/pretest.dat` >> $CONSOLE_LOG 2>&1
 221
 222
 223     ##########################################################################
 224     # stop tcpdump
 225     #
 226
 227     function stop_tcpdump {
 228         echo "${1}# killall tcpdump" >> $CONSOLE_LOG
 229         eval ssh root@\$ip_${1} killall tcpdump
 230         eval TDUP_${1}="false"
 231         echo ""
 232     }
 233
 234
 235     ##########################################################################
 236     # get and evaluate test results
 237     #
 238
 239     cecho-n "test.."
 240     echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
 241
 242     STATUS="passed"
 243
 244     eval `awk -F "::" '{
 245         host=$1
 246         command=$2
 247         pattern=$3
 248         hit=$4
 249         if (command != "")
 250         {
 251             if (command == "tcpdump")
 252             {
 253                 printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
 254                 printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
 255                 printf("ssh root@\044ip_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
 256             }
 257             else
 258             {
 259                 printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
 260                 printf("ssh root@\044ip_%s %s | grep \"%s\"; ",  host, command, pattern)
 261             }
 262             printf("cmd_exit=\044?; ")
 263             printf("echo; ")
 264             printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
 265             printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
 266             printf("; then STATUS=\"failed\"; fi; \n")
 267
 268         }
 269     }' $TESTSDIR/${testname}/evaltest.dat` >> $CONSOLE_LOG 2>&1
 270
 271
 272     ##########################################################################
 273     # set counters
 274     #
 275
 276     if [ $STATUS = "failed" ]
 277     then
 278         let "failed_cnt += 1"
 279     else
 280         let "passed_cnt += 1"
 281     fi
 282
 283
 284     ##########################################################################
 285     # log statusall and listall output
 286     # get copies of ipsec.conf, ipsec.secrets
 287     # create index.html for the given test case
 288
 289     cat > $TESTRESULTDIR/index.html <<@EOF
 290 <html>
 291 <head>
 292   <title>Test $testname</title>
 293 </head>
 294 <body>
 295 <table border="0" width="600">
 296   <tr><td>
 297     <h2>Test $testname</h2>
 298     <h3>Description</h3>
 299 @EOF
 300
 301     cat $TESTSDIR/${testname}/description.txt >> $TESTRESULTDIR/index.html
 302
 303     cat >> $TESTRESULTDIR/index.html <<@EOF
 304     <ul>
 305       <li><a href="console.log">console.log</a></li>
 306     </ul>
 307     <img src="../images/$DIAGRAM" alt="$UMLHOSTS">
 308 @EOF
 309
 310
 311     for host in $IPSECHOSTS
 312     do
 313         eval HOSTLOGIN=root@\$ip_${host}
 314
 315         for command in statusall listall
 316         do
 317             ssh $HOSTLOGIN ipsec $command \
 318                 > $TESTRESULTDIR/${host}.$command 2>/dev/null
 319         done
 320
 321         for file in ipsec.conf ipsec.secrets
 322         do
 323             scp $HOSTLOGIN:/etc/$file \
 324                 $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
 325         done
 326
 327         cat >> $TESTRESULTDIR/index.html <<@EOF
 328     <h3>$host</h3>
 329     <ul>
 330       <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
 331       <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
 332       <li><a href="$host.statusall">ipsec statusall</a></li>
 333       <li><a href="$host.listall">ipsec listall</a></li>
 334       <li><a href="$host.auth.log">auth.log</a></li>
 335     </ul>
 336 @EOF
 337
 338     done
 339
 340     cat >> $TESTRESULTDIR/index.html <<@EOF
 341   </td></tr>
 342   <tr><td align="right">
 343     <b><a href="../index.html">Back</a></b>
 344   </td></tr>
 345 </table>
 346 </body>
 347 </html>
 348 @EOF
 349
 350
 351     ##########################################################################
 352     # execute post-test commands
 353     #
 354
 355     cecho-n "post.."
 356     echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
 357
 358     eval `awk -F "::" '{
 359         if ($2 != "")
 360         {
 361             printf("echo \"%s# %s\"; ", $1, $2)
 362             printf("ssh root@\044ip_%s \"%s\"; ", $1, $2)
 363             printf("echo;\n")
 364         }
 365     }' $TESTSDIR/${testname}/posttest.dat` >> $CONSOLE_LOG 2>&1
 366
 367
 368     ##########################################################################
 369     # get a copy of /var/log/auth.log
 370     #
 371
 372     for host in $IPSECHOSTS
 373     do
 374         eval HOSTLOGIN=root@\$ip_${host}
 375         ssh $HOSTLOGIN grep pluto /var/log/auth.log \
 376             > $TESTRESULTDIR/${host}.auth.log
 377         echo >> $TESTRESULTDIR/${host}.auth.log
 378         ssh $HOSTLOGIN grep charon /var/log/auth.log \
 379             >> $TESTRESULTDIR/${host}.auth.log
 380     done
 381
 382
 383     ##########################################################################
 384     # stop tcpdump if necessary
 385     #
 386
 387     for host in $TCPDUMPHOSTS
 388     do
 389         if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
 390         then
 391             echo "${host}# killall tcpdump" >> $CONSOLE_LOG
 392             eval ssh root@\$ip_$host killall tcpdump
 393             eval TDUP_${host}="false"
 394         fi
 395     done
 396
 397
 398     ##########################################################################
 399     # copy default host config back if necessary
 400     #
 401
 402     $DIR/scripts/restore-defaults $testname
 403
 404
 405     ##########################################################################
 406     # write test status to html file
 407     #
 408
 409     cecho "$STATUS"
 410     if [ $STATUS = "passed" ]
 411     then
 412         COLOR="green"
 413     else
 414         COLOR="red"
 415     fi
 416
 417     cat >> $TESTRESULTSHTML << @EOF
 418   <tr>
 419     <td>$testnumber</td>
 420     <td><a href="$testname/">$testname</a></td>
 421     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
 422   </tr>
 423 @EOF
 424
 425 done
 426
 427
 428 ##############################################################################
 429 # finish the results html file
 430 #
 431
 432 cat >> $TESTRESULTSHTML << @EOF
 433   </table>
 434   <p>
 435   <b>Passed: &nbsp; $passed_cnt</b><br>
 436   <b>Failed: &nbsp; $failed_cnt</b><br>
 437   <p>
 438 </body>
 439 </html>
 440 @EOF
 441
 442 cecho ""
 443 cecho "Passed:   $passed_cnt"
 444 cecho "Failed:   $failed_cnt"
 445 cecho ""
 446
 447
 448 ##############################################################################
 449 # copy the test results to the apache server
 450 #
 451
 452 HTDOCS="/var/www/localhost/htdocs"
 453
 454 cecho-n "Copying test results to winnetou.."
 455 ssh root@${ip_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
 456 scp -r $TODAYDIR root@${ip_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
 457 ssh root@${ip_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
 458 cecho "done"
 459 cecho ""
 460 cecho "The results are available in $TODAYDIR"
 461 cecho "or via the link http://$ip_winnetou/testresults/$TESTDATE"