testing/do-tests

   1 #!/bin/bash
   2 # Automatically execute the strongSwan test cases
   3 #
   4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
   5 # Zuercher Hochschule Winterthur
   6 #
   7 # This program is free software; you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by the
   9 # Free Software Foundation; either version 2 of the License, or (at your
  10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
  11 #
  12 # This program is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
  14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 # for more details.
  16 #
  17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
  18
  19 DIR=`dirname $0`
  20
  21 source $DIR/scripts/function.sh
  22
  23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
  24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
  25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
  26
  27 source $DIR/testing.conf
  28
  29
  30 ##############################################################################
  31 # test if UMLs have been built at all
  32 #
  33
  34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
  35
  36
  37 ##############################################################################
  38 # take care of new path and file variables
  39 #
  40
  41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
  42
  43 TESTDATE=`date +%Y%m%d-%H%M`
  44
  45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
  46 mkdir $TODAYDIR
  47 TESTRESULTSHTML=$TODAYDIR/index.html
  48 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
  49
  50 testnumber="0"
  51 failed_cnt="0"
  52 passed_cnt="0"
  53
  54
  55 ##############################################################################
  56 # copy default tests to $BUILDDIR
  57 #
  58
  59 TESTSDIR=$BUILDDIR/tests
  60 [ -d $TESTSDIR ] || mkdir $TESTSDIR
  61
  62 ##############################################################################
  63 # assign IP for each host to hostname
  64 #
  65
  66 for host in $STRONGSWANHOSTS
  67 do
  68     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
  69     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
  70
  71     case $host in
  72     moon)
  73         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  74         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  75         ;;
  76     sun)
  77         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  78         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  79         ;;
  80     alice)
  81         ;;
  82     venus)
  83         ;;
  84     bob)
  85         ;;
  86     carol)
  87         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  88         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  89          ;;
  90     dave)
  91         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  92         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  93         ;;
  94     winnetou)
  95         ;;
  96     esac
  97 done
  98
  99
 100 ##############################################################################
 101 # create header for the results html file
 102 #
 103
 104 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
 105 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
 106
 107 cat > $TESTRESULTSHTML <<@EOF
 108 <html>
 109 <head>
 110   <title>strongSwan UML Testing</title>
 111 </head>
 112 <body>
 113   <h2>strongSwan UML Testing</h2>
 114   <table border="0" cellspacing="2">
 115     <tr><td><b>Host:</b></td><td>`uname -a`</td></tr>
 116     <tr><td><b>UML kernel: &nbsp;</b></td><td>$KERNEL_VERSION</td></tr>
 117     <tr><td><b>IPsec:</b></td><td>$IPSEC_VERSION</td></tr>
 118     <tr><td><b>Date:</b></td><td>$TESTDATE</td></tr>
 119   </table>
 120   <p>
 121   <table border="0" width="500">
 122     <thead align="left"><th>Number</th><th>Test</th><th>Result</th></thead>
 123 @EOF
 124
 125 cecho "UML kernel: $KERNEL_VERSION"
 126 cecho "IPsec:      $IPSEC_VERSION"
 127 cecho "Date:       $TESTDATE"
 128 cecho ""
 129
 130
 131 ##############################################################################
 132 # enter specific test directory
 133 #
 134
 135 if [ $# -gt 0 ]
 136 then
 137     TESTS=$*
 138 elif [ $SELECTEDTESTSONLY = "yes" ]
 139 then
 140     # set internal field seperator
 141     TESTS=$SELECTEDTESTS
 142 else
 143     # set internal field seperator
 144     TESTS="`ls $DEFAULTTESTSDIR`"
 145 fi
 146
 147 for testname in $TESTS
 148 do
 149     let "testnumber += 1"
 150     cecho-n " $testnumber $testname.."
 151
 152     if [ ! -d $DEFAULTTESTSDIR/${testname} ]
 153     then
 154         cecho "is missing..skipped"
 155         continue
 156     fi
 157
 158     [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
 159     [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
 160     [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
 161     [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
 162     [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
 163
 164     TESTRESULTDIR=$TODAYDIR/$testname
 165     mkdir $TESTRESULTDIR
 166     CONSOLE_LOG=$TESTRESULTDIR/console.log
 167     touch $CONSOLE_LOG
 168
 169     TESTDIR=$TESTSDIR/${testname}
 170     rm -rf $TESTDIR/*
 171     cp -rfp $DEFAULTTESTSDIR/${testname} $TESTSDIR
 172
 173     ##############################################################################
 174     # replace IP wildcards with actual IPv4 and IPv6 addresses
 175     #
 176
 177     for host in $STRONGSWANHOSTS
 178     do
 179         case $host in
 180         moon)
 181             searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
 182             searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
 183             searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
 184             searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
 185             ;;
 186         sun)
 187             searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
 188             searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
 189             searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
 190             searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
 191             ;;
 192         alice)
 193             searchandreplace PH_IP_ALICE     $ipv4_alice $TESTDIR
 194             searchandreplace PH_IP6_ALICE    $ipv6_alice $TESTDIR
 195             ;;
 196         venus)
 197             searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
 198             searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
 199             ;;
 200         bob)
 201             searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
 202             searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
 203             ;;
 204         carol)
 205             searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
 206             searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
 207             searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
 208             searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
 209             ;;
 210         dave)
 211             searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTSDIR
 212             searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTSDIR
 213             searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTSDIR
 214             searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTSDIR
 215             ;;
 216         winnetou)
 217             searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTSDIR
 218             searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTSDIR
 219             ;;
 220         esac
 221     done
 222
 223
 224     ##########################################################################
 225     # copy test specific configurations to uml hosts and clear auth.log files
 226     #
 227
 228     $DIR/scripts/load-testconfig $testname
 229     source $TESTDIR/test.conf
 230
 231
 232     ##########################################################################
 233     # run tcpdump in the background
 234     #
 235
 236     if [ "$TCPDUMPHOSTS" != "" ]
 237     then
 238         echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
 239
 240         for host_iface in $TCPDUMPHOSTS
 241         do
 242             host=`echo $host_iface | awk -F ":" '{print $1}'`
 243             iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
 244             tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
 245             echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
 246             ssh root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
 247             eval TDUP_${host}="true"
 248         done
 249     fi
 250
 251     ##########################################################################
 252     # execute pre-test commands
 253     #
 254
 255     cecho-n "pre.."
 256     echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
 257
 258     eval `awk -F "::" '{
 259         if ($2 != "")
 260         {
 261             printf("echo \"%s# %s\"; ", $1, $2)
 262             printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
 263             printf("echo;\n")
 264         }
 265     }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
 266
 267
 268     ##########################################################################
 269     # stop tcpdump
 270     #
 271
 272     function stop_tcpdump {
 273         echo "${1}# killall tcpdump" >> $CONSOLE_LOG
 274         eval ssh root@\$ipv4_${1} killall tcpdump
 275         eval TDUP_${1}="false"
 276         echo ""
 277     }
 278
 279
 280     ##########################################################################
 281     # get and evaluate test results
 282     #
 283
 284     cecho-n "test.."
 285     echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
 286
 287     STATUS="passed"
 288
 289     eval `awk -F "::" '{
 290         host=$1
 291         command=$2
 292         pattern=$3
 293         hit=$4
 294         if (command != "")
 295         {
 296             if (command == "tcpdump")
 297             {
 298                 printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
 299                 printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
 300                 printf("ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
 301             }
 302             else
 303             {
 304                 printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
 305                 printf("ssh root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
 306             }
 307             printf("cmd_exit=\044?; ")
 308             printf("echo; ")
 309             printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
 310             printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
 311             printf("; then STATUS=\"failed\"; fi; \n")
 312
 313         }
 314     }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
 315
 316
 317     ##########################################################################
 318     # set counters
 319     #
 320
 321     if [ $STATUS = "failed" ]
 322     then
 323         let "failed_cnt += 1"
 324     else
 325         let "passed_cnt += 1"
 326     fi
 327
 328
 329     ##########################################################################
 330     # log statusall and listall output
 331     # get copies of ipsec.conf, ipsec.secrets
 332     # create index.html for the given test case
 333
 334     cat > $TESTRESULTDIR/index.html <<@EOF
 335 <html>
 336 <head>
 337   <title>Test $testname</title>
 338 </head>
 339 <body>
 340 <table border="0" width="600">
 341   <tr><td>
 342     <h2>Test $testname</h2>
 343     <h3>Description</h3>
 344 @EOF
 345
 346     cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
 347
 348     cat >> $TESTRESULTDIR/index.html <<@EOF
 349     <ul>
 350       <li><a href="console.log">console.log</a></li>
 351     </ul>
 352     <img src="../images/$DIAGRAM" alt="$UMLHOSTS">
 353 @EOF
 354
 355
 356     for host in $IPSECHOSTS
 357     do
 358         eval HOSTLOGIN=root@\$ipv4_${host}
 359
 360         for command in statusall listall
 361         do
 362             ssh $HOSTLOGIN ipsec $command \
 363                 > $TESTRESULTDIR/${host}.$command 2>/dev/null
 364         done
 365
 366         for file in ipsec.conf ipsec.secrets
 367         do
 368             scp $HOSTLOGIN:/etc/$file \
 369                 $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
 370         done
 371
 372         cat >> $TESTRESULTDIR/index.html <<@EOF
 373     <h3>$host</h3>
 374     <ul>
 375       <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
 376       <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
 377       <li><a href="$host.statusall">ipsec statusall</a></li>
 378       <li><a href="$host.listall">ipsec listall</a></li>
 379       <li><a href="$host.auth.log">auth.log</a></li>
 380     </ul>
 381 @EOF
 382
 383     done
 384
 385     cat >> $TESTRESULTDIR/index.html <<@EOF
 386   </td></tr>
 387   <tr><td align="right">
 388     <b><a href="../index.html">Back</a></b>
 389   </td></tr>
 390 </table>
 391 </body>
 392 </html>
 393 @EOF
 394
 395
 396     ##########################################################################
 397     # execute post-test commands
 398     #
 399
 400     cecho-n "post.."
 401     echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
 402
 403     eval `awk -F "::" '{
 404         if ($2 != "")
 405         {
 406             printf("echo \"%s# %s\"; ", $1, $2)
 407             printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
 408             printf("echo;\n")
 409         }
 410     }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
 411
 412
 413     ##########################################################################
 414     # get a copy of /var/log/auth.log
 415     #
 416
 417     for host in $IPSECHOSTS
 418     do
 419         eval HOSTLOGIN=root@\$ipv4_${host}
 420         ssh $HOSTLOGIN grep pluto /var/log/auth.log \
 421             > $TESTRESULTDIR/${host}.auth.log
 422         echo >> $TESTRESULTDIR/${host}.auth.log
 423         ssh $HOSTLOGIN grep charon /var/log/auth.log \
 424             >> $TESTRESULTDIR/${host}.auth.log
 425     done
 426
 427
 428     ##########################################################################
 429     # stop tcpdump if necessary
 430     #
 431
 432     for host in $TCPDUMPHOSTS
 433     do
 434         if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
 435         then
 436             echo "${host}# killall tcpdump" >> $CONSOLE_LOG
 437             eval ssh root@\$ipv4_$host killall tcpdump
 438             eval TDUP_${host}="false"
 439         fi
 440     done
 441
 442
 443     ##########################################################################
 444     # copy default host config back if necessary
 445     #
 446
 447     $DIR/scripts/restore-defaults $testname
 448
 449
 450     ##########################################################################
 451     # write test status to html file
 452     #
 453
 454     cecho "$STATUS"
 455     if [ $STATUS = "passed" ]
 456     then
 457         COLOR="green"
 458     else
 459         COLOR="red"
 460     fi
 461
 462     cat >> $TESTRESULTSHTML << @EOF
 463   <tr>
 464     <td>$testnumber</td>
 465     <td><a href="$testname/">$testname</a></td>
 466     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
 467   </tr>
 468 @EOF
 469
 470 done
 471
 472
 473 ##############################################################################
 474 # finish the results html file
 475 #
 476
 477 cat >> $TESTRESULTSHTML << @EOF
 478   </table>
 479   <p>
 480   <b>Passed: &nbsp; $passed_cnt</b><br>
 481   <b>Failed: &nbsp; $failed_cnt</b><br>
 482   <p>
 483 </body>
 484 </html>
 485 @EOF
 486
 487 cecho ""
 488 cecho "Passed:   $passed_cnt"
 489 cecho "Failed:   $failed_cnt"
 490 cecho ""
 491
 492
 493 ##############################################################################
 494 # copy the test results to the apache server
 495 #
 496
 497 HTDOCS="/var/www/localhost/htdocs"
 498
 499 cecho-n "Copying test results to winnetou.."
 500 ssh root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
 501 scp -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
 502 ssh root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
 503 cecho "done"
 504 cecho ""
 505 cecho "The results are available in $TODAYDIR"
 506 cecho "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"