testing/do-tests

   1 #!/bin/bash
   2 # Automatically execute the strongSwan test cases
   3 #
   4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
   5 # Zuercher Hochschule Winterthur
   6 #
   7 # This program is free software; you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by the
   9 # Free Software Foundation; either version 2 of the License, or (at your
  10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
  11 #
  12 # This program is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
  14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 # for more details.
  16 #
  17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
  18
  19 DIR=`dirname $0`
  20
  21 source $DIR/scripts/function.sh
  22
  23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
  24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
  25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
  26
  27 source $DIR/testing.conf
  28
  29
  30 ##############################################################################
  31 # test if UMLs have been built at all
  32 #
  33
  34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
  35
  36
  37 ##############################################################################
  38 # take care of new path and file variables
  39 #
  40
  41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
  42
  43 TESTDATE=`date +%Y%m%d-%H%M`
  44
  45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
  46 mkdir $TODAYDIR
  47 TESTRESULTSHTML=$TODAYDIR/index.html
  48 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
  49
  50 testnumber="0"
  51 failed_cnt="0"
  52 passed_cnt="0"
  53
  54
  55 ##############################################################################
  56 # copy default tests to $BUILDDIR
  57 #
  58
  59 TESTSDIR=$BUILDDIR/tests
  60 [ -d $TESTSDIR ] || mkdir $TESTSDIR
  61
  62 ##############################################################################
  63 # assign IP for each host to hostname
  64 #
  65
  66 for host in $STRONGSWANHOSTS
  67 do
  68     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
  69     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
  70
  71     case $host in
  72     moon)
  73         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  74         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  75         ;;
  76     sun)
  77         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  78         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  79         ;;
  80     alice)
  81         ;;
  82     venus)
  83         ;;
  84     bob)
  85         ;;
  86     carol)
  87         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  88         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  89          ;;
  90     dave)
  91         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  92         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  93         ;;
  94     winnetou)
  95         ;;
  96     esac
  97 done
  98
  99
 100 ##############################################################################
 101 # create header for the results html file
 102 #
 103
 104 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
 105 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
 106
 107 cat > $TESTRESULTSHTML <<@EOF
 108 <html>
 109 <head>
 110   <title>strongSwan UML Testing</title>
 111 </head>
 112 <body>
 113   <h2>strongSwan UML Testing</h2>
 114   <table border="0" cellspacing="2">
 115     <tr><td><b>Host:</b></td><td>`uname -a`</td></tr>
 116     <tr><td><b>UML kernel: &nbsp;</b></td><td>$KERNEL_VERSION</td></tr>
 117     <tr><td><b>IPsec:</b></td><td>$IPSEC_VERSION</td></tr>
 118     <tr><td><b>Date:</b></td><td>$TESTDATE</td></tr>
 119   </table>
 120   <p>
 121   <table border="0" width="500">
 122     <thead align="left"><th>Number</th><th>Test</th><th>Result</th></thead>
 123 @EOF
 124
 125 cecho "UML kernel: $KERNEL_VERSION"
 126 cecho "IPsec:      $IPSEC_VERSION"
 127 cecho "Date:       $TESTDATE"
 128 cecho ""
 129
 130
 131 ##############################################################################
 132 # enter specific test directory
 133 #
 134
 135 if [ $# -gt 0 ]
 136 then
 137     TESTS=$*
 138 elif [ $SELECTEDTESTSONLY = "yes" ]
 139 then
 140     # set internal field seperator
 141     TESTS=$SELECTEDTESTS
 142 else
 143     # set internal field seperator
 144     TESTS="`ls $DEFAULTTESTSDIR`"
 145 fi
 146
 147 for SUBDIR in $TESTS
 148 do
 149     SUBTESTS="`basename $SUBDIR`"
 150
 151     if [ $SUBTESTS = $SUBDIR ]
 152     then
 153         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
 154     else
 155         SUBDIR="`dirname $SUBDIR`"
 156     fi
 157
 158     for name in $SUBTESTS
 159     do
 160         let "testnumber += 1"
 161         testname=$SUBDIR/$name
 162         cecho-n " $testnumber $testname.."
 163
 164         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
 165         then
 166             cecho "is missing..skipped"
 167             continue
 168         fi
 169
 170         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
 171         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
 172         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
 173         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
 174         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
 175
 176         TESTRESULTDIR=$TODAYDIR/$testname
 177         mkdir -p $TESTRESULTDIR
 178         CONSOLE_LOG=$TESTRESULTDIR/console.log
 179         touch $CONSOLE_LOG
 180
 181         TESTDIR=$TESTSDIR/${testname}
 182         rm -rf $TESTDIR
 183         mkdir -p $TESTDIR
 184         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
 185
 186
 187         ##############################################################################
 188         # replace IP wildcards with actual IPv4 and IPv6 addresses
 189         #
 190
 191         for host in $STRONGSWANHOSTS
 192         do
 193             case $host in
 194             moon)
 195                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
 196                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
 197                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
 198                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
 199                 ;;
 200             sun)
 201                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
 202                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
 203                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
 204                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
 205                 ;;
 206             alice)
 207                 searchandreplace PH_IP_ALICE     $ipv4_alice $TESTDIR
 208                 searchandreplace PH_IP6_ALICE    $ipv6_alice $TESTDIR
 209                 ;;
 210             venus)
 211                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
 212                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
 213                 ;;
 214             bob)
 215                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
 216                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
 217                 ;;
 218             carol)
 219                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
 220                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
 221                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
 222                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
 223                 ;;
 224             dave)
 225                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
 226                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
 227                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
 228                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
 229                 ;;
 230             winnetou)
 231                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
 232                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
 233                 ;;
 234             esac
 235         done
 236
 237
 238         ##########################################################################
 239         # copy test specific configurations to uml hosts and clear auth.log files
 240         #
 241
 242         $DIR/scripts/load-testconfig $testname
 243         source $TESTDIR/test.conf
 244
 245
 246         ##########################################################################
 247         # run tcpdump in the background
 248         #
 249
 250         if [ "$TCPDUMPHOSTS" != "" ]
 251         then
 252             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
 253
 254             for host_iface in $TCPDUMPHOSTS
 255             do
 256                 host=`echo $host_iface | awk -F ":" '{print $1}'`
 257                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
 258                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
 259                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
 260                 ssh root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
 261                 eval TDUP_${host}="true"
 262             done
 263         fi
 264
 265
 266         ##########################################################################
 267         # execute pre-test commands
 268         #
 269
 270         cecho-n "pre.."
 271         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
 272
 273         eval `awk -F "::" '{
 274             if ($2 != "")
 275             {
 276                 printf("echo \"%s# %s\"; ", $1, $2)
 277                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
 278                 printf("echo;\n")
 279             }
 280         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
 281
 282
 283         ##########################################################################
 284         # stop tcpdump
 285         #
 286
 287         function stop_tcpdump {
 288             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
 289             eval ssh root@\$ipv4_${1} killall tcpdump
 290             eval TDUP_${1}="false"
 291             echo ""
 292         }
 293
 294
 295         ##########################################################################
 296         # get and evaluate test results
 297         #
 298
 299         cecho-n "test.."
 300         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
 301
 302         STATUS="passed"
 303
 304         eval `awk -F "::" '{
 305             host=$1
 306             command=$2
 307             pattern=$3
 308             hit=$4
 309             if (command != "")
 310             {
 311                 if (command == "tcpdump")
 312                 {
 313                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
 314                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
 315                     printf("ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
 316                 }
 317                 else if (command == "tcpdumpcount")
 318                 {
 319                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
 320                     printf("echo -e \"%s# [ \\\\140cat /tmp/tcpdump.log | grep \047%s\047 | tee -a /dev/stderr | wc -l\\\\140 -eq %s ]  [YES]\"; ", host, pattern, hit)
 321                     printf("tcpdumpcount=\`ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\" | tee -a /dev/stderr | wc -l\`; ", host, pattern)
 322                     printf("[ \044tcpdumpcount -eq %s ]; ", hit)
 323                     hit="YES"
 324                 }
 325                 else if (command == "cmd")
 326                 {
 327                     printf("echo \"%s# %s  [%s]\"; ", host, pattern, hit)
 328                     printf("ssh root@\044ipv4_%s %s; ",  host, pattern)
 329                 }
 330                 else
 331                 {
 332                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
 333                     printf("ssh root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
 334                 }
 335                 printf("cmd_exit=\044?; ")
 336                 printf("echo; ")
 337                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
 338                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
 339                 printf("; then STATUS=\"failed\"; fi; \n")
 340             }
 341         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
 342
 343
 344         ##########################################################################
 345         # set counters
 346         #
 347
 348         if [ $STATUS = "failed" ]
 349         then
 350             let "failed_cnt += 1"
 351         else
 352             let "passed_cnt += 1"
 353         fi
 354
 355
 356         ##########################################################################
 357         # log statusall and listall output
 358         # get copies of ipsec.conf, ipsec.secrets
 359         # create index.html for the given test case
 360
 361         cat > $TESTRESULTDIR/index.html <<@EOF
 362 <html>
 363 <head>
 364   <title>Test $testname</title>
 365 </head>
 366 <body>
 367 <table border="0" width="600">
 368   <tr><td>
 369     <h2>Test $testname</h2>
 370     <h3>Description</h3>
 371 @EOF
 372
 373         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
 374
 375         cat >> $TESTRESULTDIR/index.html <<@EOF
 376     <ul>
 377       <li><a href="console.log">console.log</a></li>
 378     </ul>
 379     <img src="../../images/$DIAGRAM" alt="$UMLHOSTS">
 380 @EOF
 381
 382         for host in $IPSECHOSTS
 383         do
 384             eval HOSTLOGIN=root@\$ipv4_${host}
 385
 386             for command in statusall listall
 387             do
 388                 ssh $HOSTLOGIN ipsec $command \
 389                     > $TESTRESULTDIR/${host}.$command 2>/dev/null
 390             done
 391
 392             for file in ipsec.conf ipsec.secrets
 393             do
 394                 scp $HOSTLOGIN:/etc/$file \
 395                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
 396             done
 397
 398             cat >> $TESTRESULTDIR/index.html <<@EOF
 399     <h3>$host</h3>
 400     <ul>
 401       <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
 402       <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
 403       <li><a href="$host.statusall">ipsec statusall</a></li>
 404       <li><a href="$host.listall">ipsec listall</a></li>
 405       <li><a href="$host.auth.log">auth.log</a></li>
 406     </ul>
 407 @EOF
 408
 409         done
 410
 411         cat >> $TESTRESULTDIR/index.html <<@EOF
 412   </td></tr>
 413   <tr><td align="right">
 414     <b><a href="../index.html">Back</a></b>
 415   </td></tr>
 416 </table>
 417 </body>
 418 </html>
 419 @EOF
 420
 421
 422         ##########################################################################
 423         # execute post-test commands
 424         #
 425
 426         cecho-n "post.."
 427         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
 428
 429         eval `awk -F "::" '{
 430             if ($2 != "")
 431             {
 432                 printf("echo \"%s# %s\"; ", $1, $2)
 433                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
 434                 printf("echo;\n")
 435             }
 436         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
 437
 438
 439         ##########################################################################
 440         # get a copy of /var/log/auth.log
 441         #
 442
 443         for host in $IPSECHOSTS
 444         do
 445             eval HOSTLOGIN=root@\$ipv4_${host}
 446             ssh $HOSTLOGIN grep pluto /var/log/auth.log \
 447                 > $TESTRESULTDIR/${host}.auth.log
 448             echo >> $TESTRESULTDIR/${host}.auth.log
 449             ssh $HOSTLOGIN grep charon /var/log/auth.log \
 450                 >> $TESTRESULTDIR/${host}.auth.log
 451         done
 452
 453
 454         ##########################################################################
 455         # stop tcpdump if necessary
 456         #
 457
 458         for host in $TCPDUMPHOSTS
 459         do
 460             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
 461             then
 462                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
 463                 eval ssh root@\$ipv4_$host killall tcpdump
 464                 eval TDUP_${host}="false"
 465             fi
 466         done
 467
 468
 469         ##########################################################################
 470         # copy default host config back if necessary
 471         #
 472
 473         $DIR/scripts/restore-defaults $testname
 474
 475
 476         ##########################################################################
 477         # write test status to html file
 478         #
 479
 480         cecho "$STATUS"
 481         if [ $STATUS = "passed" ]
 482         then
 483             COLOR="green"
 484         else
 485             COLOR="red"
 486         fi
 487
 488         cat >> $TESTRESULTSHTML << @EOF
 489   <tr>
 490     <td>$testnumber</td>
 491     <td><a href="$testname/">$testname</a></td>
 492     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
 493   </tr>
 494 @EOF
 495
 496     done
 497 done
 498
 499
 500 ##############################################################################
 501 # finish the results html file
 502 #
 503
 504 cat >> $TESTRESULTSHTML << @EOF
 505   </table>
 506   <p>
 507   <b>Passed: &nbsp; $passed_cnt</b><br>
 508   <b>Failed: &nbsp; $failed_cnt</b><br>
 509   <p>
 510 </body>
 511 </html>
 512 @EOF
 513
 514 cecho ""
 515 cecho "Passed:   $passed_cnt"
 516 cecho "Failed:   $failed_cnt"
 517 cecho ""
 518
 519
 520 ##############################################################################
 521 # copy the test results to the apache server
 522 #
 523
 524 HTDOCS="/var/www/localhost/htdocs"
 525
 526 cecho-n "Copying test results to winnetou.."
 527 ssh root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
 528 scp -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
 529 ssh root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
 530 cecho "done"
 531 cecho ""
 532 cecho "The results are available in $TODAYDIR"
 533 cecho "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"