testing/do-tests

   1 #!/bin/bash
   2 # Automatically execute the strongSwan test cases
   3 #
   4 # Copyright (C) 2004  Eric Marchionni, Patrik Rayo
   5 # Zuercher Hochschule Winterthur
   6 #
   7 # This program is free software; you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by the
   9 # Free Software Foundation; either version 2 of the License, or (at your
  10 # option) any later version.  See <http://www.fsf.org/copyleft/gpl.txt>.
  11 #
  12 # This program is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
  14 # or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 # for more details.
  16 #
  17 # RCSID $Id: do-tests,v 1.20 2006/02/08 21:27:59 as Exp $
  18
  19 DIR=`dirname $0`
  20
  21 source $DIR/scripts/function.sh
  22
  23 [ -f $DIR/testing.conf ] || die "Configuration file 'testing.conf' not found"
  24 [ -d $DIR/hosts ] || die "Directory 'hosts' not found"
  25 [ -d $DIR/tests ] || die "Directory 'tests' not found"
  26
  27 source $DIR/testing.conf
  28
  29
  30 ##############################################################################
  31 # test if UMLs have been built at all
  32 #
  33
  34 [ -d $BUILDDIR ] || die "Directory '$BUILDDIR' does not exist. Please run 'make-testing'first."
  35
  36
  37 ##############################################################################
  38 # take care of new path and file variables
  39 #
  40
  41 [ -d $TESTRESULTSDIR ] || mkdir $TESTRESULTSDIR
  42
  43 TESTDATE=`date +%Y%m%d-%H%M`
  44
  45 TODAYDIR=$TESTRESULTSDIR/$TESTDATE
  46 mkdir $TODAYDIR
  47 TESTRESULTSHTML=$TODAYDIR/index.html
  48 ALLHTML=$TODAYDIR/all.html
  49 DEFAULTTESTSDIR=$UMLTESTDIR/testing/tests
  50
  51 testnumber="0"
  52 failed_cnt="0"
  53 passed_cnt="0"
  54
  55
  56 ##############################################################################
  57 # copy default tests to $BUILDDIR
  58 #
  59
  60 TESTSDIR=$BUILDDIR/tests
  61 [ -d $TESTSDIR ] || mkdir $TESTSDIR
  62
  63 ##############################################################################
  64 # assign IP for each host to hostname
  65 #
  66
  67 for host in $STRONGSWANHOSTS
  68 do
  69     eval ipv4_${host}="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
  70     eval ipv6_${host}="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $1 }' | awk '{ print $1 }'`"
  71
  72     case $host in
  73     moon)
  74         eval ipv4_moon1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  75         eval ipv6_moon1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  76         ;;
  77     sun)
  78         eval ipv4_sun1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  79         eval ipv6_sun1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  80         ;;
  81     alice)
  82         ;;
  83     venus)
  84         ;;
  85     bob)
  86         ;;
  87     carol)
  88         eval ipv4_carol1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  89         eval ipv6_carol1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  90          ;;
  91     dave)
  92         eval ipv4_dave1="`echo $HOSTNAMEIPV4 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  93         eval ipv6_dave1="`echo $HOSTNAMEIPV6 | sed -n -e "s/^.*${host},//gp" | awk -F, '{ print $2 }' | awk '{ print $1 }'`"
  94         ;;
  95     winnetou)
  96         ;;
  97     esac
  98 done
  99
 100
 101 ##############################################################################
 102 # create header for the results html file
 103 #
 104
 105 KERNEL_VERSION=`basename $KERNEL .tar.bz2`
 106 IPSEC_VERSION=`basename $STRONGSWAN .tar.bz2`
 107
 108 cat > $TESTRESULTSHTML <<@EOF
 109 <html>
 110 <head>
 111   <title>strongSwan UML Testing</title>
 112 </head>
 113 <body>
 114   <h2>strongSwan UML Testing</h2>
 115   <table border="0" cellspacing="2">
 116     <tr><td><b>Host:</b></td><td>`uname -a`</td></tr>
 117     <tr><td><b>UML kernel: &nbsp;</b></td><td>$KERNEL_VERSION</td></tr>
 118     <tr><td><b>IPsec:</b></td><td>$IPSEC_VERSION</td></tr>
 119     <tr><td><b>Date:</b></td><td>$TESTDATE</td></tr>
 120   </table>
 121   <p>
 122   <table border="0" width="500">
 123     <thead align="left"><th>Number</th><th>Test</th><th>Result</th></thead>
 124 @EOF
 125
 126 cecho "UML kernel: $KERNEL_VERSION"
 127 cecho "IPsec:      $IPSEC_VERSION"
 128 cecho "Date:       $TESTDATE"
 129 cecho ""
 130
 131
 132 ##############################################################################
 133 # enter specific test directory
 134 #
 135
 136 if [ $# -gt 0 ]
 137 then
 138     TESTS=$*
 139 elif [ $SELECTEDTESTSONLY = "yes" ]
 140 then
 141     # set internal field seperator
 142     TESTS=$SELECTEDTESTS
 143 else
 144     # set internal field seperator
 145     TESTS="`ls $DEFAULTTESTSDIR`"
 146 fi
 147
 148 for SUBDIR in $TESTS
 149 do
 150     SUBTESTS="`basename $SUBDIR`"
 151
 152     if [ $SUBTESTS = $SUBDIR ]
 153     then
 154         SUBTESTS="`ls $DEFAULTTESTSDIR/$SUBDIR`"
 155     else
 156         SUBDIR="`dirname $SUBDIR`"
 157     fi
 158
 159     for name in $SUBTESTS
 160     do
 161         let "testnumber += 1"
 162         testname=$SUBDIR/$name
 163         cecho-n " $testnumber $testname.."
 164
 165         if [ ! -d $DEFAULTTESTSDIR/${testname} ]
 166         then
 167             cecho "is missing..skipped"
 168             continue
 169         fi
 170
 171         [ -f $DEFAULTTESTSDIR/${testname}/description.txt ] || die "!! File 'description.txt' is missing"
 172         [ -f $DEFAULTTESTSDIR/${testname}/test.conf ]       || die "!! File 'test.conf' is missing"
 173         [ -f $DEFAULTTESTSDIR/${testname}/pretest.dat ]     || die "!! File 'pretest.dat' is missing"
 174         [ -f $DEFAULTTESTSDIR/${testname}/posttest.dat ]    || die "!! File 'posttest.dat' is missing"
 175         [ -f $DEFAULTTESTSDIR/${testname}/evaltest.dat ]    || die "!! File 'evaltest.dat' is missing"
 176
 177         TESTRESULTDIR=$TODAYDIR/$testname
 178         mkdir -p $TESTRESULTDIR
 179         CONSOLE_LOG=$TESTRESULTDIR/console.log
 180         touch $CONSOLE_LOG
 181
 182         TESTDIR=$TESTSDIR/${testname}
 183         rm -rf $TESTDIR
 184         mkdir -p $TESTDIR
 185         cp -rfp $DEFAULTTESTSDIR/${testname}/* $TESTDIR
 186
 187
 188         ##############################################################################
 189         # replace IP wildcards with actual IPv4 and IPv6 addresses
 190         #
 191
 192         for host in $STRONGSWANHOSTS
 193         do
 194             case $host in
 195             moon)
 196                 searchandreplace PH_IP_MOON1     $ipv4_moon1 $TESTDIR
 197                 searchandreplace PH_IP_MOON      $ipv4_moon  $TESTDIR
 198                 searchandreplace PH_IP6_MOON1    $ipv6_moon1 $TESTDIR
 199                 searchandreplace PH_IP6_MOON     $ipv6_moon  $TESTDIR
 200                 ;;
 201             sun)
 202                 searchandreplace PH_IP_SUN1      $ipv4_sun1 $TESTDIR
 203                 searchandreplace PH_IP_SUN       $ipv4_sun  $TESTDIR
 204                 searchandreplace PH_IP6_SUN1     $ipv6_sun1 $TESTDIR
 205                 searchandreplace PH_IP6_SUN      $ipv6_sun  $TESTDIR
 206                 ;;
 207             alice)
 208                 searchandreplace PH_IP_ALICE     $ipv4_alice $TESTDIR
 209                 searchandreplace PH_IP6_ALICE    $ipv6_alice $TESTDIR
 210                 ;;
 211             venus)
 212                 searchandreplace PH_IP_VENUS     $ipv4_venus $TESTDIR
 213                 searchandreplace PH_IP6_VENUS    $ipv6_venus $TESTDIR
 214                 ;;
 215             bob)
 216                 searchandreplace PH_IP_BOB       $ipv4_bob $TESTDIR
 217                 searchandreplace PH_IPV6_BOB     $ipv6_bob $TESTDIR
 218                 ;;
 219             carol)
 220                 searchandreplace PH_IP_CAROL1    $ipv4_carol1 $TESTDIR
 221                 searchandreplace PH_IP_CAROL     $ipv4_carol  $TESTDIR
 222                 searchandreplace PH_IP6_CAROL1   $ipv6_carol1 $TESTDIR
 223                 searchandreplace PH_IP6_CAROL    $ipv6_carol  $TESTDIR
 224                 ;;
 225             dave)
 226                 searchandreplace PH_IP_DAVE1     $ipv4_dave1 $TESTDIR
 227                 searchandreplace PH_IP_DAVE      $ipv4_dave  $TESTDIR
 228                 searchandreplace PH_IP6_DAVE1    $ipv6_dave1 $TESTDIR
 229                 searchandreplace PH_IP6_DAVE     $ipv6_dave  $TESTDIR
 230                 ;;
 231             winnetou)
 232                 searchandreplace PH_IP_WINNETOU  $ipv4_winnetou $TESTDIR
 233                 searchandreplace PH_IP6_WINNETOU $ipv6_winnetou $TESTDIR
 234                 ;;
 235             esac
 236         done
 237
 238
 239         ##########################################################################
 240         # copy test specific configurations to uml hosts and clear auth.log files
 241         #
 242
 243         $DIR/scripts/load-testconfig $testname
 244         source $TESTDIR/test.conf
 245
 246
 247         ##########################################################################
 248         # run tcpdump in the background
 249         #
 250
 251         if [ "$TCPDUMPHOSTS" != "" ]
 252         then
 253             echo -e "TCPDUMP\n" >> $CONSOLE_LOG 2>&1
 254
 255             for host_iface in $TCPDUMPHOSTS
 256             do
 257                 host=`echo $host_iface | awk -F ":" '{print $1}'`
 258                 iface=`echo $host_iface | awk -F ":" '{if ($2 != "") { print $2 } else { printf("eth0") }}'`
 259                 tcpdump_cmd="tcpdump -i $iface not port ssh and not port domain and not arp > /tmp/tcpdump.log 2>&1 &"
 260                 echo "${host}# $tcpdump_cmd" >> $CONSOLE_LOG
 261                 ssh root@`eval echo \\\$ipv4_$host '$tcpdump_cmd'`
 262                 eval TDUP_${host}="true"
 263             done
 264         fi
 265
 266
 267         ##########################################################################
 268         # execute pre-test commands
 269         #
 270
 271         cecho-n "pre.."
 272         echo -e "\nPRE-TEST\n" >> $CONSOLE_LOG 2>&1
 273
 274         eval `awk -F "::" '{
 275             if ($2 != "")
 276             {
 277                 printf("echo \"%s# %s\"; ", $1, $2)
 278                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
 279                 printf("echo;\n")
 280             }
 281         }' $TESTDIR/pretest.dat` >> $CONSOLE_LOG 2>&1
 282
 283
 284         ##########################################################################
 285         # stop tcpdump
 286         #
 287
 288         function stop_tcpdump {
 289             echo "${1}# killall tcpdump" >> $CONSOLE_LOG
 290             eval ssh root@\$ipv4_${1} killall tcpdump
 291             eval TDUP_${1}="false"
 292             echo ""
 293         }
 294
 295
 296         ##########################################################################
 297         # get and evaluate test results
 298         #
 299
 300         cecho-n "test.."
 301         echo -e "\nTEST\n" >> $CONSOLE_LOG 2>&1
 302
 303         STATUS="passed"
 304
 305         eval `awk -F "::" '{
 306             host=$1
 307             command=$2
 308             pattern=$3
 309             hit=$4
 310             if (command != "")
 311             {
 312                 if (command == "tcpdump")
 313                 {
 314                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
 315                     printf("echo \"%s# cat /tmp/tcpdump.log | grep \047%s\047  [%s]\"; ", host, pattern, hit)
 316                     printf("ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\"; ", host, pattern)
 317                 }
 318                 else if (command == "tcpdumpcount")
 319                 {
 320                     printf("if [ \044TDUP_%s == \"true\" ]; then stop_tcpdump %s; fi; \n", host, host)
 321                     printf("echo -e \"%s# [ \\\\140cat /tmp/tcpdump.log | grep \047%s\047 | tee -a /dev/stderr | wc -l\\\\140 -eq %s ]  [YES]\"; ", host, pattern, hit)
 322                     printf("tcpdumpcount=\`ssh root@\044ipv4_%s cat /tmp/tcpdump.log | grep \"%s\" | tee -a /dev/stderr | wc -l\`; ", host, pattern)
 323                     printf("[ \044tcpdumpcount -eq %s ]; ", hit)
 324                     hit="YES"
 325                 }
 326                 else if (command == "cmd")
 327                 {
 328                     printf("echo \"%s# %s  [%s]\"; ", host, pattern, hit)
 329                     printf("ssh root@\044ipv4_%s %s; ",  host, pattern)
 330                 }
 331                 else
 332                 {
 333                     printf("echo \"%s# %s | grep \047%s\047  [%s]\"; ", host, command, pattern, hit)
 334                     printf("ssh root@\044ipv4_%s %s | grep \"%s\"; ",  host, command, pattern)
 335                 }
 336                 printf("cmd_exit=\044?; ")
 337                 printf("echo; ")
 338                 printf("if [ \044cmd_exit -eq 0 -a \"%s\" = \"NO\"  ] ", hit)
 339                 printf("|| [ \044cmd_exit -ne 0 -a \"%s\" = \"YES\" ] ", hit)
 340                 printf("; then STATUS=\"failed\"; fi; \n")
 341             }
 342         }' $TESTDIR/evaltest.dat` >> $CONSOLE_LOG 2>&1
 343
 344
 345         ##########################################################################
 346         # set counters
 347         #
 348
 349         if [ $STATUS = "failed" ]
 350         then
 351             let "failed_cnt += 1"
 352         else
 353             let "passed_cnt += 1"
 354         fi
 355
 356
 357         ##########################################################################
 358         # log statusall and listall output
 359         # get copies of ipsec.conf, ipsec.secrets
 360         # create index.html for the given test case
 361
 362         cat > $TESTRESULTDIR/index.html <<@EOF
 363 <html>
 364 <head>
 365   <title>Test $testname</title>
 366 </head>
 367 <body>
 368 <table border="0" width="600">
 369   <tr><td>
 370     <h2>Test $testname</h2>
 371     <h3>Description</h3>
 372 @EOF
 373
 374         cat $TESTDIR/description.txt >> $TESTRESULTDIR/index.html
 375
 376         cat >> $TESTRESULTDIR/index.html <<@EOF
 377     <ul>
 378       <li><a href="console.log">console.log</a></li>
 379     </ul>
 380     <img src="../../images/$DIAGRAM" alt="$UMLHOSTS">
 381 @EOF
 382
 383         for host in $IPSECHOSTS
 384         do
 385             eval HOSTLOGIN=root@\$ipv4_${host}
 386
 387             for command in statusall listall
 388             do
 389                 ssh $HOSTLOGIN ipsec $command \
 390                     > $TESTRESULTDIR/${host}.$command 2>/dev/null
 391             done
 392
 393             for file in ipsec.conf ipsec.secrets
 394             do
 395                 scp $HOSTLOGIN:/etc/$file \
 396                     $TESTRESULTDIR/${host}.$file  > /dev/null 2>&1
 397             done
 398
 399             cat >> $TESTRESULTDIR/index.html <<@EOF
 400     <h3>$host</h3>
 401     <ul>
 402       <li><a href="$host.ipsec.conf">ipsec.conf</a></li>
 403       <li><a href="$host.ipsec.secrets">ipsec.secrets</a></li>
 404       <li><a href="$host.statusall">ipsec statusall</a></li>
 405       <li><a href="$host.listall">ipsec listall</a></li>
 406       <li><a href="$host.auth.log">auth.log</a></li>
 407       <li><a href="$host.daemon.log">daemon.log</a></li>
 408     </ul>
 409 @EOF
 410
 411         done
 412
 413         cat >> $TESTRESULTDIR/index.html <<@EOF
 414   </td></tr>
 415   <tr><td align="right">
 416     <b><a href="../index.html">Back</a></b>
 417   </td></tr>
 418 </table>
 419 </body>
 420 </html>
 421 @EOF
 422
 423
 424         ##########################################################################
 425         # execute post-test commands
 426         #
 427
 428         cecho-n "post.."
 429         echo -e "\nPOST-TEST\n" >> $CONSOLE_LOG 2>&1
 430
 431         eval `awk -F "::" '{
 432             if ($2 != "")
 433             {
 434                 printf("echo \"%s# %s\"; ", $1, $2)
 435                 printf("ssh root@\044ipv4_%s \"%s\"; ", $1, $2)
 436                 printf("echo;\n")
 437             }
 438         }' $TESTDIR/posttest.dat` >> $CONSOLE_LOG 2>&1
 439
 440
 441         ##########################################################################
 442         # get a copy of /var/log/auth.log
 443         #
 444
 445         for host in $IPSECHOSTS
 446         do
 447             eval HOSTLOGIN=root@\$ipv4_${host}
 448             ssh $HOSTLOGIN grep pluto /var/log/auth.log \
 449                 > $TESTRESULTDIR/${host}.auth.log
 450             echo >> $TESTRESULTDIR/${host}.auth.log
 451             ssh $HOSTLOGIN grep charon /var/log/auth.log \
 452                 >> $TESTRESULTDIR/${host}.auth.log
 453         done
 454
 455
 456         ##########################################################################
 457         # get a copy of /var/log/daemon.log
 458         #
 459
 460         for host in $IPSECHOSTS
 461         do
 462             eval HOSTLOGIN=root@\$ipv4_${host}
 463             ssh $HOSTLOGIN grep pluto /var/log/daemon.log \
 464                 > $TESTRESULTDIR/${host}.daemon.log
 465             echo >> $TESTRESULTDIR/${host}.daemon.log
 466             ssh $HOSTLOGIN grep charon /var/log/daemon.log \
 467                 >> $TESTRESULTDIR/${host}.daemon.log
 468         done
 469
 470
 471         ##########################################################################
 472         # stop tcpdump if necessary
 473         #
 474
 475         for host in $TCPDUMPHOSTS
 476         do
 477             if [ "`eval echo \\\$TDUP_${host}`" = "true" ]
 478             then
 479                 echo "${host}# killall tcpdump" >> $CONSOLE_LOG
 480                 eval ssh root@\$ipv4_$host killall tcpdump
 481                 eval TDUP_${host}="false"
 482             fi
 483         done
 484
 485
 486         ##########################################################################
 487         # copy default host config back if necessary
 488         #
 489
 490         $DIR/scripts/restore-defaults $testname
 491
 492
 493         ##########################################################################
 494         # write test status to html file
 495         #
 496
 497         cecho "$STATUS"
 498         if [ $STATUS = "passed" ]
 499         then
 500             COLOR="green"
 501         else
 502             COLOR="red"
 503         fi
 504
 505         cat >> $TESTRESULTSHTML << @EOF
 506   <tr>
 507     <td>$testnumber</td>
 508     <td><a href="$testname/">$testname</a></td>
 509     <td><a href="$testname/console.log"><font color="$COLOR">$STATUS</font></a></td>
 510   </tr>
 511 @EOF
 512
 513     done
 514 done
 515
 516
 517 ##############################################################################
 518 # finish the results html file
 519 #
 520
 521 cat >> $TESTRESULTSHTML << @EOF
 522   </table>
 523   <p>
 524   <b>Passed: &nbsp; $passed_cnt</b><br>
 525   <b>Failed: &nbsp; $failed_cnt</b><br>
 526   <p>
 527 </body>
 528 </html>
 529 @EOF
 530
 531 cecho ""
 532 cecho "Passed:   $passed_cnt"
 533 cecho "Failed:   $failed_cnt"
 534 cecho ""
 535
 536
 537 ##############################################################################
 538 # copy the test results to the apache server
 539 #
 540
 541 HTDOCS="/var/www/localhost/htdocs"
 542
 543 cecho-n "Copying test results to winnetou.."
 544 ssh root@${ipv4_winnetou} mkdir -p $HTDOCS/testresults > /dev/null 2>&1
 545 scp -r $TODAYDIR root@${ipv4_winnetou}:$HTDOCS/testresults > /dev/null 2>&1
 546 ssh root@${ipv4_winnetou} ln -s $HTDOCS/images $HTDOCS/testresults/$TESTDATE/images > /dev/null 2>&1
 547 cecho "done"
 548 cecho ""
 549 cecho "The results are available in $TODAYDIR"
 550 cecho "or via the link http://$ipv4_winnetou/testresults/$TESTDATE"