testing: Added Debian 7.9 to IMV database

testing: Reduce runtime of all tests that use SQLite databases by storing them in ramfs

testing: tnc/tnccs-20-hcd-eap scenario does not use SWID IMV/strongTNC

testing: Add test config to create and remove a directory for DBs stored in ramfs

testing: Improve runtime of TNC tests by storing the SQLite DB in ramfs

This saves about 50%-70% of the time needed for scenarios that use a DB.

testing: Fix test constraints in ikev2/rw-ntru-bliss scenario

Changed with a88d958933ef ("Explicitly mention SHA2 algorithm in BLISS
OIDs and signature schemes").

testing: Use sha3 plugin in ikev2/rw-cert scenario

mediation: Reschedule initiate mediation job if SA is not yet found

If the job gets queued for a newly created IKE_SA it might not yet be
checked in when the job is running, reschedule the job in that case.

This should fix the two p2pnat test scenarios, which occasionally
failed because one of the peers did not initiate the connection to
the mediation server.

testing: Report the actual strongSwan and kernel versions

testing: Record strongSwan version when building from tarball

testing: Record strongSwan version when building from source tree

testing: Report time required for all scenarios on test overview page

ike-sa-manager: Signal entries that we don't actually check out

In some cases we call wait_for_entry() but don't actually check out the
entry afterwards (e.g. because it doesn't match certain criteria).  So
there won't be a call to checkin() for such entries causing waiting
threads to get signaled.  Instead, such threads would be blocked until
another thread properly checks out/in the entry (or does a blocking
enumeration).

ike-sa-manager: Signal waiting threads after check out/in for uniqueness check

Fixes 758b1caa0e75 ("ikev1: Prevent deadlock when checking for duplicate IKEv1 SAs")

testing: Remove old SWID tags when building from repository

This fixes the TNC-PDP scenarios.

testing: Don't log anything to the console if auth.log or daemon.log do not exist

testing: Simplify fetching of swanctl --list-* output

testing: Don't run redundant crypto tests in sql/rw-cert scenario

They run in all other rw-cert scenarios but in the SQL version there is
no change in the loaded crypto plugins.

testing: Fix CRL URIs in ipv6/net2net-ip4-in-ip6-ikev* scenarios

testing: Speed up OCSP scenarios

Don't make clients wait for the TCP connections to timeout by dropping
packets.  By rejecting them the OCSP requests fail immediately.

testing: Speed up ifdown calls in ikev2/mobike scenarios

ifdown calls bind's rndc, which tries to access TCP port 953 on lo.
If these packets are dropped by the firewall we have to wait for the TCP
connections to time out, which takes quite a while.

testing: Avoid delays with ping by using -W and -i options

With -W we reduce timeouts when we don't expect a response.  With -i the
interval between pings is reduced (mostly in case of auto=route where
the first ping yields no reply).

testing: Remove nearly all sleep calls from pretest and posttest scripts

By consistently using the `expect-connection` helper we can avoid pretty
much all previously needed calls to sleep.

ikev1: Fix calculation of DPD timeout

A DPD timeout job is queued whenever a DPD is sent, i.e. after the
DPD delay already has elapsed, so we have to compensate for that.

testing: Adapt tests to retransmission settings and reduce DPD delay/timeout

ipsec: Quit script quicker for ipsec stop

It rarely takes 1 second or longer to terminate the daemon.  This
decreases the runtime of the post test step a lot where `ipsec stop`
is called for multiple hosts in each test case (10-15 minutes over all
test cases).

testing: Only send two retransmits after 1 second each to fail negative tests earlier

testing: Add a base strongswan.conf file used by all hosts in all scenarios

We will use this to set some defaults (e.g. timeouts to make testing
negative tests quicker).  We don't want these settings to show up in the
configs of the actual scenarios though.

xauth: Call authorize() hook also when xauth-noauth is used

Fixes #1138.

libtnccs: Optionally use RTLD_NOW to load IMC/IMVs with dlopen()

plugin-loader: Optionally use RTLD_NOW with dlopen()

This can be useful when writing custom plugins as typos or missing
linker flags that result in unresolved symbols in the shared object
could otherwise cause late crashes.  In particular, if such a symbol
is used in a code path that is rarely executed.  During development
and testing using RTLD_NOW instead of RTLD_LAZY will prevent the
plugin from getting loaded and makes the error visible immediately.

windows: Define RTLD_NOW, even if it is not used

kernel-pfkey: Enable ENCR_AES_CTR when it's available

Obtained-from: pfSense
Sponsored-by: Rubicon Communications (Netgate)
Closes strongswan/strongswan#17.

vici: Add NAT information when listing IKE_SAs

The `nat-local` and `nat-remote` keys contain information on the NAT
status of the local and remote IKE endpoints, respectively.  If a
responder did not detect a NAT but is configured to fake a NAT situation
this is indicated by `nat-fake` (if an initiator fakes a NAT situation
`nat-local` is set).  If any NAT is detected or faked `nat-any` is set.

Closes strongswan/strongswan#16.

Merge branch 'iv-gen-null-encr'

Fixes NULL encryption in libipsec.

Fixes #1174.

testing: Add libipsec/net2net-null scenario

iv-gen: Use NULL IV generator for NULL encryption

We don't need an IV for NULL encryption, so we wouldn't technically need
an IV generator.  But some of the code currently relies on an IV
generator to be present.  So we don't have to change that code and
handle IV size == 0 specially we use the new NULL IV generator, which
handles this transparently to the existing code.

Before 3c81cb6fc322 ("aead: Create AEAD using traditional transforms
with an explicit IV generator") iv_gen_rand_t was used for NULL
encryption, which would work too but this way it's clearer.

crypto: Add NULL IV generator

This does not actually allocate an IV and only accepts requests
for size == 0.

configure: Load sha1 and random plugins in manager by default

If the openssl plugin is not enabled we need these to generate session
IDs and to authenticate the users.

The md4 plugin is not needed in the manager.

Fixes #1168.

stroke: Make down-nb actually non-blocking

Fixes #1191.

Version bump to 5.3.4dr2

testing: Updated hasher tests

Explicitly mention SHA2 algorithm in BLISS OIDs and signature schemes

Version bump to 5.3.4dr1

Use word-aligned XOR in sha3_absorb()

testing: BLISS CA uses SHA-3 in its CRL

Support BLISS signatures with SHA-3 hash

Implemented SHA-3 hash algorithm including test vectors

Defined SHA-3 hashers

testing: Update tkm to version 0.1.3

Adds XFRM state/policy flush when terminating which caused tests to fail
due to the check added with 9086f060d35a ("testing: Let test scenarios
fail if IPsec SAs or policies are not removed").

libipsec: Properly support CAMELLIA in CTR mode

ikev2: Fix size of key material for CAMELLIA-CTR

Like AES in CTR mode it includes a 4 byte nonce.

libipsec: Fix crypter lookup for AES-CTR

Due to the nonce, the ESP key material is four bytes longer than needed for
the actual AES key.  The crypto plugins, however, register their AES-CTR
implementations with the AES key length, so the lookup here failed.

For IKEv2 the key material is allocated after creating a crypter instance
with the negotiated AES key size.  The length of the actual key material is
retrieved via get_key_size(), which adds the four bytes to the AES key length.

Fixes #1124.

ike-mobike: Send retransmits to the current local and remote addresses

These might have changed by a peer-initiated MOBIKE address update.

Fixes #1125.

Merge branch 'ikev1-cache-informational'

With these changes an INFORMATIONAL message (e.g. with an INITIAL_CONTACT
notify) that arrives while a responder is waiting for the last Aggressive
Mode request gets queued and delivered later.  Previously such messages
caused the IKE_SA to fail as some tasks waiting for the last AM message
fail when trying to handle the INFORMATIONAL message.  Therefore, all
other messages, such as TRANSACTION and QUICK_MODE requests, are now
dropped until AM is complete.  These don't have to be cached as they get
retransmitted by the other peer.

Fixes #1130.

ikev1: Handle queued INFORMATIONAL message after receiving the last AM request

ikev1: Queue INFORMATIONAL request if AM is not complete yet

ikev1: Handle queued TRANSACTION messages only after processing replies

ikev1: Extract queueing of TRANSACTIONAL requests when MM is not complete yet

ikev1: Drop TRANSACTION/QUICK_MODE requests until we received the last AM message

ikev1: Make maximum number of IKEv1 phase 2 exchanges we keep state about configurable

Fixes #1128.

Fix typo in error handling for sigwaitinfo() in charon-systemd and charon-tkm

Fixes 858148092d1e ("Replace usages of sigwait(3) with sigwaitinfo(2)")

random: Properly handle errors when reading from /dev/[u]random

If -1 was returned on the first call to read() `done` got SIZE_MAX
and the function returned TRUE even though no actual random data had
been allocated.

Fixes #1156.

ikev1: Avoid fourth QM message if third QM messages of multiple exchanges are handled delayed

If we haven't received the third QM message for multiple exchanges the
return value of NEED_MORE for passive tasks that are not responsible for
a specific exchange would trigger a fourth empty QM message.

Fixes: 4de361d92c54 ("ikev1: Fix handling of overlapping Quick Mode exchanges")

References #1076.

ikev1: Prevent deadlock when checking for duplicate IKEv1 SAs

Previously, the current segment was held while checking for duplicate
SAs, which requires acquiring all segments.  If multiple threads did this
concurrently this resulted in a deadlock as they couldn't acquire the
segments held by the other threads attempting to do the same.  With the
default configuration only one segment is used, which prevents the problem
as only one thread can check in an IKE SA concurrently.

Fixes: a064eaa8a63a ("Handling of initial contact")

Replace usages of sigwait(3) with sigwaitinfo(2)

This is basically the same call, but it has the advantage of being
supported by FreeBSD's valgrind, which sigwait() is not.

References #1106.

testing: Actually send an uncompressed packet in the ipv6/rw-compress-ikev2 scenario

The default of 56 bytes already exceeds the threshold of 90 bytes (8 bytes
ICMP + 40 bytes IPv6 = 104 bytes).  By reducing the size we make sure the
packet is not compressed (40 + 8 + 40 = 88).

This also fixes a strange failure of this scenario due to the recently
added post-test `ip xfrm state` check.  The kernel stores a reference to
the used SAs on the inbound skbuffs and since these are garbage collected
it could take a while until all references to an SA disappear and the SA
is finally destroyed.  But while SAs might not get destroyed immediately
when we delete them, they are actually marked as dead and therefore won't
show up in `ip xfrm state`.  However, that's not the case for the tunnel
SAs the kernel attaches to IPComp SAs, which we don't explicitly delete,
and which aren't modified by the kernel until the IPComp SA is destroyed.
So what happened when the last ping unintentionally got compressed is that
the skbuff had a reference to the IPComp SA and therefore the tunnel SA.
This skbuff often was destroyed after the `ip xfrm state` check ran and
because the tunnel SA would still get reported the test case failed.

updown: Add rules to allow IP6IP6 traffic used for uncompressed small packets

shunt-manager: Resolve %dynamic to %any4/6 before installing policies

left|rightsubnet default to %dynamic, which is basically 0.0.0.0/0 until an
address is assigned to it.  So if only one side was undefined and the other
traffic selector was IPv6 an address family mismatch would occur.

References #595.

shunt-manager: Don't install policies in case of an address family or IP protocol mismatch

References #595.

openssl: Explicitly include openssl/bn.h

If OpenSSL is compiled with OPENSSL_NO_DEPRECATED some of the headers
we include don't include openssl/bn.h anymore.  Therefore, we have to
explicitly include it ourselves where we use BN_* functions.

Fixes #1113.

unit-tests: Add a test to verify that there is no partial matching of RDNs

scepclient: Remove copyright and license from man page

include: Add linux/socket.h

__kernel_sa_family_t is defined and used since Linux 3.1, so on systems
with older kernels (like CentOS 6.7, which still ships a 2.6.32 kernel) the
build with the current UAPI headers fails.  And using the native headers on
such system does not really work either because we use structs, defines, and
enum values from the newer headers in the kernel-netlink plugin.

__kernel_sa_family_t is defined in linux/socket.h so we ship that too (in
particular the simplified UAPI version from Linux 3.7+).

Fixes #1099.

Version bump to 5.3.3

testing: added ikev2/alg-chacha20poly1305 scenario

testing: update to Linux 4.2 kernel

Version bump to 5.3.3rc2

imv-os: Add some useful usage output to the pacman utility

Fixes #487.

kernel-netlink: Properly set port mask for ICMP type/code if only set on one side

If only one traffic selector had a port (type/code) the other side had
the port mask set to 0, which canceled out the applied type/code.

It also fixes the installation of ICMP type/code on big-endian hosts.

Fixes #1091.
References #595.

kernel-pfkey: Properly encode ICMP type/code if only set on one side

References #595.

testing: Updated environment variable documentation in updown scripts

libimcv: Updated Android.mk file

NEWS: Added additional news

eap-radius: Fix creation of host_t objects based on Framed-IPv6-Address attributes

Fixes ec490e68ae37 ("eap-radius: Add support for some basic IPv6-specific RADIUS attributes").
References #1001.

conf: Add documentation for new osx-attr option

pki: Add new type options to --issue command usage output

conf: Fix declaration of default values for imc-hcd options

starter: Remove documentation for starter.load option

eap-ttls: Limit maximum length of tunneled EAP packet to EAP-TTLS packet

trap-manager: Cleanup local address in error cases

imv-os: Properly free strings for invalid input in pacman

ha: Close control FIFO if it is not valid

swanctl: Correctly build man page in out-of-tree builds from the repository

Fixed some typos, courtesy of codespell

Fix some Doxygen issues

unit-tests: Additional test cases to increase coverage

traffic-selector: Use calc_netbits() in RFC 3779 constructor

This properly detects prefixes encoded as ranges.

ike: Fix half-open count for initiating SAs when initially checked in

ike: Only consider number of half-open SAs as responder when deciding whether COOKIEs are sent