Version bump to 5.5.1rc1

Merge branch 'cache-crls'

Save both base and delta CRLs to disk

vici: strongswan.conf cache_crls = yes saves fetched CRLs to disk

mem-cred: Support storing a delta CRL together with its base

So far every "newer" CRL (higher serial or by date) replaced an existing
"older" CRL.  This meant that delta CRLs replaced an existing base CRL
and that base CRLs weren't added if a delta CRL was already stored.  So
the base had to be re-fetched every time after a delta CRL was added.

With this change one delta CRL to the latest base may be stored.  A newer
delta CRL will replace an existing delta CRL (but not its base, older
base CRLs are removed, though).  And a newer base will replace the existing
base and optional delta CRL.

revocation: Cache valid CRL also if certificate is revoked

pki: Don't remove zero bytes in CRL serials anymore

This was added a few years ago because pki --signcrl once encoded serials
incorrectly as eight byte blobs.  But still ensure we have can handle
overflows in case the serial is encoded incorrectly without zero-prefix.

pki: Use serial of base CRL for delta CRLs

According to RFC 5280 delta CRLs and complete CRLs MUST share one
numbering sequence.

openssl: Fix AES-GCM with BoringSSL

BoringSSL only supports a limited list of (hard-coded) algorithms via
EVP_get_cipherbyname(), which does not include AES-GCM.  While BoringSSL
deprecated these functions they are also supported by OpenSSL (in BoringSSL
a completely new interface for AEADs was added, which OpenSSL currently does
not support).

android: Identifiers for SHA2-base RSA signature schemes got renamed

Fixes: 40f2589abfc8 ("gmp: Support of SHA-3 RSA signatures")

android: MGF1 implementation was moved to a plugin

Fixes: 188b190a70c9 ("mgf1: Refactored MGF1 as an XOF")

ldap: Fix crash in case of empty LDAP response for CRL fetch

In case of an empty LDAP result during a CRL fetch (for example, due to
a wrong filter attribute in the LDAP URI, or invalid LDAP configuration),
the call to ldap_result2error() with NULL value for "entry" lead to
a crash.

Closes strongswan/strongswan#52.

libimcv: Add Debian 8.6 to database

task-manager: Only trigger retransmit cleared alert if there was at least one retransmit

The counter is already increased when sending the original message.

Fixes: bd71ba0ffb03 ("task-manager: Add retransmit cleared alert")

Merge branch 'proposal-checks'

Adds checks for proposals parsed from strings.  For instance, the presence
of DH, PRF and encryption algorithms for IKE are now enforced and AEAD and
regular encryption algorithms are not allowed in the same proposal anymore.
Also fixed is the mapping of the aes*gmac keywords to an integrity algorithm
in AH proposals.

unit-tests: Enable optional logging in libcharon unit tests

unit-tests: Add more tests for proposal creation

proposal: Correctly add AES-GMAC for AH proposals

We parse aes*gmac as encryption algorithm, which we have to map to an
integrity algorithm.  We also make sure we remove all other encryption
algorithms and ensure there is an integrity algorithm.

proposal: Enforce separate proposals for AEAD and classic encryption algorithms

proposal: Make sure there is a PRF defined in IKE proposals

But filter PRFs from ESP proposals.

proposal: Make DH groups mandatory in IKE proposals parsed from strings

References #2051.

ikev2: Respond with NO_PROPOSAL_CHOSEN if proposal without DH group was selected

Fixes #2051.

testing: Remove ikev2/default-keys scenario

No default keys are generated anymore.

kernel-netlink: Consider RTA_SRC when looking for a source address

Merge branch 'priv-key-any'

Adds the ability to parse KEY_ANY keys via the pkcs1 and openssl plugins.
This is then used in the pki utility, where private keys may now be
loaded via `priv` keyword instead of having to specify the type of the key
explicitly.  And swanctl can load any type of key from the swanctl/private
directory.

swanctl: Add 'private' directory/section to load any type of private key

pki: Add generic 'priv' key type that loads any type of private key

openssl: Add a generic private key loader

pkcs1: Support building of KEY_ANY private keys

We try to detect the type of key by parsing the basic structure of the
passed ASN.1 blob.

pki: Drop -priv suffix to specify private key types

ikev2: Only add NAT-D notifies to DPDs as initiator

If a responder is natted it will usually be a static NAT (unless it's a
mediated connection) in which case adding these notifies makes not much
sense (if the initiator's NAT mapping had changed the responder wouldn't
be able to reach it anyway).  It's also problematic as some clients refuse
to respond to DPDs if they contain such notifies.

Fixes #2126.

pkcs11: Look for the CKA_ID of the cert if it doesn't match the subjectKeyId

charon-nm fails to find the private key when its CKA_ID doesn't match the
subjectKeyIdentifier of the X.509 certificate.  In such cases, the private
key builder now falls back to enumerating all the certificates, looking for
one that matches the supplied subjectKeyIdentifier.  It then uses the CKA_ID
of that certificate to find the corresponding private key.

It effectively means that PKCS#11 tokens where the only identifier to relate
the certificate, the public key, and the private key is the CKA_ID are now
supported by charon-nm.

Fixes #490.

nm: Make global CA directory configurable

Merge branch 'ikev1-rekey-deletion'

Sends a DELETE when rekeyed IKE_SAs are deleted. This fixes issues with
peers (e.g. Cisco) that continue to send DPDs on the old SA and then
delete all SAs if no response is received.  But since the DELETE could get
dropped this might not fix the issue in all cases.

Also, when terminating an IKE_SA DELETES for all CHILD_SAs are now sent
before sending one for the IKE_SA and destroying it.

Fixes #2090.

ikev1: Activate task to delete the IKE_SA in state IKE_REKEYING

It does not have any CHILD_SAs attached at that point.

ikev1: Delete Quick Mode SAs before the ISAKMP SA

After the ISAKMP_DELETE task has been executed the IKE_SA is destroyed
so we wouldn't be able to send deletes for the Quick Mode SAs.

ikev1: Send DELETE for rekeyed IKE_SAs

If we silently delete the IKE_SA the other peer might still use it even
if only to send DPDs.  If we don't answer to DPDs that might result in the
deletion of the new IKE_SA too.

starter: Install an empty ipsec.secrets file

starter: Don't generate a key/certificate if ipsec.secrets does not exist

watcher: Avoid allocations due to enumerators

Since the FD set could get rebuilt quite often this change avoids having
to allocate memory just to enumerate the registered FDs.

Merge branch 'enable-fragmentation'

This enables IKE fragmentation by default. And also increases the
default fragment size to 1280 bytes (the default for IPv6).

vici: Enable IKE fragmentation by default

starter: Enable IKE fragmentation by default

ike: Set default IKE fragment size to 1280

This is the minimum size an IPv6 implementation must support.  This makes
it the default for IPv4 too, which presumably is also generally routable
(otherwise, setting this to 0 falls back to the minimum of 576 for IPv4).

Merge commit 'derived-keys'

Adds new listener hooks that work similar to the existing ike|child_keys
hooks but receive the derived IKE and CHILD_SA keys.

ikev2: Send derived CHILD_SA keys to the bus

ikev2: Send derived IKE_SA keys to bus

ikev1: Send derived CHILD_SA keys to the bus

ikev1: Send derived IKE_SA keys to bus

bus: Add new hooks for derived IKE_SA and CHILD_SA keys

nm: Remove dummy TUN device

Recent NM releases don't insist on getting a device back from VPN
plugins.

nm: Fix comment in service file in /etc/NetworkManager/VPN

nm: Remove generated service file in `make clean`

nm: Don't add generated AppStream metadata to tarball

bus: Fix maximum log levels when mixing log/vlog implementing loggers

The maximum would not get set correctly when a logger is removed and the
first remaining logger in the list (the one with the highest log level) does
e.g. only implement vlog() while there are other loggers that implement log().
This would result in only max_vlevel getting set correctly while max_level
would incorrectly get set to -1 so that log() would not get called for any
of the loggers anymore.

References #574.

kernel-netlink: Pass zero mark to kernel if mask is set

The kernel will apply the mask to the mark on the packet and then
compare it to the configured mark.  So to match only unmarked packets we
have to be able to set 0/0xffffffff.

kernel-netlink: Support configuring XFRM policy hashing thresholds

If the number of flows over a gateway exceeds the flow cache size of the Linux
kernel, policy lookup gets very expensive. Policies covering more than a single
address don't get hash-indexed by default, which results in wasting most of
the cycles in xfrm_policy_lookup_bytype() and its xfrm_policy_match() use.
Starting with several hundred policies the overhead gets inacceptable.

Starting with Linux 3.18, Linux can hash the first n-bit of a policy subnet
to perform indexed lookup. With correctly chosen netbits, this can completely
eliminate the performance impact of policy lookups, freeing the resources
for ESP crypto.

WARNING: Due to a bug in kernels 3.19 through 4.7, the kernel crashes with a
NULL pointer dereference if a socket policy is installed while hash thresholds
are changed.  And because the hashtable rebuild triggered by the threshold
change that causes this is scheduled it might also happen if the socket
policies are seemingly installed after setting the thresholds.
The fix for this bug - 6916fb3b10b3 ("xfrm: Ignore socket policies when
rebuilding hash tables") - is included since 4.8 (and might get backported).
As a workaround `charon.plugins.kernel-netlink.port_bypass` may be enabled
to replace the socket policies that allow IKE traffic with port specific
bypass policies.

include: Update xfrm.h to Linux v4.3

We strip the newly introduced <linux/in6.h> include, as this clashes with the
<netinet/in6.h> include.

Merge branch 'fwd-out-policies-optional'

This makes the FWD policies in the out direction  optional (disabled by
default).  They may be enabled (e.g. if conflicting drop policies are
used) via the policies_fwd_out swanctl.conf option.

child-sa: Only install outbound FWD policies if explicitly configured

They are only required if drop policies would otherwise prevent
forwarding traffic.  This reduces the number of policies and avoids
conflicts e.g. with SPD hash thresholds.

testing: Enable outbound FWD policies in swanctl/manual-prio scenario

vici: Make installation of outbound FWD policies configurable

child-cfg: Add setting that controls whether outbound FWD policies are installed

kernel-netlink: Update cached reqid when updating policies

testing: Added swanctl/net2net-multicast scenario

testing: Added ikev2/net2net-multicast scenario

travis: Use a more recent OS X image

Using the xcode8 image does not work currently (libcurl is not found).

Version bump to 5.5.1dr5

testing: Added swanctl/net2net-sha3-rsa-cert and swanctl/rw-eap-tls-sha3-rsa scenarios

gmp: Support of SHA-3 RSA signatures

bliss sampler unit-test: Fixed enumeration type

bliss: bliss_sampler expects XOF type

unit-tests: MGF1 tests depend on an XOF implementation not just a hash function

If the mgf1 plugin was not enabled (e.g. with the default configure
options) the tests failed.

Version bump to 5.5.1dr4

mgf1: Refactored MGF1 as an XOF

leak-detective: Fix compile warning due to unused variable if LD is disabled

Merge branch 'testing-leak-detective'

Test scenarios now fail if any leaks are detected by the leak detective.
Several leaks found this way have been fixed.

leak-detective: Whitelist thread ID getter

In case an external thread calls into our code and logs messages, a thread
object is allocated that will never be released.  Even if we try to clean
up the object via thread value destructor there is no guarantee that the
thread actually terminates before we check for leaks, which seems to be the
case for the Ada Tasking threads.

charon-tkm: Build C code with debug information

leak-detective: Whitelist functions of the Ada runtime related to Tasking

charon-tkm: Free name of the PID file

charon-tkm: Deinitialize tkm before libstrongswan

In particular because of leak-detective.

leak-detective: Whitelist some glib/libsoup functions

Some of these are pretty broad, so maybe an alternative option is to
not use the soup plugin in the openssl-ikev2/rw-suite-b* scenarios.  But
the plugin is not tested anywhere else so lets go with this for now.

testing: Use curl instead of soup plugin in libipsec/rw-suite-b scenario

The soup plugin is already used in the openssl-ikev2/rw-suite-b*
scenarios.

eap-peap: Fix memory leaks when handling tunneled methods

ipseckey: Properly free enumerated certificates

ipseckey: Properly free public key after creating certificate

dnscert: Properly free enumerated certificates

unbound: Avoid unnecessary cloning of RR list that caused a memory leak

unbound: Fix memory leak

pool: Fix (known) memory leak when querying leases

leak-detective: Whitelist leak in libldap

testing: Fix totals if post test checks fail

testing: Log leaks and fail tests if any are detected

leak-detective: Optionally write report to a log file

vici: Fix indention of flush_certs() method in Python bindings

travis: Run 32-bit Windows build on precise (12.04) image

That's required due to a bug in MinGW 3.1.0 that's shipped with trusty.

travis: Properly pass back result of make

Fixes: 4e8f5a189cce ("travis: Add apidoc check")

travis: Don't disable connmark and forecast plugins anymore

They build fine on Ubuntu 14.04.

Merge branch 'maemo-bye-bye'

Removes the code and helper files related to the unused and unmaintained
Maemo port.