pki: Allow to load CRLs from files in --verify

ikev1: Ignore the last two bytes of the Cisco Unity vendor ID

These seem to indicate the major and minor version of the protocol, like
e.g. for the DPD vendor ID.  Some implementations seem to send versions
other than 1.0 so we just ignore these for now when checking for known
vendor IDs.

Fixes #2088.

utils: Fix definition of BYTE_ORDER with MinGW

ikev1: Accept more than one certificate payload in aggressive mode

Fixes #2085.

testing: Virtual IPs went missing

unit-tests: Removed unused variable

Version bump to 5.5.1dr1

Merge branch 'newhope'

testing: Added swanctl/rw-newhope-bliss scenario

testing: Add chapoly, ntru and newhope plugins to crypto and integrity tests

testing: Added ikev2/rw-newhope-bliss scenario

unit-tests: Created newhope unit-tests

Created newhope plugin implementing the New Hope key exchange algorithm

xof: Added ChaCha20 stream as XOF

utils: Defined uletoh16() and htole16()

integrity-test: Added ntru_param_sets to read-only segment

integrity-test: Added bliss_param_sets to read-only segment

integrity-test: check code and ro segments of libnttfft

Created libnttfft

This makes Number Theoretic Transforms (NTT) based on the efficient
Fast-Fourier-Transform (FFT) available to multiple plugins.

Share twiddle factors table between 512 and 1024 point FFT

Implemented FFT with n = 1024 and q = 11289 using Montgomery arithmetic

bliss: Implemented FFT with fast Montgomery arithmetic

xof: Implemented SHAKE128 and SHAKE256 Extended Output Functions

xof: Defined Extended Output Functions

vici: Increased various string buffers to BUF_LEN (512 bytes)

integrity-test: Added charon-systemd

Added SHA-3 signature OIDs

libcharon: Add exchange_tests to .gitignore

unit-tests: Decreased loop count of FFT speed test to 10'000

unit-tests: Added bliss_fft_speed test

Merge branch 'tss2-sapi'

libtpmtss: Use pkconfig to configure TSS 2.0 includes and libraries

ike1: Flush active queue when queueing a delete of the IKE_SA

By aborting the active task we don't have to wait for potential
retransmits if the other peer does not respond to the current task.
Since IKEv1 has no sequential message IDs and INFORMATIONALs are no real
exchanges this should not be a problem.

Fixes #1537
References #429, #1410
Closes strongswan/strongswan#48

Version bump to 5.5.0

NEWS: Some updates for the 5.5.0 release

Fixed some typos, courtesy of codespell

testing: Remove obsolete openssl-fips recipe

This was only required when we initially started and OpenSSL was built
from sources, which was changed with b97dd59ba841 ("install FIPS-aware
OpenSSL Debian packages").

Revert "testing: Only load selected plugins in swanctl"

This reverts commit dee01d019ba9743b2784b417155601d10c173a66.

Thanks to 505c31870162 ("leak-detective: Try to properly free
allocations after deinitialization") this is not required anymore.

Version bump to 5.5.0rc1

imcv: Added EFI HCRTM event

testing: Version bump to 4.6.3 kernel and strongSwan 5.5.0

aikgen: Fix computation of key ID of the AIK public key

We don't have direct access to the modulus and exponent of the key anymore.

libtpmtss: Define missing Doxygen group and fix some comments

libimcv: Fix Doxygen comment

testing: Add ikev1/net2net-esn scenario

ikev1: Add support for extended sequence numbers

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

plugin-loader: Allow selective modification of the default plugin list

This change allows selectively modifying the default plugin list by setting
the `load` setting of individual plugins (e.g. to disable them or to change
their priority) without enabling charon.load_modular and having to configure
a section and a load statement for every plugin.

Merge branch 'openssl-1.1.0'

This adds support for OpenSSL 1.1.0.  Several APIs have changed and it makes
all types opaque, which requires using new getter/setter functions.  For older
versions fallbacks are provided.

leak-detective: Try to properly free allocations after deinitialization

If a function we whitelist allocates memory while leak detective is enabled
but only frees it after LD has already been disabled, free() will get called
with invalid pointers (not pointing to the actually allocated memory by LD),
which will cause checks in the C library to fail and the program to crash.
This tries to detect such cases and calling free with the correct pointer.

openssl: Whitelist OPENSSL_init_crypto() and others in leak detective

Lots of static data is allocated in this function, which isn't freed until
the library is unloaded (we can't call OPENSSL_cleanup() as initialization
would fail when calling it again later).  When enabling the leak
detective the test runner eventually crashes as all the data allocated during
initialization has an invalid size when freed after leak detective has been
unloaded.

openssl: Update GCM/crypter API to OpenSSL 1.1.0

openssl: Update HMAC API to OpenSSL 1.1.0

openssl: Don't use deprecated RAND_pseudo_bytes()

openssl: Update PKCS#12 API to OpenSSL 1.1.0

openssl: Update PKCS#7 API to OpenSSL 1.1.0

openssl: Update CRL API to OpenSSL 1.1.0

There is currently no way to compare the outer and inner algorithms
encoded in a parsed CRL.  X509_CRL_verify() does not seem to check that
either, though (unlike X509_verify()).

openssl: Update x509 API to OpenSSL 1.1.0

openssl: Update ECDSA API to OpenSSL 1.1.0

openssl: Update RSA API to OpenSSL 1.1.0

openssl: Make some utilities take const BIGNUM pointers

openssl: Add macro to define fallback functions for non-opaque OpenSSL versions

openssl: Update DH API to OpenSSL 1.1.0

openssl: Update crypter API to OpenSSL 1.1.0

EVP_CIPHER and EVP_CIPHER_CTX are now opaque types, the getters already
existed before.

openssl: Fix mapping from ASN1 to chunk_t with OpenSSL 1.1.0

ASN1_OBJECT is now opaque.

openssl: Update initialization and cleanup for OpenSSL 1.1.0

We can't call OPENSSL_cleanup() as that would prevent us from
re-initializing the library again (which we use in the Android app, that
loads/unloads plugins).

openssl: OpenSSL 1.1.0 is thread-safe so we don't have to setup callbacks

testing: Ignore tests/local directory

This could be used for experimental test scenarios that should not get
tracked in the repository.

android: Actually add Android.mk for libtpmtss

travis: Disable tss-tss2 and aikpub2 but enable TrouSerS and build aikgen

Ubuntu 12.04 does not provide libtss2-dev.

configure: Enable respective TSS if aikgen/-pub2 are enabled

android: Fix build after adding libtpmtss

Version bump to 5.5.0dr1

Merge branch 'tpm2'

The libtpmtss library supports both TPM 1.2 and TPM 2.0 Trusted
Platform Modules. Features comprise capability discovery,
listing of PCRs, AIK generation and quote signatures.

libtpmtss: Added to integrity checks

aikpub2: Output AIK signature algorithm

Refactoring to tpm_tss_quote_info object

libimcv: Changed debug level for functional components from 2 to 3

libtpmtss: Implemented TSS2 quote() method

libtpmtss: Implemented TSS2 read_pcr() method

libimcv: migrate pts to tpm_tss

libtpmtss: Get TPM 2.0 capabilities

libtpmtss: Retrieve TPM 1.2 version info

Created libtpmtss library handling access to v1.2 and v2.0 TPMs

aikpub2:  --handle option retrieves public key from TPM 2.0 NVRAM

aikpub2: Convert TSS 2.0 AIK public key blob into PKCS#1 format

testing: Start charon before Apache in tnc/tnccs-20-pdp-pt-tls

The change in c423d0e8a124 ("testing: Fix race in tnc/tnccs-20-pdp-pt-tls
scenario") is not really ideal as now the vici plugin might not yet be
ready when `swanctl --load-creds` is called.  Perhaps starting charon
before Apache causes enough delay.

Once we switch to charon-systemd this isn't a problem anymore as starting the
unit will block until everything is up and ready.  Also, the individual
swanctl calls will be redundant as the default service unit calls --load-all.
But start scripts do run before charon-systemd signals that the daemon is
ready, so using these would work too then.

testing: Only load selected plugins in swanctl

The main issue is that the ldap and curl plugins, or rather the libraries
they use, initialize GnuTLS (curl, strangely, even when it is, by its own
account, linked against OpenSSL).  Some of these allocations are only freed
once the libraries are unloaded.  This means that the leak detective causes
invalid frees when swanctl is terminated and libraries are unloaded after the
leak detective is already deinitialized.

Merge branch 'exchange-collisions'

Improves the handling of IKEv2 exchange collisions in several corner
cases.  TEMPORARY_FAILURE and CHILD_SA_NOT_FOUND notifies that were defined
with RFC 7296 are now handled and sent as appropriate.

The behavior in these situations is tested with new unit tests.

Fixes #379, #464, #876, #1293.

unit-tests: Add tests for expires after CHILD_SA rekeying

child-rekey: Only rekey installed CHILD_SAs

Depending on the lifetimes a CHILD_SA we rekeyed as responder might
expire shortly afterwards.  We don't want to rekey it again.

When retrying due to an INVALID_KE_PAYLOAD notify the expected state
is CHILD_REKEYING if it is anything else (e.g. due to a collision) we
ignore it.

We also abort the exchange properly if we don't find the CHILD_SA, no
need for an empty INFORMATIONAL exchange anymore.

Report test coverage of libcharon and starter

unit-tests: Add test for CHILD_SA rekey if a retry due to an INVALID_KE_PAYLOAD is delayed

child-rekey: Ignore failed colliding CHILD_SA rekeyings

If a passive rekeying fails due to an INVALID_KE_PAYLOAD we don't want
to consider this task later when resolving collisions.  This previously
might have caused the wrong SA to get deleted/installed based on the nonces
in the unsuccessful exchange.

unit-tests: Add test for collision between IKE_SA rekey and CHILD_SA creation

child-create: Retry creating the CHILD_SA if TEMPORARY_FAILURE is received

We queue a delayed task that is initiated after a while.

ikev2: Add possibility to delay initiation of a queued task

Such a task is not initiated unless a certain time has passed.  This
allows delaying certain tasks but avoids problems if we'd do this
via a scheduled job (e.g. if the IKE_SA is rekeyed in the meantime).

If the IKE_SA is rekeyed the delay of such tasks is reset when the
tasks are adopted i.e. they get executed immediately on the new IKE_SA.

This hasn't been implemented for IKEv1 yet.

ike: Reduce RETRY_INTERVAL a bit

Retry exchanges between 5 and 15 seconds after a temporary failure.

ike-rekey: Return TEMPORARY_FAILURE when concurrently creating a CHILD_SA

unit-tests: Add tests for IKE rekeying if INVALID_KE_PAYLOAD notifies are received

ike: Add configuration option to switch to preferring supplied proposals over local ones