testing: Update tkm-rpc to version 0.2

child-create: Destroy nonceg in migrate()

Since another nonce gets allocated later (if any was allocated already)
this would have resulted in a leaked nonce context ID when used in charon-tkm.

child-create: Fix error handling if nonceg can't be created

As with ike-init we can't return NULL in the task constructor.

ike-init: Fix error handling if nonceg can't be created

Returning FAILED in the constructor is wrong, but returning NULL doesn't work
either as it's currently assumed tasks always can be created.
Therefore, delay this check until we actually try to allocate a nonce.

ike-init: Fix compiler warning

swanctl: Fix --uri option

As we now pass the vici connection to the command dispatcher callback, we can't
parse the --uri option to create the connection from the same callback. Instead
pre-process the common command options in a separate loop, and ignore the same
options while processing the actual command.

Merge branch 'tkm-fixes'

This fixes several issues with charon-tkm (e.g. nonce context ID leaks during
rekey collisions).

charon-tkm: Also store local SPI in SAD

ike-init: Make nonceg a member of ike_init struct

This allows to control the life-cycle of a nonce in the context of the
ike init task. In the TKM use-case the nonce generator cannot be
destroyed before the ike init task is finalized, otherwise the created
nonce is detected as stale.

child-create: Make nonceg a member of child_create struct

This allows to control the life-cycle of a nonce in the context of the
child create task. In the TKM use-case, it is required to reset the
nonce context if the created nonce is not consumed. This happens if the
child SA negotiation fails and it is detected before the SA is
established via the TKM kernel plugin (i.e. rekey collision).

charon-tkm: Reset stale nonce contexts

If the nonce generator detects a stale nonce upon destroy(), it resets
the context in the TKM and releases associated resources in the ID
manager and chunk map.

Also, do not acquire the nonce context ID in tkm_nonceg_create function
but rather when the nonce is actually created by get_nonce().

The nonces created with get_nonce must also be registered in the chunk map.

charon-tkm: Drop unneeded nonceg get_id function

charon-tkm: Remove ESA nonce mappings from chunk map

charon-tkm: Drop obsolete TKM_LIMIT define

charon-tkm: Select other ESA if any is present upon deletion

In the case that multiple ESAs exist (e.g. rekey collision) for a
security policy, make sure to select one of the remaining ESAs.

charon-tkm: Add get_other_esa_id function to TKM kernel SAD

The function gets the ESA id for another entry associated with the same
security policy as the specified ESA.

charon-tkm: Only skip creation of first child SA

Use the new is_first boolean parameter of the
ALERT_KEEP_ON_CHILD_SA_FAILURE alert to determine if the failure was
caused by the first CHILD SA.

Add bool param to ALERT_KEEP_ON_CHILD_SA_FAILURE alert

The parameter indicates if the alert is raised upon failure to establish
the first CHILD SA of an IKE SA.

charon-tkm: Fix SAD insertion when adding ESA

Commit f5fc592 added the reqid to the SAD. The insert call swapped the
order of the esa_id and reqid parameters.

vici: Default to certificate subject for identity

If id is not specified and certificate authentication is used, use the
certificate subject name as identity. Simplifies configuration as in most cases
this is the right thing to do.

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

swanctl: Implement monitoring of IKE_SA and CHILD_SA changes

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

vici: Add support for ike_sa and child_sa updown notifications

Useful for monitoring and management purposes.

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

vici: Add function to test if an event should be generated

Useful to avoid generating vici messages if they are not needed and their
generation is heavy operation.

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

swanctl: Add missing unit in install-time log

init: Don't build/install legacy systemd service if charon isn't built

If the user configures the build to only include charon-systemd the
"legacy" systemd service isn't useful, so skip its generation and
installation.

crypt-burn: free() associated data after test

testing: Updated carol's certificate from research CA and dave's certificate from sales CA

testing: Wait for DH crypto tests to complete

imv_policy_manager: Added capability to execute an allow or block shell command string

testing: Migration of KVM framework to Linux 4.x kernel

Version bump to 5.3.1dr1

Fixed PB-TNC directionality debug message

ike-vendor: Add some Microsoft vendor IDs

apidoc: Fix rebuild in out-of-tree builds

leak-detective: Use passed callback to report leaks

This prevented `stroke memusage` from reporting the leaks on the
console.  Instead, they were sent to the callbacks set up by libstrongswan.

Fixes a426851f6362 ("leak-detective: Use callback functions to report
leaks and usage information").

openssl: Don't refer to EVP_des_ecb() if OpenSSL is built without DES support

While DES-ECB is not registered by the plugin in this case (so the
function will never actually be called), the compiler still warns
about the implicitly declared function.

apidoc: Fix make target dependency find precedence

Merge branch 'utils-split'

Split up the almighty utils.[ch] to separate files in the utils/utils subfolder.
These are not meant to include manually, but bring back some order to all
this functionality included through utils.h.

Additionally give some love to apidoc generation.

apidoc: Conditionally run doxygen if any header/Markdown files have changed

apidoc: Set QUIET to YES, suppressing any parsing/generating status output

As WARNING messages still get printed, this makes spotting any warnings much
simpler.

apidoc: Enable documentation of static functions

As we scan for header files only, this does not affect any local functions,
but documents any static inlines we define in header files.

strerror: Move to its own Doxygen subgroup

utils: Clean up includes

align: Move min/max/padding/alignment functions to separate files

time: Move time related functions to separate files

object: Move OO programming helper macros to a separate header file

status: Move status_t type and functions to separate files

path: Move path related utility functions to separate files

tty: Move tty related functions to separate files

memory: Move memory manipulation related functions to separate files

string: Move string related utility functions to separate files

byteorder: Move byte order related functions to separate header file

types: Use generic type definitions to separate header file

atomics: Move atomics/recounting support to separate files

unit-tests: Further increase the test vector testing timeout

Some build bots running make check seem to have longer for the DH testing.

test-vectors: Define test vector symbols as extern

We don't actually define a vector, but only prototype the test vector
implemented in a different file. GCC uses the correct symbol during testing,
but clang correctly complains about duplicated symbols during linking.

Fix years in some copyright statements

aesni: Fix doxygen groups

Merge branch 'dh-test-vectors'

Add a Diffie-Hellman backend test method, a set of test vectors and implement
testing of the gmp, openssl and gcrypt DH backend.

kernel-netlink: Don't mangle verbosity during test initialization

We now properly manage thread verbosity in the test framework, and don't need
to silence thread spawning messages.

unit-tests: Set test verbosity just after test suite loading

We see any plugin startup messages during suite configuration, where
initialization is called once to query plugin features. No need to be verbose
and show these messages once again in the first test.

crypto-factory: Remove obsolete transform testing functions

unit-tests: Use progressive testing of transforms with test vectors

This allows us to show which transform from which plugin failed. Also, we use
the new cleanup handler functionality that allows proper deinitialization on
failure or timeout.

transform: Add a getter for the enum_names for a specific transform type

enum-names: Fail gracefully when passing a NULL value as enum names

crypto-factory: Add enumerator method to support individual transform testing

unit-tests: Invoke all registered thread cleanup handlers on test failure

If a test fails in a timeout or a test failure, longjmp() is used to restore
the thread context and handle test failure. However, there might be unreleased
resources, namely locks, which prevent the library to clean up properly after
finishing the test.

By using thread cleanup handlers, we can release any test subject internal or
test specific external resources on test failure. We do so by calling all
registered cleanup handlers.

thread: Add a function to pop and call all registered cleanup handlers

thread: Don't acquire lock for thread_cleanup_push/pop

This is called only by the thread for its own thread_t, and does not need
synchronization.

travis: Run a gcrypt test with leak-detective

And also enable gcrypt in the all tests with leak-detective enabled.

gcrypt: Explicitly initialize RNG backend to allocate static data

The libgcrypt RNG implementation uses static buffer allocation which it does
not free. There is no symbol we can catch in leak-detective, hence we explicitly
initialize the RNG during the whitelisted gcrypt_plugin_create() function.

leak-detective: Whitelist gcrypt_plugin_create()

gcry_check_version() does not free statically allocated resources. However,
we can't whitelist it in some versions, as it is not a resolvable symbol name.
Instead, whitelist our own plugin constructor function.

unit-tests: Add a TESTS_PLUGINS environment variable

This is often more convenient than specifying plugins in a configuration file.

unit-tests: Use a larger timeout for test vector testing

As we test DH calculations this now takes more time. If multiple DH backends
are enabled, we likely hit the default test timeout.

gcrypt: Support setting private value and testing of DH backend

openssl: Support setting ECDH private values

openssl: Support setting private Diffie-Hellman values

gmp: Support setting Diffie-Hellman private values

test-vectors: Add DH vectors for Brainpool groups

test-vectors: Add DH vectors for ECDH groups

test-vectors: Add DH vectors for subgroup MODP groups

test-vectors: Add DH vectors for normal MODP groups

test-vectors: Support testing DH groups

crypto-tester: Support testing DH groups using DH test vectors

diffie-hellman: Introduce an optional setter for the private value

This allows us to work with deterministic values for testing purposes.

Merge branch 'aesni'

Add an aesni plugin providing CBC, CTR, XCBC, CMAC, CCM and GCM modes for
for AES-128/192/256 based on AES-NI/PCLMULQDQ intrinsics.

NEWS: Add aesni plugin news

aesni: Avoid loading AES/GHASH round keys into local variables

The performance impact is not measurable, as the compiler loads these variables
in xmm registers in unrolled loops anyway.

However, we avoid loading these sensitive keys onto the stack. This happens for
larger key schedules, where the register count is insufficient. If that key
material is not on the stack, we can avoid to wipe it explicitly after
crypto operations.

aesni: Align all class instances to 16 byte boundaries

While the required members are aligned in the struct as required, on 32-bit
platforms the allocator aligns the structures itself to 8 bytes only. This
results in non-aligned struct members, and invalid memory accesses.

utils: Provide aligning variants of INIT/INIT_EXTRA macros

unit-tests: Pass stringyfied assertion statement as non-format string argument

If the assertion contains a modulo (%) operation, test_fail_msg() handles
this as printf() format specifier. Pass the assertion string as argument for
an explicit "%s" in the format string, instead.

utils: Add malloc/free wrappers returning aligned data

While we could use posix_memalign(3), that is not fully portable. Further, it
might be difficult on some platforms to properly catch it in leak-detective,
which results in invalid free()s when releasing such memory.

We instead use a simple wrapper, which allocates larger data, and saves the
padding size in the allocated header. This requires that memory is released
using a dedicated function.

To reduce the risk of invalid free() when working on corrupted data, we fill up
all the padding with the padding length, and verify it during free_align().

aesni: Calculate GHASH for 4 blocks of associated data in parallel

While associated data is usually not that large, in some specific cases
this can bring a significant performance boost.

aesni: Calculate GHASH for 4 blocks of encryption data in parallel

Increases performance by another ~30%.

aesni: Use 4-way parallel en/decryption in GCM

Increases overall performance by ~25%.

aesni: Use dedicated key size specific en-/decryption functions in GCM

This gives not much more than ~5% increase in performance, but allows us to
improve further.

aesni: Add a GCM AEAD based on the AES-NI key schedule

aesni: Implement CMAC mode to provide a signer/prf

Compared to the cmac plugin using AESNI-CBC as backend, this improves
performance of AES-CMAC by ~45%.

aesni: Implement XCBC mode to provide a signer/prf

Compared to the xcbc plugin using AESNI-CBC as backend, this improves
performance of AES-XCBC by ~45%.

aesni: Partially use separate code paths for different key sizes in CCM

Due to the serial nature of the CBC mac, this brings only a marginal speedup.