NEWS: IKEv2 fragmentation mentioned

Merge branch 'ikev2-fragmentation'

This adds support for IKEv2 fragmentation as per RFC 7383.

testing: Add ikev2/net2net-fragmentation scenario

testing: Update ikev1/net2net-fragmentation scenario

message: Limit maximum number of IKEv2 fragments

The maximum for IKEv1 is already 255 due to the 8-bit fragment number.

With an overhead of 17 bytes (x64) per fragment and a default maximum
of 10000 bytes per packet the maximum memory required is 14 kB
for a fragmented message.

packet: Define a global default maximum size for IKE packets

message: Ensure a minimum fragment length

ikev2: Send retransmits using the latest known addresses

For instance, if a DPD exchange is initiated by the gateway when a
mobile client is roaming and it then gets a new IP address and sends
an address update via MOBIKE, the DPD retransmits would still be sent
to the old address and the SA would eventually get closed.

ikev2: Send and receive fragmented IKE messages

If a fragmented message is retransmitted only the first packet is passed
to the alert() hook.

ike: IKE_SA may fragment IKEv2 messages

ike: Do not cache MID of IKEv2 fragments

This fails if there are unencrypted payloads before an encrypted
fragment payload in the first fragment.

message: Fragment and reassemble IKEv2 messages

message: Handle encrypted fragment payload similar to the encrypted payload

ikev2: Add encrypted fragment payload

encrypted_payload: Encrypted payload can be constructed from plaintext

encrypted_payload: Expose generate() to generate the plaintext

encrypted_payload: Extract some utility functions

message: Split generate() in multiple functions

ikev2: Negotiate support for IKEv2 fragmentation

ikev2: Add notify for IKEv2 fragmentation

ikev1: Move defragmentation to message_t

ike: Move fragmentation to ike_sa_t

The message() hook on bus_t is now called exactly once before (plain) and
once after fragmenting (!plain), not twice for the complete message and again
for each individual fragment, as was the case in earlier iterations.

For inbound messages the hook is called once for each fragment (!plain)
and twice for the reassembled message.

message: fragment() generates message and fragments and caches them

message: Make packet argument optional in generate()

ikev1: Move fragment generation to message_t

ike: Rename encryption_payload to encrypted_payload

ipsec: Remove unsupported listcards and rereadgroups commands

ipsec: Document missing commands

ipsec: Update usage output

ipsec: Remove duplicate check for internal commands

ipsec: Only set PATH if it is not already set

The comment indicated this but it was always set anyway.  All internal
commands are called via their absolute paths, so the script only uses PATH for
the uname command, but if that is not located in one of the configured
directories the script will fail.

Also, since the internal commands are called via their absolute paths there is
no need to add the directories to PATH.

ikev1: Fix handling of UNITY_LOAD_BALANCE

The re-authentication is now handled within the original IKE_SA if it has not
yet been established, so we don't want to destroy it.

ikev1: Don't queue more than one mode config or XAuth task

At the time we reset an IKE_SA (e.g. when re-authenticating a not yet
established SA due to a roaming event) such tasks might already be queued
by one of the phase 1 tasks.  If the SA is initiated again another task will
get queued by the phase 1 task.  This results in e.g. multiple mode config
requests, which most gateways will have problems with.

testing: Don't check for the actual number of SWID tags in PDP scenarios

The number of SWID tags varies depending on the base image, but lets
assume the number is in the hundreds.

testing: Make TNC scenarios agnostic to the actual Debian version

The scenarios will work with new or old base images as long as the version
in use is included as product in the master data (src/libimcv/imv/data.sql).

testing: Make TKM related build recipes future-proof

The tkm scenarios recently failed due to a segmentation fault on my host
because I had an old build of the tkm library already built in the build
directory.  Because the stamp file was not versioned the new release was
never checked out or built and charon-tkm was linked against the old
version causing a segmentation fault during key derivation.

version bump to 5.2.1rc1

Merge branch 'ext-auth'

Integrates the ext-auth plugin by Vyronas Tsingaras. The new child process
abstraction simplifies implementation in both the new ext-auth and the existing
updown plugin, and makes them available on the Windows platform.

NEWS: Mention new ext-auth plugin

ext-auth: Add an ext-auth plugin invoking an external authorization script

Original patch courtesy of Vyronas Tsingaras.

updown: Use process abstraction to invoke updown script

process: Add a wrapper to invoke a command under the system default shell

process: Port child process spawning to the Windows platform

process: Provide an abstraction to spawn child processes with redirected I/O

testing:  Updated certificates and keys in sql scenarios

Added IF-M Segmentation support to NEWS

Incremental parsing fixes

Updated revoked certificate in ikev2/ocsp-revoked scenario

The critical-extension scenarios need the old private keys

Added add_segment() method to TCG/PTS attributes

Added add_segment() method to TCG/SEG attributes

OS IMV proposes IF-M segmentation contract

The OS IMV sends a TCG IF-M Segmentation contract request.
All IETF standard attributes support segmentation. Additionally
the IETF Installed Packages standard attributes supports
incremental processing while segments are received.

SWID IMC proposes IF-M segmentation contracts

unit-tests: Updated libimcv test suite

Added add_segment() method to IETF attributes

Added add_segment() method to ITA attributes

Implemented incremental processing of SWID tag [ID] inventory attribute

Implemented add_segment method for PA-TNC attributes

Added total length parameter in PA-TNC attribute constructor

Assignment of flags starts with bit 0

Register the reception of the AIK attribute

Unit tests for libimcv

Compacted chunk creation in ita_attr_command constructor

Merged libpts into libimcv

Added out message queue for imv_msg receive method

Implemented IF-M segmentation

Added request variable to get_info_string method

Implemented IF-M segmentation contracts

Allow to treat specified Attribute-Type-Not-Supported errors as non-fatal

testing: Updated swanctl certificates and keys

testing: Wait a bit in swanctl scenarios before interacting with the daemon

testing: Actually build swanctl

testing: Make sure the whitelist plugin is ready before configuring it

testing: Update PKCS#12 containers

testing: Update PKCS#8 keys

testing: Update public keys in DNSSEC scenarios

The tests are successful even if the public keys are not stored locally,
but an additional DNS query is required to fetch them.

testing: Update public keys and certificates in DNS zone

testing: Update carols certificate in several test cases

testing: Add some notes about how to reissue attribute certificates

testing: Reissue attribute certificates for the new holder certificates

Due to the expired and reissued holder certificates of carol and dave, new
attribute certificates are required to match the holder certificates serial in
the ikev2/acert-{cached,fallback,inline} tests.

starter: Allow specifying the ipsec.conf location in strongswan.conf

stroke: Allow specifying the ipsec.secrets location in strongswan.conf

library: Allow specifying the path to strongswan.conf in the STRONGSWAN_CONF env var

Don't fail to install if sysconfdir isn't writable

ikev1: Be more verbose if a peer config would match, but is unusable for Mode

ikev2: Reorder task activation for established IKE SAs

We now prefer MOBIKE tasks over delete tasks then the rest.

Revert "ikev2: Insert MOBIKE tasks at the front of the queue"

This reverts commit 3293d146289d7c05e6c6089ae1f7cdbcea378e63.

The position of tasks in the queue does not actually determine the order
in which they are activated.  Instead this is determined by the
statements in task_manager_v2_t.initiate().

Merge branch 'curl-features'

Enable missing https:// support in the curl plugin by initializing libcurl
appropriately.

To initialize the SSL backend properly as required, we rely on our specific
crypto backends (openssl, gcrypt) that already provide this functionality.

Fixes #692.

travis: Disable soup in "all" test

On Ubuntu 12.04, there seems to be a resource leak related to pthread keys
when initializing glib or related libraries more than once. With our repeated
initialization for libstrongswan tests, we hit the following error:

  Lib (gthread-posix.c): Unexpected error from C library during
  'pthread_key_create': Resource temporarily unavailable.

The problem is not reproducible on a newer Gnome stack, hence we disable the
glib based soup plugin until we have a more recent Ubuntu on Travis.

curl: For SSL features, depend on thread-safety provided by our crypto plugins

To use SSL in curl, we need to initialize the SSL library in a thread-safe
manner and provide the appropriate callbacks. As we already do that in our
crypto plugins using these libraries, we depend on these features.

This implies that we need the same plugin enabled (openssl, gcrypt) as the
curl backend is configured to use to fetch from HTTPS URIs.

configure: Load fetcher plugins after crypto base plugins

Some fetcher plugins (such as curl) might build upon OpenSSL to implement
HTTPS fetching. As we set (and can't unset) threading callbacks in our
openssl plugin, we must ensure that OpenSSL functions don't get called after
openssl plugin unloading.

We achieve that by loading curl and all other fetcher plugins after the base
crypto plugins, including openssl.

curl: Dynamically query supported protocols and register appropriate features

leak-detective: Whitelist libssl SSL_COMP_get_compression_methods()

This function is called by libcurl initialization with SSL, and uses
a static allocation of compression algorithms not freed.

curl: Try to initialize with SSL support to handle https:// URIs

If initialization fails, we fall back to the old behavior.

NEWS: Introduce charon-systemd

Merge branch 'netlink-cleanups'

In preparation for larger parallelization changes in kernel-netlink, this
merge does some general code cleanup in that plugin.

watcher: Add a method to query the watcher state

This allows a user to check if the watcher is actually running, and potentially
perform read operations directly instead of relying on watcher.

kernel-netlink: Define and use rtnetlink message types

kernel-netlink: Pass protocol specific enum names to socket constructor

This avoid the hard dependency on enum names, and makes kernel_netlink_shared
independent of kernel_netlink_ipsec.

kernel-netlink: Clean up socket initialization, handle 0 as valid socket fd