ipsec: Update rereadcacerts/aacerts command description in manpage

stroke: Serve ca section CA certificates directly, not over central CA set

This makes these CA certificates independent from the purge issued by reread
commands. Certificates loaded by CA sections can be removed through ipsec.conf
update/reread, while CA certificates loaded implicitly from ipsec.d/cacerts
can individually be reread using ipsec rereadcacerts.

mem-cred: Add a method to unify certificate references, without adding it

In contrast to add_cert_ref(), get_cert_ref() does not add the certificate to
the set, but only finds a reference to the same certificate, if found.

stroke: Purge existing CA/AA certificates during reread

stroke: Use separate credential sets for CA/AA certificates

stroke: Refactor load_certdir function

vici: Don't use a default rand_time larger than half of rekey/reauth_time

vici: If a IKE reauth_time is configured, disable the default rekey_time

ikev2: Schedule a timeout for the delete message following passive IKE rekeying

Under some conditions it can happen that the CREATE_CHILD_SA exchange for
rekeying the IKE_SA initiated by the peer is successful, but the delete message
does not follow. For example if processing takes just too long locally, the
peer might consider us dead, but we won't notice that.

As this leaves the old IKE_SA in IKE_REKEYING state, we currently avoid actively
initiating any tasks, such as rekeying or scheduled DPD. This leaves the IKE_SA
in a dead and unusable state. To avoid that situation, we schedule a timeout
to wait for the DELETE message to follow the CREATE_CHILD_SA, before we
actively start to delete the IKE_SA.

Alternatively we could start a liveness check on the SA after a timeout to see
if the peer still has that state and we can expect the delete to follow. But
it is unclear if all peers can handle such messages in this very special state,
so we currently don't go for that approach.

While we could calculate the timeout based on the local retransmission timeout,
the peer might use a different scheme, so a fixed timeout works as well.

Fixes #742.

kernel-netlink: Respect kernel routing priorities for IKE routes

If a system uses routing metrics, we should honor them when doing (manual)
routing lookups for IKE. When enumerating routes, the kernel reports priorities
with the RTA_PRIORITY attribute, not RTA_METRICS. We prefer routes with a
lower priority value, and fall back to longest prefix match priorities if
the priority value is equal.

enum: Extend printf hook to print flags

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

unit-tests: Don't fail host_create_from_dns() test if IPv6 not supported

On some systems, such as the Ubuntu daily build machine, localhost does not
resolve to an IPv6 address. Accept such a lookup failure.

bliss: Add generated Huffman codes to the repository

While these files are generated they don't really change and are not
architecture dependant.  The previous solution prevented cross-compilation
from the repository as `bliss_huffman` was built for the target system but
was then executed on the build host to create the source files, which
naturally was bound to fail.

The `recreate-bliss-huffman` make target can be used inside the bliss
directory to update the source files if needed.

Fixes #812.

Fixed a memory leak in the attribute segmentation code

vici: Support ruby gem out-of-tree builds

Referencing $(srcdir) in the gemspec is not really an option, as "gem build"
includes the full path in the gem, so we need to build in $(srcdir). As there
does not seem to be a way to control the output of "gem build", we manually
move the gem to $(builddir) in OOT builds.

ha: Always install the CHILD_SAs with the inbound flag set to FALSE

The inbound flag is used to determine if we have to install an update or a new
SA in the kernel. As we do not have allocated SPIs and therefore can't update
an existing SA in the HA plugin, always set the flag to FALSE.

Before 698ed656 we had extra logic for that case, but handling it directly in
the HA plugin is simpler.

Updated Ubuntu 14.04 kernel version

Fixed compiler warnings

travis: Disable unwind backtraces regardless of LEAK_DETECTIVE option

While d0d85683 works around a crasher related to the use of libunwind, other
build hangs have been seen in the all test cases. Try to
--disable-unwind-backtraces to see if libunwind is really related to those
and if it fixes these issues.

Version bump to 5.3.0dr1

Allow SHA256 and SHA384 data hash for BLISS signatures.

The default is SHA512 since this hash function is also
used for the c_indices random oracle.

unit-tests: Completed BLISS tests

Check for null pointer before applying memwipe()

Implemented improved BLISS-B signature algorithm

host-resolver: Do not cancel threads waiting for new queries during cleanup

While it is currently unclear why it happens, canceling threads waiting in the
new_query condvar does not work as expected. The behavior is not fully
reproducible: Either cancel(), join() or destroying the condvar hangs.

The issue has been seen in the http-fetcher unit tests, where the stream service
triggers the use of the resolver for "localhost" hosts. It is reproducible with
any cleanup following a host_create_from_dns() use on a Ubuntu 14.04 x64 system.
Further, the issue is related to the use of libunwind, as only builds with
--enable-unwind-backtraces are affected.

As we broadcast() the new_query condvar before destruction, a hard cancel() of
these threads is actually not required. Instead we let these threads clean up
themselves after receiving the condvar signal.

host-resolver: Disable resolver thread cancellation by default

The default of new threads is cancellable, but the host-resolver thread code
clearly expects the opposite.

unit-tests: Add host_create_from_dns() test cases resolving "localhost"

travis: Disable forecast/connmark plugins in monolithic builds

Ubuntu 12.04 does not seem to provide a sane pkg-config for libiptc or libip4tc.
The monolithic build fails due to missing symbols, so disable it until we have
a newer Ubuntu release.

plugin-loader: Do not unload libraries during dlclose(), if supported

Unloading libraries calls any library constructor/destructor functions. Some
libraries can't handle that in our excessive unit test use. GnuTLS leaks
a /dev/urandom file descriptor, letting unit tests fail with arbitrary
out-of-resources errors.

unit-tests: Accept numerical protocol/port numbers in traffic selector tests

forecast: Explicitly cast sockaddr to fix compiler warning

On Travis we compile with -Werror.

configure: Use pkg-config to detect libiptc used by connmark/forecast

This ensures the library is available.  On Debian/Ubuntu it is a dynamic
library provided by the iptables-dev package.

openssl: Return the proper IV length for OpenSSL crypters

For instance, the NULL cipher has a block size of 1 but an IV length
of 0.

Fixes #854.

Merge branch 'forecast'

Implement a forecast plugin that supports forwarding of multi- and broadcast
messages between a LAN and clients or between connected clients. It uses
IPsec policy marks to send packets over multiple identical multi- and broadcast
policies.

NEWS: Introduce forecast multicast/broadcast forwarding plugin

testing: Add a forecast test case

testing: Build forecast plugin

forecast: Document strongswan.conf options

forecast: Add the broadcast/multicast forwarding plugin called forecast

Merge branch 'connmark'

Introduce a connmark plugin that uses Netfilter conntracks mark to select the
correct return-path SAs for client-initiated connections. This can be used
to distinguish transport mode clients behind the same NAT router.

Fixes #365.

NEWS: Introduce connmark plugin

testing: Add a connmark plugin test

In this test two hosts establish a transport mode connection from behind
moon. sun uses the connmark plugin to distinguish the flows.

This is an example that shows how one can terminate L2TP/IPsec connections
from two hosts behind the same NAT. For simplification of the test, we use
an SSH connection instead, but this works for any connection initiated flow
that conntrack can track.

testing: Build strongSwan with the connmark plugin

testing: Install iptables-dev to guest images

travis: Install iptables-dev for connmark plugin in "all" tests

ipsec-types: Support the %unique mark value

connmark: Add CONNMARK rules to select correct output SA based on conntrack

Currently supports transport mode connections using IPv4 only, and requires
a unique mark configured on the connection.

To select the correct outbound SA when multiple connections match (i.e.
multiple peers connected from the same IP address / NAT router) marks must be
configured. This mark should usually be unique, which can be configured in
ipsec.conf using mark=0xffffffff.

The plugin inserts CONNMARK netfilter target rules: Any peer-initiated flow
is tagged with the assigned mark as connmark. On the return path, the mark
gets restored from the conntrack entry to select the correct outbound SA.

bus: Add an ike_update() hook invoked when peer endpoints change

connmark: Add a plugin stub

load-tester: Support initiating XAuth authentication

As with other configuration backends, XAuth is activated with a two round
client authentication using pubkey and xauth. In load-tester, this is configured
with initiator_auth=pubkey|xauth.

Fixes #835.

Merge branch 'make-before-break'

Introduce an alternative make-before-break reauthentication scheme in addition
to the traditional break-before-make.

NEWS: Introduce make-before-break reauthentication

testing: Update description and test evaluation of host2host-transport-nat

As we now reuse the reqid for identical SAs, the behavior changes for
transport connections to multiple peers behind the same NAT. Instead of
rejecting the SA, we now have two valid SAs active. For the reverse path,
however, sun sends traffic always over the newer SA, resembling the behavior
before we introduced explicit SA conflicts for different reqids.

testing: Be a little more flexible in testing for established CHILD_SA modes

As we now print the reqid parameter in the CHILD_SA details, adapt the grep
to still match the CHILD_SA mode and protocol.

testing: Add a test scenario for make-before-break reauth using a virtual IP

testing: Add a test scenario for make-before-break reauth without a virtual IP

mem-pool: Pass the remote IKE address, to re-acquire() an address during reauth

With make-before-break IKEv2 re-authentication, virtual IP addresses must be
assigned overlapping to the same peer. With the remote IKE address, the backend
can detect re-authentication attempts by comparing the remote host address and
port. This allows proper reassignment of the virtual IP if it is re-requested.

This change removes the mem-pool.reassign_online option, as it is obsolete now.
IPs get automatically reassigned if a peer re-requests the same address, and
additionally connects from the same address and port.

ikev2: Schedule a make-before-break completion task to delete old IKE_SA

ikev2: Allow task to skip exchange by setting undefined exchange type

ikev2: Trigger make-before-break reauthentication instead of reauth task

Merge branch 'attr-migrate'

Migrates the attribute framework and associated plugins from libhydra back
to libcharon. libcharon is the only user of this framework since pluto is gone.
With these changes, we can pass the full IKE_SA state to attribute providers
and handlers, bringing more flexibility to these plugins.

ike-sa-manager: Use IKEv1 uniqueness reauthentication detection for IKEv2, too

attribute-handler: Pass full IKE_SA to handler backends

attribute-provider: Pass full IKE_SA to provider backends

attribute-manager: Pass full IKE_SA to handler methods

attribute-manager: Pass the full IKE_SA to provider methods

unit-tester: Drop the old unit-tester libcharon plugin

While it has some tests that we don't directly cover with the new unit tests,
most of them require special infrastructure and therefore have not been used
for a long time.

attributes: Move the configuration attributes framework to libcharon

libcharon: Add a test runner

attr-sql: Move plugin to libcharon

Merge branch 'tkm-reqid-alloc'

Fixes expires raised by charon-tkm to actually use a proto/dst/SPI tuple to
identify CHILD_SAs.

attr: Move plugin to libcharon

testing: Add tkm xfrmproxy-expire test

This test asserts that the handling of XFRM expire messages from the
kernel are handled correctly by the xfrm-proxy and the Esa Event Service
(EES) in charon-tkm.

resolve: Move plugin back to libcharon

Since pluto is gone, all existing users build upon libcharon.

testing: Assert ees acquire messages in xfrmproxy tests

charon-tkm: Use get_dst_host getter in EES callback

Use the new get_dst_host getter to retrieve the destination host from
the SAD using the reqid, spi and protocol values received from the
xfrm-proxy.

charon-tkm: Add get_dst_host getter to SAD

This function returns the destination host of an SAD entry for given
reqid, spi and protocol arguments or NULL if not found.

charon-tkm: Improve SAD get_esa_id log messages

charon-tkm: Store reqid in SAD

charon-tkm: Store remote SPI in SAD

Store the remote instead of the local SPI in the SAD when adding a new
entry in the kernel plugin's add_sa() function.

Since only one ESA context must be destroyed for an inbound/outbound
CHILD SA pair, it does not matter which SPI is used to retrieve it in
the del_sa function.

charon-tkm: Make CHILD/ESP SA database public

Make the CHILD/ESP SA database a public member of the global tkm_t
struct.

Merge branch 'reqid-alloc'

With these changes, charon dynamically allocates reqids for CHILD_SAs. This
allows the reuse of reqids for identical policies, and basically allows multiple
CHILD_SAs with the same selectors. As reqids do not uniquely define a CHILD_SA,
a new unique identifier for CHILD_SAs is introduced, and the kernel backends
use a proto/dst/SPI tuple to identify CHILD_SAs.

charon-tkm is not yet updated and expires are actually broken with this merge.
As some significant refactorings are required, this is fixed using a separate
merge.

References #422, #431, #463.

charon-tkm: Fix logger entity name in tests.c

Change 'test_runner' to 'test-runner'.

ike: Consistently log CHILD_SAs with their unique_id instead of their reqid

testing: Assert proper ESA deletion

Extend the tkm/host2host-initiator testcase by asserting proper ESA
deletion after connection shutdown.

unity: Reference IKE_SAs by the IKEv1 COOKIEs, improving lookup performance

When handling thousands of IKE_SAs, the unique ID based lookup is rather slow,
as we have no indexing.

ike-sa-manager: Remove IKE_SA checkout by CHILD_SA reqid

migrate-job: Do CHILD_SA reqid lookup locally

kernel-interface: Raise mapping event with a proto/SPI/dst tuple

inactivity-job: Schedule job by CHILD_SA unique ID instead of reqid

charon-tkm: Fix compilation of ees_callback.c

Update the call to hydra->kernel_interface->expire to make
ees_callback.c compile again. The required destination host argument is
set to NULL for now.

kernel-interface: Raise expires with a proto/SPI/dst tuple instead of reqid

controller: Use the CHILD_SA unique_id to terminate CHILD_SAs

swanctl: List CHILD_SA unique ID as the primary identifier, but print reqid, too

stroke: List CHILD_SA unique ID as the primary identifier, but print reqid, too

vici: Include the CHILD_SA unique ID in list-sa event

ike: Maintain per-IKE_SA CHILD_SAs in the global CHILD_SA manager

child-sa-manager: Add a global manager storing CHILD_SA relations

To quickly check out IKE_SAs and find associated CHILD_SAs, the
child_sa_manager stores relations between CHILD_SAs and IKE_SAs. It provides
CHILD_SA specific IKE_SA checkout functions wrapping the ike_sa_manager.

child-sa: Replace reqid based marks by "unique" marks

As we now use the same reqid for multiple CHILD_SAs with the same selectors,
having marks based on the reqid makes not that much sense anymore. Instead we
use unique marks that use a custom identifier. This identifier is reused during
rekeying, keeping the marks constant for any rule relying on it (for example
installed by updown).

This also simplifies handling of reqid allocation, as we do not have to query
the marks that is not yet assigned for an unknown reqid.

child-sa: Introduce a unique CHILD_SA identifier

As the reqid is not that unique even among multiple IKE_SAs anymore, we need
an identifier to uniquely identify a specific CHILD_SA instance.