Merge branch 'ocsp-constraints'

Limits cached OCSP verification to responses signed by the CA, a directly
delegated signer or a pre-installed OCSP responder certificate. Disables
auth config merge for revocation trust-chain strength checkin, as it breaks
CA constraints in some scenarios.

revocation: Restrict OCSP signing to specific certificates

To avoid considering each cached OCSP response and evaluating its trustchain,
we limit the certificates considered for OCSP signing to:

- The issuing CA of the checked certificate
- A directly delegated signer by the same CA, having the OCSP signer constraint
- Any locally installed (trusted) certificate having the OCSP signer constraint

The first two options cover the requirements from RFC 6960 2.6. For
compatibility with non-conforming CAs, we allow the third option as exception,
but require the installation of such certificates locally.

revocation: Don't merge auth config of CLR/OCSP trustchain validation

This behavior was introduced with 6840a6fb to avoid key/signature strength
checking for the revocation trustchain as we do it for end entity certificates.
Unfortunately this breaks CA constraint checking under certain conditions, as
we merge additional intermediate/CA certificates to the auth config.

As key/signature strength checking of the revocation trustchain is a rather
exotic requirement we drop support for that to properly enforce CA constraints.

hashtable: Make key arguments const

This allows using const strings etc. for lookups without cast. And keys
are not modifiable anyway.

Properly hash pointers for hash tables where appropriate

Simply using the pointer is not optimal for our hash table
implementation, which simply masks the key to determine the bucket.

kernel-pfroute: Let get_nexthop() default to destination address

x509: CERT_DECODE actually requires KEY_ANY

More specific decoders might still be needed, but the x509
plugin should not care which ones.

pkcs1: KEY_ANY public key decoder soft depends on specific decoders

eap-radius: Add option to not close IKE_SAs on timeouts during interim accouting updates

Fixes #528.

ikev1: Accept SPI size of any length <= 16 in ISAKMP proposal

Fixes #533.

proposal: Don't fail DH proposal matching if peer includes NONE

The DH transform is optional for ESP/AH proposals. The initiator can
include NONE (0) in its proposal to indicate that while it prefers to
do a DH exchange, the responder may still decide to not do so.

Fixes #532.

conf: Order settings in man page alphabetically

For the config snippets the options are now explicitly ordered before
subsections.

Merge branch 'acerts'

(Re-)Introduces X.509 Attribute Certificate support in IKE, and cleans up the
x509 AC parser/generator. ACs may be stored locally or exchanged in IKEv2
CERT payloads, Attribute Authorities must be installed locally. pki --acert
issues Attribute Certificates and replaces the removed openac utility.

NEWS: Add acert and pki changes for 5.1.3

openac: Remove obsolete openac utility

The same functionality is now provided by the pki --acert subcommand.

pki: Document --not-before/after and --dateform options in manpages

pki: Support absolute --this/next-update CRL lifetimes

pki: Support absolute --not-before/after issued certificate lifetimes

pki: Support absolute --not-before/after self-signed certificate lifetimes

pki: Support absolute --not-before/after acert lifetimes

pki: Add a certificate lifetime calculation helper function

testing: Add an acert test that forces a fallback connection based on groups

testing: Add an acert test case sending attribute certificates inline

testing: Add an acert test using locally cached attribute certificates

testing: build strongSwan with acert plugin

ikev2: Cache all received attribute certificates to auth config

ikev2: Send all known and valid attribute certificates for subject cert

ikev2: Slightly refactor certificate payload construction to separate functions

ike: Support encoding of attribute certificates in CERT payloads

auth-cfg: Declare an attribute certificate helper type to exchange acerts

acert: Implement a plugin finding, validating and evaluating attribute certs

This validator checks for any attribute certificate it can find for validated
end entity certificates and tries to extract group membership information
used for connection authorization rules.

x509: Match acert has_subject() against entityName or holder serial

This allows us to find attribute certificates for a subject certificate in
credential sets.

pki: Add acert and extend pki/print manpages

pki: Implement an acert command to issue attribute certificates

pki: Support printing attribute certificates

pki: Don't generate negative random serial numbers in X.509 certificates

According to RFC 5280 4.1.2.2 we MUST force non-negative serial numbers.

pem: Support encoding of attribute certificates

While there is no widely used PEM header for attribute certificates, at least
IAIK-JCE uses BEGIN ATTRIBUTE CERTIFICATE:

  http://javadoc.iaik.tugraz.at/iaik_jce/current/iaik/utils/Util.html#toPemString(iaik.x509.attr.AttributeCertificate)

x509: Replace the comma separated string AC group builder with a list based one

x509: Integrate IETF attribute handling, and obsolete ietf_attributes_t

The ietf_attributes_t class is used for attribute certificates only these days,
and integrating them to x509_ac_t simplifies things significantly.

x509: Replace fixed acert group string getter by a more dynamic group enumerator

x509: Skip parsing of acert chargingIdentity, as we don't use it anyway

x509: Fix some whitespaces and do some minor style cleanups in acert

ac: Remove unimplemented equals_holder() method from ac_t

Added libipsec/net2net-3des scenario

Renewed self-signed OCSP signer certificate

unit-tests: Fix filtered enumerator tests on 64-bit big-endian platforms

In case of sizeof(void*) == 8 and sizeof(int) == 4 on big-endian hosts
the tests failed as the actual integer value got cut off.

travis: Run the "all" test case with leak detective enabled

But disable the gcrypt plugin, as it causes leaks.

Also disable the backtraces by libunwind as they seem to cause
threads to get cleaned up after the leak detective already has been
disabled, which leads to invalid free()s.

unit-tests: Fix memory leak in ntru tests

Version bump to 5.1.3rc1

Check that valid OCSP responses are received in the ikev2/ocsp-multi-level scenario

Updated expired certificates issued by the Research and Sales Intermediate CAs

Renewed revoked Research CA certificate

unit-test: added missing TEST_FUNCTION macros

Added openssl-ikev2/net2net-pgp-v3 scenario

openssl: Add default fallback when calculating fingerprints of RSA keys

We still try to calculate these directly as it can avoid a dependency on
the pkcs1 or other plugins.  But for e.g. PGPv3 keys we need to delegate the
actual fingerprint calculation to the pgp plugin.

Completed integration of ntru_crypto library into ntru plugin

Merge branch 'travis-ci'

Adds a config file and build script for Travis CI. Makes the unit tests
buildable with Clang, and test vectors are now actually verified when
the unit tests are executed.

Also adds options to run only selected test suites and to increase the debug
level during unit tests.

The --enable/disable configure options have been reordered and grouped, and
an option to enable all the features has been added (plus an option to
select a specific printf-hook implementation).

travis: Use parallel build

Not sure if 4 jobs is optimal, but according to the docs each build host
has 1.5 virtual cores available (although "getconf _NPROCESSORS_ONLN"
returns 32, which is probably the number of real cores underneath), so
more jobs might not actually reduce the build time much more.

crypto-tester: Don't fail if key size is not supported

The Blowfish and Twofish implementations provided by the gcrypt plugin
only support specific key lengths, which we don't know when testing
against vectors (either during unit tests or during algorithm
registration).  The on_create test with a specific key length will be
skipped anyway, so there is no point in treating this failure differently.

unit-tests: Add an option to increase the verbosity when running tests

The TESTS_VERBOSITY option takes an integer from -1 to 4 that sets the
default debug level.

unit-tests: Add an option to run only a subset of all test suites

The TESTS_SUITES environment variable can contain a comma separated list
of names of test suites to run.

unit-tests: Actually verify registered algorithms against test vectors

Previously, the {ns}.crypto_test.on_add option had to be enabled to
actually test the algorithms, which we can't enforce for the tests in
the test_runner as the option is already read when the crypto factory
is initialized.  Even so, we wouldn't want to do this for every unit
test, which would be the result of enabling that option.

travis: Add tests for builtin printf hook implementation

We can't test Vstr as it does not properly handle negative int arguments
for custom format callbacks, so some of the enum tests would fail.

configure: Add an option to select a specific printf hook implementation

travis: Install dependencies for each test dynamically

Since the installation of all packages alone takes several minutes this
should speed up some test cases.

travis: Enable clang build

But build the distribution only once.

unit-tests: Use TEST_FUNCTION macro in ntru tests

unit-tests: Implement registered functions without __builtin_apply()

This makes the tests work with clang, which does not implement said
builtin.

unit-tests: Call functions with TEST_ prefix in ntru test

unit-tests: Prefix imported testable functions with TEST_

This avoids any clashes with existing functions in the monolithic build.

unit-tests: Change how hashtable for testable functions is created

Because GCC does not adhere to the priorities defined for constructors
when building with --enable-monolithic (not sure if it was just luck
that it worked in non-monolithic mode - anyway, it's not very portable)
function registration would fail because the hashtable would not be
created yet.

Add Travis CI config and build script

configure: Add an option to enable all optional features/plugins

This has probably no real practical use, but it simplifies testing.

configure: Reorder and group feature options

unit-tests: Generate weak keys with gcrypt plugin (but quickly)

tnc-pdp: Fix monolithic build

plugin-feature: Hash only the actually used feature argument

Clang does not initialize padding in union members so hashing the
complete "arg" union could lead to different hashes if the hashed
plugin_feature_t does not have static storage duration.

Fixes #549.

Added TPMRA workitem support for [dummy] Trusted Boot measurements

pki: When dispatching commands, don't look beyond non-null-terminated array

pki: Check length of commands array before accessing command in --help

As --help is counted as command as well, the array is not null-terminated
and we have to check for MAX_COMMANDS.

Fixes #550.

charon-nm: No additional secrets are required once a password has been entered

Recent versions of NM will call need_secrets() as long as it returns TRUE,
but then fail as the number of calls is limited by an assert.

Fixes #547.

array: Fix removal of elements in the second half of an array

Memory beyond the end of the array was moved when array elements in the
second half of an array were removed.

Fixes #548.

plugin-loader: Properly initialize modular plugin list if no plugins are enabled

Implemented ntru_private_key class

11 bits are needed to encode a maximum index of 1086

Merged libstrongswan options into charon section

strongswan.conf is not needed on RADIUS server alice

tnc-ifmap: Get a reference to the client cert as it is also used in an auth config

Version bump to 5.1.3dr1

Disable mandatory ECP support for attestion

Refactored NTRU parameter set selection

Refactored ntru_param_sets

thread: Properly clean up meta data of main thread

settings: Log all errors on level 1

Closes #539.

settings: Avoid conf file parsing beyond allocated buffer

A valgrind analysis of libstrongswan revealed an invalid read of 1 in
the function starts_with(). A more thorough analysis proved this to be
true and showed that with a specially crafted config file (e.g. a single
'#'-character not followed by a newline), the parser might even
interpret the random memory contents following the allocated buffer as
part of the configuration file.
The way the parser is designed, it must be able to skip an inserted
'\0' and continue parsing. Since it is not able to skip two '\0'
characters, the 'fix' of allocating two more bytes than the size of the
parsed file and setting them to '\0' seems to be a safe bet.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

configure: Fix autoreconf with older autotools

Older autoconf versions (e.g. on CentOS 6.5) produce an empty else block
for the removed empty argument, which the shell then trips over when
executing ./configure.

Fixes #536.

Optimize ntru_poly constructors some more

Version bump to 5.1.2

Optimized initialisation of indices

Added get_array() method to ntru_poly_t class