gmp: Fix buffer overflow with very small RSA keys
authorTobias Brunner <tobias@strongswan.org>
Tue, 25 Sep 2018 12:50:08 +0000 (14:50 +0200)
committerTobias Brunner <tobias@strongswan.org>
Wed, 26 Sep 2018 08:10:48 +0000 (10:10 +0200)
commit129ab919a8c3abfc17bea776f0774e0ccf33ca09
tree4b1d23390c4a3875454d058cd5f8b1751746b80b
parent8932d6070fe773ee19a83ff040d58210e8847c0c
gmp: Fix buffer overflow with very small RSA keys

Because `keylen` is unsigned the subtraction results in an integer
underflow if the key length is < 11 bytes.

This is only a problem when verifying signatures with a public key (for
private keys the plugin enforces a minimum modulus length) and to do so
we usually only use trusted keys.  However, the x509 plugin actually
calls issued_by() on a parsed certificate to check if it is self-signed,
which is the reason this issue was found by OSS-Fuzz in the first place.
So, unfortunately, this can be triggered by sending an invalid client
cert to a peer.

Fixes: 5955db5b124a ("gmp: Don't parse PKCS1 v1.5 RSA signatures to verify them")
Fixes: CVE-2018-17540
src/libstrongswan/plugins/gmp/gmp_rsa_private_key.c