Switch to using mail_dir for incoming mail lock file

Rather than using the db_dir for the lock file to prevent multiple
onak-mail instances processing incoming requests at the same time, use
the mail_dir file where the incoming messages are spooled anyway. This
is cleaner and will cope with the potential for multiple DB backends to
be in play in the future.

Remove Ross Burton from Uploaders

Ross requested to be removed from Uploaders due to a lack of
time/inclination to work on onak maintainership.

0.4.6 release

Release; update version string in configure.ac, README, Doxyfile.
Update HISTORY and debian/changelog.

Fix stupid sock_dir bug

I forgot to actually parse the sock_dir info from the config file. Do
so.

Support --runstatedir with autoconf 2.70+

Rather than putting our socket in $localstatedir/run use $runstatedir
which is support by the Debian package autoconf 2.69-9 and will be in
autoconf 2.70. Fall back to $localstatedir/run when an older version
of autoconf is used.

Add config option to specify keyd socket directory

keyd was stashing its Unix domain socket in the DB directory, which
is contrary to convention. Add a sock_dir config option and default it
to ${prefix}/var/run in the sample config file.

Update version.h when source files change

Make $(SRCS) a Makefile dependency for version.h so once any of the
source files change we can update our version to reflect this fact.

Update debian/watch file to deal with non-gz compressed tarballs

Add git commit details to non-release builds

The previous bzr version info is long unused, so replace with
'git describe' to embed the git version status in builds from git.

Add Curve25519 ECC OID details

Fix keysize for Ed25519 to 255 bits

Add support for displaying EDDSA keys

EDDSA is not yet formally defined, but understood by GnuPG 2.1 and
has been seen in the wild. Key size is defined by the OID as for
ECDH/ECDSA keys.

Add de-duplication of subkeys on a key

GnuPG will incorrectly add a pre-existing subkey that it doesn't
understand (e.g. ECC) to a key. This results in keys with a large
number of identical subkeys. Avoid this by detecting such keys and
de-duplicating the identical subkeys.

(gnupg bug report at https://bugs.gnupg.org/gnupg/issue1962)

Re-order linking for backend plugins to cope with ld --as-needed

The shared libraries for DB4/curl/PostgreSQL should all come after the
object file that uses them so that ld --as-needed can correctly pick up
the required linkage.

Fixes Debian bug #772433

Add additional ECC OIDs

In addition to the 3 NIST curves add Ed25519, the 3 brainpool curves and
secp256k1 (as used in Bitcoin).

Don't build-depend on Debian systemd dev packages for non-Linux architectures

Later versions of systemd aren't build on FreeBSD etc so the Debian build
was failing due to an unmet build-dep on libsystemd-dev; limit this
requirement to Linux archs.

Fixes Debian bug #763924. Thanks to Pino Toscano <pino@debian.org>

0.4.5 release

Release; update version string in configure.ac, README, Doxyfile.
Update HISTORY and debian/changelog.

Check for sd_listen_fds in libsystemd as well as libsystemd-daemon

Upstream systemd has moved the sd_listen_fds function from
libsystemd-daemon into a combined libsystemd. For Debian this change
happens in the 214-1 package. Make the autoconf script look in both
and change the Debian build-deps to look for either suitably
recent libsystemd-dev or fall back to libsystemd-daemon-dev (to aid
backports).

0.4.4 release

Release; update version string in configure.ac, README, Doxyfile.
Update HISTORY and debian/changelog.

Use strtouq to parse keyid instead of strtoul

The use of strtoul to parse the key ID breaks parsing 64 bit key IDs
on 32 bit platforms. Use strtouq instead, which is defined as returning
a 64 bit rather than being dependant on the length of "unsigned long".

0.4.3 release

Release; update version string in configure.ac, README, Doxyfile.
Update HISTORY and debian/changelog.

Bump Debian Standards-Version to 3.9.6.0

No changes.

Add dependency on dh-systemd to Debian packaging

Don't ignore errors in newly added Debian prerm script

Enable use of systemd + socket activation support for Debian package

Now that onak supports systemd socket activation add the appropriate
systemd service files to enable this on Debian installs. In the longer
term I'd like this to be generic for any distro; patches from people
experienced with them most welcome.

Add keyd support for systemd socket activation

If we have libsystemd-daemon available then enable support for
systemd socket activation of keyd. Even if this support is compiled
in we will fall back to the old behaviour of setting up our own
listening Unix domain socket if systemd is not in use.

Fix issue with pre-seeding key database on Debian install

The test for my key didn't include the .gz file extension, so the
key database wasn't getting created upon initial install.

Use generic rule for rebuilding .in files

Rather than a specific Makefile rule for each .in file use a generic
approach so we can easily add more if necessary.

Use common function for command sending in keyd client code

Rather than duplicating the checks for writing ok and getting a non
error response use a common function for sending commands to keyd from
the DB backend client code.

Guard max lock setting with error check

We weren't checking for an error before setting the DB4 maxlocks
parameter, which could cause a NULL dereference in the error path.

Cleanup key array logic to make llvm scan-build happier

We can't have the size != 0 without keys != NULL, but the fact we
checked one at the start and the other later was confusing the static
checks from scan-build. Use size in both places; it keeps scan-build
happy and make the code a little easier to read.

Fix keyd memory leak on error reading client provided search text

Bail out if we can't change to the DB directory for the FS backend

Bail out if we get errors reading the config file

Make keyd more robust in the face of socket errors

We were mostly ignoring errors back from reads or writes to the keyd
socket. Check that we've read/written as many bytes as we expect and
pull some of this out to common functions for sending keys/replies.

Make keyd internal functions static

Nothing else links to keyd.o, but these functions are internal so mark
them static.

Add error checking when trying to daemonize in keyd

We weren't checking the return from freopen, which causes warnings when
compiling with -D_FORTIFY_SOURCE=2. Do so, and also for the setsid().

Check return value when writing PID to DB4 upgrade lock file

When writing our PID to the lock file for upgrading the DB4 version
we didn't check it was actually successful. This doesn't matter in
general (because it's the existence or not of the file we care about)
but catch it and error out appropriate anyway.

Fix issue with looking up keys by fingerprint via HKP interface

The index variable for the current parameter was being reused to parse
the fingerprint, resulting in attempting to free an unallocated piece of
memory and crashing. Use a different loop variable instead.

Add a reindex command to the onak tool

With the changes to the backends to store keys using the full fingerprints
it can be useful to force a key to be re-indexed and thus transitioned to
a fingerprint rather than 64 bit key id index. Ideally we'd want to be
able to do this across the entire backend, but that's a bit heavyweight for
a full keyserver so add the ability to do it for a single key to start with.

Check that signature data lengths do not exceed the available data

Some signatures have been witnessed on the keyserver network where the
hashed data lengths reported exceed the size of the overall packet. It
is assumed these are the results of some corruption somewhere, so if
they're detected don't try to parse any further (and drop them if we're
doing signature checking).

Don't end an existing transaction if trying to delete a non-existent key

The DB4 key deletion routine would always exit the current transaction
if the key wasn't found, even if it had been called by another function
which had entered the transaction. Only do so if the deletion routine
itself is what caused the transaction to be started.

Another deletion fix of 64 bit keys in DB4 backend

We weren't deleting the actual key data when a key had been correctly
stored using its fingerprint.

Code cleanups

Unused return values + unnecessary setting of variable.

Fix deletion of 64 bit keys in DB4 backend

We were using the cursor from the id32db instead of the one for the
id64db.

Use fingerprints as key index in DB4 backend

Up until now the DB4 backend has used the 64 bit key ID as the index
into the key database. The fingerprint has always been a better idea
and it's easy to create a v3 key that causes a collision, so switch to
using the fingerprint in the DB4 backend.

These changes to not require an upgrade to an existing DB4 setup; keys
will get transitioned to the new storage method as they are updated in
the keyserver.

Add some more subpacket types to key decoder

Observed in keys sent to the keyserver and taken from either RFC 4880
or the source of various older PGP implementations. Some of these are
legacy but we can identify and ignore them.

Switch keysubkeys to returning an array of fingerprints instead of IDs

No functional change at present because the users only currently use the
64 bit key ID, so add a helper function fingerprint2keyid as well (which
only works for v4 keys, but v3 keys can't have subkeys).

Fix subkey retrieval with fs backend

Fix retrieving keys by the 64 bit key id from one of their subkeys.

Add tests for retrieving by sub key ID

2 tests for retrieving a key by a short 32 bit key id of a subkey and
the full 64 bit sub key id.

Introduce and use a structure to hold OpenPGP fingerprints

Fingerprint lengths can be 16 bytes (for v3 keys) or 20 bytes (for v4
keys). Rather than passing around a size and fingerprint buffer separately
use a structure to hold both pieces of information and just pass that
around.

Use full key id in key id retrieval test + add separate short key id test

Fix issues found by llvm scan-build static analysis

A mixture of fixes: some variables set but never used (fix by either
removing or correctly checking error codes), some unlikely but possible
memory leaks, some invalid casting.

Use dynamic context for all backend databases

Rather than defining a static set of database functions use a well
known initialisation function for each database backend that then
returns a database context structure. This structure contains function
pointers for all of the functions previously held in dbstructs as well
as a private instance context pointer.

For the moment this doesn't provide any change to behaviour, but it
provides the initial preparation for allowing multiple database instance
(whether of the same or differing types) to be used at the same time.

Skip signature hash verification for X509 signatures

X509 signatures don't have a valid hash checksum and can't be easily
verified without full X509 support. Skip them in check_packet_sighash
entirely.

Add SHA1x hash support

A hash variant that uses 8 SHA-1 instances and results in a double width
hash (320 bits instead of SHA-1's 160 bits). This was used in older
versions of PGP and there are quite a few keys on the keyservers with
signatures using it. Added mainly to enable the sig hash checking
routine to do some sanity checking on these signatures.

Remove DB2 backend

This was originally for pulling keys from an old pksd keyserver setup.
The code has bit-rotted and no one should have been running pksd for
years now, so just remove the backend entirely. DB4 has been the best
choice for onak backend for some time now.

Remove trailing newline on sigcheck debug output

Change SHA_DIGEST_LENGTH to SHA1_DIGEST_SIZE to match nettle

Extend database backends to support fetching by key fingerprint

Up until now the database backends have supported fetching a specific
key only by 64 bit key id. We should really have been using the
fingerprint where possible. Add a new backend function, fetch_key_fp,
to allow us to fetch using the fingerprint, and a generic implementation
that just truncates the fingerprint to get the 64 bit key id (valid for
v4 only). The HKP, keyd and dynamic backends gain full passthrough
support for retrieval by fingerprint with this commit.

Add support for displaying ECDH/ECDSA key sizes

The key size of an elliptic curve key is given by the OID defining the
curve. Add support for understanding the OIDs listed in RFC6637 (256,
384 + 521 bits).

Add support for displaying EC/ECDSA key types

Switch to a common pkalgo to char function and include the EC/ECDSA
key types (e/E) in it.

Add example v3 Elgamal key

Fix signature hash checking for RIPEMD-160

There was a missing break statement in the RIPEMD-160 case that resulted
in us miscalculating the signature hash for a signature using RIPEMD-160.

Add support for old Elgamal v3 key IDs

Old versions of GnuPG put Elgamal (type 16) keys inside v3 packets.
The method of getting the keyid for these keys was via a RIPE MD160
hash approach similar to the SHA-1 approach used in v4. While nothing
supports this these days there are keys in the public keyserver
network that contain this sort of data and if we don't parse the keyid
correctly we can't show things like self-sigs.

Don't store a key if we can't get the keyid

If the get_keyid call fails for a key then we shouldn't be storing it,
so don't.

Add a subkey ID mapping DB for DB4 backend

With the increased use of signature subkeys and the fact long
keyids are being used to do HKP lookups we need to store a mapping
of the subkey long keyids to primary key ids. Previously the fact
we did this for the 32 bit subkey id was enough. Add a new DB for
the DB4 backend that can map the 64 bit subkey ID to the 64 bit
primary key ID.

Check that libcurl supports SSL if using HKPS with HKP backend

Use CURL's runtime feature checking to ensure that we have support
for SSL before trying to use a HKPS (HTTPS) remote keyserver with
the HKP keydb backend.

Include keyid when logging signature checking errors

Having information on an unknown signature hash or version is much
more useful if we know what key it's associated with.

Try to use a user specific configuration file if available

Try looking for $XDG_CONFIG_HOME/onak.conf (or $HOME/.config/onak.conf
if $XDG_CONFIG_HOME is not set) before looking for the system wide
config file. This allows users to use their own config file without
having to always use the -c option to provide it.

Fix memory leaks found using valgrind

A harmless failure to cleanup the config structure before exiting
keydctl and a more major (small, but key runs for a long period of
time) leak of the search string for fetching a key by text string
in keyd.

Add some more algorithm constants to openpgp.h

Some from RFC2440 (MD2/SHA1X), some from GnuPG (CAMELLIA).

Make wotsap ignore revoked keys

wotsap wasn't paying attention to keys that were revoked, leading to them
being included in the output key/signature lists. Force the load of a key
before colouring it so we can ignore it if it's revoked.

Enhance HKP backend URL parsing

The initial commit of the HKP backend just took a hostname as the "db_dir"
parameter. Extend this to cope with an http:// or hkp:// style URL, allowing
the port to be specified as well.

Remove now obsolete SYMBOL_CACHE_SIZE directive from Doxygen config

Clean up use of K&R style function definitions in md5.c

md5_process_block / md5_read_ctx had K&R style function definitions.
Clean them up to use ANSI C style like the rest of the code (including
other functions in that file). Spotted by Doxygen.

Switch keyd to allow multiple clients to be served at once

keyd was only accepting a single connection at a time and dealing with
all the requests from it before accepting the next client. This causes
delays in regular HKP processing while running something like wotsap on
a live keyserver.

Most of the pieces were already in place to deal with a per request select
based processing loop, so this commit switches to that model. A better
solution in the future may be to consider the use of libevent or libev,
but at present this enables the use of long runs stats programs while
still being able to service HKP requests in reasonable time.

Bump debhelper compat level to 9

Alter version number to indicate git build

Use dh-autoreconf to rebuild autoconf artifacts

Merge branch 'switch-to-debhelper' of git://git.sommitrealweird.co.uk/onak

Add aclocal.m4 to .gitignore

Set the user agent to onak/<version> for HKP backend

Fix reference to onak binary to keydctl in keydctl help output

Switch debian build system to dh

0.4.2 release

Release; update version string in configure.ac, README, Doxyfile.
Update HISTORY and debian/changelog.

Update Debian Vcs-* fields to point to git repository

Update Debian packaging standards version to 3.9.4

No changes other than bumping the date in the copyright file to be current.

Use LDFLAGS when building backend shared objects

The LDFLAGS weren't being passed when linking the backend shared
objects; fix that so things like the hardening flags Debian adds
get uses correctly.

Add HKP database backend

A potential use case of onak is as a proxy server. Add an HKP backend
that uses libcurl to make requests to a remote keyserver to fetch, search
or store keys. The "db_dir" configuration parameter becomes the base
host name for the remote keyserver e.g.:

db_backend hkp
db_dir the.earth.li

In the future the addition of the ability to stack database backends
should allow this to be used to turn onak into a caching keyserver.

Add initial wotsap file generation tool

Wotsap (http://www.lysator.liu.se/~jc/wotsap/) is a web of trust
statistics and pathfinding tool. It takes a set of preformatted key
data covering the primary UID and signatures on each key.

This commit adds a tool which will generate the file data required for
wotsap. These files still need ar/bzip2 run against them in order to
be fed into wotsap, but are generated from the live keyring data.

Add support for checking RIPEMD160 signatures

Sufficiently recent versions of nettle have support for RIPEMD160 and
there are various keys in the wild that use this algorithm, so add an
autoconf check for the nettle support and use it if it's available.

Add -c option to maxpath / sixdegrees to specify config file

maxpath + sixdegrees weren't allowing a config file to be specified
in the same fashion as onak. Add the -c option so they do so, which
helps when using these tools in a non-system install setup.

Fix PostgreSQL backend compilation

This got missed with the changes to get_keyid.

Use OPENPGP_PACKET_COMMENT in parse_keys instead of raw constant

Add ctags/cscope files to .gitignore + clean rule

Prevent read_openpgp_stream from returning empty packets

If read_openpgp_stream got an invalid packet that had a semi valid
header it could potentially return an empty package, which would
confuse splitkeys. Cleanup the final package returned if it turns
out we didn't have valid data for it.

Fixes Debian bug #716350

Only seed initial Debian package database if key file is available.

If the Debian package detected no keyring database on installation it
would seed the database with my key, from
/usr/share/doc/onak/noodles.key.gz. This is against Debian policy 12.3 -
packages cannot require files from /usr/share/doc/ to function. Only
seed the database if the file exists, avoiding issues installing when
skipping /usr/share/doc/

Fixes Debian bug #710665.

Move stats_key structure to stats.h

It still ends up pulled into the core objects by mem.c / hash.c,
but we no longer pollute keystructs.h

Remove dependency on onak-conf and logthing for splitkeys

No need for this to pull either the overall onak config or logthing in.