Allow building without libgtest-dev under <nocheck> build profile

I'd like to avoid pulling libgtest-dev into the bootstrap set.

Fortunately, libgtest-dev is only used for testing apt and apt
correctly implements DEB_BUILD_OPTIONS=nocheck now. So this
bug is about getting rid of the Build-Depends.

Simply removing it (by adding a build profile) is not sufficient
however as configure fails hard, so an additional bit is necessary
to cover for that.

Closes: #809726

Change compressor costs to be 100 apart

This will give us the freedom to insert more compressors at
positions in between.

Also change the cost of uncompressed to 0, as that really has
no overhead, and the values do not really mean much.

simple_compressor: Provide some accessors for end and free

This makes code easier to read, and somewhat more correct.

Gbp-Dch: ignore

simple_buffer: Allow buffer size to change

Gbp-Dch: ignore

prepare-release: travis: Ignore build profiles in build-depends

This aids our introduction of lz4, which we do not want to impose
as an additional requirement for bootstrappers.

Gbp-Dch: ignore

Add new APT::Keep-Downloaded-Packages option

This option controls if downloaded packages should be kept after
a successful install or if they should be deleted. The default
for "apt-get" is that they are kept (just like before).

However the default for "apt" is that they get deleted.

Closes: #160743

Add bash-completion support for the "apt" command

The apt bash-completion support was submited to the bash-completion
package as a patch in May 2014. It is still not included to this
date and because it is an important feature for many users it is
now part of apt until the bash-completion package is mantained
more actively again.

Note that the "Relaces" line is only required for Ubuntu it will
have no effect on Debian.

Closes: #747094

Add support for APT::Periodic::CleanInterval

In order to allow regular cleaning of the downloaded deb archives
the new option APT::Periodic::CleanInterval is added. It will run
"apt-get clean" in the given time interval.

Thanks: Martin-Éric Racine

properly parse comments in apt_preferences and deb822-style sources

apt_preferences and deb822-style sources used the specialized class
pkgUserTagSection to deal with comments before/after a given stanza, but
it couldn't deal with comments in the stanza at all.

codesearch suggests that nobody else does and a vastely superior way of
working with potentially commented files is implemented now, so we can
officially discourage the use of the old incomplete hack class.

support comments in debian/control parsing

Now (55153bf94ff28a23318e79aa48242244c4d82b3c) that pkgTagFile can be
told to deal with all sorts of comments we can use this mode to parse
dsc (as by catch) and debian/control files properly even in the wake of
multiline fields spliced with comments like Build-Depends.

Closes: 806775

add optional support for comments in pkgTagFile

APT usually deals with perfectly formatted files generated automatically
be other programs – and as it has to parse multiple MBs of such files it
tries to be fast rather than forgiving.

This was always a problem if we reused this parser for files with a
deb822 syntax which are mostly written by hand however, like
apt_preferences or the deb822-style sources as these can include stray
newlines and more importantly comments all over the place.

As a stopgap we had pkgUserTagSection which deals at least with comments
before and after a given stanza, but comments in between weren't really
supported and now that we support parsing debian/control for e.g.
build-dep we face the full comment problem e.g. with comments inbetween
multi-line fields (like Build-Depends).

We can't easily deal with this on the pkgTagSection level as the interface
gives access to 'raw' char-pointers for performance reasons so we would
need to optionally add a buffer here on which we could remove comments
to hand out pointers into this buffer instead. The interface is quite
large already and supports writing stanzas as well, which does not
support comments at all either. So while in future it might make sense
to have a parser setup which deals with and keeps comments in this
commit we opt for the simpler solution for now: We officially declare
that pkgTagSection does not support comments and instead expect the
caller to deal with them, which in our case is pkgTagFile:

pkgTagFile is extended with an additional mode which can deal with
comments by dropping them from the buffer which will later form the
input of pkgTagSection. The actual implementation is slightly more
complex than this sentence suggests at first on one hand to have good
performance and on the other to allow jumping directly to stanzas with
offsets collected in a previous run (like our cache generation does it
for example).

fail installing build-deps if parsing them failed

Git-Dch: Ignore

Italian manpages translation update

Closes: 809522

Release 1.1.10

Do not sync the cache file

Integrity is taken care of by the checksum now.

Add support for calculating hashes over the entire cache

pkgCacheGenerator: Allow passing down an already created cache

If we already have opened a cache, there is no point in having
to open it again.

pkgTagSection::Scan: Fix read of uninitialized value

We ignored the boundary of the buffer we were reading in
while scanning for spaces.

strutl.cc: Add declarations for the compat _ascii() functions

This shuts up gcc

Gbp-Dch: ignore

Fix test case that was broken by switch of hash function

This test relies on the ordering of the hash function.

Turn tolower_ascii() and isspace_ascii() into inline functions

To preserve compatibility, the new inline functions have _inline
as a suffix, and a macro defines the old names to refer to the
inline variants.

The old functions are still preserved for binary compatibility.

Also simplify the implementation of both functions.

Switch to DJB hashing and use prime number as table size

On my testing system, consisting of unstable and experimental,
this reduces the average chain from 6.5 to 4.5, and the longest
chain from 17 to 15.

BufferedFileFdPrivate: Make InternalFlush() save against errors

Previously, if flush errored inside the loop, data could have
already been written to the wrapped descriptor without having
been removed from the buffer.

Also try to work around EINTR here. A better solution might be
to have the individual privates detect an interrupt and return
0 in such a case, instead of relying on errno being untouched
in between the syscall and the return from InternalWrite.

aptconfiguration: Set default compression level to 6

Since commit 7a68effcb904b4424b54a30e448b6f2560cd1078, the xz
and lzma compressors read the level of compression they shall
use.

A default of -9 is too much for them, this will use 674 MB,
according to the xz manual page. Level -6 on the other hand
only needs 94 MB memory for compression.

This causes autopkgtest failures in the test-compressed-indexes
test, as not enough memory exists to proceed.

Change the other compression levels to 6 as well: The gzip
and bzip2 FileFd backends do not read them, and use their
code's default level which is 6, so do the same for external
methods.

apt-helper: Use CopyFile() for concatenating the files

There's no point in keeping using yet another read-then-write
loop.

Gbp-Dch: ignore

BufferedWriter: flushing: Check for written < size instead of <=

This avoids some issues with InternalWrite returning 0 because
it just cannot write stuff at the moment.

fix 3 typos/omissions in apt.conf(5)

Closes: 809160

deal with empty values properly in deb822 parser

Regression introduced in 8710a36a01c0cb1648926792c2ad05185535558e,
but such fields are unlikely in practice as it is just as simple to not
have a field at all with the same result of not having a value.

Closes: 808102

Release 1.1.9

doc/acquire-additional-files.txt: Mention apt-helper cat-file

People should know that this is exists.

allow repositories to forbid arch:all for specific index targets

Debian has a Packages file for arch:all already, but the arch:any files
contain arch:all packages as well, so downloading it would be a total
waste of resources. Getting this solved is on the list of things to do,
but it is also the hardest part – for index targets like Contents the
situation is much easier and less server/client implementations are
involved so we might not want to stall them.

A repository can now declare via:
No-Support-for-Architecture-all: Packages
that even if an arch:all Packages exists, it shouldn't be downloaded, so
that support for Contents files can be added now.

See also 1dd20368486820efb6ef4476ad739e967174bec4 for the implementation
of downloading arch:all index targets, which this is limiting.

The field uses the name of the target from the apt configuration for
simplicity and is negative by design as this field is intended to be
supported/needed only for a "short" time (one or two Debian releases).

While this commit theoretically supports any target, its expected to
only see "Packages" as a value in reality.

pkgcachegen.h: Hack around unordered_map not existing before C++11

This is for public users only, which cannot use the class at all,
except for the static methods.

rred: Use buffered writes

Buffered writes improve performance a lot, given that we spent
about 78% of the time in _write.

FileFd: Add a buffered writing mode

This is somewhat experimental right now, and might not work
for everyone, so it is on an opt-in basis.

FildFd: Introduce a Flush() function and call it from Close()

The flush function can be used for buffered writers.

FileFdPrivate: Add getter and setter for fields

We will soon implement a buffered writing decorator and we will
need to forward attribute changes to those.

fileutl: simple_buffer: Add write() and full() methods

These can be used to implement write buffering

Gbp-Dch: ignore

fileutl: simple_buffer: Mark accessors as const

Suggested by David.

Gbp-Dch: ignore

FileFdPrivate: Extract SimpleBuffer and mark it as hidden

Gbp-Dch: ignore

rred: Only call pkgInitConfig() in test mode

This accidentally slipped in in a previous commit, but it should
be used only for testing mode.

Reported-By: David Kalnischkies <david@kalnischkies.de>

ParseDepends: Mark branches for build-dep parsing as unlikely

We do not see those branches at all during normal mode of
operation (that is, during cache generation), so tell the
compiler about it.

debListParser: Do not validate Description-md5 for correctness twice

The Set() method returns false if the input is no hex number,
so simply use that.

Hex2Digit: Do not use isxdigit()

We directly check if we are a hex digit in HexDigit, so use that
information.

[jak@debian.org: Commit message wording]

debListParser: ParseDepends: Only query native arch if needed

This makes the code parsing architecture lists slower, but on
the other hand, improves the more generic case of reading
dependencies from Packages files.

pkgcachegen: Use std::unordered_map instead of std::map

std::unordered_map is faster than std::map in our use case,
reducing cache generation time by about 10% in my benchmark.

Convert most callers of isspace() to isspace_ascii()

This converts all callers that read machine-generated data,
callers that might work with user input are not converted.

Introduce isspace_ascii() for use by parsers

This is like isspace(), but ignores the current locale.

Release 1.1.8

This release is made for Niels Thykier and apt-file.

apt-helper: Check that we can open stdout

Gbp-Dch: ignore

Refactor InternalReadLine to not unroll Size == 0 case

There is not much point and this is more readable.

Gbp-Dch: ignore

Change InternalReadLine to always use buffer.read() return value

This is mostly a documentation issue, as the size we want to
read is always less than or equal to the size of the buffer,
so the return value will be the same as the size argument.

Nonetheless, people wondered about it, and it seems clearer
to just always use the return value.

apt-helper: Add a cat-file command for concatening files

This can automatically handle compressed files and is useful
for stuff like apt-file.

Release 1.1.7

Get rid of memmove() in our read buffering

This further improves our performance, and rred on uncompressed
files now spents 78% of its time in writing. Which means that
we should really look at buffering those.

rred: Allow passing files as arguments for compressor testing

This introduces a -t mode in which the first argument is input,
the second is output and the remaining are diffs.

This allows us to test patching compressed files, which are
detected using their file extension.

Use a hardcoded buffer size of 4096 to fix performance

The code uses memmove() to move parts of the buffer to the
front when the buffer is only partially read. By simply
reading one page at a time, the maximum size of bytes that
must be moved has a hard limit, and performance improves:

In one test case, consisting of a 430 MB Contents file,
and a 75K PDiff, applying the PDiff previously took about
48 seconds and now completes in 2 seconds.

Further speed up can be achieved by buffering writes, they
account for about 60% of the run-time now.

Mark all FileFdPrivate classes as hidden

Gbp-Dch: ignore

1.1.6 Christmas release

fix new[] vs delete mismatch introduced by b3db9d81

And as we are at it lets fix the 'style' issue I introduced with the
filefd changes as well.

Reported-By: gcc -fsanitize's & cppcheck
Git-Dch: Ignore

ensure we got a lock in clean operation

We try to acquired the locks, but we didn't stop if we failed to get it…

Closes: 808561

use a dynamic buffer for ReadLine

We don't need the buffer that often - only for ReadLine - as it is only
occasionally used, so it is actually more efficient to allocate it if
needed instead of statically by default. It also allows the caller to
influence the buffer size instead of hardcoding it.

Git-Dch: Ignore

implement a buffer system for FileFd::ReadLine

The default implementation of ReadLine was very naive by just reading
each character one-by-one. That is kinda okay for libraries implementing
compression as they have internal buffers (but still not great), but
while working with files directly or via a pipe as there is no buffer
there so all those reads are in fact system calls.

This commit introduces an internal buffer in the FileFd implementation
which is only used by ReadLine. The more low-level Read and all other
actions remain unbuffered – they just changed to deal with potential
"left-overs" in the buffer correctly.

Closes: 808579

parse xz-compression level from configuration

If we use the library to compress xz, still try to understand and pick
up the arguments we would have used to call xz to figure out which level
the user wants us to use instead of defaulting to level 6 (which is the
default level of xz).

follow dpkg and xz and use CRC64 for xz compression

dpkg switched from CRC32 to CRC64 in
777915108d9d36d022dc4fc4151a615fc95e5032 with the message:
| This is the default CRC used by the xz command-line tool, align with
| it and switch from CRC32 to CRC64. It should provide slightly better
| detection against damaged data, at a negligible speed difference.

shuffle compressor-specific code into private subclasses

This isn't implementing any new features, it is "just" moving code
around from FileFd methods which decided on each call how to handle the
request by including all logic for all possible compressor backends in
the method body to a model in which backend-specifics are implemented in
a FileFdPrivate subclass. This avoids a big chunk of #ifdef's and should
make it a tiny bit more obvious which backend uses which code.

The execution of the idea is slightly uglified by the need to preserve
ABI and API which causes liberal befriending.

Git-Dch: Ignore

tests: support gpg2 properly in all testcases

The output changes slightly between different versions, which we already
dealt with in the main testcase for apt-key, but there are two more
which do not test both versions explicitly and so still had gpg1 output
to check against as this is the default at the moment.

Git-Dch: Ignore

avoid triggering gpg2 migration in apt-key

The presents (even of an empty) secring.gpg is indication enough for
gpg2 to tigger the migration code which not only produces a bunch of
output on each apt-key call, but also takes a while to complete as an
agent needs to be started and all that.

We workaround the first part by forcing the migration to happen always
in a call we forced into silence, but that leaves us with an agent to
start all the time – with a bit of reordering we can make it so that we
do not explicitly create the secring, but let gpg create it if needed,
which prevents the migration from being triggered and we have at least a
bit less of a need for an agent. Changes - even to public only keyrings
- still require one, but such actions are infrequent in comparison to
verification calls, so that should be a net improvement.

avoid evaluating shell in paths used in apt-key

apt-key creates internally a script (since ~1.1) which it will call to
avoid dealing with an array of different options in the code itself, but
while writing this script it wraps the values in "", which will cause
the shell to evaluate its content upon execution.
To make 'use' of this either set a absolute gpg command or TMPDIR to
something as interesting as:
"/tmp/This is fü\$\$ing cràzy, \$(man man | head -n1 | cut -d' ' -f1)\$!"

If such paths can be encountered in reality is a different question…

tests: support spaces in path and TMPDIR

This doesn't allow all tests to run cleanly, but it at least allows to
write tests which could run successfully in such environments.

Git-Dch: Ignore

buildsystem: deal with spaces in path to source

Git-Dch: Ignore

Do not try to read in FileFd::Read() if Size is 0

There's no point trying to read 0 bytes, so let's just not
do this and switch to a while loop like in Write().

Gbp-Dch: ignore

Do nothing in FileFd::Write() if Size is 0

Turn the do-while loop into while loops, so it simply does nothing
if the Size is already 0.

This reverts commit c0b271edc2f6d9e5dea5ac82fbc911f0e3adfa7a which
introduced a fix for a specific instance of the issue in the
CopyFile() function.

Closes: #808381

CopyFile: avoid failing on EOF on some systems

On EOF, ToRead will be 0, which might trigger on some systems (e.g.
on the Hurd) an error due to the invalid byte count passed to write().
The whole loop already checks for ToRead != 0, so perform the writing
step only when there was actual data read.

Closes: #808381

CopyFile: fix BufSize to a sane value

Commit e977b8b9234ac5db32f2f0ad7e183139b988340d tries to make BufSize
calculated based on the size of the buffer; the problem is that
std::unique_ptr::size() returns a pointer to the data, so sizeof()
equals to the size of a pointer (later divided by sizeof(char), which
is 1). The result is that the CopyFile copies in chunks of 8 bytes,
which is not exactly ideal...

As solution, declare BufSize in advance, and use its value to allocate
the Buf array.

Closes: #808381

Fix FileUtlTest.GetTempDir failure when run as root

Testing /usr as TMPDIR assumes that GetTempDir() cannot use it
because it cannot write to it; this is true for non-root users, but
not so much for root.

Since root can access everything, perform this particular test case
only when not running as root.

Closes: #808383

Release 1.1.5

test-apt-download-progress: Run the https test multiple times

This filters out errors due to timing issues. Early exits if
enough pulses occured.

pkgcache: Make hash arch-independent using fixed size integer

This helps writing test cases. Also adapt the test case that
expected 64-bit.

Nothing changes performance wise, the distribution of the hash
values remains intact.

debian/apt.auto-removal.sh: Adjust -dbg exclusion for multi-arch

Allow an optional colon followed by anything at the end.

tagfile: Hardcode error message for out of range integer values

This makes the test suite work on 32 bit-long platforms.

Gbp-Dch: ignore

test framework: More noopchroot fixes

Use asprintf() so we have easy error detection and do not depend
on PATH_MAX.

Do not add another separator to the generated path, in both cases
the path inside the chroot is guaranteed to have a leading /
already.

Also pass -Wall to gcc.

test framework: Unset no_proxy as well

This caused test-bug-717891-abolute-uris-for-proxies to fail

Gbp-Dch: ignore

test framework: Unset http proxy variables in setupenvironment

This breaks a lot of test cases

Gbp-Dch: ignore

test framework: Correctly generate new paths in noopchroot

The allocated buffer was one byte too small. Allocate a buffer
of PATH_MAX instead and use snprintf(), as suggested by Martin
Pitt.

test-apt-download-progress: Limit rate to 600k

This reduces the chance that the test fails.

Gbp-Dch: ignore

test-apt-download-progress: Allow smaller progress change

Instead of checking for [10%, 100%), check for (0%, 100%),
that is everything < 100% and >0%.

Gbp-Dch: ignore

test-sourceslist-lang-plusminus-options: Use amd64 architecture

This should make the test work on non-amd64 systems

Gbp-Dch: ignore

tests: Depend on libfile-fcntllock-perl to shut up dpkg-gencontrol

Ubuntu's autopkgtest server always prints

  dpkg-gencontrol: warning: File::FcntlLock not available; using flock which is not NFS-safe

which is somewhat annoying. Work around that by depending on that
perl stuff for the test suite.

Gbp-Dch: ignore

non-existing directories don't need to be cleaned

Trying to clean up directories which do not exist seems rather silly if
you think about it, so let apt think about it and stop it.

Depends a bit on the caller if this is fixing anything for them as they
might try to acquire a lock or doing other clever things as apt does.

Closes: 807477

support regex and co in 'apt-cache policy $pkg' again

Regression of 1e064088bf7b3e29cd36d30760fb3e4143a1a49a (1.1~exp4) which
moved code around and renamed methods heavily ending up calling the
wrong method matching packagenames only instead of calling the full
array. Most commands work with versions, so this managed to fly under
the radar for quite a while.

Closes: 807870

show a more descriptive error for weak Release files

If we can't work with the hashes we parsed from the Release file we
display now an error message if the Release file includes only weak
hashes instead of downloading the indexes and failing to verify them
with "Hash Sum mismatch" even through the hashes didn't mismatch (they
were just weak).

If for some (unlikely) reason we have got weak hashes only for
individual targets we will show a warning to this effect (again, befor
downloading and failing the index itself).

Closes: 806459

redirect which stderr to /dev/null for consistency

The "standard" which (debianutils) has no output whatsoever on stderr,
bash and dash which use this implementation therefore haven't either.
In zsh 'which' is a shell built-in – and has no stderr output either, it
does print an error message on stdout…

So, realistically, a redirection isn't needed at all, but it also can't
hurt (<- I have said that before in this context ->) so why not for
consistency with… well, not with "command -v" as that hasn't an error
message either. Lets say for consistency with my mental image of shell,
as I am still a bit puzzled by zsh's which and now could imagine even
more strange things in other shells.

Closes: 807373

mention APT::AutoRemove::{Recommends,Suggests}Important option

Closes: 807413

fix incorrect Korean translation of "manually" and "automatically"

Korean translation update is attached.
I downloaded the original from https://www.debian.org/international/l10n/po/ko.

Originally, "manually" and "automatically" were translated same,
which was confusing.

Mail-Reference: <CAPrzcnL_YynHQkCSE4xH29eW1O0Q6SPhoSf21KOFTu=Vv6-0Nw@mail.gmail.com>
Mail-Archive: https://lists.debian.org/deity/2015/12/msg00108.html

parse .diff/Index hashes in reverse order

Reversing the parsing order ensures that we parse weaker hashes (like
SHA1) before we touch newer/stronger hashes (like SHA256) as the weaker
ones will usually be there for a longer time already with data already
present, which we would discard if we start with the strong one first.

The discarding is visible in the debug logs:
File X wasn't in the list for the first parsed hash! (history)
File X wasn't in the list for the first parsed hash! (patches)
which if file X is part of the patch-path means apt will not find a path and
fallback to acquire the whole file instead needlessly.
If file X isn't part of the patch-path that is no problem, so that
effects only the update-call which updates with patches coming from
before and after the addition of a new hash.

fix typos and docs in GlobalError documentation

Reported-By: Manuel A. Fernandez Montecelo <mafm@debian.org>
Git-Dch: Ignore

update symbols files to 1.1.4 state of affairs

check library was built before comparing with symbols file

Git-Dch: Ignore

.travis.yml: Switch to new trusty machines

Yay, newer server

Gbp-Dch: ignore

mmap: Define _DEFAULT_SOURCE instead of _BSD_SOURCE

Fixes a warning reported by gcc.

Gbp-Dch: ignore