mark not-declared helper function for showsrc as static

Git-Dch: Ignore

Do not show multiple identical apt-cache showsrc entries

Closes: #734922

test-apt-acquire-additional-files: Set file mode of touched files

This prevents a test suite failure on systems with weird umasks.

Also set umask 000 at the beginning so we can actually check for
that anywhere.

Gbp-Dch: ignore

Only enable pipelining if server is HTTP/1.1

Just enabling it for anyone breaks with HTTP/1.0 servers and
proxies sometimes.

Closes: #810796

AUTHORS: Update: I am active, bubulle is not

Gbp-Dch: ignore

Sort the list of sources to be built and linked

Fix reproducibility issue due to readdir() order by sorting
the list of sources to be built and linked.

[jak@debian.org: Added summary and fixed typo]

Closes: #810509

search: Handle packages without description

If a package has no description, we would crash in search. While
this should not happen, there seem to be some weird cases where
it does.

A safer way might be to make the whole parser thing safe
against this, so pkgRecords::Lookup(Desc.FileList()) works
and returns a parser where all values are empty. This would
also fix all other instances of this bug, if there are any.

Closes: #810622

Version the build-depends on liblz4-dev to >= 0.0~r126

We need r126 of lz4, as this introduces the lz4frame.h
header.

Bump dpkg-dev and debhelper build-dep to make lintian happy

This is not really needed anymore, as those are in stable,
but as they are versioned already, let's just do it.

Gbp-Dch: ignore

Do not break apt-file (<< 3.0~exp1~), 2.X works fine

There's no point in breaking all older apt-file versions just
because one old experimental upload was broken.

NEWS: Refer to apt(8) instead of apt(1)

Reported-By: Mattia Rizzolo (on IRC)
Gbp-Dch: ignore

Release 1.2~exp1

Break apt-file (<< 3.0~exp1~)

Gbp-Dch: ignore

Install bash completion with correct name

Move the completion to completions/bash/apt and install all
bash completions from completions/bash.

Gbp-Dch: ignore

libapt-pkg5.0: Add Breaks appstream (<< 0.9.0-3~)

This ensures that a compatible version of appstream is
installed, that is, one that disables lz4 compression
for its data.

Store the size of strings in the cache

By storing the size of the string in the cache, we can make use of
it when comparing the names in the hashtable in pkgCache::FindGrp.

HashSumValue::Set: Do not provide const char* overload

Hide the std::string overload instead of providing a
const char * one, the old variant was stupid.

Gbp-Dch: ignore

debListParser: Convert another ParseDepends to StringView

I overlooked this

Gbp-Dch: ignore

NEWS: Document recompression of indices

remove uncompressed leftover partial file before pdiff bootstrap

The code already deals with compressed leftovers, but forgot the
uncompressed files. The opertunity is picked to reorder this code and
add debug messages about the actions taken as well as produce such a
leftover file in the associated testcase.

use filesize of compressed pdiffs for the limit if possible

With the addition of the $HASH-Download field in the .diff/Index we got
the size of the compressed patches for 'free', so if that information is
available we can use it for a more fitting calculation of the size
requirements of the patches vs. the complete file.

Note that this predicts a too small size in the transition case in which
the information isn't available for all patches, but figuring this out
would be a lot of code for practically nothing as only one update can
ever be in such a transition phase.

tests: limit autotest-functionname generation to sane characters

Some (older) versions of bash seem to be allergic to a method named
"aptautotest_grep_^apt" (note the caret). Unlikely that we are going to
write autotests for such commands so we could just skip those, but lets
instead just use "normal" characters in the names and strip the rest as
we already did with the (arguable more common) '-'.

support '-' and no parameter for stdin in apt-helper cat-file

This way it works more similar to the compressor binaries, which we
can relief in this way from their job in the test framework avoiding the
need of adding e.g. liblz4-tool to the test dependencies.

keep compressed indexes in a low-cost format

Downloading and storing are two different operations were different
compression types can be preferred. For downloading we provide the
choice via Acquire::CompressionTypes::Order as there is a choice to
be made between download size and speed – and limited by whats available
in the repository.

Storage on the other hand has all compressions currently supported by
apt available and to reduce runtime of tools accessing these files the
compression type should be a low-cost format in terms of decompression.

apt traditionally stores its indexes uncompressed on disk, but has
options to keep them compressed. Now that apt downloads additional files
we also deal with files which simply can't be stored uncompressed as
they are just too big (like Contents for apt-file). Traditionally they
are downloaded in a low-cost format (gz) as repositories do not provide
other formats, but there might be even lower-cost formats and for
download we could introduce higher-cost in the repositories.

Downloading an entire index potentially requires recompression to
another format, so an update takes potentially longer – but big files
are usually updated via pdiffs which has to de- and re-compress anyhow
and does it on the fly anyhow, so there is no extra time needed and in
general it seems to be benefitial to invest the time in update to save
time later on file access.

tests: try to pick up compressors from config automatically

Less hardcoding should help while introducing new compressors.

Git-Dch: Ignore

allow pdiff bootstrap from all supported compressors

There is no reason to enforce that the file we start the bootstrap with
is compressed with a compressor which is available online. This allows
us to change the on-disk format as well as deals with repositories
adding/removing support for a specific compressor.

ensure compression cleanup even without lists-cleanup

If we store files compressed in lists/ and the file switched compression
formats we happened to retain the "old" format, but by default the
cleanup process catched this oversight and removed the file.
[The initial situation described doesn't arise as we store no files by
default compressed and even with apt-file configuring Contents files, we
don't really have that problem as there is just .gz files for those.]

We solve this by just removing any uncompressed as well as compressed
(we support) file just before we move the 'new' version of the file in.

use one 'store' method to rule all (de)compressors

Adding a new compressor method meant adding a new method as well – even
if that boilt down to just linking to our generalized decompressor with
a new name. That is unneeded busywork if we can instead just call the
generalized decompressor and let it figure out which compressor to use
based on the filenames rather than by program name.

For compatibility we ship still 'gzip', 'bzip2' and co, but they are
just links to our "new" 'store' method.

include all compressed Packages/Sources files in Release file

Having a hardcoded list of compression types here doesn't really provide
us with anything beside added complexity each time someone adds a new
compression type. That we don't need to be that specific is evident by
Contents and Translation-* matchers which are a lot more generic and
didn't generate problems anyhow.

fix typo in SrvRecords documentation

Git-Dch: Ignore

AvailableDescriptionLanguages: Use one string for all iterations

Do not create strings within the loop, that creates one string
per language and does more work than needed. Instead, reserve
enough space at the beginning and assign the prefix, and then
resize and append inside the loop.

Also call exists with the string itself instead of the c_str(),
this means that the lookup uses the size information in the
string now and does not have to call strlen() on it.

pkgCacheGenerator: CurMd5.Value() cannot be empty

It makes no sense to check if the value is empty, as it cannot
be. It will always be a hexstring of exactly 32 bytes.

operator==(char*, StringView) use StringView.operator==

Use the same path for both comparisons, as the operator== path
is faster than just calling compare() - it avoids any comparison
if the size differs.

Gbp-Dch: ignore

pkgCacheGenerator::hash: Do not call tolower_ascii()

Gbp-Dch: ignore

pkgCacheGenerator::StoreString: Get rid of std::string

Instead of storing a string -> map_stringitem_t mapping, create
our own data type that can point to either a normal string or
a string inside the cache.

This avoids the creation of any string and improves performance
slightly (about 4%).

Replace compare() == 0 checks with this == other checks

This improves performance, as we now can ignore unequal strings
based on their length already.

Gbp-Dch: ignore

pkgCacheGenerator: Use StringView for toString

This removes some minor overhead.

Gbp-Dch: ignore

pkgCacheGenerator::StoreString: Move the string into the map

Moving the string is likely faster than copying it. We could probably
avoid strings alltogether in the future using some more crazy code,
but I have not looked at that yet.

Gbp-Dch: ignore

StringView: rfind: pos should be end of substr, not start

Gbp-Dch: ignore

StringView: pos argument default should be npos

Gbp-Dch: ignore

StringView::rfind(): Call rfind() instead of find() on subst

Thanks: Niels Thykier for reporting on IRC
Gbp-Dch: ignore

Switch performance critical code to use APT::StringView

This improves performance of the cache generation on my
ARM platform (4x Cortex A15) by about 10% to 20% from
2.35-2.50 to 2.1 seconds.

Introduce internal APT::StringView class

The class APT::StringView implements a drop-in replacement
for a subset of C++17 std::string_view() features. It will
be dropped at a later point and may not be used in public
interfaces.

rred: Run in parallel

Remove the SingleInstance flag so we can use the new randomized
queue feature to run parallel.

acquire: Allow parallelizing methods without hosts

The maximum parallelization soft limit is the number of CPU
cores * 2 on systems defining _SC_NPROCESSORS_ONLN. The hard
limit in all cases is Acquire::QueueHost::Limit.

CopyFile: Use 64 * 1024 instead of 64000 as buffer size

This is a multiple of the page size and thus results in less
page faults, speeding up copying.

Also, while we're at at, unify all uses of that size in a
constant variable APT_BUFFER_SIZE.

apt-helper: cat-file: Add -C/--compress option

This allows passing compressing the output. The compressor must
be a compressor name, extension, or an extension without the
leading dot.

FileFd: (native) LZ4 support

Implement native support for LZ4 compression, using the official
lz4 library.

travis: pull liblz4-dev from wily

Do not remove a not working SrvRecords server twice

The PopFromSrvRecs() already removed the entry from the active
list, so the extra SrvRecords.erase() was incorrect.

Git-Dch: ignore

Add documentation about the SrvRecords support in apt

Git-Dch: ignore

Document new APT::Keep-Downloaded-Packages option in NEWS

Git-Dch: ignore

test-apt-cache: Adjust for hashtable size change

Gbp-Dch: ignore

Increase APT::Cache-HashTableSize default to 50503

This drop the hash table utilization from a high 98%
to acceptable 74% on unstable, and the average bucket length
from 4.6 to 1.8.

This improves performance by about 5%, while increasing
the size of the cache by 0.2 out of 38MB, that is 0.5%.

48481 is a nice number

apt-cache: stats: Show a table utilization as percentage

Gbp-Dch: ignore

apt-cache: stats: Average is over used, not all, buckets

It does not make sense to consider empty buckets in the
average, as they do not affect the lookup performance.

Allow building without libgtest-dev under <nocheck> build profile

I'd like to avoid pulling libgtest-dev into the bootstrap set.

Fortunately, libgtest-dev is only used for testing apt and apt
correctly implements DEB_BUILD_OPTIONS=nocheck now. So this
bug is about getting rid of the Build-Depends.

Simply removing it (by adding a build profile) is not sufficient
however as configure fails hard, so an additional bit is necessary
to cover for that.

Closes: #809726

Change compressor costs to be 100 apart

This will give us the freedom to insert more compressors at
positions in between.

Also change the cost of uncompressed to 0, as that really has
no overhead, and the values do not really mean much.

simple_compressor: Provide some accessors for end and free

This makes code easier to read, and somewhat more correct.

Gbp-Dch: ignore

simple_buffer: Allow buffer size to change

Gbp-Dch: ignore

prepare-release: travis: Ignore build profiles in build-depends

This aids our introduction of lz4, which we do not want to impose
as an additional requirement for bootstrappers.

Gbp-Dch: ignore

Add new APT::Keep-Downloaded-Packages option

This option controls if downloaded packages should be kept after
a successful install or if they should be deleted. The default
for "apt-get" is that they are kept (just like before).

However the default for "apt" is that they get deleted.

Closes: #160743

Add bash-completion support for the "apt" command

The apt bash-completion support was submited to the bash-completion
package as a patch in May 2014. It is still not included to this
date and because it is an important feature for many users it is
now part of apt until the bash-completion package is mantained
more actively again.

Note that the "Relaces" line is only required for Ubuntu it will
have no effect on Debian.

Closes: #747094

Add support for APT::Periodic::CleanInterval

In order to allow regular cleaning of the downloaded deb archives
the new option APT::Periodic::CleanInterval is added. It will run
"apt-get clean" in the given time interval.

Thanks: Martin-Éric Racine

properly parse comments in apt_preferences and deb822-style sources

apt_preferences and deb822-style sources used the specialized class
pkgUserTagSection to deal with comments before/after a given stanza, but
it couldn't deal with comments in the stanza at all.

codesearch suggests that nobody else does and a vastely superior way of
working with potentially commented files is implemented now, so we can
officially discourage the use of the old incomplete hack class.

support comments in debian/control parsing

Now (55153bf94ff28a23318e79aa48242244c4d82b3c) that pkgTagFile can be
told to deal with all sorts of comments we can use this mode to parse
dsc (as by catch) and debian/control files properly even in the wake of
multiline fields spliced with comments like Build-Depends.

Closes: 806775

add optional support for comments in pkgTagFile

APT usually deals with perfectly formatted files generated automatically
be other programs – and as it has to parse multiple MBs of such files it
tries to be fast rather than forgiving.

This was always a problem if we reused this parser for files with a
deb822 syntax which are mostly written by hand however, like
apt_preferences or the deb822-style sources as these can include stray
newlines and more importantly comments all over the place.

As a stopgap we had pkgUserTagSection which deals at least with comments
before and after a given stanza, but comments in between weren't really
supported and now that we support parsing debian/control for e.g.
build-dep we face the full comment problem e.g. with comments inbetween
multi-line fields (like Build-Depends).

We can't easily deal with this on the pkgTagSection level as the interface
gives access to 'raw' char-pointers for performance reasons so we would
need to optionally add a buffer here on which we could remove comments
to hand out pointers into this buffer instead. The interface is quite
large already and supports writing stanzas as well, which does not
support comments at all either. So while in future it might make sense
to have a parser setup which deals with and keeps comments in this
commit we opt for the simpler solution for now: We officially declare
that pkgTagSection does not support comments and instead expect the
caller to deal with them, which in our case is pkgTagFile:

pkgTagFile is extended with an additional mode which can deal with
comments by dropping them from the buffer which will later form the
input of pkgTagSection. The actual implementation is slightly more
complex than this sentence suggests at first on one hand to have good
performance and on the other to allow jumping directly to stanzas with
offsets collected in a previous run (like our cache generation does it
for example).

fail installing build-deps if parsing them failed

Git-Dch: Ignore

Italian manpages translation update

Closes: 809522

Release 1.1.10

Do not sync the cache file

Integrity is taken care of by the checksum now.

Add support for calculating hashes over the entire cache

pkgCacheGenerator: Allow passing down an already created cache

If we already have opened a cache, there is no point in having
to open it again.

pkgTagSection::Scan: Fix read of uninitialized value

We ignored the boundary of the buffer we were reading in
while scanning for spaces.

strutl.cc: Add declarations for the compat _ascii() functions

This shuts up gcc

Gbp-Dch: ignore

Fix test case that was broken by switch of hash function

This test relies on the ordering of the hash function.

Turn tolower_ascii() and isspace_ascii() into inline functions

To preserve compatibility, the new inline functions have _inline
as a suffix, and a macro defines the old names to refer to the
inline variants.

The old functions are still preserved for binary compatibility.

Also simplify the implementation of both functions.

Switch to DJB hashing and use prime number as table size

On my testing system, consisting of unstable and experimental,
this reduces the average chain from 6.5 to 4.5, and the longest
chain from 17 to 15.

BufferedFileFdPrivate: Make InternalFlush() save against errors

Previously, if flush errored inside the loop, data could have
already been written to the wrapped descriptor without having
been removed from the buffer.

Also try to work around EINTR here. A better solution might be
to have the individual privates detect an interrupt and return
0 in such a case, instead of relying on errno being untouched
in between the syscall and the return from InternalWrite.

aptconfiguration: Set default compression level to 6

Since commit 7a68effcb904b4424b54a30e448b6f2560cd1078, the xz
and lzma compressors read the level of compression they shall
use.

A default of -9 is too much for them, this will use 674 MB,
according to the xz manual page. Level -6 on the other hand
only needs 94 MB memory for compression.

This causes autopkgtest failures in the test-compressed-indexes
test, as not enough memory exists to proceed.

Change the other compression levels to 6 as well: The gzip
and bzip2 FileFd backends do not read them, and use their
code's default level which is 6, so do the same for external
methods.

apt-helper: Use CopyFile() for concatenating the files

There's no point in keeping using yet another read-then-write
loop.

Gbp-Dch: ignore

BufferedWriter: flushing: Check for written < size instead of <=

This avoids some issues with InternalWrite returning 0 because
it just cannot write stuff at the moment.

fix 3 typos/omissions in apt.conf(5)

Closes: 809160

deal with empty values properly in deb822 parser

Regression introduced in 8710a36a01c0cb1648926792c2ad05185535558e,
but such fields are unlikely in practice as it is just as simple to not
have a field at all with the same result of not having a value.

Closes: 808102

Release 1.1.9

doc/acquire-additional-files.txt: Mention apt-helper cat-file

People should know that this is exists.

allow repositories to forbid arch:all for specific index targets

Debian has a Packages file for arch:all already, but the arch:any files
contain arch:all packages as well, so downloading it would be a total
waste of resources. Getting this solved is on the list of things to do,
but it is also the hardest part – for index targets like Contents the
situation is much easier and less server/client implementations are
involved so we might not want to stall them.

A repository can now declare via:
No-Support-for-Architecture-all: Packages
that even if an arch:all Packages exists, it shouldn't be downloaded, so
that support for Contents files can be added now.

See also 1dd20368486820efb6ef4476ad739e967174bec4 for the implementation
of downloading arch:all index targets, which this is limiting.

The field uses the name of the target from the apt configuration for
simplicity and is negative by design as this field is intended to be
supported/needed only for a "short" time (one or two Debian releases).

While this commit theoretically supports any target, its expected to
only see "Packages" as a value in reality.

pkgcachegen.h: Hack around unordered_map not existing before C++11

This is for public users only, which cannot use the class at all,
except for the static methods.

rred: Use buffered writes

Buffered writes improve performance a lot, given that we spent
about 78% of the time in _write.

FileFd: Add a buffered writing mode

This is somewhat experimental right now, and might not work
for everyone, so it is on an opt-in basis.

FildFd: Introduce a Flush() function and call it from Close()

The flush function can be used for buffered writers.

FileFdPrivate: Add getter and setter for fields

We will soon implement a buffered writing decorator and we will
need to forward attribute changes to those.

fileutl: simple_buffer: Add write() and full() methods

These can be used to implement write buffering

Gbp-Dch: ignore

fileutl: simple_buffer: Mark accessors as const

Suggested by David.

Gbp-Dch: ignore

FileFdPrivate: Extract SimpleBuffer and mark it as hidden

Gbp-Dch: ignore

rred: Only call pkgInitConfig() in test mode

This accidentally slipped in in a previous commit, but it should
be used only for testing mode.

Reported-By: David Kalnischkies <david@kalnischkies.de>

ParseDepends: Mark branches for build-dep parsing as unlikely

We do not see those branches at all during normal mode of
operation (that is, during cache generation), so tell the
compiler about it.

debListParser: Do not validate Description-md5 for correctness twice

The Set() method returns false if the input is no hex number,
so simply use that.

Hex2Digit: Do not use isxdigit()

We directly check if we are a hex digit in HexDigit, so use that
information.

[jak@debian.org: Commit message wording]

debListParser: ParseDepends: Only query native arch if needed

This makes the code parsing architecture lists slower, but on
the other hand, improves the more generic case of reading
dependencies from Packages files.