deal better with (very) small apt::cache-start values

It is a bit academic to support values which aren't big enough to fit even
the hashtables without resizing, but cleaning up ensures that we do the
right thing (aka not segfaulting) even if something goes wrong in these
deep layers. You still can't have very very small values through…

Git-Dch: Ignore

convert Version() and Architecture() to APT::StringView

Part of hidden classes, so conversion is abi-free.

Git-Dch: Ignore

remove unused Description methods in listparsers

These virtual methods are implemented in hidden classes, so we can drop
them without breaking the ABI.

Git-Dch: Ignore

get sources for packages in multiple releases again

In 321213f0dcdcdaab04e01663e7a047b261400c9c Andreas Cadhalpun corrected
the incorrect overriding of earlier better-fitting results with later
(semi-)matches – but that broke the case in which packages are in multiple
releases in the same version (and the user has both releases configured).

Closes: 812497

parse version correctly from binary Source field

In commit a221efc331693f8905da870141756c892911c433 I promoted the source
package name and version to the binary cache for faster access by e.g.
EDSP, but due to changing the interpretation length to soon we always
ignored the version part of the Source field, so that packages ended up
having the binary version as source version – which while usually just
fine it is wrong for binary rebuilds.

Closes: 812492

stablize gtest testcase environment

Avoid the dependency on a specific current path for the tar test and
ensure that _system is correctly initialized (gcc-6 runs into a segfault
otherwise and with it fixed starts to depend on the multi-arch
configuration of the running system… not good).

Git-Dch: Ignore

act on various suggestions from cppcheck

Reported-By: cppcheck
Git-Dch: Ignore

drop explicit check for EWOULDBLOCK if it has the same value as EAGAIN

gcc correctly reports that we check for the same value twice, expect
that the manpage of read(2) tells us to do it for portability, so to
make both sides happy lets add a little #if'ing here.

Reported-By: gcc-6
Git-Dch: Ignore

Delete copy constructor and operator= for Dynamic

This would mess up reference counting and should not be allowed
(it could be implemented correctly, but it would not be efficient
and we do not need it).

Gbp-Dch: ignore

fix tests run via sudo checking the history file

Git-Dch: Ignore

reimplement build-dep via apts normal resolver

build-dep was implemented by parsing the build-dependencies of a package
and figuring out which packages to install/remove based on this. That
means that for the first level of dependencies build-dep was
implementing its very own resolver with all the benefits (aka: bugs)
this gives us for not using the existing resolver for all levels.

Making this work involves generating a dummy binary package with fitting
Depends and Conflicts and as we can't create them out of thin air the
cache generation needs to be involved so we end up writing a Packages
file which we want to parse – after we have parsed the other Packages
files already. With .dsc/.deb files we could add them before we started
parsing anything.

With a bit of care we can avoid generating too much data we have to
throw away again (as many parts assume that e.g. the count of packages
doesn't change midair), so that on a speed front there shouldn't be
much of a difference, but output can be slightly confusing as if we have
a completely valid cache on disk the "Reading package lists... Done" is
printed two times – but apt is pretty quick about it in that case.

Closes: #137560, #444930, #489911, #583914, #728317, #812173

use consistently the last : as name:arch separator

Proper debian packages do not contain ':' in the package name, so for
real packages this is a non-issue, but apt itself frequently makes use
of packages with such an illegal name for internal proposes.

Git-Dch: Ignore

prefer upgrading installed provides satisfier

If you have chosen to install a foreign architecture provider it is
more reasonable to keep this provider instead of removing this one to
replace it with a newer version from a (usually) more preferred arch.

Git-Dch: Ignore

treat an empty dependency field just like it doesn't exist

Git-Dch: Ignore

always create pkg at the time pkg:arch is created

To resolve dependencies like "pkg:arch" we create a package with the
name "pkg:arch" and the architecture "any". We create these packages
only if a dependency needs it as these kind of dependencies aren't that
common. This commit ensured that in the even this architecture specific
dependency is the only relation this package has we still create the
underlying package to have them available in provides resolution.

Release 1.2.1

Use c++11 for loop in AptHistoryRequestingUser

Git-Dch: ignore

Store "Requested-By" user in history.log in a simpler format

Git-Dch: ignore
Thanks: David Kalnischkies

Log calling SUDO_USER or PKEXEC_UID in history.log

Thanks: Thomas Reusch

Remap another (non-parameter) StringView

I only looked at parameters in the previous commit, which was
not enough: One place also generated local string views. In this
case, we only need to make ArchA dynamic, as NameA is not used
after the FindPkg() call.

Gbp-Dch: ignore

Remap StringView instances pointing into the cache

It turns out that StringViews might need to be remapped in some
places because they come from the cache. For example, some sites
pass a Ver.VerStr() to NewProvides().

Such a StringView would become invalid during the duration of
the call if the cache is remapped, causing the program to die
with a segmentation fault.

We can take care of those issues by remapping string views in
the same way we remap all the iterators. String views are only
remapped if they point into the cache though, this allows us
to write more generic code on the callee site without having
to check whether the view points into the cache or not.
That's not as efficient as possible, but the overhead does not
appear to be measurable.

Closes: #812251

Pass the old map size to ReMap()

This allows us to check if a value to be remapped was inside
the cache or not, which will become useful at a later point.

Gbp-Dch: ignore

po: update zh_CN programs translation

Release 1.2

string_view: Drop constexpr constructor for standard compatibility

APT::StringView is supposed to be a temporary measure, until support
for the standardized string_view is widely available. Introducing
additional unstandardized features just makes porting to the
standard version harder.

The constexpr constructor also won't have any real effect on most
systems, as the compiler will happily optimise the strlen() call
away for constant strings.

Gbp-Dch: ignore

use APT::StringView for GrabWord

Git-Dch: Ignore

provide a constexpr char[] overload for APT::StringView

The commit also adds a few trivial tests

Git-Dch: Ignore

return correct position in APT::StringView::(r)find

The position returned is supposed to be the position of the character
counted from the start of the string, but if we used the substr calling
overloads the skipped over prefix wasn't considered. The pos parameter
of rfind had also the wrong semantic.

po: update simplified chinese programs translation

revert file-hash based action-merging in acquire

Introduced in 9d2a8a7388cf3b0bbbe92f6b0b30a533e1167f40 apt tries to
merge actions like downloading the same (as judged by hashes) file
into doing it once. The implementation was very simple in that it isn't
planing at all. Turns out that it works 90% of the time just fine, but
has issues in more complicated situations in which items can be in
different stages downloading different files emitting potentially the
"wrong" hash – like while pdiffs are worked on we might end up copying
the patch instead of the result file giving us very strange errors in
return. Reverting the change until we can implement a better planing
solution seems to be the best course of action even if its sad.

Closes: 810046

fix M-A:foreign provides creation for unknown archs

Architectures for packages which do not belong to the native nor a
foreign architecture (dubbed barbarian for now) which are marked
M-A:foreign still provide in their own architecture even if not for
others. Also, other M-A:foreign (and allowed) packages provide in these
barbarian architectures.

delay build-dep variable initialisation until needed

Git-Dch: Ignore

update symbols file

git-Dch: Ignore

evaluate sourceslist-list-format entity in vendors sources.list

Parsing XML entity files in shell isn't exactly nice and causing the
substitution with a while-read loop isn't either, but it seems to be
good enough for the moment without changing too much.

Thanks: Niels Thykier for reporting on IRC

change debian related entities to a more explicit name

Git-Dch: Ignore

ensure built en-manpages are ignored by git

Seems like the interaction between wildcards and exemptions has changed
slightly, so be positively more explicit about our ignoring of en.

Git-Dch: Ignore

mark not-declared helper function for showsrc as static

Git-Dch: Ignore

Do not show multiple identical apt-cache showsrc entries

Closes: #734922

test-apt-acquire-additional-files: Set file mode of touched files

This prevents a test suite failure on systems with weird umasks.

Also set umask 000 at the beginning so we can actually check for
that anywhere.

Gbp-Dch: ignore

Only enable pipelining if server is HTTP/1.1

Just enabling it for anyone breaks with HTTP/1.0 servers and
proxies sometimes.

Closes: #810796

AUTHORS: Update: I am active, bubulle is not

Gbp-Dch: ignore

Sort the list of sources to be built and linked

Fix reproducibility issue due to readdir() order by sorting
the list of sources to be built and linked.

[jak@debian.org: Added summary and fixed typo]

Closes: #810509

search: Handle packages without description

If a package has no description, we would crash in search. While
this should not happen, there seem to be some weird cases where
it does.

A safer way might be to make the whole parser thing safe
against this, so pkgRecords::Lookup(Desc.FileList()) works
and returns a parser where all values are empty. This would
also fix all other instances of this bug, if there are any.

Closes: #810622

Version the build-depends on liblz4-dev to >= 0.0~r126

We need r126 of lz4, as this introduces the lz4frame.h
header.

Bump dpkg-dev and debhelper build-dep to make lintian happy

This is not really needed anymore, as those are in stable,
but as they are versioned already, let's just do it.

Gbp-Dch: ignore

Do not break apt-file (<< 3.0~exp1~), 2.X works fine

There's no point in breaking all older apt-file versions just
because one old experimental upload was broken.

NEWS: Refer to apt(8) instead of apt(1)

Reported-By: Mattia Rizzolo (on IRC)
Gbp-Dch: ignore

Release 1.2~exp1

Break apt-file (<< 3.0~exp1~)

Gbp-Dch: ignore

Install bash completion with correct name

Move the completion to completions/bash/apt and install all
bash completions from completions/bash.

Gbp-Dch: ignore

libapt-pkg5.0: Add Breaks appstream (<< 0.9.0-3~)

This ensures that a compatible version of appstream is
installed, that is, one that disables lz4 compression
for its data.

Store the size of strings in the cache

By storing the size of the string in the cache, we can make use of
it when comparing the names in the hashtable in pkgCache::FindGrp.

HashSumValue::Set: Do not provide const char* overload

Hide the std::string overload instead of providing a
const char * one, the old variant was stupid.

Gbp-Dch: ignore

debListParser: Convert another ParseDepends to StringView

I overlooked this

Gbp-Dch: ignore

NEWS: Document recompression of indices

remove uncompressed leftover partial file before pdiff bootstrap

The code already deals with compressed leftovers, but forgot the
uncompressed files. The opertunity is picked to reorder this code and
add debug messages about the actions taken as well as produce such a
leftover file in the associated testcase.

use filesize of compressed pdiffs for the limit if possible

With the addition of the $HASH-Download field in the .diff/Index we got
the size of the compressed patches for 'free', so if that information is
available we can use it for a more fitting calculation of the size
requirements of the patches vs. the complete file.

Note that this predicts a too small size in the transition case in which
the information isn't available for all patches, but figuring this out
would be a lot of code for practically nothing as only one update can
ever be in such a transition phase.

tests: limit autotest-functionname generation to sane characters

Some (older) versions of bash seem to be allergic to a method named
"aptautotest_grep_^apt" (note the caret). Unlikely that we are going to
write autotests for such commands so we could just skip those, but lets
instead just use "normal" characters in the names and strip the rest as
we already did with the (arguable more common) '-'.

support '-' and no parameter for stdin in apt-helper cat-file

This way it works more similar to the compressor binaries, which we
can relief in this way from their job in the test framework avoiding the
need of adding e.g. liblz4-tool to the test dependencies.

keep compressed indexes in a low-cost format

Downloading and storing are two different operations were different
compression types can be preferred. For downloading we provide the
choice via Acquire::CompressionTypes::Order as there is a choice to
be made between download size and speed – and limited by whats available
in the repository.

Storage on the other hand has all compressions currently supported by
apt available and to reduce runtime of tools accessing these files the
compression type should be a low-cost format in terms of decompression.

apt traditionally stores its indexes uncompressed on disk, but has
options to keep them compressed. Now that apt downloads additional files
we also deal with files which simply can't be stored uncompressed as
they are just too big (like Contents for apt-file). Traditionally they
are downloaded in a low-cost format (gz) as repositories do not provide
other formats, but there might be even lower-cost formats and for
download we could introduce higher-cost in the repositories.

Downloading an entire index potentially requires recompression to
another format, so an update takes potentially longer – but big files
are usually updated via pdiffs which has to de- and re-compress anyhow
and does it on the fly anyhow, so there is no extra time needed and in
general it seems to be benefitial to invest the time in update to save
time later on file access.

tests: try to pick up compressors from config automatically

Less hardcoding should help while introducing new compressors.

Git-Dch: Ignore

allow pdiff bootstrap from all supported compressors

There is no reason to enforce that the file we start the bootstrap with
is compressed with a compressor which is available online. This allows
us to change the on-disk format as well as deals with repositories
adding/removing support for a specific compressor.

ensure compression cleanup even without lists-cleanup

If we store files compressed in lists/ and the file switched compression
formats we happened to retain the "old" format, but by default the
cleanup process catched this oversight and removed the file.
[The initial situation described doesn't arise as we store no files by
default compressed and even with apt-file configuring Contents files, we
don't really have that problem as there is just .gz files for those.]

We solve this by just removing any uncompressed as well as compressed
(we support) file just before we move the 'new' version of the file in.

use one 'store' method to rule all (de)compressors

Adding a new compressor method meant adding a new method as well – even
if that boilt down to just linking to our generalized decompressor with
a new name. That is unneeded busywork if we can instead just call the
generalized decompressor and let it figure out which compressor to use
based on the filenames rather than by program name.

For compatibility we ship still 'gzip', 'bzip2' and co, but they are
just links to our "new" 'store' method.

include all compressed Packages/Sources files in Release file

Having a hardcoded list of compression types here doesn't really provide
us with anything beside added complexity each time someone adds a new
compression type. That we don't need to be that specific is evident by
Contents and Translation-* matchers which are a lot more generic and
didn't generate problems anyhow.

fix typo in SrvRecords documentation

Git-Dch: Ignore

AvailableDescriptionLanguages: Use one string for all iterations

Do not create strings within the loop, that creates one string
per language and does more work than needed. Instead, reserve
enough space at the beginning and assign the prefix, and then
resize and append inside the loop.

Also call exists with the string itself instead of the c_str(),
this means that the lookup uses the size information in the
string now and does not have to call strlen() on it.

pkgCacheGenerator: CurMd5.Value() cannot be empty

It makes no sense to check if the value is empty, as it cannot
be. It will always be a hexstring of exactly 32 bytes.

operator==(char*, StringView) use StringView.operator==

Use the same path for both comparisons, as the operator== path
is faster than just calling compare() - it avoids any comparison
if the size differs.

Gbp-Dch: ignore

pkgCacheGenerator::hash: Do not call tolower_ascii()

Gbp-Dch: ignore

pkgCacheGenerator::StoreString: Get rid of std::string

Instead of storing a string -> map_stringitem_t mapping, create
our own data type that can point to either a normal string or
a string inside the cache.

This avoids the creation of any string and improves performance
slightly (about 4%).

Replace compare() == 0 checks with this == other checks

This improves performance, as we now can ignore unequal strings
based on their length already.

Gbp-Dch: ignore

pkgCacheGenerator: Use StringView for toString

This removes some minor overhead.

Gbp-Dch: ignore

pkgCacheGenerator::StoreString: Move the string into the map

Moving the string is likely faster than copying it. We could probably
avoid strings alltogether in the future using some more crazy code,
but I have not looked at that yet.

Gbp-Dch: ignore

StringView: rfind: pos should be end of substr, not start

Gbp-Dch: ignore

StringView: pos argument default should be npos

Gbp-Dch: ignore

StringView::rfind(): Call rfind() instead of find() on subst

Thanks: Niels Thykier for reporting on IRC
Gbp-Dch: ignore

Switch performance critical code to use APT::StringView

This improves performance of the cache generation on my
ARM platform (4x Cortex A15) by about 10% to 20% from
2.35-2.50 to 2.1 seconds.

Introduce internal APT::StringView class

The class APT::StringView implements a drop-in replacement
for a subset of C++17 std::string_view() features. It will
be dropped at a later point and may not be used in public
interfaces.

rred: Run in parallel

Remove the SingleInstance flag so we can use the new randomized
queue feature to run parallel.

acquire: Allow parallelizing methods without hosts

The maximum parallelization soft limit is the number of CPU
cores * 2 on systems defining _SC_NPROCESSORS_ONLN. The hard
limit in all cases is Acquire::QueueHost::Limit.

CopyFile: Use 64 * 1024 instead of 64000 as buffer size

This is a multiple of the page size and thus results in less
page faults, speeding up copying.

Also, while we're at at, unify all uses of that size in a
constant variable APT_BUFFER_SIZE.

apt-helper: cat-file: Add -C/--compress option

This allows passing compressing the output. The compressor must
be a compressor name, extension, or an extension without the
leading dot.

FileFd: (native) LZ4 support

Implement native support for LZ4 compression, using the official
lz4 library.

travis: pull liblz4-dev from wily

Do not remove a not working SrvRecords server twice

The PopFromSrvRecs() already removed the entry from the active
list, so the extra SrvRecords.erase() was incorrect.

Git-Dch: ignore

Add documentation about the SrvRecords support in apt

Git-Dch: ignore

Document new APT::Keep-Downloaded-Packages option in NEWS

Git-Dch: ignore

test-apt-cache: Adjust for hashtable size change

Gbp-Dch: ignore

Increase APT::Cache-HashTableSize default to 50503

This drop the hash table utilization from a high 98%
to acceptable 74% on unstable, and the average bucket length
from 4.6 to 1.8.

This improves performance by about 5%, while increasing
the size of the cache by 0.2 out of 38MB, that is 0.5%.

48481 is a nice number

apt-cache: stats: Show a table utilization as percentage

Gbp-Dch: ignore

apt-cache: stats: Average is over used, not all, buckets

It does not make sense to consider empty buckets in the
average, as they do not affect the lookup performance.

Allow building without libgtest-dev under <nocheck> build profile

I'd like to avoid pulling libgtest-dev into the bootstrap set.

Fortunately, libgtest-dev is only used for testing apt and apt
correctly implements DEB_BUILD_OPTIONS=nocheck now. So this
bug is about getting rid of the Build-Depends.

Simply removing it (by adding a build profile) is not sufficient
however as configure fails hard, so an additional bit is necessary
to cover for that.

Closes: #809726

Change compressor costs to be 100 apart

This will give us the freedom to insert more compressors at
positions in between.

Also change the cost of uncompressed to 0, as that really has
no overhead, and the values do not really mean much.

simple_compressor: Provide some accessors for end and free

This makes code easier to read, and somewhat more correct.

Gbp-Dch: ignore

simple_buffer: Allow buffer size to change

Gbp-Dch: ignore

prepare-release: travis: Ignore build profiles in build-depends

This aids our introduction of lz4, which we do not want to impose
as an additional requirement for bootstrappers.

Gbp-Dch: ignore

Add new APT::Keep-Downloaded-Packages option

This option controls if downloaded packages should be kept after
a successful install or if they should be deleted. The default
for "apt-get" is that they are kept (just like before).

However the default for "apt" is that they get deleted.

Closes: #160743

Add bash-completion support for the "apt" command

The apt bash-completion support was submited to the bash-completion
package as a patch in May 2014. It is still not included to this
date and because it is an important feature for many users it is
now part of apt until the bash-completion package is mantained
more actively again.

Note that the "Relaces" line is only required for Ubuntu it will
have no effect on Debian.

Closes: #747094

Add support for APT::Periodic::CleanInterval

In order to allow regular cleaning of the downloaded deb archives
the new option APT::Periodic::CleanInterval is added. It will run
"apt-get clean" in the given time interval.

Thanks: Martin-Éric Racine