sources.list and indextargets option for pdiffs

Disabling pdiffs can be useful occasionally, like if you have a fast
local mirror where the download doesn't matter, but still want to use it
for non-local mirrors. Also, some users might prefer it to only use it
for very big indextargets like Contents.

Release 1.11~exp11

Fix test-security-no-remote-status

Gbp-Dch: ignore

Do not parse Status fields from remote sources

This could allow an attacker to mark a package as installed in a
remote package index, as long as the package was not listed in
the dpkg status file.

This way, an attacker could force the installation of a package
during a dist-upgrade, by providing two packages in an index,
an older marked as installed, and a newer - apt would "upgrade"
to the newer version.

Merge branch 'feature/extractar-filefd' into debian/experimental

Use compressor support from FileFd for ExtractTar instead of programs

This way we do not depend on the decompressor programs anymore.

Add test for using ExtractTar on compressed files

Git-Dch: ignore

Always close compressed files in FileFd

We dup() the file descriptor when opening compressed files, so we
always need to close the dup()ed one. Furthermore, not unsetting
the d-pointer causes issues when running OpenDescriptor() multiple
times on the same file descriptor.

install: Set a local deb as the candidate for that package

This ensures that we can install .deb files that are not the
candidate for a given package.

cacheset: Prefer the depcache over the policy again

By preferring the policy over the depcache, we ignore any changes
we made in the depcache, which makes it impossible for code to
change the candidate used here.

This basically reverts commit 2fbfb111312257fa5fc29b0c2ed386fb712f960e:

 prefer the Policy if it is built instead of the DepCache and
 if DepCache is not available as fallback built the Policy

But it also cleans the code up a bit, by removing one level
of nesting.

debian/rules: Only do parallel build if specified in DEB_BUILD_OPTIONS

It was not nice to use 2 * number of cores in all cases.

Thanks: Jakub Wilk for the suggestion

allow explicit dis/enable of IndexTargets in sources options

While Target{,-Add,-Remove} is available for configuring IndexTargets
already, allow Targets to be mentioned explicitely as yes/no options as
well, so that the Target 'Contents' can be disabled via 'Contents: no'
as well as 'Target-Remove: Contents'.

not all targets are deb-src targets

Sometimes too much refactoring can have bad effects.

Thanks: Niels Thykier for reporting on IRC
Git-Dch: Ignore

use always priv-dropping for changelog download as root

First of, the temporary directory we download the changelog to needs to
be owned by _apt, but that also means that we don't need to check if we
could/should drop privs as the download happens to a dedicated tempdir
and only after that it is moved to its final location by a privileged user.

fix various typos reported by codespell

Reported-By: codespell

lintian: don't show the typofix as a typo

Git-Dch: Ignore

add a libapt-pkg recommends apt

For many usecases like the acquire system libapt-pkg actually needs
tools and config found in the apt package. apt tends to be installed
everywhere libapt-pkg appears usually anyhow, but just in case to nudge
users (and tools) in the right direction.

Note that this isn't and shouldn't be a hard depends as there are
usecases working perfectly without 'apt' and as this is such an esoteric
problem incurring the costs arising from a Depends-Breaks-loop isn't
deemd as worth it.

ignore AllowMem parameter in cache generation

The parameter name suggests that it should forbid the building of the
entire cache in memory, but this isn't how it was previously and as
AllowMem is false by default it actually prevents previous usecases from
working like being root and configuring apt to build no caches at all.

This should be fixed at some point to actually work, but that is hard to
pull off as it means switching the default and some callers (including
apt itself) actually did call it explicitly with false in certain
cases for no apparent reason (at least now where it is common to have
enough memory to throw at every problem and even if not is a slow apt
usally better than an apt erroring out).

Closes: 796459

correct 'apt update' download summary line

Fetched() was reported for mostly nothing, while we should be calling it
for files worked with from non-local sources (e.g. http, but not file or
xz). Previously this was called from an acquire item, but got moved to
the acquire worker instead to avoid having it (re)implemented in all
items, but the checks were faulty.

Swedish program translation update

Closes: 796059

just-in-time removal of broken essential packages

We deal with Conflicts in SmartUnpack in pretty much the same way, but
Breaks weren't handled in SmartConfigure so that the remove was sheduled
after the configuration of the package breaking the to-be-removed.

Closes: 796070

test for #796070: downgrades involving essential packages

Git-Dch: Ignore

tests: check apt-get source release name switching with -t

Git-Dch: Ignore

Fix more instances of missing remapping handling

After fixing Bug#796999, we noticed that there were
some more instances of iterators which had no associated
Dynamic object, causing them to not be updated when
the cache was remapped.

This happened in two places: In NewPackage() and in
NewProvidesAllArch().

Gbp-Dch: ignore

pkgcachegen: Account for remapping when parsing depends from NewPackage

In both the Ver and Dep variables, we need to account for remapping,
as otherwise we would still reference the old bug.

Reproduction environment:

* An i386 system with amd64 foreign architecture
* A sources.list with
deb http://snapshot.debian.org/archive/debian/20150826T102846Z/ unstable main
deb http://snapshot.debian.org/archive/debian/20150826T102846Z/ experimental main

Thanks: Jakub Wilk for the bug report and the backtraces
Closes: #796999

releasing package apt version 1.1~exp10

Fix typo

Thanks: Julian Andres Klode
Git-Dch: ignore

doc/apt.conf.5.xml: document Acquire::EnableSrvRecods

Git-Dch: ignore

postinst: Correctly pass --home instead of -home, and fixup old user

Thanks: Niels Thykier for reporting this on IRC

Re-indent GetCandidateVerNew() and make ConsiderFiles argument explicit

Gbp-Dch: ignore

Merge remote-tracking branch 'mvo/feature/srv-records' into debian/experimental

Add basic (non weight adjusted) shuffling for SrvRecords selection

Also add "Debug::Acquire::SrvRecs" debug option and the option
"Acquire::EnableSrvRecods" to allow disabling this lookup.

Support tabs in sources.list files

Also support vertical tabs, as isspace() does the same.

Closes: #796067

Add support for "apt-cache showsrc --only-source srcpkgname"

Thanks: Steve Slangasek for the suggestion
Closes: 695633

Provide "apt-get full-upgrade" to match "apt full-upgrade"

apt-pkg/contrib/srvrec.cc: res_query() should not generate a _error->Warning()

cleanup

Merge remote-tracking branch 'upstream/debian/experimental' into feature/srv-records

Merge branch 'debian/experimental' into feature/srv-records

Conflicts:
cmdline/apt-helper.cc
cmdline/makefile

releasing package apt version 1.1~exp9

Do not fail if building test/ fails (issues with parallel builds)

Git-Dch: ignore

Fix the test suite harder

Gbp-Dch: ignore

Fix the test suite again

Gbp-Dch: ignore

Re-add support for G++ 4.8 and configure travis to use it

This makes tests work again!

Gbp-Dch: ignore

Really fix all iwyu issues

Git-Dch: ignore

debian/NEWS: Mention new pinning algorithm added in 2.0~exp1

Fix all the wrong removals of includes that iwyu got wrong

Git-Dch: ignore

Cleanup includes after running iwyu

Do not crash in 'apt show' for non-installed packages

For a non-installed package, manual_installed was set to the null
pointer. This was passed to Tag::Rewrite, which expects an string
(empty for null-type values) and the conversion from null pointer
to string does not work correctly.

Replace "extra" in "the following extra packages [...]" by "additional"

This breaks the translation for no big gain, but we broke enough strings
already for that to not really matter anymore.

Closes: #82430

Make pkgCache::Priority() static, it does not need the instance

It still compiles after the change, so just merge it.

Closes: #448627

install: If package already is the newest version, display version

Also do it unconditionally, as it does not hurt.

Closes: #315149

Use terminfo's typical save_cursor/restore_cursor sequences

Not all terminals understand DOS' escape sequences for save/restore
cursor, so use the more typical sequences from terminfo.

Closes: #772521
Signed-off-by: James McCoy <jamessan@debian.org>

Show full package records in apt-cache search -f

This just changes the DoSearch code to use DisplayRecord to
display the record when the full record is requested.

Closes: #660851
[jak@debian.org: Wrote the commit message]

When looking if Provides match, OR them with the normal patches

Simply overriding the value caused patterns that previously matched
a real package name to not match anymore.

Closes: #760868

Document the general effect of the comma operator

Closes: #574939

Add GetPriority(VerIterator) to pkgDepCache::Policy

Also unify the case of considerFiles and ConsiderFiles to be
ConsiderFiles in all cases.

Gbp-Dch: ignore

cachefile.cc: Do not ignore return value of pkgDepCache::Init()

Currently, this always returns true, but it might start returning
false at some point in the future...

Gbp-Dch: ignore

update: Check if the cache could be opened, don't just assume it

This seems to cause Bug#756162, as in that case the depcache
was NULL.

I'm not entirely sure how that happens, but it's better to
be check here rather then crash later on.

Closes: #756162

doc/files.dbk: Improve documentation for {src,}pkgcache.bin

This should be enough for most persons.

Closes: #465551

apt-get: allow non-root --print-uris build-dep

Closes: #283400

add {contrib,non-free}/{metapackages,oldlibs} to section specialhandling

Closes: 788320

apt-cache(8): Drop the #versions >= #package names comparison

Closes: #691281

Also add 'in combination with the other options.' to another error

Gbp-Dch: ignore

Set Acquire::Changelogs::URI::Origin::Tanglu for Tanglu changelogs

debian/control: Remove XS- from Testsuite and bump Standards-Version

Thanks: Lintian

debian/control: Drop the versioned python-apt conflict

Thanks: Lintian

debian/control: Replace debian by Debian

Thanks: Lintian

changelog: Replace reenable by re-enable everywhere

Thanks: Lintian

apt: Add autoremove and auto-remove commands

Make apt compile with clang++ again

This allows us to run the clang static analyzer and to run the
testsuite with the clang MemorySanitizer.

Make auto-remove and auto-clean aliases for the versions without -

Some people type them instead of autoremove and autoclean, so make
them happy.

Closes: #274159
Makes-Happy: Ansgar

apt_preferences(5): Mention overlapping of pin matches

apt_preferences(5): Correct default pin assignment documentation

This was broken, as higher pins were also assigned to versions
that are installed.

Closes: #623706

apt-cache(8): Mention that --names-only search provides

Closes: #618017

apt-cache: Show an error if stats gets any arguments

Closes: #153161

Say "in combination with the other options" if an option is not understood

Closes: #762758

Mention that source order only matter per version

Closes: #617445

Replace UINT_MAX with std::numeric_limits<unsigned int>::max()

Gbp-Dch: ignore

Add integration test for Pin-Priority range checks

Gbp-Dch: ignore

Replace --force-yes by various options starting with --allow

This enables more fine grained control over such exceptions.

Merge branch 'debian/experimental' of https://github.com/DonKult/apt into debian/experimental

po/fr.po: Remove the unbreakable space before ! in the confirm string

This was probably really annoying for French people wanting to remove
essential packages, sorry about that.

Closes: #727680

Accept --upgradeable as synonym for --upgradable

It's a tiny diff, so why not? But no need to document it.

Closes: #787846

Use setresuid() and setresgid() where available

Deprecate SPtrArray<T> and convert everyone to unique_ptr<T[]>

More standardization

Mark SPtr as deprecated, and convert users to std::unique_ptr

Switch to std::unique_ptr, as this is safer than SPtr.

C++11: Switch from auto_ptr to unique_ptr

This is nicer

Remove an invalid fi from a testcase

Gbp-Dch: ignore

Fix integration tests for the removal of the Package pin output

This should make them work again.

Drop the Section field from pkgCache::Package again

This somehow got back, we don't really know why. Emulate the
Section() method in the PkgIterator by looking at the section
of the head of the VersionList.

apt_preferences(5): Re-document how priorities are calculated

The old text did not match either the old or the new implementation,
so let's rewrite it to explain the new implementation.

Closes: #554773

policy: Be more strict about parsing pin files, and document prio 0

Treat invalid pin priorities and overflows as an error.

Closes: #429912

apt-cache: Improve translateability of the "with priority" thing

Gbp-Dch: ignore

Only make Upgradable() return true for packages with a candidate

If there is no candidate, the package should not be considered
upgradeable.

LP: #896689

apt-cache: Modify policy output to use per-version pins

Also optionally enable old output by setting APT::Policy=0.

Add a parameter ConsiderFiles to GetPriority(VerIterator)

This allows us to exclude files from being considered for the
priority, so it will return only specific-version matches.

use a=experimental instead n=experimental in pin documentation

Closes: 783343

document APT::Periodic::RandomSleep

The documentation in the patch is from
https://help.ubuntu.com/community/AutomaticSecurityUpdates

That page is licensed under Creative Commons Attribution-ShareAlike
3.0. Because I'm unsure how that license meshes with apt's license
I've not copied the text but formulated the same information freely
in my own words.

The original text was contributed by Chris Bainbridge [1][3]
and Kees Cook [2]. Thanks to them.

[1] https://help.ubuntu.com/community/AutomaticSecurityUpdates?action=diff&rev1=40&rev2=41
[2] https://help.ubuntu.com/community/AutomaticSecurityUpdates?action=diff&rev1=38&rev2=39
[3] https://help.ubuntu.com/community/AutomaticSecurityUpdates?action=diff&rev1=37&rev2=38

Closes: 776380
Thanks: Chris Bainbridge and Kees Cook for initial text

Do not set unhonored DPKG_NO_TSTP variable for dpkg

Support for that variable was removed in dpkg in 1.15.6, in commit
6f037003e8b96878b485efb7cbd1f846e3bf4e97.

Closes: #765366