Update Status field values handling

Remove long obsolete (hold, hold-reinstreq, removal-failed) or just
wrong (post-inst-failed vs postinst-failed) values, that have been
autoconverted by dpkg at run-time to their new equivalents, so there
should not be any such instance in any recent system (removal-failed
since dpkg 1.1.4 in Apr 1996, hold and hold-reinstreq since dpkg
1.2.0 in May 1996). dpkg even stopped doing the mapping in 1.15.4
and 1.15.8 respectively.

At the same time sort the list in the same order as they appear in
the dpkg code.

methods/rsh.cc: replace strcat with std::string

Instead of using strcat use a C++ std::string to avoid overflowing
this buffer. Thanks to David Garfield

Closes: #76442

add CVE-2014-7206 to 1.0.9.2

implement the updated build profile spec

releasing package apt version 1.0.9.2

apt-get: Create the temporary downloaded changelog inside tmpdir

The code is creating a secure temporary directory, but then creates
the changelog alongside the tmpdir in the same base directory. This
defeats the secure tmpdir creation, making the filename predictable.

Inject a '/' between the tmpdir and the changelog filename.

debian/rules: add hardening=+all

Because of dpkg-buildflags we already get most of the hardening
features, +all adds -fPIE and ld -z now

Thanks: Simon Ruderich, Markus Waldeck

Set STRIP_FROM_PATH for doxygen

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

Merge remote-tracking branch 'donkult/feature/generalize-gzipindex' into debian/sid

rewrite compressed indexes test to check with all compressors

Git-Dch: Ignore

Ensure that iTFRewritePackageOrder is "MD5sum" to match apt-ftparchive

The iTFRewritePackageOrder is used in indexcopy to copy and normalize
cdrom Packages files. This change will ensure that there is no
"normalization" that changes MD5sum -> MD5Sum which alters the hash
of the Packages file on disk (oh the irony).

Fix regression for cdrom: sources from latest security update

Skip a reverify for cdrom: sources. The reverify step is actually
harmful here because the apt-cdrom add code uses the indexcopy.cc
which will "normalize" the Packages file from the cdrom when it
writes it to the local disk. This leads to changing the "MD5sum"
field (notice the lower case "s") on the cdrom Packages file to
a "MD5Sum" field on the local file in /var/lib/apt/lists. Which
of course alters the hash and makes apt fail to reverify the file.

generalize Acquire::GzipIndex

relax grep to support newer curl output format

Git-Dch: Ignore

disable timestamps in the footer of docs by doxygen

The default being 'yes', but this spoils the effort of reproducible
builds for no real gain. (https://wiki.debian.org/ReproducibleBuilds)

German program translation update

Closes: 762223

Fix regression when copy: is used for a relative path

When we do a ReverifyAfterIMS() we use the copy: method to
verify the hashes again. If the user uses -o Dir=./something/relative
this fails because we use the URI class in copy.cc that strips
away the leading relative part. By not using URI this is fixed.

Closes: #762160

test/integration/test-apt-update-file: improve test

./pre-release pre-export

releasing package apt version 1.0.9.1

Merge remote-tracking branch 'vnwildman/debian/sid' into debian/sid

improve test for commit daff4a

Fix regression for file:/// uris from CVE-2014-0487

Do not run ReverifyAfterIMS() for local file URIs as this will
causes apt to mess around in the file:/// uri space. This is
wrong in itself, but it will also cause a incorrect verification
failure when the archive and the lists directory are on different
partitions as rename().

prepare 1.0.9.1

merge previous upload

SECURITY UPDATE for CVE-2014-{0488,0487,0489}

incorrect invalidating of unauthenticated data (CVE-2014-0488)
incorect verification of 304 reply (CVE-2014-0487)
incorrect verification of Acquire::Gzip indexes (CVE-2014-0489)

add a 'coverage' command to generate reports

Builds, runs and generates everything needed to have a coverage report
at the end for apt. The report isn't perfect as most childs apt forks do
not have a regular exit and so data is never written for them, which
results in e.g. most methods to have zero coverage reported.

Git-Dch: Ignore

Turkish program translation update

Closes: 761394

Updated German documentation translation

l10n: vi.po (636t): Update program translation

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

Allow override of Proxy-Auto-Detect by the users configuration

Only run the Proxy-Auto-Detect code if there is not already
a host specific configuration.

Closes: 759264

prepare 1.0.8

debian/gbp.conf: use export-dir

don't call pager in non-terminals for changelog

Most pagers are nice and default to running non-interactively if they
aren't connected to a terminal and we relied on that. On ci.debian.net
the configured pager is printing a header out of nowhere though, so if
we are printing to a non-terminal we call "cat" instead.

In the rework we also "remove" the dependency on sensible-utils in sofar
as we call some alternatives if calling the utils fail.

This seems to be the last problem preventing a "PASS" status on
ci.debian.net, so we close the associated bugreport.

Closes: 755040

rework PTY magic to fix stair-stepping on kfreebsd

A pty slave we have got from openpty can only be used for one dpkg
child, if we give it to a second child on kfreebsd setting TIOCSCTTY
fails causing the output to be stair-stepped from now on.

By switching the code to creating a master and opening a new slave in
the child for each child we can fix this glitch, so that at least the
master remains stable.

Closes: 759684

fix progress report for upgrade and reinstall

APT treats upgrades like installs and dpkg is very similar in this, but
prints still a slightly different processing message indicating that it
is really an upgrade which we hadn't parsed so far, but this wasn't
really visible as we quickly moved on to a 'known' state.

More problematic was the reinstall case as apt hadn't recognized this
for the package name detection, so that reinstalls had no progress since
we introduced MultiArch.

fix and non-silent fail dpkg-overwrite error test

Commit cbcdd3ee9d86379d1b3a44e41ae8b17dc23111d0 removes the space at the
end of the debfile name dpkg send to us and we previously had included
in the pmerror message we printed on the statusfd.

Git-Dch: Ignore

strip everything spacey in APT::String::Strip

Git-Dch: Ignore

detect terminal output with 'test -t' in tests

Instead of trying to inspect /proc and the fds inside we use "test -t 1"
instead as this is available and working on kfreebsd as well – not that
something breaks if we wouldn't, but we like color.

Git-Dch: Ignore

do use an 'unknown' arch-specification in test

Using 'kfreebsd' here makes the test fail on a kfreebsd system
(obviously), so we just use something totally madeup in the hope that
this is less like to conflict in the future.

Git-Dch: Ignore

make GetLocalitySortedVersionSet more generic

No reason in and of by itself at the moment, but prepares for the goal
of having 'apt search' and 'apt-cache search' using the same code now
that they at least support the same stuff. The 'apt' code is just a
multitude slower at the moment…

Git-Dch: Ignore

implement --full in apt search

use a format string in ListSingleVersion

The method already deals with a format string, but had an else path
doing a hardcoded format as well. This is changed now to use the same
code for both - the format in the second case is still fixed though.

Git-Dch: Ignore

skip version if we already have this package as search-result

Git-Dch: Ignore

support regular expressions in 'apt search'

apt-cache search supported this since ever and in the code for apt was a
fixme indicating this should be added here as well, so here we go.

Improve Debug::Acquire::http debug output

Prefix all answers with the URL that the answer is for. This
helps when debugging and pipeline is enabled.

Ensure we have a Policy in CacheFile.BuildDepCache()

This partly reverts d059cc2 and fixes bug #753297 in a more
general way by ensuring that CacheFile.BuildDepCache() builds
a pkgPolicy if there isn't one already.

Fix incorrect upgradable listing in "apt list" (thanks to Michael Musenbrock)

The "apt list" command was using only the pkgDepCache but not the
pkgPolicy to figure out if a package is upgradable. This lead to
incorrect display of upgradable package when the user used the
policy to pin-down packages. Thanks to Michael Musenbrock for the
initial patch.

Closes: #753297

test/integration/test-ubuntu-bug-346386-apt-get-update-paywall: use downloadfile()

Run autopkgtest tests with "env -i" to avoid pollution from the host env

Closes: #759655

Make Packages & Sources generation optional, during Generate call

refactor a bit, extract code out of Generate() into
DoGenerate{PackagesAndSources,Contents}, add new
APT::FTPArchive::ContentsOnly option to allow skipping the generation
of Package/Source files (if they are generated e.g. by some db outside
of apt-ftparchives control)

Use heap to allocate PatternMatch to avoid potential stack overflow

When apt-cache search with many args (> 130) is given the allocation
of PatternMatch on the stack may fail resulting in a segmentation
fault. By using the heap the max size is much bigger and we also
get a bad_alloc expection instead of a segfault (which we can catch
*if* this ever becomes a pratical problem). No test for the crash
as its not reproducable with the MALLOC_ settings in framework.

Closes: 759612

* apt-pkg/deb/dpkgpm.cc:
    - update string matching for dpkg I/O errors. (LP: #1363257)
    - properly parse the dpkg status line so that package name is properly set
      and an apport report is created. Thanks to Anders Kaseorg for the patch.
      (LP: #1353171)

Add testcase for apt list --all-versions

Dch-Ignore: true

Avoid yielding blank lines with APT::Cmd::use-format=true

Make Proxy-Auto-Detect check for each host

When doing Acquire::http{,s}::Proxy-Auto-Detect, run the auto-detect
command for each host instead of only once. This should make using
"proxy" from libproxy-tools feasible which can then be used for PAC
style or other proxy configurations.

Closes: #759264

initialize iPolicyBrokenCount in DepCache::Update

All other counters are correctly initialized here, expect this one. The
practical effect is low as in apt we usually just do "!= 0" checks, but
only correct counters are good counters.

Closes: 758397

Portuguese manpages translation update

Closes: 759608

The following command otherwise yields many blank lines:
apt list -o APT::Cmd::use-format=true -o APT::Cmd::format=\${Package}

And even worse when adding "-o APT::Cmd::All-Versions=true".

Signed-off-by: Andreas Oberritter <obi@opendreambox.org>

German program translation update

Closes: 758837

releasing 1.0.7

prepare 1.0.7

support versioned provides as implemented by dpkg

APT supported versioned provides for a long while in an attempt to get
it working with rpm. While this support is old, we can be relatively
sure that it works as versioned provides are used internally to make
Multi-Arch:foreign work.

Previous versions of apt will print a warning indicating that the
versioned provides is ignored, so that something which "Provides: foo (=
2)" doesn't provide anything.

Note that dpkg does allow only a equals-relation in the provides line
as anything else is deemed too complex. apt doesn't support anything
else either and such a support would require potentially big changes.

Closes: 758153

add dpkg::source-options for dpkg-source invocation

dpkg-source can be told to enforce signature checks with
--require-valid-signature, but while this isn't feasible as default for
Debian itself at the moment, a local admin should be able to use it.

This commit also fixes the size limit on the construction of the command
being called for dpkg-source and dpkg-buildpackage.

Closes: 757534

Czech program translation update

Closes: 758208

Turkish program translation update

Closes: 756710

rewrite and extend new README file

Reuse description from the package descriptions and add various
subsection describing useful debug options and general information.

Git-Dch: Ignore

remove obsolete documentation bits

Git-Dch: Ignore

ensure that all docs use all entities files

Not all are needed for all files at the moment, but the new docbook
building hadn't available some of the entities it used as the files
weren't correctly copied around in all cases and having the same across
the bord makes working with all of them a little easier.

Git-Dch: Ignore

parse debian/tests/control for test dependencies

Our integration tests need some additional dependencies to run and
function correctly, but while multiple places run them, there is no need
to also specify the these dependencies in multiple places.

Git-Dch: Ignore

Fix debListParser to accept "no" as a value for the Multi-Arch field

Seems this was missed somehow.

Closes: #759099

doc/po/pt.po: updated, thanks to Américo Monteir

Closes: #756200

doc/apt.8.xml: fix typo, thanks to Jakub Wilk

Closes: #756056

Fix SmartConfigure to ignore ordering of packages that are already valid

With the change of SmartConfigure() in git commit 42d51f the ordering
code was trying to re-order dependencies, even when at this point in
time this was not needed. Now it will first check all targets of the
given dependency and only if there is not a good one try to reorder
and unpack/configure as needed.

Closes: LP: #1347721

l10n: vi.po (636t): Update one new string

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

apt-pkg/acquire-item.cc: make pkgAcqDiffIndex more uniform

Use @builddeps@ in the debian/tests/control file

Update Japanese documentation translation

Closes: #754817

StringToBool: only act if the entire string is consumed by strtol()

StringToBool uses strtol() internally to check if the argument is
a number. This function stops when it does not find any more numbers.
So a string like "0ad" (which is a valid packagename) is interpreted
as a "0". The code now checks that the entire string is consumed
not just a part of it. Thanks to Johannes Schauer for raising this
issue.

Merge remote-tracking branch 'mvo/feature/README' into debian/sid

add REAMDE.md

releasing package apt version 1.0.6

prepare 1.0.6

Only show packages as upgradable if the have a CandidateVer != 0

Closes: #753297

doc: Unfuzzy DocBook translations

doc: Convert from DebianDoc SGML to DocBook XML

build: Convert from DebianDoc SGML to DocBook XML

build: Set the XSL parameter through the command line instead of sed

Use the xsltproc --stringparam option instead of replacing it inside the
file.

po: Fix format specifier order in translation

po: Fix encoding issues

Remove trailing CR characters, and fix Content-Transfer-Encoding field
value.

po: Fix or add missing email addresses

Fill Report-Msgid-Bugs-To field, remove spurious email line junk and
make Last-Translator and Language-Team fields contain valid emails.

po: Fix Plural-Forms fields

po: Fill Project-Id-Version with correct project id and version

po: Remove fuzzy from file msgid header

po: Fill or add missing Language field

Do not clean "/" in pkgAcquire::Clean/pkgArchiveCleaner

Having "/" here is most likely a user configuration error and
may cause removal of import symlinks like /vmlinuz

Closes: #753531

Improve description how to turn off the caches

Closes: #753531

use printf instead of echo in testing framework

The behaviour of echo "\tA\t" differs between dash/zsh which interprets
the \t as tab and bash which prints it literally. Similar things happen
for other escape sequences – without the -e flag.
Switching to printf makes this more painless^Wportable, so that the
tests are also working correctly with bash as sh.
(commit message by committer, patch otherwise unmodified)

properly handle (currently unused) dpkg pass-through

Git-Dch: ignore

use exit instead of incorrect return in test wrapper

bash as sh doesn't like it, too.

Git-Dch: Ignore