merged r1970 lp:~vorlon/apt/lp.968828

prepare new experimtnal upload

merged from donkults experimental branch

use a static FileFd::Write overload to reduce duplication of write()-retry code

fix the remaining lzma calls with xz --format=lzma in the testcases

* cmdline/apt-get.cc:
  - print list of autoremoves in alphabetical order (Closes: #639008)

use xz-utils in the testcases instead of lzma and ensure that we really
ignore the presents (or absence) of lzma if we decided to use xz

* debian/control:
  - suggest xz-lzma instead of lzma

suggest xz-utils instead of bzip2 and lzma

  - add libbz2-dev as new build-dependency
  - remove the libz-dev alternative from zlib1g-dev build-dependency
  - do the same for bz2 builtin if available
* apt-pkg/contrib/fileutl.cc:
  - use libz2 library for (de)compression instead of the bzip2 binary as
    the first is a dependency of dpkg and the later just priority:optional
    so we gain 'easier' access to bz2-compressed Translation files this way

if we have zlib builtin insert add a dummy gzip compressor for FileFD

* methods/bzip2.cc:
  - remove it as the functionality for all compressors can be
    provided by gzip.cc now with the usage of FileFD

* apt-pkg/aptconfiguration.cc:
  - if present, prefer xz binary over lzma

detect zlib correctly. We still don't allow to build without it to remain
compatible with users accessing it directly, but this prepares for a drop
of this strict requirement in the future

db2 isn't used for ages now, so complain about missing libdb instead

* cmdline/apt-get.cc:
  - distinguish information about 'apt-get autoremove' based on the
    number of auto-removed packages both before and after the list
    of packages (Closes: #665833)

* doc/*:
  - move the command synopsis out of each manpage into apt-verbatim.ent
    as they are a hell to translate and just single out the parameters
    which can be translated to apt.ent

apt-verbatim.ent is an INCLUDE file as well

[ Bogdan Purcareata ]
* doc/apt-get.8.xml:
  - add 'download' to the usage line (Closes: #649340)

make these retry_write methods static so that they don't end up as symbols

* debian/rules:
  - do not sed in configure.in to set the version-number
* prepare-release:
  - add as a small script to lazy check and prepare releases

merge with debian-sid (some version screw going on here)

use the variables as the rest of the tests to avoid escapes in the output

* apt-inst/database.{cc,h}, apt-inst/deb/dpkgdb.{cc,h}:
  - drop instead of fix as it is only needed if you want to reimplement dpkg
    and comes straight from the beginning of last decade (Closes: #663372)
* apt-inst/deb/debfile.cc:
  - {Extract,Merge}Control() is another instance of "lets reimplement dpkg"
    so shot of this code before someone ends up using this…

* doc/apt-get.8.xml:
  - typofix: respect → respecting, thanks Mike Erickson! (Closes: #664833)

* debian/control
  - bump Standards-Version to 3.9.3 (no changes needed)

use the correct line to get the currently configure.in version

* debian/apt-utils.install:
  - ship the ftparchive, apt-extractemplates and apt-sortpkgs locales
    in the apt-utils package instead of the apt package

the previously used VERSION didn't work everywhere so we are switching
to the more standard PACKAGE_VERSION and make it work in every file

do not update po and pot files in the process of the build as this
causes timestamp changes for the mo files which therefore can't
be refcounted by dpkg for your M-A: same packages
(Closes: #659333, LP: #924628)

The commit also enables a top-level 'make update-po' and does
all the needed changes to let this work now that update-po might
be called in a freshly checkout tree

for these helpers we don't need too much checks,
but no warnings from gcc helps

* methods/rred.cc:
  - check return of writev() as gcc recommends
* methods/mirror.cc:
  - check return of chdir() as gcc recommends
* apt-pkg/deb/dpkgpm.cc:
  - check return of write() a gcc recommends
* apt-inst/deb/debfile.cc:
  - check return of chdir() as gcc recommends
* apt-inst/deb/dpkgdb.cc:
  - check return of chdir() as gcc recommends

* debian/libapt-pkg4.12:
  - update symbols file

* methods/makefile:
  - do not link rred against libz anymore as FileFd handles all
    this transparently now

* apt-pkg/acquire-worker.cc:
  - check return of write() as gcc recommends
* apt-pkg/acquire.cc:
  - check return of write() as gcc recommends
* apt-pkg/cdrom.cc:
  - check return of chdir() and link() as gcc recommends
* apt-pkg/clean.cc:
  - check return of chdir() as gcc recommends
* apt-pkg/contrib/netrc.cc:
  - check return of asprintf() as gcc recommends

update the versionnumber of the faked dpkg in the testcases for multiarch
and add a comment about the need of this number

merged from lp:~mvo/apt/mvo

add APT::pkgPackageManager::MaxLoopCount to ensure that the
ordering code does not get into a endless loop when it flip-flops
between two states

merged from debian-experimental2

now that stdout/stdlog are used consistently, the message order changed

merged from lp:~donkult/apt/experimental

recheck dependencies in SmartUnpack after a change, too

* apt-pkg/packagemanager.cc:
  - recheck all dependencies if we changed a package in SmartConfigure
    as this could break an earlier dependency (LP: #940396)

ensure that the fullname of a package is displayed in the debug output

improve the testcode so that we do not depend on the order of unpacking
of specific packages as long as the order is okay in general

now that the package name 'apt' is a magic word enabling essential status
for said package i can't use it anymore in the testcase, so use another name

show which dependency couldn't be satisfied in the debug output

* apt-pkg/packagemanager.cc:
  - fix inconsistent clog/cout usage in the debug output

releasing version 0.8.16~exp13

merged from lp:~donkult/apt/experimental

add Debug::pkgAcqArchive::NoQueue to disable package downloading

merge with apt/experimental

* apt-pkg/packagemanager.cc:
  - fix bug in predepends handling - ensure that packages that needs
    unpackaging are unpacked before they are configured (LP: #927993)
[ Julian Andres Klode ]
* apt-pkg/deb/deblistparser.cc:
  - Set the Essential flag on APT instead of only Important
* apt-pkg/packagemanager.cc:
  - Do not use immediate configuration for packages with the Important flag
* Treat the Important flag like the Essential flag with those differences:
  - No Immediate configuration (see above)
  - Not automatically installed during dist-upgrade
  - No higher score for installation ordering

* apt-pkg/acquire-item.cc:
  - remove 'old' InRelease file if we can't get a new one before
    proceeding with Release.gpg to avoid the false impression of a still
    trusted repository by a (still present) old InRelease file.
    Thanks to Simon Ruderich for reporting this issue! (CVE-2012-0214)

* apt-pkg/packagemanager.cc:
  - fix bug in predepends handling - ensure that packages that needs
    unpackaging are unpacked before they are configured (LP: #927993)

* apt-pkg/contrib/fileutl.cc:
  - do not warn about the ignoring of directories (Closes: #662762)

changelog: Document scoring difference for Important flag

* Treat the Important flag like the Essential flag with those differences:
  - No higher score for installation ordering

* Treat the Important flag like the Essential flag with two differences:
  - No Immediate configuration (see above)
  - Not automatically installed during dist-upgrade

* apt-pkg/packagemanager.cc:
  - Do not use immediate configuration for packages with the Important flag

* apt-pkg/deb/deblistparser.cc:
  - Set the Essential flag on APT instead of only Important

as we parse datestrings from external sources a lot specify the length
of the integer fields as well to avoid crashes in scanf as cppchecks warns:
"(warning) scanf without field width limits can crash with huge input data"

fix "(style) The scope of the variable 'count' can be reduced"

micro-optimize "(performance) Prefer prefix ++/-- operators for non-primitive types."

set char-limits for the scanf parsing previous crash-reports

fix "(performance) Possible inefficient checking for 'R' emptiness."

fix "(style) Checking if unsigned variable 'Minor' is less than zero."

ensure that (s)scanf doesn't parse a too long Code now that a previous
commit lifted the Line-length limit

fix two "(style) Variable 'Res' is assigned a value that is never used"

fix "(error) Possible null pointer dereference: BindAddr" by ensuring
that BindAddr isn't NULL after getaddrinfo()

fix "(style) Statements following return, break, continue, goto or throw
will never be executed." from cppcheck. The fd was closed only after a
return, so invert the order of lines and be happy

fix a bunch of cppcheck "(warning) Member variable '<#>' is not
initialized in the constructor." messages (no functional change)

handle a SIGINT in all modes as a break after the currently running
dpkg transaction instead of ignoring it completely

* apt-pkg/acquire-item.cc:
  - remove 'old' InRelease file if we can't get a new one before
    proceeding with Release.gpg to avoid the false impression of a still
    trusted repository by a (still present) old InRelease file.
    Thanks to Simon Ruderich for reporting this issue! (CVE-2012-0214)

Effected are all versions >= 0.8.11

Possible attack summary:
- Attacker needs to find a user which has run at least one successful
 'apt-get update' against an archive providing InRelease files.
- Create a Packages file with his preferred content.
- Attacker then prevents the download of InRelease, Release and
  Release.gpg (alternatively he creates a valid Release file and sends
  this, the other two files need to be missing either way).
- User updates against this, getting the modified Packages file without
  any indication of being unsigned (beside the "Ign InRelease" and
  "Ign Release.gpg" in the output of 'apt-get update').
=> deb files from this source are considered 'trusted' (and therefore the
   user isn't asked for an additional confirmation before install)

French: replace "étiquetage" by "épinglage" for "pinning"

testcase for CVE-2012-0214

* apt-pkg/packagemanager.cc:
  - do not try to a void a breaks if the broken package pre-depends
    on the breaker, but let dpkg auto-deconfigure it

allow msgtest to be used with only one parameter

show in the debug output if we are looping in the avoid breaks

eanup the ordering-code avoiding a break (no function change)

* apt-pkg/packagemanager.cc:
  - when calculating pre-dependencies ensure that both unpack and
    configure are considered (instead of only configure) LP: #927993

merged patch from lp:~uusijani/apt/uusi-branch:
Correct fi translation for hash sum mismatches (lp:420403)
Thanks to Jani Uusitalo

fix the string in the testcases

* cmdline/apt-cache.cc:
  - correct --pre-depends option by using dash consistently (LP: #940837)

improve 'error' message for packages which are only referenced
e.g. in a Depends line and are now requested for removal

* cmdline/apt-get.cc:
  - if a package can't be removed as it is not installed, suggest to
    the user an (installed) multiarch silbing with 'Did you mean?'

use pdiff for Translation-* files if available (Closes: #657902)

Beware: pdiffs for Translation-* are only acquired if their
availability is advertised in the Release file.

* apt-pkg/acquire-item.cc:
  - drop support for i18n/Index file (introduced in 0.8.11) and use
    the Release file instead to get the Translations (Closes: #649314)
* ftparchive/writer.cc:
  - add 'Translation-*' to the default patterns

i18n/Index was never used outside debian - and even here it isn't used
consistently as only 'main' has such a file. As the Release file now
includes the Translation-* files we therefore drop support for i18n/Index.

A version supporting it was never part of a debian release and still
supporting it would mean that we get 99% of the time a 404 as response
to the request anyway and confuse archive maintainers who want to
provide all files APT tries to acquire.

ensure that the cache-directories are really directories before
trying to get a list of included files from them

* apt-pkg/indexrecords.cc:
  - do not create empty Entries as a sideeffect of Lookup()

* apt-pkg/cachefile.cc:
  - clean up lost atomic cachefiles with 'clean' (Closes: #650513)

just in case: correct the header-guard for https to not match http

remove the arbitrary MAXLEN limit for response lines (Closes: #658346)

save the universe by not printing messages about apport if a package
with this name is not installed (Closes: #619646)

fix the hold-testcase as it has problems with 'foreign' operations

correctly ignore already (un)hold packages

* cmdline/apt-mark.cc:
  - detect if dpkg has multiarch support before calling --set-selections

Fix the testcases to work with and configure dpkg correctly in a
multi-arch environment

It's not a complete and the "fixed" test is fixed more like a hack
as we have communication problems with dpkg if dpkg and APT disagree
on the interpretation of the native architecture, see also:
http://lists.debian.org/debian-dpkg/2012/02/msg00051.html

ensure that architectures are not added multiple times

call dpkg --assert-multi-arch with execvp instead of execv

Danish translation update

rework previous patch to avoid changing the inline code