auto-install Packages and status file of the testcase

* apt-pkg/cdrom.cc:
  - Use link() instead of rename() for creating the CD database backup;
    otherwise there would be a short time without any database.

* cmdline/apt-get.cc:
  - Support large filesystems by using statvfs64() instead of statvfs()
    and statfs64() instead of statfs() (Closes: #590513).

  - show in (r)depends the canidate per default instead of newest
  - share the (r)depends code instead of codecopy

  - add a 'newest' pseudo target release as in pkg/newest
*

add APT::Cache::ShowOnlyFirstOr option to print only the first
alternative in the apt-cache (r)depends commands

Strip the .sh extension from the libapt testrunner and
make it a bit more robust against calling from outside

  - prefer non-virtual packages in FindPreferredPkg (Closes: #590041)
* test/integration/*:
  - add with bug#590041 testcase a small test "framework"

* apt-pkg/pkgcache.cc:
  - prefer non-virtual packages in FindPreferredPkg

* apt-pkg/contrib/fileutl.cc:
  - Add FileFd::OpenDescriptor() (needed for python-apt's #383617).

Add to history whether a change was automatic or not.

* apt-pkg/deb/dpkgpm.cc:
  - Write architecture information to history file.

* apt-pkg/cacheset.cc:
  - move them back to the library as they look stable now

factor regex package name matches into newly created cachefilter classes

* cmdline/apt-cache.cc:
  - be able to omit dependency types in (r)depends (Closes: #319006)

* apt-pkg/depcache.cc:
  - handle "circular" conflicts for "all" packages correctly

merged from lp:~donkult/apt/sid

accidently prefilling the vectors results in segfaults

* methods/bzip2.cc:
  - add a copycat of the old gzip.cc as we need it for bzip2 and lzma

mark all "Hash Sum mismatch" strings as translateable

rename ReOwn to ReMap in the cacheiterators

fix typo preventing display of architecture in Info()

* apt-pkg/deb/debmetaindex.cc:
  - do not query each architecture for flat file archives

[ Martin Pitt ]
* debian/rules:
  - Make DEB_BUILD_OPTIONS=noopt actually work by passing the right
    CXXFLAGS.
* apt-pkg/contrib/fileutl.{h,cc}:
  - Add support for reading of gzipped files with the new "ReadOnlyGzip"
    OpenMode. (Closes: #188407)
  - Link against zlib (in apt-pkg/makefile) and add zlib build dependency.
  - [ABI BREAK] This adds a new private member to FileFd, but its
    initialization is in the public header file.
* configure.in:
  - Check for zlib library and headers.
* apt-pkg/acquire-item.cc, apt-pkg/deb/debindexfile.cc,
  apt-pkg/deb/debrecords.cc, apt-pkg/deb/debsrcrecords.h,
  cmdline/apt-cache.cc:
  - Open Packages, Sources, and Translations indexes in "ReadOnlyGzip" mode.
* apt-pkg/deb/debindexfile.cc:
  - If we do not find uncompressed package/source/translation indexes, look
    for gzip compressed ones.
* apt-pkg/acquire-item.cc:
  - If the Acquire::GzipIndexes option is true and we download a gzipped
    index file, keep it as it is (and rename to .gz) instead of
    uncompressing it.
* doc/apt.conf.5.xml:
  - Document the new Acquire::GzipIndexes option.
* doc/po/apt-doc.pot, doc/po/de.po:
  - German translation of new Acquire::GzipIndexes option.
* Add test/test-indexes.sh:
  - Test behaviour of index retrieval and usage, in particular with
    uncompressed and gzip compressed indexes.
* methods/gzip.cc: With FileFd now being able to read gzipped files, there
  is no need for the gzip method any more to spawn an external gzip process.
  Rewrite it to use FileFd directly, which makes the code a lot simpler, and
  also using less memory and overhead.

* apt-pkg/contrib/error.{cc,h}:
  - remove constness of va_list parameter to fix build on amd64 and co
    Thanks Eric Valette! (Closes: #588610)

releasing version 0.7.26~exp9

* doc/apt.conf.5.xml:
  - add and document APT::Cache-{Start,Grow,Limit} options for mmap control

check the state of the FileFd before renaming as otherwise the rename
will be tried twice e.g. in an "apt-get update" run and every other piece
of code closing the FileFd manual before the destructor will do it again.

releasing version 0.7.26~exp8

switch from std::set to std::vector as it is way more simple, a bit
faster and still provides everything we need for the Cache generator

* apt-pkg/deb/dpkgpm.cc:
  - make the apt/term.log output unbuffered (thanks to Matt Zimmerman)

merged from donkult

* doc/apt.conf.5.xml:
  - add and document APT::Cache-{Start,Grow,Limit} options for mmap control

* apt-pkg/pkgcachegen.{cc,h}:
  - make the used MMap moveable (and therefore dynamic resizeable) by
    applying (some) mad pointer magic (Closes: #195018)

use references instead of copies in the Cache generation methods

* apt-pkg/deb/dpkgpm.cc:
  - make the apt/term.log output unbuffered (thanks to Matt Zimmerman)

methods/gzip.cc: With FileFd now being able to read gzipped files, there
is no need for the gzip method any more to spawn an external gzip process.
Rewrite it to use FileFd directly, which makes the code a lot simpler, and
also using less memory and overhead.

FileFd(): Drop file name extension check in ReadOnlyGzip mode

Drop the ".gz" extension check in FileFd::Open() in ReadOnlyGzip mode, to not
depend on a particular file extension. This allows rewriting the gzip method
using internal decompression (on ".decomp" files).

This requires a zlib bug workaround in FileFd::Close(): When opening an empty
file with gzdopen(), gzclose() fails with Z_BUF_ERROR. Do not count this as a
failure.

wrap the mmap actions in the CacheGenerator in their own methods to
be able to react on condition changes later then we can move mmap

extends the ParseDepends testcase to have a look also at the Wildcards

merge with debian-experimental-ma

fix typos and add a proper Closes tag after the unmerge in debbugs

Try to use NotEquals for the MultiArch Breaks dependencies instead of
Less and Greater -> half the dependencies :)

make the specify order of packages irrelevant (half-close #196021)

clean deblistparser a bit by get the Architectures at one place
instead of distributed in a few methods

* apt-pkg/policy.h:
  - add another round of const& madness as the previous round accidently
    NOT override the virtual GetCandidateVer() method (Closes: #587725)

prefer the Policy if it is built instead of the DepCache and
if DepCache is not available as fallback built the Policy

reorder classes a bit and make TryToInstallBuildDep use them

Refactor TryToInstall to look a bit saner by splitting the Remove
and the Virtual packages part out of the loop.
The function still exists unchanged as TryToInstallBuildDep through
for the BuildDep installation method

add a ConstructedBy member to the PackageSet which can be used by the
e.g. FromString to tell the caller if the string was an exact match
or found by regex or task. The two later ones can match packages for
which we want to ignore failures in the VersionSet

if the package has no installed & candidate but is virtual see if only
one package provides it - if it is only one use this package instead

rename AddSelectedVersion() to a better public FromPackage()

Fix the atomic replace.

* apt-pkg/contrib/fileutl.cc:
  - Make FileFd replace files atomically in WriteTemp mode (for cache, etc).

for install, do all installs first and then the removes and vice versa

debian/control: Set Standards-Version to 3.9.0

  - factor out code to get a single package FromName()
  - check in Grouped* first without modifier interpretation

Also free regular expressions.

Use _error->Warning() instead of writing to std::cerr.

Remove debugging stuff, this was not meant to be here.

Also support regular expressions and glob() patterns in "Pin: version".

* apt-pkg/versionmatch.cc:
  - Support matching pins by regular expressions or glob() like patterns,
    regular expressions have to be put between to slashes; for example,
    /.*/.

deblistparser: Special-case *-armel, lpia and powerpcspe architectures.

apt-pkg/deb/deblistparser.cc: Fix bug in architecture wildcard support.

Previously, linux-any was always matched, because the code simply
appended linux- to the APT::Architecture value. Now, it does this
only if the APT::Architecture value does not contain "-".

  - only print errors if all tries to get a package by string failed
*

debian/changelog: Fix a typo

* apt-pkg/deb/deblistparser.cc:
  - Handle architecture wildcards (Closes: #547724).

always mark the all package if a pseudo package is marked for install

give the APT::Cache::Generate option her effect back

do not override the user set quiet setting even if the target is not a tty

make the MMap Grow Error a fatal one as while in theory the code should
never segfault it still tend to do it so better show it directly

* apt-pkg/contrib/fileutl.cc:
  - show notice about ignored file instead of being always silent
  - add a Dir::Ignore-Files-Silently list option to control the notice
*

  - use the new MatchAgainstConfig for the DefaultRootSetFunc
* apt-pkg/contrib/configuration.{cc,h}:
  - add a wrapper to match strings against configurable regex patterns

* apt-pkg/aptconfiguration.cc:
  - show a deprecation notice for APT::Acquire::Translation

print all messages if the application is in an interactive run

add a simple stack handling to be able to delay error handling

* apt-pkg/contrib/error.{cc,h}:
  - complete rewrite but use the same API
  - add NOTICE and DEBUG as new types of a message

test-indexes.sh: EXFAIL: file:/ URIs currently decompress even with the GzipIndexes option; not a big deal for now

apt-pkg/acquire-item.cc: Fix handling of local (file:/) sources

test-indexes.sh: Test handling of local file:// archives

Switch FileFd to not transparently gunzip, since that breaks code which expects the compressed contents to stay (such as the copy backend, or when using file:// repositories. Instead, introduce a new ReadOnlyGzip mode and use that where needed

methods/ftp.h: Handle different logins are on the same server (Closes: #586904).

Use an abstract helper for error handling and output
instead of doing this directly in the CacheSets.
With this method an application like apt-get can change
the behavior of the CacheSets to his liking.
It can for example easily keep track of how packages
were added to the set: by names or with regex's…

debian/changelog: it is an ABI break after all

* cmdline/apt-get.cc:
  - use the cachsets in the install commands

get packages by task^ with FromTask()

fix the gcc warning about the initialisation order of variables caused
by moving Policy to public again (and therefore after SrcList)

test-indexes.sh: quiesce apt-get source; we know that we cannot verify package signatures

test-indexes.sh: Also test compressed index mode with apt.conf.d file

test-indexes.sh: Just for paranoia, test that apt-cache is still working after apt-get update with previously existing indexes

pkgAcqIndex::Done(): If we have an IMS-Hit, also rename the destination file in GzipIndexes mode, to avoid it being cleaned

test-indexes.sh: fix check_indexes call in compressed mode

test-indexes.sh: Actually test for non/pre-existing indexes in compressed mode

test-indexes: Use /etc/apt from temporary work dir, not from system

test-indexes.sh: Refactor common code into functions

test-indexes.sh: More verbose failures on wrong/missing indexes

* apt-pkg/depcache.cc:
  - SetCandidateVer for all pseudo packages
  - SetReInstall for the "all" package of a pseudo package

add a simple method to VerIterator to check if two Versions are similar

* cmdline/cacheset.cc:
  - doesn't include it in the library for now as it is too volatile

Add a GroupedFromCommandLine for the VersionSet similar to the
one for PackageSet and refactor the existing VersionSet methods
to simplify that.