implement the fallback method of rred by using the FileFd and the included
ReadLine instead of accessing the files directly with fgets()

usage of Skipping in pipes can't work, so we ignore-read instead
Also, read only one char in each step of ReadLine instead of back-"seeking"

try to avoid direct usage of .Fd() if possible and do read()s and co
on the FileFd instead

keep track of where we are in a filedescriptor so we can use it as Tell()
information if we are working on a pipe which can't seek

try seeking on fds opened with OpenDescriptor before giving up

refactor compressor calling so that we don't (need to) export ExecCompressor
anymore and therefore are also able to drop quiet a bit of duplicated code

atleast libapt should announce to itself that it is clean…
(and be it if it tries to announce that…)

remove the second usage instance of ExecCompressor in ftparchive
by again using the FileFd directly

use FileFd instead of forking the compression childs by hand

allow Open() and OpenDescriptor() to be called with a Compressor

note to myself: In case you rename something, make sure that you have
renamed it everywhere as otherwise stuff "magically" starts to fail…

Fixes commit 2209 as the mixture of #define names generates a lovely
compilable but non-functional mixture of gzip usage…

revert 2184.1.3: forward declaration instead of headers

The breakage is just to big for now, so guard the change with
#ifndef APT_8_CLEANER_HEADERS and be nice to library users

revert 2184.1.2: do not pollute namespace in headers

The breakage is just to big for now, so guard the change with
#ifndef APT_8_CLEANER_HEADERS and be nice to library users

Allow the FileFd to use an external Compressor to uncompress a given file
internally so that it is exported and can be used like a "normal"
uncompressed file with FileFd

This allows us to hide th zlib usage in the implementation and use gzip
instead if we don't have zlib builtin (the same for other compressors).

The code includes quiet a few FIXME's so while all tests are working
it shouldn't be used just yet outside of libapt as it might break.

  - add a ReadLine method
  - drop the explicit export of gz-compression handling

use different compression types in the test now that we support them

add a testcase for FindPackages() to better validate that cdrom should work.
Unfortunately it's hard to do an automated integration test with cd, so we
test this method in isolation which tries to find Indexes and dropping
of duplications with DropRepeats()

* apt-pkg/cdrom.cc:
  - support InRelease files on cdrom

use fileutl exists-functions instead of doing the stat'ing by hand

strip the extension of the translation file before storing it in the list
(regression from compression rewrite; found by Steve McIntyre, thanks!)

* apt-pkg/contrib/fileutl.{h,cc}:
  - implement a ModificationTime method for FileFd

enable FileFd to guess the compressor based on the filename if requested or
to search for compressed silbings of the given filename and use this guessing
instead of hardcoding Gzip compression

* cmdline/apt-config.cc:
  - dump the APT::Compressor settings correctly and completely

ensure that we exit instead of proceed in execution after the trap
(the execution leads to hard failures anyway)

split up the OpenMode into OpenMode and CompressionMode and
provide ReadOnly, WriteOnly and ReadWrite as flags alongside
the additional flags as decompression will be one-way later,
but certain parts really depend on Write* openmodes being
ReadWrite opens, so we will have to fail for those.

use getCompressors() instead of getCompressorTypes() and use it everywhere
to replace hardcoding of compressiontypes and compressors

fix another hickup in the changelog

factored out the decompressor code in IndexCopy::CopyPackages() and
TranslationsCopy::CopyTranslations() into a single common function

fixup changelog

merged from lp:~donkult/apt/experimental

merged lp:~mvo/apt/convert-to-multiarch-lib-thanks-colin

* cmdline/apt-get.cc:
  - ignore foreign architectures if we check if a provides has only one
    resolver as it's basically the same for the user, so no need to choose

* apt-pkg/depcache.cc:
  - prefer native providers over foreigns even if the chain is foreign

The code preferred real over virtual packages and based on priorities.
This is changed in so far that a real package from any arch is preferred
over any virtual provider and if priorities doesn't help in choosing the
best provider we choose it based on architectures

fix the operator++ implementations in the cachesets

* apt-pkg/cdrom.cc:
  - use aptconfiguration to get the supported compression types

fix remaining rename

rename .install to .install.in when needed

merged libapt multiarch enable patch from Colin Watson, many thanks!

apt-pkg/cdrom.cc: Accept .bz2, .xz files in addition to .gz files (Closes: #649451)

  - provide a {Package,Version}List similar to {Package,Version}Set
* cmdline/apt-{get,cache,mark}.cc:
  - use Lists instead of Sets if input order should be preserved for
    commands accepting lists of packages, e.g. policy (Closes: #625960)

merged from lp:~donkult/apt/experimental

* apt-pkg/cacheset.cc:
  - make the cachesets real containers which can embedding any container
    to be able to use the same interface regardless of set or list usage

* apt-pkg/deb/deblistparser.cc:
  - M-A: foreign packages provide for other archs, too

do not enter an endless loop for (essential) pre-dependency loops

* apt-pkg/contrib/sha2_internal.cc:
  - use a pointer-union to peace gcc strict-aliasing warning

merge with my debian-sid branch

merged from donkult

merged from donkult

* algorithms.cc:
  - show a debug why a package was kept by ResolveByKeep()

* apt-pkg/packagemanager.cc:
  - do not fail on unpacked packages in SmartUnPack, just don't
    shedule them for unpack, but do all checks and configure them

create "real" testcases out of the tests for chris

releasing version 0.8.16~exp7

merged lp:~donkult/apt/experimental

releasing version 0.8.15.9

merged from lp:~donkult/apt/sid

* apt-pkg/pkgcache.cc:
  - always prefer "en" over "" for "en"-language regardless of cache-order

add implicit dependencies needed for Multi-Arch at the time a Version
struct is created and not at the end of the cache generation

This allows us to be independent from the configured architectures for
these kind of conflicts, we get natural progress for free and
only the needed dependencies are in th respective binary cache.

use one string to construct the error message instead of using multiple
just with different debugging information at the end

a version can have only a single md5 for descriptions, so we can optimize
the merging with this knowledge a bit and by correctly sharing the lists
we only need to have a single description list for possibly many different
versions. This also means that description translations are shared between
different sources

share description list between "same" versions (LP: #868977)

* apt-pkg/pkgcachegen.cc:
  - refactor MergeList by creating -Group, -Package and -Version specialist

run apt-get download in quiet mode as it messes with output otherwise

run integration tests on my new amd64 box without failures

fix compiler warning about signed comparision on amd64, too

* doc/apt.conf.5.xml:
  - apply spelling fix by Kevin Lyda, thanks! (Closes: #644104)

merge with current debian apt/sid

cherrypick from my apt/experimental branch

* apt-pkg/deb/debmetaindex.cc:
  - none is a separator, not a language: no need for Index (Closes: #624218)
* apt-pkg/aptconfiguration.cc:
  - do not builtin languages only if none is forced (Closes: #643787)

* apt-pkg/deb/debmetaindex.cc:
  - none is a separator, not a language: no need for Index (Closes: #624218)
* apt-pkg/aptconfiguration.cc:
  - do not builtin languages only if none is forced (Closes: #643787)

merge with current debian apt/experimental

* apt-pkg/contrib/configuration.cc:
  - fix double delete (LP: #848907)
  - ignore only the invalid regexp instead of all options
* apt-pkg/acquire-item.h, apt-pkg/deb/debmetaindex.cc:
  - fix fetching language information by adding OptionalSubIndexTarget
* methods/https.cc:
  - cleanup broken downloads properly

* ftparchive/cachedb.cc:
  - fix buffersize in bytes2hex
* apt-pkg/deb/deblistparser.cc:
  - fix crash when the dynamic mmap needs to be grown in
    LoadReleaseInfo (LP: #854090)

* apt-pkg/policy.cc:
  - accept generic release pin expressions again in -t (Closes: #644166)

merged fix from donkult

* ftparchive/cachedb.cc:
  - fix buffersize in bytes2hex

* ftparchive/cachedb.cc:
  - make buffer fully dynamic (thanks to Colin Watson)

Symbol file update

ftparchive/cachedb.cc: rewrite to fix the fixed length field

* ftparchive/cachedb.cc:
  - fix buffersize in bytes2hex

* apt-pkg/init.cc:
  - silently ignore *.orig and *.save files by default

* apt-pkg/deb/debsrcrecords.cc:
  - remove the limit of 400 Binaries for a source package (Closes: #622110)

convert a few for-loop char finds to proper strchr and memchr

* methods/https.cc:
  - cleanup broken downloads properly

* apt-pkg/deb/dpkgpm.cc:
  - use std::vector instead of fixed size arrays to store args and
    multiarch-packagename strings
  - load the dpkg base arguments only one time and reuse them later
* cmdline/apt-get.cc:
  - follow Provides in the evaluation of saving candidates, too, for
    statisfying garbage package dependencies (Closes: #640590)
* apt-pkg/algorithms.cc:
  - if a package is garbage, don't try to save it with FixByInstall

* apt-pkg/algorithms.cc:
  - if a package is garbage, don't try to save it with FixByInstall

* cmdline/apt-get.cc:
  - follow Provides in the evaluation of saving candidates, too, for
    statisfying garbage package dependencies (Closes: #640590)

load the dpkg base arguments only one time and reuse them later

* apt-pkg/deb/dpkgpm.cc:
  - use std::vector instead of fixed size arrays to store args and
    multiarch-packagename strings

fix foldmarker in algorithms.h

remove old APT_COMPATIBILITY ifdef's

use forward declaration in headers if possible instead of includes

do not pollute namespace in the headers with using (Closes: #500198)

remove an extra argument for the error mesage format

* apt-pkg/acquire-item.h, apt-pkg/deb/debmetaindex.cc:
  - fix fetching language information by adding OptionalSubIndexTarget

update the test to ensure that NotAutomatic and co is used also
if the archive is signed, but the signature can't be checked
as the key is missing (debbugs #597301 - fix in r2105)

releasing version 0.8.16~exp6

* doc/apt-get.8.xml:
  - change wording of autoremove description as suggested
    by Robert Simmons, thanks! (Closes: #641490)

merged from donkult

enable APT in unpack/configure ordering to handle loops as well
as tight dependencies between immediate packages better
enabling also the possibility to mark all packages as immediate
(at least Closes: #353290, #540227, #559733, #621836, #639290)

Changelog entry forspelling fix

merged from donkult

Fix spelling error

update symbols