apt-pkg/pkgcachegen.cc: fix incorrect test for modification time

Improved errors and messages in general and improved the comments.
Removed quite a bit of code I used while learning about how apt handles things.
Added some extra checks and warnings relevent for Immediate Configuration.
Removed a wierd section I put in to prevent a segfault at 724+, this appears no longer to be needed.

Fixed a bug on line 623, I picked this up after seeing SmartUnpack trying to remove packages once they were confiured to solve Conflicts with the previous version!
Luckily EarlyRemove is sane, and properly checks, so I think this was just cosmetic.

Also fixed a bug on line 374 with SmartUnpack not checking if a dependancy has been removed, this bug was definately harmful.

* test/integration/test-hashsum-verification:
  - add regression test for hashsum verification
* apt-pkg/acquire-item.cc:
  - if no Release.gpg file is found, still load the hashes for
    verification (closes: #636314) and add test

* apt-pkg/acquire-item.cc:
  - if no Release.gpg file is found, still load the hashes for
    verification (closes: #636314) and add test

* test/integration/test-hashsum-verification:
  - add regression test for hashsum verification

apt-pkg/acquire-item.cc: always init Verify

* apt-pkg/acquire-item.{cc,h}:
  - do not check for a "Package" tag in optional index targets
    like the translations index

apt-pkg/pkgcachegen.cc: fix compiler error

Inproved the SIGINT stop in the dpkgpm, not perfect yet but it should work when using Immediate-Configure-All.

fix crash when P.Arch() was used but the cache got remapped

merged from lp:~mvo/apt/mvo

Only stop on SigInt if the system state is right (still needs more testing).
More inprovements to the package manager to prevent packages from being configured
twice.

apt-pkg/pkgcachegen.cc: copy Arch to avoid segfault on cache remap

apt-pkg/sourcelist.cc: GetListOfFilesInDir() fails if the dir does not exists, so test before using that

Only allow interupts when using, Immediate-Configure-All.

TODO for dpkgpm:
Useful messages about the interupt, what was done to what packages and what was not done to what packages.
Only fail when the system is in a clean state, at the moment it will fail either a configure or install run.

apt-pkg/contrib/sha2_internal.h: remove extern "C" to avoid symbol clash with libssl

test/libapt/hashsums_test.cc: add a test for HashString and VerifyFile

merged from debian-sid

apt-pkg/contrib/sha256.h: use #warning to warn about deprecated header

merge from lp:~mvo/apt/mvo

* apt-pkg/makefile:
  - install sha256.h compat header

* apt-pkg/pkgcachegen.{cc,h}:
  - use ref-to-ptr semantic in NewDepends() to ensure that the
    libapt does not segfault if the cache is remapped in between
    (LP: #812862)

releasing version 0.8.16~exp4

releasing version 0.8.15.5

merged from lp:~mvo/apt/mvo

* apt-pkg/contrib/fileutl.{cc,h}:
  - add GetModificationTime() helper
* apt-pkg/pkgcachegen.cc:
  - regenerate the cache if the sources.list changes to ensure
    that changes in the ordering there will be honored by apt
* apt-pkg/sourcelist.{cc,h}:
  - add pkgSourceList::GetLastModifiedTime() helper

[ABI break] merge patch from Jonathan Thomas to speed up the
depcache by caching the install-recommends and install-suggests
values

[ABI break] merged patch from Jonathan Thomas to have a new
RecordField() function in the pkgRecorder parser. Many thanks
Thomas

* [ABI break] apt-pkg/acquire-item.{cc,h}:
  - cleanup around OptionalIndexTarget and SubIndexTarget

cmdline/makefile: ajust comment

* apt-pkg/cdrom.{cc,h}:
  - cleanup old ABI break avoidance hacks

merged from debian-apt

merged from lp:~donkult/apt/sid

* merged latest fixes from debian-sid
* apt-pkg/contrib/sha1.cc:
  - fix illegally casts of on-stack buffer to a type requiring more
    alignment than it has resulting in segfaults on sparc (Closes: #634696)
* apt-pkg/contrib/cdromutl.cc:
  - fix escape problem when looking for the mounted devices
* apt-pkg/contrib/strutl.{h,cc}, test/libapt/strutil_test.cc:
  - add new DeEscapeString() similar to DeQuoteString but
    unescape character escapes like \0XX and \xXX (plus added
    test)
* refresh po/*

* cmdline/apt-get.cc:
  - fix missing download progress in apt-get download
  - do not require unused partial dirs in 'source' (Closes: #633510)
  - buildconflicts effect all architectures
  - implement MultiarchCross for build-dep and source (Closes: #632221)
* cmdline/apt-key:
  - use a tmpfile instead of /etc/apt/secring.gpg (Closes: #632596)
* debian/apt.postinst:
  - remove /etc/apt/secring.gpg if it is an empty file
* doc/apt-cache.8.xml:
  - apply madison typofix from John Feuerstein, thanks! (Closes: #633455)
* apt-pkg/policy.cc:
  - emit an error on unknown APT::Default-Release value (Closes: #407511)
* apt-pkg/aptconfiguration.cc:
  - ensure that native architecture is if not specified otherwise the
    first architecture in the Architectures vector
* apt-pkg/deb/deblistparser.cc:
  - Strip only :any and :native if MultiArch should be stripped as it is
    save to ignore them in non-MultiArch contexts but if the dependency
    is a specific architecture (and not the native) do not strip

* apt-pkg/deb/deblistparser.cc:
  - do not assume that the last char on a line is a \n (Closes: #633350)

SmartConfigure and SmartUnPack have got smarter! The full descriptions of what they now do is in the apt-pkg/packagemanager.cc file.
The short version is that they will both put the system in a state where there operation can be achived, this involves calling
themselves and each other recursively. Because SmartConfigure can now configure a package and all its dependancies itself, there is
no current need for DepAdd (at least in packagemanager.cc), SmartConfigure also performs the function of the short lived VerifyConfigure
as it checks through all the dependancies before performing configuration.

Another change is to use the ConfigureAll method in OrderInstall to clean up any packages left unconfigured during ImmConfigureAll.
This is necessary to inprove the safety of ImmConfiguration and because of the new SIGINT functionality of dpkgpm.cc relies on no
packages being left unconfigured between pairs of dpkg calls.  While writing this commit log, I have realised that the SIGINT stuff
is a prototype and not ready to be used yet as I have only tested it twice.

releasing version 0.8.15.4

refresh po/*

merged from lp:~mvo/apt/mvo

merged from lp:~donkult/apt/sid

fix typos in changelog, make DeEscapeString const, improve description

add another escape test case, fixup octal one (its \0XX instead of \0XXX)

apt-pkg/contrib/strutl.cc: kill unneeded debug output

* apt-pkg/contrib/strutl.{h,cc}, test/libapt/strutil_test.cc:
  - add new DeEscapeString() similar to DeQuoteQuotedWord but
    unescape charackter escapes like \0XXX and \xXX (plus add test)

* apt-pkg/contrib/sha1.cc:
  - fix illegally casts of on-stack buffer to a type requiring more
    alignment than it has resulting in segfaults on sparc (Closes: #634696)

The problem is how sha1.cc codes the SHA1 transform, it illegally
casts the on-stack workspace buffer to a type requiring more
alignment than 'workspace' is actually declared to have.

This only shows up recently because gcc-4.6 now does a really
aggressive optimization where it gets rid of the workspace
buffer entirely and just accesses 'buffer' directly, and assumes
it has the necessary alignment for 32-bit loads (which it
doesn't).

* apt-pkg/contrib/cdromutl.cc:
  - fix escape problem when looking for the mounted devices

releasing version 0.8.15.3

merged from lp:~donkult/apt/sid

implement MultiarchCross for build-dep and source (Closes: #632221)

the order of languages after "none" is not important, so ignore it in tests

update the testcase to reflect that native is always on top if
it is not in the config provided list of Architectures

* apt-pkg/deb/deblistparser.cc:
  - Strip only :any and :native if MultiArch should be stripped as it is
    save to ignore them in non-MultiArch contexts but if the dependency
    is a specific architecture (and not the native) do not strip

* apt-pkg/aptconfiguration.cc:
  - ensure that native architecture is if not specified otherwise the
    first architecture in the Architectures vector

move debug message about attempt install/remove to the responsible method

alternatively check in a versioned depends if  the candidate is good

The old code used to do move on to versions behind the candidate in
cases the candidate wasn't a match, but as the Install request later
always installs the candidate (witch wasn't switched) this could have
never worked - and shouldn't in most cases anyway as:
a) it could only work for <, <=, != depends which are unusal
b) doesn't respect pinning, so it could install -1 versions

after this consider providing packages (if it is not a versioned dep)

move the detection for installed versions up as it is the easiest case

first round of reorder code without changing result

buildconflicts effect all architectures

you want to be nice and quote a filename just to be reminded by gpg
that it doesn't like that… remove superficial quoting to fix apt-key

merged from donkult

merged from the mvo branch

* cmdline/apt-get.cc:
  - fix missing download progress in apt-get download

* apt-pkg/pkgcache.cc:
  - Check that cache is at least CacheFileSize bytes large (LP: #16467)

apt-pkg/pkgcachegen.cc: Write the file size to the cache

apt-pkg/pkgcache.h: Add pkgCache::Header::CacheFileSize, storing the cache size

Dont try to configure packages using SmartConfigure when not performing immediate configuration.

* apt-pkg/policy.cc:
  - emit an error on unknown APT::Default-Release value (Closes: #407511)

do not require unused partial dirs in 'source' (Closes: #633510)

* doc/apt-cache.8.xml:
  - apply madison typofix from John Feuerstein, thanks! (Closes: #633455)

* cmdline/apt-key:
  - use a tmpfile instead of /etc/apt/secring.gpg (Closes: #632596)
* debian/apt.postinst:
  - remove /etc/apt/secring.gpg if it is an empty file

apt-pkg/contrib/configuration.cc: revert Configuration::Set() ABI break

releasing version 0.8.16~exp3

merged from http://bzr.debian.org/bzr/apt/apt/debian-sid

merged from lp:~donkult/apt/sid

merged from donkult

* apt-pkg/depcache.cc:
  - change default of APT::AutoRemove::SuggestsImportant to true

merge with debian-sid 0.8.15.2

* apt-pkg/deb/debmetaindex.cc:
  - add trusted=yes option to mark unsigned (local) repository as trusted
    based on a patch from Ansgar Burchardt, thanks a lot! (Closes: #596498)

Note that "apt-get update" still warns about unknown signatures even
when [trusted=yes] is given for the source.

Inproved errors and warnings, will now warn if package configuration fails, but only error if the package is not configured at the end.

replace the last standing double's with long long

More changes to make imediate configuration work for all packages,
I have stolen the Loop flag from orderlist.cc as it didnt seem to use it anymore.

* cmdline/apt-get.cc:
  - add an --assume-no option for testing to say 'no' to everything

merged from the mvo branch and add proper changelog

merged from debian-sid

make ResolveByKeep() more clever and hold back packages that would go into a broken policy state by the upgrade

fix sha512 calculation in Hashes::VerifyFiles()

* ftparchive/writer.cc:
  - generate all checksums in one run over the file for Release

enable Hashes::AddFD() to skip creation of certain hashes

test that AddFD for single summations works, too

move hash test to libapt-testcases and add a few more tests

fix from David Kalnischkies for the InRelease gpg verification
code (LP: #784473)

move implementation of checksums around by abstracting even more

apt-pkg/aptconfiguration.h: fix copy/paste error in getCompressionTypes() description

Added test for conflicts loop

More changes to the SmartUnpack method to allow imediate configuration of all packages.

merge with debian-experimental

Added a APT::Immediate-Configure-All option to enable imediate configuration for all packages.
Began adding to the SmartUnpack method to prevent dependancy loops breaking apt.

* apt-pkg/init.cc:
  - use CndSet in pkgInitConfig (Closes: #629617)