methods/rred: minor robustness improvements

Use retry_fwrite to better handle partial fwrite successes, and to keep
the Hashes in sync with what's actually written.

do not ignore ioctl(TIOCSCTTY) errors

Show a proper error message when a ioctl() in dpkgpm.cc fails.
Also simply StartPtyMagic() a bit.

releasing package apt version 0.9.14.3~exp3

* implement deb822 suggestions from donkult (thanks!):
  - rename "Dist" to "Suites"
  - rename "Section" to "Sections"
  - rename "Architectures-Delete" to "Architectures-Remove"
  - rename "Uri" to "URI"
* add "apt list --manual-installed"
* add "apt upgrade --dist"
* add "apt purge"
* flock() the file edited in "apt edit-sources"
* apt-private/private-show.cc:
  - do not show Description-lang: header
* reword apt !isatty() warning
* add missing integration test for "apt list" and fix bugs
  found by it

Merge remote-tracking branch 'mvo/feature/source-deb822' into debian/experimental-no-abi-break

rename "Suite/Section" to plural

Merge remote-tracking branch 'mvo/feature/source-deb822' into debian/experimental-no-abi-break

Merge remote-tracking branch 'mvo/debian/sid' into debian/experimental-no-abi-break

add purge to the apt cmdline

implement suggestion by donkult (thanks!)

add missing integration test for "apt list"

reword !isatty() warning

add apt upgrade --dist

prepare upload

merged mvo/feature/deb822

prepare new upload

apt-private/private-show.cc: do not show Description-lang: header, the user probably knows his language (thanks to Donkult)

update libapt test

support multiple "Suite:" entries

rename URL to Uri in deb822-sources

rename "distribution" in sources.list to "suite"

* refactor to have a new virtual ParseStanza

Have a similar ParseStanza() to the current ParseLine().
Rename the Architectures options in deb822 to make it more
user friendly

add --manual-installed commandline switch

remove "," in components again

rework some testcases to not spit out text

Rework also uncovers two FIXMEs

Git-Dch: Ignore

integrate Anthonys rred with POC for client-side merge

Providing the benefits of both without the downsides :)
(ABI breaks or external dependencies)

For this Anthonys rred is equipped with:
- magic-filename-pickup of patches rather than explicit messages
- use of FileFd instead of FILE* to get on-the-fly uncompress
  of the gzip compressed pdiff patches

The acquire code in turn stops checking for apt-file's helper
as our own rred is now clever enough for our needs.

reimplement rred to allow applying all the diffs in a single pass

Based on the idea presented in:
https://lists.debian.org/deity/2009/08/msg00169.html  and
https://lists.debian.org/debian-devel/2014/01/msg00081.html

It reads all patches one by one and merges them in-memory before
applying the merged changes to the index.

Beware: This commit by David Kalnischkies rips out the rred binary
rewrite unchanged (expect minor format issue corrections) from the
proposed changes, so this commit alone BREAKS pdiff completely.
The integration into the acquire system as it was prepared in the
previous POC will be done in the next commit to have proper 'blame'.

actually register the tempfile removal atexit

Git-Dch: Ignore

reenable unlimited pdiff files download

In 51fc6def77edfb1f429a48e5169519e9e05a759b we limited the amount of
pdiff to be downloaded per index to 20. This was a compromise between
not letting it go overboard (becoming even slower) and not using
bandwidth needlessly. Now that with the POC the speed reason is gone it
makes sense again to download as much files as we possible can via pdiff
to save bandwidth (and possibly even time).

It also avoids problems with the limit in cases we were we deal with a
server merged archieve as this limit assumes a strict patch progression.

correct IndexDiff vs DiffIndex in Debug output

document deb822 style sources.list

flock() the file edited in edit-sources

debian/rules: Call dh_makeshlibs for 'apt'

The package ships libapt-private now, so we need an
ldconfig call in postinst. dh_makeshlibs creates
one for us.

Reported-by: lintian

prepare 0.9.14.3~exp1

prepare 0.9.14.3~exp1

Merge remote-tracking branch 'mvo/feature/source-deb822' into debian/experimental-no-abi-break

Merge remote-tracking branch 'donkult/feature/clientmergepdiffs' into debian/experimental-no-abi-break

improve error message

improve tests

Merge branch 'debian/sid' into feature/source-deb822

Merge branch 'debian/sid' into feature/source-deb822

l10n: vi.po (617t): Update translation up to v0.9.14.2

Signed-off-by: Michael Vogt <mvo@debian.org>

l10n: vi.po(617t): Update Vietnamese translation

Signed-off-by: Trần Ngọc Quân <vnwildman@gmail.com>

prepare release

vendor/ubuntu/sources.list.in: whitespace fix

update changelog

Merge remote-tracking branch 'mvo/debian/sid' into debian/sid

add missing vector include

Merge branch 'debian/sid' into bugfix/bts731738-fancy-progess

Conflicts:
apt-pkg/install-progress.cc

Merge remote-tracking branch 'origin/bugfix/bts731738-fancy-progess' into bugfix/bts731738-fancy-progess

Conflicts:
apt-pkg/install-progress.cc

properly handle SIGWINCH in PackageManagerFancy again

fix APTWEBSERVERBINDIR default

add make -C test/interactive-helper/ to .travis.yml

Merge branch 'feature/tests-on-installed' into debian/sid

Merge branch 'feature/test-apt-key-net-update' into debian/sid

Merge branch 'feature/policy-parser-bts732746' into debian/sid

remove debian entry from default steamos sources.list

add integration test

add basic tests for GetTempDir()

factor GetTempDir out

apt-pkg/contrib/gpgv.cc: use /tmp as fallback dir

if the directory given by $TMPDIR is not available, use /tmp as fallback.

first proof-of-concept for a fix for #731738

first proof-of-concept for a fix for #731738

make /etc/apt/preferences parser deal with comment only sections

vendor/steamos/*:

* vendor/steamos/*:
  - add steamos support

vendor/getinfo:

* vendor/getinfo:
  - fix ubuntu-codename

add apt-vendor for raspbian. Closes: #732749

fix apt-key net-update test to use the buildin webserver

Danish translation update

make apt-key net-update actually testable

implement POC client-side merging of pdiffs via apt-file

The idea of pdiffs is to avoid downloading the hole file by patching the
existing index. This works very well, but becomes slow if a lot of
patches needs to be applied to reconstruct an up-to-date index and in
recent years more and more dinstall (or similar) runs are executed
creating more and more pdiffs in the same amount of time, so pdiffs
became less useful.

The solution is simple: Reduce the amount of patches (which are very
small) which need to be applied on top of the index we have available
(which is usually pretty big).

This can be done in two ways: Either merge the patches on the
server-side so that the client has to download only one patch or the
patches are all downloaded and merged on the client-side.

The first needs a client who is doing one step at a time who can also
skip patches if it needs (APT supports this for a long time now).

The later is implemented by this commit, but depends on the server NOT
merging the patches and the patches being in a strict order in which no
patch is skipped.

This is traditionally the case for dak, but other repository creators
support merging – e.g. reprepro (which helpfully adds a flag indicating
that the patches are merged). To support both or even mixes a client
needs more information which isn't available for now.

This POC uses the external diffindex-rred included in apt-file to
do the heavy lifting of merging & applying all patches in one pass,
hence to test this feature apt-file needs to be installed.

allow ':' in GetListOfFilesInDir

run-parts doesn't allow this char in valid filenames, but we tend to
have files with this character in e.g. /var/lib/apt/lists/

Git-Dch: Ignore

query an empty pkgAcqIndexDiffs if index is up-to-date

The previous code already did this, this is just being a hell of a lot
more obvious, so that it isn't that easy to break in the future.

Git-Dch: Ignore

run autopkgtest against the installed apt

releasing package apt version 0.9.14.1

Merge remote-tracking branch 'mvo/bugfix/conffile' into debian/sid

Fix conffile prompt regression (LP: #1260297)

This fixes a regression in the conffile prompt for the progress-fd
and adds a testcase to ensure this does not regress again.

fix test/integration/test-apt-key-net-update

clarify error message when apt-get source=ver fails, print a real error message instead of "ignoring"

fix test/integration/test-apt-key-net-update (code copy/DRY violation)

improve error message

improve error message for apt-get source pkg:arch{=ver,/release}

add support for "apt-get source pkg:arch"

user-requested version tag gets precedence in apt-get source -t dist pkg=version requests

fix typo

improve test for #731853 and comments

if there is only deb-src pick higest version in deb-src release matching

Merge remote-tracking branch 'mvo/feature/deb-src-bts731102' into debian/sid

Merge remote-tracking branch 'origin/feature/source-deb822' into feature/source-deb822

Conflicts:
apt-pkg/sourcelist.cc

Merge remote-tracking branch 'upstream/debian/sid' into feature/source-deb822

Merge remote-tracking branch 'origin/feature/deb-src-bts731102' into feature/source-deb822

suppoer $(ARCH) in deb822 sources.list as well

add APT::Sources::Use-Deb822 to allow disabling the deb822 parser

more refactor

refactor deb822 reading into its own function

really release 0.9.14

do not force a specific export-dir in the repository

Git-Dch: Ignore

ensure prepare-release works in the right directory

Git-Dch: Ignore

releasing package apt version 0.9.14

update libapt-pkg4.12 symbols file

also fixing the release script code to deal with 'set -e' mode while
checking the symbols file.