]> git.saurik.com Git - apt.git/log
apt.git
9 years agocleanup Container.erase API to look more like std::containers
David Kalnischkies [Wed, 17 Jun 2015 11:30:14 +0000 (13:30 +0200)] 
cleanup Container.erase API to look more like std::containers

C++11 slightly changes the API again to const_iterator, but we are find
with iterators in the C++03 style for now as long as they look and
behave equally to the methods of the standard containers.

Git-Dch: Ignore

9 years agomake all d-pointer * const pointers
David Kalnischkies [Wed, 17 Jun 2015 07:29:00 +0000 (09:29 +0200)] 
make all d-pointer * const pointers

Doing this disables the implicit copy assignment operator (among others)
which would cause hovac if used on the classes as it would just copy the
pointer, not the data the d-pointer points to. For most of the classes
we don't need a copy assignment operator anyway and in many classes it
was broken before as many contain a pointer of some sort.

Only for our Cacheset Container interfaces we define an explicit copy
assignment operator which could later be implemented to copy the data
from one d-pointer to the other if we need it.

Git-Dch: Ignore

9 years agoapply various style suggestions by cppcheck
David Kalnischkies [Tue, 16 Jun 2015 22:14:10 +0000 (00:14 +0200)] 
apply various style suggestions by cppcheck

Some of them modify the ABI, but given that we prepare a big one
already, these few hardly count for much.

Git-Dch: Ignore

9 years agopolicy: Fix the handling of config-files states
Julian Andres Klode [Mon, 10 Aug 2015 13:52:06 +0000 (15:52 +0200)] 
policy: Fix the handling of config-files states

Gbp-Dch: ignore

9 years agoFix test case breakage from the new policy implementation
Julian Andres Klode [Mon, 10 Aug 2015 13:36:51 +0000 (15:36 +0200)] 
Fix test case breakage from the new policy implementation

Everything's working now.

9 years agopolicy: Fix the new policy implementation to handle downgrades correctly
Julian Andres Klode [Mon, 10 Aug 2015 13:00:16 +0000 (15:00 +0200)] 
policy: Fix the new policy implementation to handle downgrades correctly

This was broken previously, as we'd choose a downgrade when it's
pin was higher than the previously selected candidate.

9 years agoDetermine the candidate based on per-version pins, instead of old code
Julian Andres Klode [Mon, 10 Aug 2015 10:20:51 +0000 (12:20 +0200)] 
Determine the candidate based on per-version pins, instead of old code

The new implementation assigns each version a pin, instead of assigning
the pin to a package. This enables us to give each version of a package
a different priority.

Closes: #770017
Closes: #622237
Closes: #620249
Closes: #685215
9 years agopolicy: Return highest file pin if version pin == 0 in GetPriority()
Julian Andres Klode [Mon, 10 Aug 2015 10:18:28 +0000 (12:18 +0200)] 
policy: Return highest file pin if version pin == 0 in GetPriority()

This makes sure that we display a useful value instead of 0 for
versions that are pinned due to package files.

9 years agofileutl_test.cc: Check for /etc/passwd instead of /bin/sh
Julian Andres Klode [Mon, 10 Aug 2015 09:42:34 +0000 (11:42 +0200)] 
fileutl_test.cc: Check for /etc/passwd instead of /bin/sh

This fixes the tests on systems where usrmerge is installed.

Gbp-dch: ignore

9 years agoapt-cache: Change version pin output to use per-version pins
Julian Andres Klode [Mon, 10 Aug 2015 09:31:19 +0000 (11:31 +0200)] 
apt-cache: Change version pin output to use per-version pins

9 years agopolicy: Assign per-version pins
Julian Andres Klode [Mon, 10 Aug 2015 09:21:11 +0000 (11:21 +0200)] 
policy: Assign per-version pins

9 years agoversionmatch: Extract version match checking out of Find()
Julian Andres Klode [Mon, 10 Aug 2015 09:19:11 +0000 (11:19 +0200)] 
versionmatch: Extract version match checking out of Find()

Refactor version matching to allow us to check if a version matches
a pin. This will aid the per-version pinning implementation.

9 years agopkgPolicy: Introduce storage and helpers for per-version pins
Julian Andres Klode [Mon, 10 Aug 2015 09:00:37 +0000 (11:00 +0200)] 
pkgPolicy: Introduce storage and helpers for per-version pins

Per-version pins should lead to more predictable results with
/etc/apt/preferences uses like pinning one version with -1.

9 years agoTurkish translation update for apt
Mert Dirik [Tue, 23 Jun 2015 11:58:47 +0000 (12:58 +0100)] 
Turkish translation update for apt

Closes: #789491
9 years agoMerge remote-tracking branch 'donkult/debian/experimental' into debian/experimental
Michael Vogt [Tue, 23 Jun 2015 11:17:35 +0000 (12:17 +0100)] 
Merge remote-tracking branch 'donkult/debian/experimental' into debian/experimental

9 years agoadd d-pointer, virtual destructors and de-inline de/constructors
David Kalnischkies [Tue, 16 Jun 2015 14:22:46 +0000 (16:22 +0200)] 
add d-pointer, virtual destructors and de-inline de/constructors

To have a chance to keep the ABI for a while we need all three to team
up. One of them missing and we might loose, so ensuring that they are
available is a very tedious but needed task once in a while.

Git-Dch: Ignore

9 years agoallow ratelimiting progress reporting for testcases
David Kalnischkies [Mon, 15 Jun 2015 21:59:14 +0000 (23:59 +0200)] 
allow ratelimiting progress reporting for testcases

Progress reports once in a while which is a bit to unpredictable for
testcases, so we enforce a steady progress for them in the hope that
this makes the tests (mostly test-apt-progress-fd) a bit more stable.

Git-Dch: Ignore

9 years agocondense parallel requests with the same hashes to one
David Kalnischkies [Mon, 15 Jun 2015 21:06:56 +0000 (23:06 +0200)] 
condense parallel requests with the same hashes to one

It shouldn't be too common, but sometimes people have multiple mirrors
in the sources or otherwise repositories with the same content. Now that
we gracefully can handle multiple requests to the same URI, we can also
fold multiple requests with the same expected hashes into one. Note that
this isn't trying to find oppertunities for merging, but just merges if
it happens to encounter the oppertunity for it.

This is most obvious in the new testcase actually as it needs to delay
the action to give the acquire system enough time to figure out that
they can be merged.

9 years agoshow item ID in Hit, Ign and Err lines as well
David Kalnischkies [Mon, 15 Jun 2015 14:41:43 +0000 (16:41 +0200)] 
show item ID in Hit, Ign and Err lines as well

Again, consistency is the main sellingpoint here, but this way it is now
also easier to explain that some files move through different stages and
lines are printed for them hence multiple times: That is a bit hard to
believe if the number is changing all the time, but now that it keeps
consistent.

9 years agocall URIStart in cdrom and file method
David Kalnischkies [Mon, 15 Jun 2015 11:36:11 +0000 (13:36 +0200)] 
call URIStart in cdrom and file method

All other methods call it, so they should follow along even if the work
they do afterwards is hardly breathtaking and usually results in a
URIDone pretty soon, but the acquire system tells the individual item
about this via a virtual method call, so even through none of our
existing items contains any critical code in these, maybe one day they
might. Consistency at least once…

Which is also why this has a good sideeffect: file: and cdrom: requests
appear now in the 'apt-get update' output. Finally - it never made sense
to hide them for me. Okay, I guess it made before the new hit behavior,
but now that you can actually see the difference in an update it makes
sense to see if a file: repository changed or not as well.

9 years agodeal better with acquiring the same URI multiple times
David Kalnischkies [Mon, 15 Jun 2015 11:16:43 +0000 (13:16 +0200)] 
deal better with acquiring the same URI multiple times

This is an unlikely event for indexes and co, but it can happen quiet
easily e.g. for changelogs where you want to get the changelogs for
multiple binary package(version)s which happen to all be built from a
single source.

The interesting part is that the Acquire system actually detected this
already and set the item requesting the URI again to StatDone - expect
that this is hardly sufficient: an Item must be Complete=true as well
to be considered truely done and that is only the tip of the ::Done
handling iceberg. So instead of this StatDone hack we allow QItems to be
owned by multiple items and notify all owners about everything now,
so that for the point of each item they got it downloaded just for them.

9 years agoensure valid or remove destination file in file method
David Kalnischkies [Mon, 15 Jun 2015 10:51:22 +0000 (12:51 +0200)] 
ensure valid or remove destination file in file method

'file' isn't using the destination file per-se, but returns another name
via "Filename" header. It still should deal with destination files as
they could exist (pkgAcqFile e.g. creates links in that location) and
are potentially bogus.

9 years agoprovide a public interface for acquiring changelogs
David Kalnischkies [Sat, 13 Jun 2015 09:13:45 +0000 (11:13 +0200)] 
provide a public interface for acquiring changelogs

Provided is a specialized acquire item which given a version can figure
out the correct URI to try by itself and if not provides an error
message alongside with static methods to get just the URI it would try
to download if it should just be displayed or similar such.

The URI is constructed as follows:
Release files can provide an URI template in the "Changelogs" field,
otherwise we lookup a configuration item based on the "Label" or
"Origin" of the Release file to get a (hopefully known) default value
for now. This template should contain the string CHANGEPATH which is
replaced with the information about the version we want the changelog
for (e.g.  main/a/apt/apt_1.1). This middleway was choosen as this path
part was consistent over the three known implementations (+1 defunct),
while the rest of the URI varies widely between them.

The benefit of this construct is that it is now easy to get changelogs
for Debian packages on Ubuntu and vice versa – even at the moment where
the Changelogs field is present nowhere. Strictly better than what
apt-get had before as it would even fail to get changelogs from
security… Now it will notice that security identifies as Origin: Debian
and pick this setting (assuming again that no Changelogs field exists).
If on the other hand security would ship its changelogs in a different
location we could set it via the Label option overruling Origin.

Closes: 687147, 739854, 784027, 787190
9 years agohide Translation-* in 'apt-cache policy' output
David Kalnischkies [Fri, 12 Jun 2015 13:48:00 +0000 (15:48 +0200)] 
hide Translation-* in 'apt-cache policy' output

Translation-* files are internally handled as PackageFiles which isn't
super nice, but giving them their own struct is a bit overkill so let it
be for the moment. They always appeared in the policy output because of
this through and now that they are properly linked to a ReleaseFile they
even display all the pinning information on them, but they don't contain
any packages which could be pinned… No problem, but useless and
potentially confusing output.

Adding a 'NoPackages' flag which can be set on those files and be used
in applications seems like a simple way to fix this display issue.

9 years agopopulate the Architecture field for PackageFiles
David Kalnischkies [Fri, 12 Jun 2015 12:42:17 +0000 (14:42 +0200)] 
populate the Architecture field for PackageFiles

This is mainly visible in the policy, so that you can now pin by b= and
let it only effect Packages files of this architecture and hence the
packages coming from it (which do not need to be from this architecture,
but very likely are in a normal repository setup).

If you should pin by architecture in this way is a different question…

Closes: 687255
9 years agoimplement default apt-get file --release-info mode
David Kalnischkies [Fri, 12 Jun 2015 10:06:29 +0000 (12:06 +0200)] 
implement default apt-get file --release-info mode

Selecting targets based on the Release they belong to isn't to
unrealistic. In fact, it is assumed to be the most used case so it is
made the default especially as this allows to bundle another thing we
have to be careful with: Filenames and only showing targets we have
acquired.

Closes: 752702
9 years agostore Release files data in the Cache
David Kalnischkies [Fri, 12 Jun 2015 00:08:53 +0000 (02:08 +0200)] 
store Release files data in the Cache

We used to read the Release file for each Packages file and store the
data in the PackageFile struct even through potentially many Packages
(and Translation-*) files could use the same data. The point of the
exercise isn't the duplicated data through. Having the Release files as
first-class citizens in the Cache allows us to properly track their
state as well as allows us to use the information also for files which
aren't in the cache, but where we know to which Release file they
belong (Sources are an example for this).

This modifies the pkgCache structs, especially the PackagesFile struct
which depending on how libapt users access the data in these structs can
mean huge breakage or no visible change. As a single data point:
aptitude seems to be fine with this. Even if there is breakage it is
trivial to fix in a backportable way while avoiding breakage for
everyone would be a huge pain for us.

Note that not all PackageFile structs have a corresponding ReleaseFile.
In particular the dpkg/status file as well as *.deb files have not. As
these have only a Archive property need, the Component property takes
over this duty and the ReleaseFile remains zero. This is also the reason
why it isn't needed nor particularily recommended to change from
PackagesFile to ReleaseFile blindly. Sticking with the earlier is
usually the better option.

9 years agoimplement 'apt-get files' to access index targets
David Kalnischkies [Thu, 11 Jun 2015 14:40:45 +0000 (16:40 +0200)] 
implement 'apt-get files' to access index targets

Downloading additional files is only half the job. We still need a way
to allow external tools to know where the files are they requested for
download given that we don't want them to choose their own location.

'apt-get files' is our answer to this showing by default in a deb822
format information about each IndexTarget with the potential to filter
the records based on lines and an option to change the output format.

The command serves also as an example on how to get to this information
via libapt.

9 years agouse an enum instead of strings as IndexTarget::Option interface
David Kalnischkies [Thu, 11 Jun 2015 09:59:16 +0000 (11:59 +0200)] 
use an enum instead of strings as IndexTarget::Option interface

Strings are easy to typo and we can keep the extensibility we require
here with a simple enum we can append to without endangering ABI.

Git-Dch: Ignore

9 years agouse IndexTarget to get to IndexFile
David Kalnischkies [Thu, 11 Jun 2015 09:38:04 +0000 (11:38 +0200)] 
use IndexTarget to get to IndexFile

Removes a bunch of duplicated code in the deb-specific parts. Especially
the Description part is now handled centrally by IndexTarget instead of
being duplicated to the derivations of IndexFile.

Git-Dch: Ignore

9 years agoshow URI.Path in all acquire item descriptions
David Kalnischkies [Thu, 11 Jun 2015 08:56:31 +0000 (10:56 +0200)] 
show URI.Path in all acquire item descriptions

It is a rather strange sight that index items use SiteOnly which strips
the Path, while e.g. deb files are downloaded with NoUserPassword which
does not. Important to note here is that for the file transport Path is
pretty important as there is no Host which would be displayed by Site,
which always resulted in "interesting" unspecific errors for "file:".

Adding a 'middle' ground between the two which does show the Path but
potentially modifies it (it strips a pending / at the end if existing)
solves this "file:" issue, syncs the output and in the end helps to
identify which file is meant exactly in progress output and co as a
single site can have multiple repositories in different paths.

9 years agorename Calculate- to GetIndexTargets and use it as official API
David Kalnischkies [Wed, 10 Jun 2015 21:53:36 +0000 (23:53 +0200)] 
rename Calculate- to GetIndexTargets and use it as official API

We need a general way to get from a sources.list entry to IndexTargets
and with this change we can move from pkgSourceList over the list of
metaIndexes it includes to the IndexTargets each metaIndex can have.

Git-Dch: Ignore

9 years agostop using IndexTarget pointers which are never freed
David Kalnischkies [Wed, 10 Jun 2015 20:10:48 +0000 (22:10 +0200)] 
stop using IndexTarget pointers which are never freed

Creating and passing around a bunch of pointers of IndexTargets (and of
a vector of pointers of IndexTargets) is probably done to avoid the
'costly' copy of container, but we are really not in a timecritical
operation here and move semantics will help us even further in the
future. On the other hand we never do a proper cleanup of these
pointers, which is very dirty, even if structures aren't that big…

The changes will effecting many items only effect our own hidden class,
so we can do that without fearing breaking interfaces or anything.

Git-Dch: Ignore

9 years agostore all targets data in IndexTarget struct
David Kalnischkies [Wed, 10 Jun 2015 19:24:47 +0000 (21:24 +0200)] 
store all targets data in IndexTarget struct

We still need an API for the targets, so slowly prepare the IndexTargets
to let them take this job.

Git-Dch: Ignore

9 years agoabstract the code to iterate over all targets a bit
David Kalnischkies [Wed, 10 Jun 2015 17:22:41 +0000 (19:22 +0200)] 
abstract the code to iterate over all targets a bit

We have two places in the code which need to iterate over targets and do
certain things with it. The first one is actually creating these targets
for download and the second instance pepares certain targets for
reading.

Git-Dch: Ignore

9 years agoreplace ULONG_MAX with c++ style std::numeric_limits
David Kalnischkies [Tue, 9 Jun 2015 13:15:33 +0000 (15:15 +0200)] 
replace ULONG_MAX with c++ style std::numeric_limits

For some reason travis seems to be unhappy about it claiming it
is not defined. Well, lets not think to deeply about it…

Git-Dch: Ignore

9 years agoconfigureable acquire targets to download additional files
David Kalnischkies [Tue, 9 Jun 2015 09:59:22 +0000 (11:59 +0200)] 
configureable acquire targets to download additional files

First pass at making the acquire system capable of downloading files
based on configuration rather than hardcoded entries. It is now possible
to instruct 'deb' and 'deb-src' sources.list lines to download more than
just Packages/Translation-* and Sources files. Details on how to do that
can be found in the included documentation file.

9 years agoremove debianism file-content verification
David Kalnischkies [Mon, 8 Jun 2015 14:08:53 +0000 (16:08 +0200)] 
remove debianism file-content verification

The code requires every index file we download to have a Package field,
but that doesn't hold true for all index we might want to download in
the future. Some might not even be deb822 formatted files…

The check was needed as apt used to accept unverifiable files like
Translation-*, but nowadays it requires hashes for these as well. Even
for unsigned repositories we interpret the Release file as binding now,
which means this check isn't triggerable expect for repositories which
do not have a Release file at all – something which is highly discouraged!

Git-Dch: Ignore

9 years agodo not request files if we expect an IMS hit
David Kalnischkies [Mon, 8 Jun 2015 13:22:01 +0000 (15:22 +0200)] 
do not request files if we expect an IMS hit

If we have a file on disk and the hashes are the same in the new Release
file and the old one we have on disk we know that if we ask the server
for the file, we will at best get an IMS hit – at worse the server
doesn't support this and sends us the (unchanged) file and we have to
run all our checks on it again for nothing. So, we can save ourselves
(and the servers) some unneeded requests if we figure this out on our
own.

9 years agocleanup pdiff support detection decision
David Kalnischkies [Mon, 8 Jun 2015 09:20:01 +0000 (11:20 +0200)] 
cleanup pdiff support detection decision

Its a bit unclean to create an item just to let the item decide that it
can't do anything and let it fail, so instead we let the item creator
decide in all cases if patching should be attempted.

Also pulls a small trick to get the hashes for the current file without
calculating them by looking at the 'old' Release file if we have it.

Git-Dch: Ignore

9 years agosupport hashes for compressed pdiff files
David Kalnischkies [Sun, 7 Jun 2015 22:06:41 +0000 (00:06 +0200)] 
support hashes for compressed pdiff files

At the moment we only have hashes for the uncompressed pdiff files, but
via the new '$HASH-Download' field in the .diff/Index hashes can be
provided for the .gz compressed pdiff file, which apt will pick up now
and use to verify the download. Now, we "just" need a buy in from the
creators of repositories…

9 years agofix download-file using testcases to run as root
David Kalnischkies [Sun, 7 Jun 2015 07:35:37 +0000 (09:35 +0200)] 
fix download-file using testcases to run as root

Git-Dch: Ignore

9 years agoadd more parsing error checking for rred
David Kalnischkies [Sun, 7 Jun 2015 00:17:15 +0000 (02:17 +0200)] 
add more parsing error checking for rred

The rred parser is very accepting regarding 'invalid' files. Given that
we can't trust the input it might be a bit too relaxed. In any case,
checking for more errors can't hurt given that we support only a very
specific subset of ed commands.

9 years agocheck patch hashes in rred worker instead of in the handler
David Kalnischkies [Sat, 6 Jun 2015 17:16:45 +0000 (19:16 +0200)] 
check patch hashes in rred worker instead of in the handler

rred is responsible for unpacking and reading the patch files in one go,
but we currently only have hashes for the uncompressed patch files, so
the handler read the entire patch file before dispatching it to the
worker which would read it again – both with an implicit uncompress.
Worse, while the workers operate in parallel the handler is the central
orchestration unit, so having it busy with work means the workers do
(potentially) nothing.

This means rred is working with 'untrusted' data, which is bad. Yet,
having the unpack in the handler meant that the untrusted uncompress was
done as root which isn't better either. Now, we have it at least
contained in a binary which we can harden a bit better. In the long run,
we want hashes for the compressed patch files through to be safe.

9 years agorework hashsum verification in the acquire system
David Kalnischkies [Sat, 6 Jun 2015 10:28:00 +0000 (12:28 +0200)] 
rework hashsum verification in the acquire system

Having every item having its own code to verify the file(s) it handles
is an errorprune process and easy to break, especially if items move
through various stages (download, uncompress, patching, …). With a giant
rework we centralize (most of) the verification to have a better
enforcement rate and (hopefully) less chance for bugs, but it breaks the
ABI bigtime in exchange – and as we break it anyway, it is broken even
harder.

It shouldn't effect most frontends as they don't deal with the acquire
system at all or implement their own items, but some do and will need to
be patched (might be an opportunity to use apt on-board material).

The theory is simple: Items implement methods to decide if hashes need to
be checked (in this stage) and to return the expected hashes for this
item (in this stage). The verification itself is done in worker message
passing which has the benefit that a hashsum error is now a proper error
for the acquire system rather than a Done() which is later revised to a
Failed().

9 years agodon't try other compressions on hashsum mismatch
David Kalnischkies [Tue, 19 May 2015 08:40:55 +0000 (10:40 +0200)] 
don't try other compressions on hashsum mismatch

If we e.g. fail on hash verification for Packages.xz its highly unlikely
that it will be any better with Packages.gz, so we just waste download
bandwidth and time. It also causes us always to fallback to the
uncompressed Packages file for which the error will finally be reported,
which in turn confuses users as the file usually doesn't exist on the
mirrors, so a bug in apt is suspected for even trying it…

9 years agoMerge branch 'debian/sid' into debian/experimental
Michael Vogt [Fri, 22 May 2015 15:01:03 +0000 (17:01 +0200)] 
Merge branch 'debian/sid' into debian/experimental

Conflicts:
apt-pkg/pkgcache.h
debian/changelog
methods/https.cc
methods/server.cc
test/integration/test-apt-download-progress

9 years agoUpdate methods/https.cc now that ServerState::Size is renamed
Michael Vogt [Fri, 22 May 2015 14:27:08 +0000 (16:27 +0200)] 
Update methods/https.cc now that ServerState::Size is renamed

Git-Dch: ignore

9 years agoMerge remote-tracking branch 'upstream/debian/jessie' into debian/sid
Michael Vogt [Fri, 22 May 2015 14:17:08 +0000 (16:17 +0200)] 
Merge remote-tracking branch 'upstream/debian/jessie' into debian/sid

Conflicts:
apt-pkg/deb/dpkgpm.cc

9 years agoparse arch-qualified Provides correctly
Helmut Grohne [Mon, 9 Mar 2015 17:11:10 +0000 (18:11 +0100)] 
parse arch-qualified Provides correctly

The underlying problem is that libapt-pkg does not correctly parse these
provides. Internally, it creates a version named "baz:i386" with
architecture amd64. Of course, such a package name is invalid and thus
this version is completely inaccessible. Thus, this bug should not cause
apt to accept a broken situation as valid. Nevertheless, it prevents
using architecture qualified depends.

Closes: 777071
9 years agoAdd regression test for LP: #1445239
Michael Vogt [Fri, 22 May 2015 14:05:05 +0000 (16:05 +0200)] 
Add regression test for LP: #1445239

Add a regression test that reproduced the hang of apt when a
partial file is present.

Git-Dch: ignore

9 years agoRename "Size" in ServerState to TotalFileSize
Michael Vogt [Fri, 22 May 2015 13:40:18 +0000 (15:40 +0200)] 
Rename "Size" in ServerState to TotalFileSize

The variable "Size" was misleading and caused bug #1445239. To
avoid similar issues in the future, rename it to make the meaning
more obvious.

git-dch: ignore

9 years agoFix endless loop in apt-get update that can cause disk fillup
Michael Vogt [Fri, 22 May 2015 13:28:53 +0000 (15:28 +0200)] 
Fix endless loop in apt-get update that can cause disk fillup

The apt http code parses Content-Length and Content-Range. For
both requests the variable "Size" is used and the semantic for
this Size is the total file size. However Content-Length is not
the entire file size for partital file requests. For servers that
send the Content-Range header first and then the Content-Length
header this can lead to globbing of Size so that its less than
the real file size. This may lead to a subsequent passing of a
negative number into the CircleBuf which leads to a endless
loop that writes data.

Thanks to Anton Blanchard for the analysis and initial patch.

LP: #1445239

9 years agoMerge remote-tracking branch 'upstream/debian/sid' into debian/sid
Michael Vogt [Fri, 22 May 2015 12:17:04 +0000 (14:17 +0200)] 
Merge remote-tracking branch 'upstream/debian/sid' into debian/sid

9 years agotreat older Release files than we already have as an IMSHit
David Kalnischkies [Mon, 18 May 2015 20:15:06 +0000 (22:15 +0200)] 
treat older Release files than we already have as an IMSHit

Valid-Until protects us from long-living downgrade attacks, but not all
repositories have it and an attacker could still use older but still
valid files to downgrade us. While this makes it sounds like a security
improvement now, its a bit theoretical at best as an attacker with
capabilities to pull this off could just as well always keep us days
(but in the valid period) behind and always knows which state we have,
as we tell him with the If-Modified-Since header. This is also why this
is 'silently' ignored and treated as an IMSHit rather than screamed at
the user as this can at best be an annoyance for attackers.

An error here would 'regularily' be encountered by users by out-of-sync
mirrors serving a single run (e.g. load balancer) or in two consecutive
runs on the other hand, so it would just help teaching people ignore it.

That said, most of the code churn is caused by enforcing this additional
requirement. Crisscross from InRelease to Release.gpg is e.g. very
unlikely in practice, but if we would ignore it an attacker could
sidestep it this way.

9 years agodetect Releasefile IMS hits even if the server doesn't
David Kalnischkies [Wed, 13 May 2015 14:09:12 +0000 (16:09 +0200)] 
detect Releasefile IMS hits even if the server doesn't

Not all servers we are talking to support If-Modified-Since and some are
not even sending Last-Modified for us, so in an effort to detect such
hits we run a hashsum check on the 'old' compared to the 'new' file, we
got the hashes for the 'new' already for "free" from the methods anyway
and hence just need to calculated the old ones.

This allows us to detect hits even with unsupported servers, which in
turn means we benefit from all the new hit behavior also here.

9 years agoimplement VerifyFile as all-hashes check
David Kalnischkies [Tue, 12 May 2015 09:18:17 +0000 (11:18 +0200)] 
implement VerifyFile as all-hashes check

It isn't used much compared to what the methodname suggests, but in the
remaining uses it can't hurt to check more than strictly necessary by
calculating and verifying with all hashes we can compare with rather
than "just" the best known hash.

9 years agodetect 416 complete file in partial by expected hash
David Kalnischkies [Mon, 11 May 2015 22:30:16 +0000 (00:30 +0200)] 
detect 416 complete file in partial by expected hash

If we have the expected hashes we can check with them if the file we
have in partial we got a 416 for is the expected file. We detected this
with same-size before, but not every server sends a good Content-Range
header with a 416 response.

9 years agorewrite all TFRewrite instances to use the new pkgTagSection::Write
David Kalnischkies [Mon, 11 May 2015 13:08:08 +0000 (15:08 +0200)] 
rewrite all TFRewrite instances to use the new pkgTagSection::Write

While it is mostly busywork to rewrite all instances it actually fixes
bugs as the data storage used by the new method is std::string rather
than a char*, the later mostly created by c_str() from a std::string
which the caller has to ensure keeps in scope – something apt-ftparchive
actually didn't ensure and relied on copy-on-write behavior instead
which c++11 forbids and hence the new default gcc abi doesn't use it.

9 years agoimplement a more c++-style TFRewrite alternative
David Kalnischkies [Sun, 10 May 2015 20:53:15 +0000 (22:53 +0200)] 
implement a more c++-style TFRewrite alternative

TFRewrite is okay, but it has obscure limitations (256 Tags), even more
obscure bugs (order for renames is defined by the old name) and the
interface is very c-style encouraging bad usage like we do it in
apt-ftparchive passing massive amounts of c_str() from std::string in.

The old-style is marked as deprecated accordingly. The next commit will
fix all places in the apt code to not use the old-style anymore.

9 years agostop depending on copy-on-write for std::string
David Kalnischkies [Sat, 9 May 2015 13:37:23 +0000 (15:37 +0200)] 
stop depending on copy-on-write for std::string

In 66c3875df391b1120b43831efcbe88a78569fbfe we workaround/fixed a
problem where the code makes the assumption that the compiler uses
copy-on-write implementations for std::string. Turns out that for c++11
compatibility gcc >= 5 will stop doing this by default.

9 years agosync TFRewrite*Order arrays with dpkg and dak
David Kalnischkies [Sat, 9 May 2015 16:55:41 +0000 (18:55 +0200)] 
sync TFRewrite*Order arrays with dpkg and dak

dpkg and dak know various field names and order them in their output,
while we have yet another order and have to play catch up with them as
we are sitting between chairs here and neither order is ideal for us,
too.

A little testcase is from now on supposed to help ensureing that we do
not derivate to far away from which fields dpkg knows and orders.

9 years agofix 'Source' to 'Package' rename in apt-ftparchive
David Kalnischkies [Sat, 9 May 2015 22:44:29 +0000 (00:44 +0200)] 
fix 'Source' to 'Package' rename in apt-ftparchive

This rename with value is ordered by the 'old' name 'Source', but should
be ordered by the new name… by splitting the operation in a delete and a
new field we can easily fix this problem locally for now.

9 years agodrop incorrect parameter implicitely converted to bool
David Kalnischkies [Sat, 9 May 2015 13:10:55 +0000 (15:10 +0200)] 
drop incorrect parameter implicitely converted to bool

The helper expects to be told if it should generate messages, not where
these messages should be printed – as it isn't printing such messages,
but puts them in _error. apt-get uses in other methods a helper
specialisation which does also print stuff to a stream through, so this
is likely a copy&paste error.

Git-Dch: Ignore

9 years agofix macro definition for very old GCC < 3
David Kalnischkies [Sat, 9 May 2015 12:02:59 +0000 (14:02 +0200)] 
fix macro definition for very old GCC < 3

Git-Dch: Ignore

9 years agoshow non-matching m-a:same versions in debug message
David Kalnischkies [Sat, 9 May 2015 10:39:22 +0000 (12:39 +0200)] 
show non-matching m-a:same versions in debug message

Slightly rewriting the code to ensure we only use two sources for the
versions as it could otherwise be confusing to look at.

9 years agoremove available file to have same dpkg -l behavior
David Kalnischkies [Wed, 29 Apr 2015 08:55:08 +0000 (10:55 +0200)] 
remove available file to have same dpkg -l behavior

dpkg -l < 1.16.2 loads the available file and hence sees a package which
later versions do not see, leading to failures on travis-ci.
The different versions also have slightly different messages.

Git-Dch: Ignore

9 years agoremove unused and strange default-value for pins
David Kalnischkies [Tue, 28 Apr 2015 21:59:00 +0000 (23:59 +0200)] 
remove unused and strange default-value for pins

If the pin for a generic pin is 0, it get a value by strange looking
rules, if the pin is specific the rules are at least not strange, but
the value 989 is a magic number without any direct meaning… but both
never happens in practice as the parsing skips such entries with a
warning, so there always is a priority != 0 and the code therefore never
used.

9 years agoa pin of 1000 always means downgrade allowed
David Kalnischkies [Tue, 28 Apr 2015 21:42:03 +0000 (23:42 +0200)] 
a pin of 1000 always means downgrade allowed

The documentation says this, but the code only agreed while evaluating
specific packages, but not generics. These needed a pin above 1000 to
have the same effect.

The code causing this makes references to a 'second pesduo status file',
but nowhere is explained what this might stand for and/or what it was,
so we do the only reasonable thing: Remove all references and do as
documented.

9 years agodo not require installed libapt-pkg-dev for gtest
David Kalnischkies [Tue, 28 Apr 2015 13:06:12 +0000 (15:06 +0200)] 
do not require installed libapt-pkg-dev for gtest

Git-Dch: Ignore

9 years agoimprove partial/ cleanup in abort and failure cases
David Kalnischkies [Mon, 27 Apr 2015 08:59:27 +0000 (10:59 +0200)] 
improve partial/ cleanup in abort and failure cases

Especially pdiff-enhanced downloads have the tendency to fail for
various reasons from which we can recover and even a successful download
used to leave the old unpatched index in partial/.

By adding a new method responsible for making the transaction of an
individual file happen we can at specialisations especially for abort
cases to deal with the cleanup.

This also helps in keeping the compressed indexes around if another
index failed instead of keeping the decompressed files, which we
wouldn't pick up in the next call.

9 years agoMove sysconf(_SC_OPEN_MAX); out of the for() loop to avoid unneeded syscalls
Michael Vogt [Tue, 28 Apr 2015 15:55:00 +0000 (17:55 +0200)] 
Move sysconf(_SC_OPEN_MAX); out of the for() loop to avoid unneeded syscalls

9 years agoreleasing package apt version 1.0.9.9 1.0.9.9
Michael Vogt [Tue, 28 Apr 2015 14:15:25 +0000 (16:15 +0200)] 
releasing package apt version 1.0.9.9

9 years agoremove "first package seen is native package" assumption
David Kalnischkies [Wed, 22 Apr 2015 10:06:40 +0000 (12:06 +0200)] 
remove "first package seen is native package" assumption

The fix for #777760 causes packages of foreign (and the native)
architectures, to be created correctly, but invalidates (like the
previously existing, but policy-forbidden architecture-less packages
we had to support for some upgrade scenarios) the assumption that the
first (and only) package in the cache for a single architecture system
must be the package for the native architecture (as, where should the
other architectures come from, right? Wrong.).

Depending on the order of parsing sources more or less packages can be
effected by this. The effects are strange (for apt it mostly effects
simulation/debug output, but also apt-mark on these specific packages),
which complicates debugging, but relatively harmless if understood as
most actions do not need direct named access to packages.

The problem is fixed by removing the single-arch special casing in the
paths who had them (Cache.FindPkg), so they use the same code as
multi-arch systems, which use them as a wrapper for Grp.FindPkg.

Note that single-arch system code was using Grp.FindPkg before as well
if a Grp structure was handily available, so we don't introduce new
untested code here: We remove more brittle special cases which are less
tested instead (this was planed to be done for Stretch anyhow).

Note further that the method with the assumption itself isn't fixed. As
it is a private method I opted for declaring it deprecated instead and
remove all its call positions. As it is private no-one can call this
method legally (thanks to how c++ works by default its still an exported
symbol through) and fixing it basically means reimplementing code we
already have in Grp.FindPkg.

Removing rather than fixing seems hence like a good solution.

Closes: 782777
Thanks: Axel Beckert for testing

9 years agoMerge branch 'debian/jessie' into debian/experimental
David Kalnischkies [Sat, 18 Apr 2015 23:24:46 +0000 (01:24 +0200)] 
Merge branch 'debian/jessie' into debian/experimental

Conflicts:
apt-pkg/acquire-item.cc
cmdline/apt-key.in
methods/https.cc
test/integration/test-apt-key
test/integration/test-multiarch-foreign

9 years agohide first pdiff merge failure debug message
David Kalnischkies [Thu, 16 Apr 2015 09:01:37 +0000 (11:01 +0200)] 
hide first pdiff merge failure debug message

The sibling of this message are all guarded as debug messages, just this
one had it missing an subsequently causes display issues if triggered.

Git-Dch: Ignore

9 years agoa hit on Release files means the indexes will be hits too
David Kalnischkies [Sun, 12 Apr 2015 15:08:46 +0000 (17:08 +0200)] 
a hit on Release files means the indexes will be hits too

If we get a IMSHit for the Transaction-Manager (= the InRelease file or
as its still supported fallback Release + Release.gpg combo) we can
assume that every file we would queue based on this manager, but already
have locally is current and hence would get an IMSHit, too. We therefore
save us and the server the trouble and skip the queuing in this case.
Beside speeding up repetative executions of 'apt-get update' this way we
also avoid hitting hashsum errors if the indexes are in fact already
updated, but the Release file isn't yet as it is the case on well
behaving mirrors as Release files is updated last.

The implementation is a bit harder than the theory makes it sound as we
still have to keep reverifying the Release files (e.g. to detect now expired
once to avoid an attacker being able to silently stale us) and have to
handle cases in which the Release file hits, but some indexes aren't
present (e.g. user added a new foreign architecture).

9 years agorefactor calculation of final lists/ name from URI
David Kalnischkies [Sun, 12 Apr 2015 12:32:12 +0000 (14:32 +0200)] 
refactor calculation of final lists/ name from URI

Calculating the final name of an item which it will have after
everything is done and verified successfully is suprisingly complicated
as while they all follow a simple pattern, the URI and where it is
stored varies between the items.

With some (abibreaking) redesign we can abstract this similar to how it
is already down for the partial file location.

Git-Dch: Ignore

9 years agounsigned Release files can expire, too
David Kalnischkies [Sun, 12 Apr 2015 09:20:55 +0000 (11:20 +0200)] 
unsigned Release files can expire, too

Checking Valid-Until on an unsigned Release file doesn't give us any
security brownie points as an attacker could just change the date and in
practice repositories with unsigned Release files will very likely not
have a Valid-Until date, but for symetry and the fact that being
unsigned is currently just a warning, while expired is a fatal error.

9 years agoensure lists/ files have correct permissions after apt-cdrom add
David Kalnischkies [Sat, 11 Apr 2015 18:13:19 +0000 (20:13 +0200)] 
ensure lists/ files have correct permissions after apt-cdrom add

Its a bit unpredictable which permissons and owners we will encounter on
a CD-ROM (or a USB stick, as apt-cdrom is responsible for those too),
so we have to ensure in this codepath as well that everything is nicely
setup without waiting for a 'apt-get update' to fix up the (potential)
mess.

9 years agocalculate hashes while downloading in https
David Kalnischkies [Sat, 11 Apr 2015 08:23:52 +0000 (10:23 +0200)] 
calculate hashes while downloading in https

We do this in HTTP already to give the CPU some exercise while the disk
is heavily spinning (or flashing?) to store the data avoiding the need
to reread the entire file again later on to calculate the hashes – which
happens outside of the eyes of progress reporting, so you might ended up
with a bunch of https workers 'stuck' at 100% while they were busy
calculating hashes.

This is a bummer for everyone using apt as a connection speedtest as the
https method works slower now (not really, it just isn't reporting done
too early anymore).

9 years agoItalian program translation update
Milo Casagrande [Sat, 11 Apr 2015 06:11:25 +0000 (08:11 +0200)] 
Italian program translation update

Closes: 782122
9 years agocalculate only expected hashes in methods
David Kalnischkies [Mon, 30 Mar 2015 18:47:13 +0000 (20:47 +0200)] 
calculate only expected hashes in methods

Methods get told which hashes are expected by the acquire system, which
means we can use this list to restrict what we calculate in the methods
as any extra we are calculating is wasted effort as we can't compare it
with anything anyway.

Adding support for a new hash algorithm is therefore 'free' now and if a
algorithm is no longer provided in a repository for a file, we
automatically stop calculating it.

In practice this results in a speed-up in Debian as we don't have SHA512
here (so far), so we practically stop calculating it.

9 years agoif we can, use gccs __builtin_swap methods
David Kalnischkies [Mon, 30 Mar 2015 12:37:43 +0000 (14:37 +0200)] 
if we can, use gccs __builtin_swap methods

Git-Dch: Ignore

9 years agouse SHA2 unrolled code as its a bit faster
David Kalnischkies [Sun, 29 Mar 2015 12:24:26 +0000 (14:24 +0200)] 
use SHA2 unrolled code as its a bit faster

Upstream claims its faster if combined with an optimizing compiler and
I can confirm that in some tests, so lets see how it works out in
practice.

Git-Dch: Ignore

9 years agohandle servers closing encoded connections correctly
David Kalnischkies [Mon, 30 Mar 2015 17:52:32 +0000 (19:52 +0200)] 
handle servers closing encoded connections correctly

Servers who advertise that they close the connection get the 'Closes'
encoding flag, but this conflicts with servers who response with a
transfer-encoding (e.g. encoding) as it is saved in the same flag.

We have a better flag for the keep-alive (or not) of the connection
anyway, so we check this instead of the encoding.

This is in practice not much of a problem as real servers we talk to are
HTTP1.1 servers (with keep-alive) and there isn't much point in doing
chunked encoding if you are going to close anyway, but our simple
testserver stumbles over this if pressed and its a bit cleaner, too.

Git-Dch: Ignore

9 years agosend Alt-* info for uncompressed based on any compressions
David Kalnischkies [Fri, 27 Mar 2015 18:59:44 +0000 (19:59 +0100)] 
send Alt-* info for uncompressed based on any compressions

file sends information about the uncompressed file if it can find it as
well as for the compressed file. This was done only for gzip so far, but
we support more compression types. That this information isn't used a
lot is a different story.

Git-Dch: Ignore

9 years agoremove duplicated check for same file copy
David Kalnischkies [Fri, 27 Mar 2015 17:56:44 +0000 (18:56 +0100)] 
remove duplicated check for same file copy

Git-Dch: Ignore

9 years agoimprove https method queue progress reporting
David Kalnischkies [Fri, 27 Mar 2015 14:53:43 +0000 (15:53 +0100)] 
improve https method queue progress reporting

The worker expects that the methods tell him when they start or finish
downloading a file. Various information pieces are passed along in this
report including the (expected) filesize. https was using a "global"
struct for reporting which made it 'reuse' incorrect values in some
cases like a non-existent InRelease fallbacking to Release{,.gpg}
resulting in a size-mismatch warning. Reducing the scope and redesigning
the setting of the values we can fix this and related issues.

Closes: 777565, 781509
Thanks: Robert Edmonds and Anders Kaseorg for initial patchs

9 years agodo not unlink https file on general error
David Kalnischkies [Fri, 27 Mar 2015 10:14:44 +0000 (11:14 +0100)] 
do not unlink https file on general error

It might be quite interesting which file (content) made curl freak out
and other methods keep the file around as well.

Git-Dch: Ignore

9 years agodemote missing gtest to a buildtime warning
David Kalnischkies [Tue, 17 Mar 2015 15:51:29 +0000 (16:51 +0100)] 
demote missing gtest to a buildtime warning

We just need it for unit tests and our debian/rules file actually skips
calling them if nocheck is given… but this fails anyhow as we declared a
hard-dependency on it. Demoting the error to a warning in configuration
and adding a test in the 'make test' path with a friendly message allows
nocheck to be useful again.

(Running unit tests is fully encouraged of course, but bootstrappers and
 co do not need to be burdened with this stuff)

9 years agoRevert "HttpsMethod::Fetch(): Zero the FetchResult object when leaving due to 404"
Michael Vogt [Mon, 13 Apr 2015 16:57:22 +0000 (12:57 -0400)] 
Revert "HttpsMethod::Fetch(): Zero the FetchResult object when leaving due to 404"

This reverts commit 1296bc7c466181a7978c313c40a041b34ce3eaeb.

9 years agorelease 1.0.9.8
David Kalnischkies [Mon, 13 Apr 2015 05:25:06 +0000 (07:25 +0200)] 
release 1.0.9.8

9 years agoparse specific-arch dependencies correctly on single-arch systems
David Kalnischkies [Sun, 12 Apr 2015 17:16:01 +0000 (19:16 +0200)] 
parse specific-arch dependencies correctly on single-arch systems

On single-arch the parsing was creating groupnames like 'apt:amd64' even
through it should be 'apt' and a package in it belonging to architecture
amd64. The result for foreign architectures was as expected: The
dependency isn't satisfiable, but for native architecture it means the
wrong package (ala apt:amd64:amd64) is linked so this is also not
satisfiable, which is very much not expected.

No longer excluding single-arch from this codepath allows the generation
of the correct links, which still link to non-exisiting packages for
foreign dependencies, but natives link to the expected native package
just as if no architecture was given.

For negative arch-specific dependencies ala Conflicts this matter was
worse as apt will believe there isn't a Conflict to resolve, tricking it
into calculating a solution dpkg will refuse.

Architecture specific positive dependencies are rare in jessie – the
only one in amd64 main is foreign –, negative dependencies do not even
exist. Neither class has a native specimen, so no package in jessie is
effected by this bug, but it might be interesting for stretch upgrades.
This also means the regression potential is very low.

Closes: 777760
9 years agotest for or-group choice behaviour in upgrade
David Kalnischkies [Tue, 10 Mar 2015 20:05:02 +0000 (21:05 +0100)] 
test for or-group choice behaviour in upgrade

In #780028 we were discussing how the or-group order should be more
important than keep-back decisions of 'upgrade'. We have this behaviour,
but to ensure it stays this way lets add a test for it.

Git-Dch: Ignore

9 years agoadd a simple unit test for acquire progress
David Kalnischkies [Sun, 15 Mar 2015 21:34:54 +0000 (22:34 +0100)] 
add a simple unit test for acquire progress

This isn't testing much of the 'complex' parts,
but its better than nothing for now.

Git-Dch: Ignore

9 years agoreimplement the last uses of sprintf
David Kalnischkies [Tue, 10 Mar 2015 13:11:54 +0000 (14:11 +0100)] 
reimplement the last uses of sprintf

Working with strings c-style is complicated and error-prune,
so by converting to c++ style we gain some simplicity and
avoid buffer overflows by later extensions.

Git-Dch: Ignore

9 years agokeyids in "apt-key del" should be case-insensitive
David Kalnischkies [Tue, 7 Apr 2015 20:34:34 +0000 (22:34 +0200)] 
keyids in "apt-key del" should be case-insensitive

gnupg is case-insensitive about keyids, so back then apt-key called it
directly any keyid was accepted, but now that we work more with the
keyid ourself we regressed to require uppercase keyids by accident.

This is also inconsistent with other apt-key commands which still use
gnupg directly. A single case-insensitive grep and we are fine again.

Closes: 781696
9 years agodemote VectorizeString gcc attribute from const to pure
David Kalnischkies [Tue, 7 Apr 2015 16:31:12 +0000 (18:31 +0200)] 
demote VectorizeString gcc attribute from const to pure

g++-5 generates a slightly broken libapt which doesn't split
architecture configurations correctly resulting in e.g. Packages files
requested for the bogus architecture 'amd64,i386' instead of for amd64
and i386.

The reason is an incorrectly applied attribute marking the function as
const, while functions with pointer arguments are not allowed to be
declared as such (note that char& is a char* in disguise). Demoting the
attribute to pure fixes this issue – better would be dropping the & from
char but that is an API change…

Neither earlier g++ versions nor clang use this attribute to generate
broken code, so we don't need a rebuild of dependencies or anything and
g++-5 isn't even included in jessie, but the effect is so strange and
apt popular enough to consider avoiding this problem anyhow.

9 years agofix crash in order writing in pkgDPkgPM::WriteApportReport()
Michael Vogt [Tue, 7 Apr 2015 10:20:56 +0000 (12:20 +0200)] 
fix crash in order writing in pkgDPkgPM::WriteApportReport()

libapt can be configured to write various bits of information to a file
creating a report via apport. This is disabled by default in Debian and
apport residing only in /experimental so far, but Ubuntu and other
derivatives have this (in some versions) enabled by default and there is
no regression potentially here.

The crash is caused by a mismatch of operations vs. strings for
operations, so adding the missing strings for these operations solves
the problem.

[commit message by David Kalnischkies]

LP: #1436626