Update tests

Adjust date assigned to rpm-doc-999-1 package so it doesn't qualify as
'old enough to be converted to new style obsolete'

Add 'epoch' hint

Drop some no longer needed past_mistakes

Wind the obsolete package exipry threshold age forward

Wind the obsolete package exipry threshold age forward to the value
being used in production.

Use the 'good' version of pidlockfile

Use the improved version of pidlockfile, where locks are implicitly
released when the process is no longer running.

Otherwise we are prevented from starting just by the existence of the
lockfile, even if the previous process was terminated abnormally.

Loiter before exiting on unhandled exception

Handle replology versions for some more slotted packages

Also make sure we consider the newest version as a possibility, for
cases where we actually have a slot for that.

Generalize getting versions for slotted packages from repology

Add automake to the list of slotted packages.

(This also fixed the legacy package version being reported correctly,
rather than jsut the first character, as we didn't turn it into a list
when we added support for repology reporting multiple newest versions)

Fixes: 4ec728554663 ("Handle multiple 'newest' versions reported by repology")

Record repology project name, even if newest version isn't known

Also record if newest version is unknown specifically because project is
noscheme, unique to cygwin, or unclassified by repology.

Actually mark the upload/deploy as errored if pre-authorization fails

This ensures correct feedback to scallywag when a user attempts a deploy
which they are not authorized for.

Also, update tests appropriately.
Also, fix a typo noticed while investigating.

Omit source packages from generated announce mail

https://cygwin.com/pipermail/cygwin-announce/2025-June/012393.html

Also, add 'ChangeLog' to the list of files checked for announce message.

Remove old multiarch considerations

Remove old multiarch considerations, preparatory to adding them back
again, done right.

We only have x86_64 at the moment, this just makes everything more
complex.

In particular, this removes a few complex knots, where we struggle with
our data model being inside-out (arch contains packages, rather than
vice versa).

Also, update tests and test data appropriately.

Also, as a side-effect, this makes !ready files at any level in the
upload directory heirarchy work, rather than being limited to the
arch/release directory and below.

After this change, website search function will need updating to look in
noarch/ and src/ directories.

Handle the existence of modules for test version in python rebuild report

Better handle the existence of modules for a higher, test version of
python in the python rebuild report.

Handle multiple 'newest' versions reported by repology

repology can now report multiple 'newest' versions, due to altver
schemes. Handle that better by employing a simple heuristic (equal
number of alphanumeric sequences) to find which one matches our version.

Generate a per-maintainer packages report

Refactor orphaned packages report so we can generate a per-maintainer
report as well.

Add repology link to package summary

Record repology project name as well as upstream version

Fix sorting maintainer report by number of packages

Add a hint so sorting maintainer report by number of packages works
correctly.

Improve maintainer last activity estimate

Ignore timestamp of co-maintained packages when estimating last date of
maintainer activity.  This helps the inactive mainainter tool not to be
so easily fooled by co-maintainership.

(This is still not perfect, but... well, eventually we'll be in a world
where we have ssh activity timestamps for all maintainers and don't have
to resort to guessing based on package timestamps)

Wind the inactive maintainer threshold forward a bit

Adjust the grammar slightly now we've worked through the ridiculously
old maintainer accounts.

Also, don't send the mail for maintainers with no packages

Accommodate historic Cygwin READMEs with version in filename

Also, sort versions so highest gets extracted last
Also, downgrade a piece of logging to something more sensible
Also, rewrite document list inclusion fragment when forced

Actually do the "no current version" test before issuing the warning

Extract /usr/share/doc/Cygwin/ files

Extract /usr/share/doc/Cygwin/ files, and write a includable HTML
fragment listing them all.

v2: Put extracted READMEs in a per package directory

This maintains the association between the README file and the package
name, and lets us handle README files which *aren't* named after the
package (e.g. cygserver.README in the cygwin package).

Only issue the 'no curr: version' warning at upload time

Not sure if this warning if very useful, since the #1 intervention I
have to make is configuring supression for it when it's expected.

Avoid that bit of work, by only issuing the warning at upload time.

Update version to 20250329

Fix untest for arch-tagged hint filenames

Adjust timestamp of rpm-doc-999-1

This needs to be less than OBSOLETE_AGE_THRESHOLD_YEARS ago, otherwise
the package gets removed. (Maybe we need to switch tests around so it's
checking that instead?)

Add 'Takashi Yano' to trusted maintainers list

mkgitolite: Also allow push to 'main' branch

'master' and 'main' should be the same via a symbolic reference, so it
shouldn't matter which is used.

mail-inactive-maintainers: Improve grammar

Also wind threshold forwards a bit
Also improve debug output

Set Maintainer._homedirs earlier

This is needed for last_seen values to be retrieved correctly on the
first call to maintainer_list()

Update package summary package when hints change as well

CI: Drop testing on python 3.7

Drop testing on python 3.7, not available on ubuntu-latest.

Improve reliability of detecting upload available.

Detecting a !ready file being placed into the upload directory is
problematic, due to possible races in setting watches on a just created
directory.

So instead, we just watch for a file touched when the sftp session ends.

This means we more reliably detect when a !ready file has been uploaded,
at the cost of doing extra scans (in the probably rare case) when a sftp
session hasn't uploaded a !ready file.

mkgitolite: Define a group for all packages

Define a group of all package repositories, rather than just using @all,
so gitolite can be used to control access to other cygwin repositories
as well.

Also define a per-repo post-recieve hook to perform package builds.

Also rearrange things so comments in giolite configuration file
consistently preceed the what they are commenting on.

Handle transient ConnectionRefusedError from repology

Also: use a timeout on urlopen(), so we don't pause indefinitely if the
far end drops the connection.

Also: reuse the last successfully fetched data if fetching fails.

v2:
timeout on urlopen(), not Request()

Also rate-limit invidual repology API calls

Also rate-limit invidual repology API calls, so we do not exceed
repology's rate-limit instantaneously, as well as on average...

Handle errors from repology API slightly better

Fix mail intactive maintainers tool

Also a few tweaks to text

Wind the obsolete package exipry threshold age forward

Wind the obsolete package exipry threshold age forward, and update tests
appropriately.

Improve mail inactive maintainers tool

Add Brian Inglis to NMU maintainers list

Add a tool for mailing long-inactive maintainers

Produce a report to help identify long-inactive maintainers

Also allow remembered, synthetic obsoletes: in valid_requires

Wind the obsolete package exipry threshold age forward

Include arch into package summary versions table

Simplify the way arch_re is made

(There's actually a thinko in the previous implementation, as it doesn't
add the '-' in the right place if the ARCHES list has more than one
element.)

Improve fix-requires-by-linkage tool

* allow to only consider packages which already have some dependency
* also consider loadable modules built with .so extension

Include obsoletes: in the set of valid things to depends: on

It's OK to depends: on something which only exists as an obsoletes: on
some package, after the original package providing it has been removed.

Clarify missing obsoletes reminder

Make it clearer that if calm has to provide missing obsoletes, that is a
packaging defect.

Don't retain obsolete packages

Don't retain obsolete packages over a certain age threshold (when they
are effectively just adding an obsolete: to another package).

This is safe, as commit 17dc61e9 (persisting missing_obsoletes) ensures
that if the obsoletion was old-style (and thus only recorded in the
obsoleted package, with the new-style obsoletes: hint in the obsoleteing
package being synthesized by commit eca3a88d), the fact of that
obsoletion isn't forgotten once the obsolete package itself is removed.

Misspellings re-uploaded since last fixed

Adjust log-level of some debug output

Be a bit more aggressive about expiring old soversions

Allow the source package responsible for the old soversion to be
completely expired if it wouldn't normally be kept, and all of it's
install packages have no external rdepends.

Drop 'noretain' hint

This was pretty much useless, even more so now we have the 'vault'
command to do the same thing.

This effectively reverts commit aec1dcf7.

Ignore sighup when daemonized

It seems like systemd sends this as well as SIGTERM, so make sure to
ignore it so we shut down cleanly.

Don't update setup.ini if we can't sign it

Check with gpg-agent if the signing key(s) are available, and don't
update setup.ini if we can't sign it.

Also, since we want to do some logging about keygrips before we
daemonize, move logging_setup earlier, and don't close the file
descriptors it opens when we darmonize.

Add a test of upload auth failure

Add the ability to ingest arch-tagged package filenames

Change to deriving the name of the listing file from package name and
version, rather than from the tar archive filename, because that would
include the arch tag.

That exposes an interesting anomaly: We are ignoring any version:
override when generating the listing filename. Since it's taken into
account where the link is made to that file on the package summary page,
that seems like a bug which this change accidentally fixes.

Adjust the test data to reflect this fix.

Separate collect and read package files steps

This is necessary when different versions of a src package might exist
in both arch/ and src/ paths.

Update test data for change to Package() repr, as we no longer have
pkgpath, just then package name

This is preparatory work for allowing a couple of things: putting new
source packages in src/ (without moving the existing ones under arch/),
re-structuring the data model so that arch is inside package, rather
than containing a collection of them.

This improves package authorization so it's possible for a package can
replace parts of another package (without needing rearrangement of the
package locations), by requiring authorization for *all* paths at which
a package exists.

Change to using a class rather than named tuple to hold scan results, so
it can be mutable in uploads.auth_check()

Also: drop no longer needed use of a defaultdict for holding packages in
uploads.scan()

Fix typo

Drop age threshold for 'upgrade old-style obsoletes'

Make formatting of 'conflicts:' lines in setup.ini consistent

Make formatting of 'conflicts:' lines in setup.ini consistent with
everything else.

Utility function to drop version constraints from a package list

Factor out "strip out version constraints from a package list" into a
utility function.

Add some more old-style obsoletion upgrade information

These packages weren't being noticed before as being "obsolete, but no
replacement" due to the way split() can produce a list containing an
empty string, rather than an empty list.

Convert package lists in hints to actual lists

Convert package lists in hints to actual lists in one place, rather than
doing it every time we need to use the value.

This fixes the bug that build-requires wasn't written to JSON as a list.

Update test data appropriately.

Future work: Factor out "strip out version constraints from a package
list" into a utility function.

Add repr for RepoPath objects to aid debugging

Fix a bug in 'remove obsoleting package from depends of package it obsoletes'

Fix a bug in 'remove obsoleting package from depends of package it
obsoletes' code.  This wasn't applying correctly if the dependency
wasn't the first one, and left extraneous whitespace when it was.

Add dependencies etc. to JSON output

Produce a subreport for each solib

Initially I wanted to put this information directly into the solib
report, but some sort of disclosure widget which spans the whole table
width is hard to do in just HTML.

Make fix-requires-by-linkage quieter

Fix package name checking in fix-requires-by-path

Also add a bit of more verbose output,
Also make it possible to run on just a named package

Clean up all empty directories in stagingdir

Expire python35

Expire python34 left-overs

Ignore InotifyError exceptions

Only consider files in fix-requires-by-path

This makes it practical to use complex regex e.g. ending with a negative
lookahead.

Add replace option to fix-requires-by-path tool as well

Preparations for python3.5 removal

Improve fix-requires-by-linkage tool to allow it to run on entire relarea

Also: allow replacing an existing dependency (e.g python3 -> python35)
Also: don't spam with objdump warnings for symlinks

Support an easy way to trigger a relarea rescan via a .touch file

This will be used by vault and scan-relarea

Add a report of python packages which need rebuilding

Future proof the re for "python modules for old python versions"

Relocate lockfile

Relocate lockfile somewhere writeable by cygwin-admin uid

Record reason for calm daemon stopping in logfile

Use inotify to detect when there's work to be done

Rather than signals (which can only be sent by the same uid), use
inotify to detect when there's work to process in upload or staging
directory, or when a change has been made in the relarea.

Tolerate package html directories being owned by someone else

As a consequence of the cygwin-admin/cygwin split, we might not own an
existing package listing/summary HTML directory. Ignore any error trying
to set permissions in that case.

Don't warn if license expression canonicalization just changes case

Also: consistently indicate if a problem warned about in hints is fixed

Add a report of package lingering in test/unstable status

Ignore new flake B038

Ignore new flake B038: "editing a loop's mutable iterable often leads to
unexpected results/bugs".  The instances this reports are all false
positives.

Rewrite dependencies on removed python packages

Using the now removed, obsoleted package name causes the solver to want
to uninstall anything which depends on these, which isn't helpful right
now.

Theoretically, the information to generate these exists in our "retired
old-style obsoleting packages" data, but do it manually for speed right
now.

Anchor nonexistent_provides at the end

Anchor the nonexistent_provides regex at the end, so it matches the
whole provide name, avoiding unpleasant surprises.

Expunge all python2 modules

Ensure announce mail ends with a blank line

Improve rendering of minimal Markdown for description in package summary

Retain the heuristic which makes URLs in the description, and improve
it's handling of some cases.

Add rdepends and build_rdepends to package summary

Use the HTML <details> widget to avoid showing large lists by default.

Factor out writing the details in the package summary page

Contain the details in a table of class 'pkgdetails' for more layout
control.

Isolate tests from a local repodir

This fixes the tests if a local /git/cygwin-packages happens to exist,
and adds some test coverage of code which examines repodir.

Avoid an exception if package.merge() fails and returns None