phase1: create version directories

For tagged or non-master builds, emit version subdirectories for the binary
artifacts and symlink the shared feed repositories to a common location.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: support creating tags on demand

If a build is forcibly invoked with a custom tag=x.y.z property, the builder
will prepare and push the appropriate Git repository tag.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add helper scripts for creating branches and tags

These scripts will be used to prepare release branches and repository tags.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: switch away from deprecated slave side Git step

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: improve Git cloning on the master

Avoid switching branches later and checkout the proper branch right away.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Remove unsupported logEnviron from master command calls

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Allow overriding GnuPG home directory

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: use a different name for the Git clone work directory

Upon first start, the build master expects a clean directory to issue
git init --bare in, therfore we cannot use the clone used for bootstrapping.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: move initial .config into external file

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: remove duplicate branch argument

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: honour branch references in feeds.conf

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: fix typo in previous commit

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: support specifying repository source branch

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: also honour branch in Git() step

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: avoid creating nested dl/ symlinks

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: avoid creating nested dl/ symlinks

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: make sdk_password setting optional

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: remove unused cleanup script

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: pass buildbot url to cleanup.sh

Instead of hardcoding the REST url in the cleanup script, pass the value
derived from the configuration.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: make SDK URL configurable

Also allow to specify the SDK file name pattern and make the decompression
format agnostic.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: remove handling of unused repo url setting

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: make slave port configurable

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: make slave port configurable

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: build local tar before running downloads

The download make target requires a modern GNU tar with --sort support in order
to pack SCM archives.

As Debian still ships an older tar, explicitely build the local tools/tar
before invoking "make download".

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: always allow user clean targets

Also allow user clean targets if a tree expiry has been configured.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: remove automatic triggering of clean targets

Remove the automatic triggering of clean targets depending on the changed
files since the code for that is incompatible with BuildBot 0.8.9.

Instead, implement the ability to trigger specific clean steps through
build properties.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: remove isChangeBuiltin() handling

The builtin file detection logic is stubbed since quite a while already so
simply drop it now.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: initialize source.git on first start

Since phase1 needs an existing source.git to bootstrap its config, prepare
the git clone further processing.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: rsync based on checksum, not mtime

Instruct rsync to compare the file checksums, and not their modification times.
This should decrease the source and package upload volume significantly.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: rsync based on checksum, not mtime

Instruct rsync to compare the file checksums, and not their modification times.
This should decrease the source upload volume significantly.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: parallelize target/install phase

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: fix issues in previous commit

 - Fix syntax error in expire.sh script
 - Download expire.sh into parent directory
 - Ensure that lifetime argument is passed as string when invoking expire.sh

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: add logic to purge trees after maximum lifetime

Add logic to the phase1 build config to purge persistent build trees if a
configurable maximum age in seconds is reached.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: adjust for .tar.xz packed SDK archives

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: remove package/feeds before installing feeds

This removal step is needed to get rid of dangling symlinks and to ensure
that core package overrides are effective.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: execute new checksum target

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: enable new image building code

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: enforce proper umask during signing

Ensure that the umask is set to 022 when signing tarballs since twistd invokes
the helper script with an umask of 077, preventing world access on the
resulting files.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: preserve umask

Remove "sh -c" indirection to preserve proper umask in tar command.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: fixup find command

Ensure that the find command prints all paths, also remove "sh -c" indirection
to preserve proper umask.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Implement GPG signing support

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: next attempt to get proper libc interpolation

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: fix libc format specifier

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: handle source directory with libc suffix

The ARC architectures use "generic-uClibc" instead of the expected "generic"
as subtarget directory name, leading to errors in the rsync step because the
expected directory cannot be found.

Extract the libc flavor from the generated .config and decide whether to use
a directory suffix based on the value obtained in order to let ARC uploads
complete successfully.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Enable graceful slave shutdown option in WebUI for authorized user

Signed-off-by: Ted Hess <thess@kitschensync.net>

phase2: only support lower case SDK archive names now

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: use pkgarch as unique partial directory name

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: use target~subtarget as unique partial directory name

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Revert "Use slave instead of buildername for partial dir to avoid slashes"

This reverts commit b71f4a13b2986dff0a6ed551ea4123e99a58df4a.

Use slave instead of buildername for partial dir to avoid slashes

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Use unique rsync partial directories per builder

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: implement dl/ uploading

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: implement dl/ uploading

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Exclude sqlite working files as well

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase1: implement IRC notifications

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: prepare for lowercase SDK archive names

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

phase2: force regeneration of SDK .config

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Add missing properties

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Determine number of cores dynamically

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Add libc variant check to stop arc770 and archs38 early

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Fix key-build permissions

Don't use readonly permissions for key-build and key-build.pub as subsequent
runs are unable to overwrite the files then.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Use --delay-updates on rsync upload to minimize time of inconsistency in the repo

During the rsync operation, package lists could go out of sync with the
.ipk files, or a mirror might be pulling an incomplete list of files.
To reduce the chance of this happening, let rsync put all updated files
into place at the end of the transfer

Signed-off-by: Felix Fietkau <nbd@nbd.name>

Add .gitignore

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Add relocatable buildbot.tac files

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Canonicalize home_dir, download key-build.pub as well

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Move config.ini to config.ini.example and make paths relative

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Remove intermediate master directory

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Fix typos in example configs

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Add buildmaster configurations

Signed-off-by: Jo-Philipp Wich <jo@mein.io>