dnsmasq: full: disable ipset support by default
[openwrt/staging/mkresin.git] / scripts / feeds
index f49cdb3e457d5256108e84c4bb52d1069a57a1dd..aee73e793f54ecbea6da8fab98e936a91a9ceb8a 100755 (executable)
@@ -14,7 +14,7 @@ chdir $ENV{TOPDIR};
 $ENV{GIT_CONFIG_PARAMETERS}="'core.autocrlf=false'";
 $ENV{GREP_OPTIONS}="";
 
-my $mk=`which gmake 2>/dev/null`;      # select the right 'make' program
+my $mk=`command -v gmake 2>/dev/null`; # select the right 'make' program
 chomp($mk);            # trim trailing newline
 $mk or $mk = "make";   # default to 'make'
 
@@ -41,33 +41,56 @@ my $feed_src = {};
 my $feed_target = {};
 my $feed_vpackage = {};
 
-sub parse_config() {
+sub parse_file($$);
+
+sub parse_file($$) {
+       my ($fname, $existing) = @_;
        my $line = 0;
-       my %name;
+       my $fh;
 
-       open FEEDS, "feeds.conf" or
-               open FEEDS, "feeds.conf.default" or
-               die "Unable to open feeds configuration";
-       while (<FEEDS>) {
+       open $fh, $fname or return undef;
+       while (<$fh>) {
                chomp;
                s/#.+$//;
-               next unless /\S/;
-               my @line = split /\s+/, $_, 3;
-               my @src;
                $line++;
+               next unless /\S/;
+
+               my ($type, $flags, $name, $urls) = m!^src-([\w\-]+)((?:\s+--\w+(?:=\S+)?)*)\s+(\w+)(?:\s+(\S.*))?$!;
+               unless ($type && $name) {
+                       die "Syntax error in $fname, line $line\n";
+               }
 
-               my $valid = 1;
-               $line[0] =~ /^src-[\w-]+$/ or $valid = 0;
-               $line[1] =~ /^\w+$/ or $valid = 0;
-               @src = split /\s+/, $line[2];
-               $valid or die "Syntax error in feeds.conf, line: $line\n";
+               if ($existing->{$name}++) {
+                       die "Duplicate feed name '$name' in '$fname' line: $line\n";
+               }
+
+               my @src = defined($urls) ? split /\s+/, $urls : ();
+               push @src, '' if @src == 0;
 
-               $name{$line[1]} and die "Duplicate feed name '$line[1]', line: $line\n";
-               $name{$line[1]} = 1;
+               my %flags;
+               if (defined $flags) {
+                       while ($flags =~ m!\s+--(\w+)(?:=(\S+))?!g) {
+                               $flags{$1} = defined($2) ? $2 : 1;
+                       }
+               }
 
-               push @feeds, [$line[0], $line[1], \@src];
+               if ($type eq "include") {
+                       parse_file($urls, $existing) or
+                           die "Unable to open included file '$urls'";
+                       next;
+               }
+
+               push @feeds, ["src-$type", $name, \@src, \%flags];
        }
-       close FEEDS;
+       close $fh;
+       return 1;
+}
+
+sub parse_config() {
+       my %name;
+       parse_file("feeds.conf", \%name) or
+           parse_file("feeds.conf.default", \%name)  or
+           die "Unable to open feeds configuration";
 }
 
 sub update_location($$)
@@ -105,8 +128,8 @@ sub update_index($)
        -d "./feeds/$name.tmp/info" or mkdir "./feeds/$name.tmp/info" or return 1;
 
        system("$mk -s prepare-mk OPENWRT_BUILD= TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("$mk -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPS=\"$ENV{TOPDIR}/include/package*.mk\" SCAN_DEPTH=5 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
-       system("$mk -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"targetinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"target\" SCAN_DEPS=\"profiles/*.mk $ENV{TOPDIR}/include/target.mk\" SCAN_DEPTH=5 SCAN_EXTRA=\"\" SCAN_MAKEOPTS=\"TARGET_BUILD=1\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
+       system("$mk -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPTH=5 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
+       system("$mk -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"targetinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"target\" SCAN_DEPTH=5 SCAN_EXTRA=\"\" SCAN_MAKEOPTS=\"TARGET_BUILD=1\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
        system("ln -sf $name.tmp/.packageinfo ./feeds/$name.index");
        system("ln -sf $name.tmp/.targetinfo ./feeds/$name.targetindex");
 
@@ -127,20 +150,26 @@ my %update_method = (
                'init'          => "ln -s '%s' '%s'",
                'update'        => "",
                'revision'      => "echo -n 'local'"},
+       'src-dummy' => {
+               'init'          => "true '%s' && mkdir '%s'",
+               'update'        => "",
+               'revision'      => "echo -n 'dummy'"},
        'src-git' => {
                'init'          => "git clone --depth 1 '%s' '%s'",
                'init_branch'   => "git clone --depth 1 --branch '%s' '%s' '%s'",
                'init_commit'   => "git clone '%s' '%s' && cd '%s' && git checkout -b '%s' '%s' && cd -",
-               'update'        => "git pull --ff",
-               'update_force'  => "git pull --ff || (git reset --hard HEAD; git pull --ff; exit 1)",
+               'update'        => "git pull --ff-only",
+               'update_force'  => "git pull --ff-only || (git reset --hard HEAD; git pull --ff-only; exit 1)",
+               'post_update'   => "git submodule update --init --recursive",
                'controldir'    => ".git",
                'revision'      => "git rev-parse --short HEAD | tr -d '\n'"},
        'src-git-full' => {
                'init'          => "git clone '%s' '%s'",
                'init_branch'   => "git clone --branch '%s' '%s' '%s'",
                'init_commit'   => "git clone '%s' '%s' && cd '%s' && git checkout -b '%s' '%s' && cd -",
-               'update'        => "git pull --ff",
-               'update_force'  => "git pull --ff || (git reset --hard HEAD; git pull --ff; exit 1)",
+               'update'        => "git pull --ff-only",
+               'update_force'  => "git pull --ff-only || (git reset --hard HEAD; git pull --ff-only; exit 1)",
+               'post_update'   => "git submodule update --init --recursive",
                'controldir'    => ".git",
                'revision'      => "git rev-parse --short HEAD | tr -d '\n'"},
        'src-gitsvn' => {
@@ -197,6 +226,10 @@ sub update_feed_via($$$$$) {
                }
                system("cd '$safepath'; $update_cmd") == 0 or return 1;
        }
+       if ($m->{'post_update'}) {
+               my $cmd = $m->{'post_update'};
+               system("cd '$safepath'; $cmd") == 0 or return 1;
+       }
 
        return 0;
 }
@@ -401,14 +434,16 @@ sub do_install_target($) {
                $path =~ s/\/Makefile$//;
                my $name = $path;
                $name =~ s/.*\///;
-               my $dest = "./target/linux/$name";
+               my $dest = "./target/linux/feeds/$name";
+
+               -d "./target/linux/feeds" or mkdir "./target/linux/feeds";
 
                -e $dest and do {
                        warn "Path $dest already exists";
                        return 1;
                };
 
-               system("ln -sf ../../$path ./target/linux/");
+               system("ln -sf ../../../$path ./target/linux/feeds/");
        } else {
                warn "Target is not valid\n";
                return 1;
@@ -465,16 +500,34 @@ sub is_core_src($) {
 sub install_target {
        my $feed = shift;
        my $name = shift;
+       my $force = shift;
 
-       $installed_targets{$name} and return 0;
+       $feed = lookup_target($feed, $name);
+       my $feed_name = $feed->[1];
 
-       $feed = $feed_cache{$feed->[1]}->[2];
+       -e "target/linux/feeds/$name" and return 0;
+
+       # enable force flag if feed src line was declared with --force
+       if (exists($feed->[3]{force})) {
+               $force = 1;
+       }
+
+       $feed = $feed_cache{$feed_name}->[2];
        $feed or return 0;
 
        my $target = $feed->{$name};
        $target or return 0;
 
-       warn "Installing target '$name'\n";
+       if (-e "target/linux/$name") {
+               if ($force) {
+                       warn "Overriding target '$name' with version from '$feed_name'\n";
+               } else {
+                       warn "WARNING: Not overriding core target '$name'; use -f to force\n";
+                       return 0;
+               }
+       } else {
+               warn "Installing target '$name'\n";
+       }
        return do_install_target($target);
 }
 
@@ -484,21 +537,31 @@ sub install_src {
        my $force = shift;
        my $ret = 0;
 
-       $feed = lookup_src($feed, $name);
-       unless ($feed) {
+       my $select_feed = lookup_src($feed, $name);
+       unless ($select_feed) {
                $installed{$name} and return 0;
                $feed_src->{$name} or warn "WARNING: No feed for source package '$name' found\n";
                return 0;
        }
 
        # switch to the metadata for the selected feed
-       get_feed($feed->[1]);
+       get_feed($select_feed->[1]);
        my $src = $feed_src->{$name} or return 1;
 
+       # enable force flag if feed src line was declared with --force
+       if (exists($select_feed->[3]{force})) {
+               $force = 1;
+       }
+
        # If it's a core package and we don't want to override, just return
        my $override = 0;
        if (is_core_src($name)) {
-               return 0 unless $force;
+               if (!$force) {
+                       if ($name ne "toolchain" && $name ne "linux") {
+                               warn "WARNING: Not overriding core package '$name'; use -f to force\n";
+                       }
+                       return 0;
+               }
                $override = 1;
        }
 
@@ -516,12 +579,12 @@ sub install_src {
        }
 
        if ($override) {
-               warn "Overriding core package '$name' with version from $feed->[1]\n";
+               warn "Overriding core package '$name' with version from $select_feed->[1]\n";
        } else {
-               warn "Installing package '$name' from $feed->[1]\n";
+               warn "Installing package '$name' from $select_feed->[1]\n";
        }
 
-       do_install_src($feed, $src) == 0 or do {
+       do_install_src($select_feed, $src) == 0 or do {
                warn "failed.\n";
                return 1;
        };
@@ -556,15 +619,15 @@ sub install_package {
        my $name = shift;
        my $force = shift;
 
-       $feed = lookup_package($feed, $name);
-       unless ($feed) {
+       my $select_feed = lookup_package($feed, $name);
+       unless ($select_feed) {
                $installed_pkg{$name} and return 0;
                $feed_vpackage->{$name} or warn "WARNING: No feed for package '$name' found\n";
                return 0;
        }
 
        # switch to the metadata for the selected feed
-       get_feed($feed->[1]);
+       get_feed($select_feed->[1]);
        my $pkg = $feed_vpackage->{$name} or return 1;
        return install_src($feed, $pkg->[0]{src}{name}, $force);
 }
@@ -574,14 +637,12 @@ sub install_target_or_package {
        my $name = shift;
        my $force = shift;
 
-       my $this_feed_target = lookup_target($feed, $name);
-       $this_feed_target and do {
-               return install_target($this_feed_target, $name);
+       lookup_target($feed, $name) and do {
+               return install_target($feed, $name, $force);
        };
 
-       my $this_feed_src = lookup_src($feed, $name);
-       $this_feed_src and do {
-               return install_src($this_feed_src, $name, $force);
+       lookup_src($feed, $name) and do {
+               return install_src($feed, $name, $force);
        };
 
        return install_package($feed, $name, $force);
@@ -693,7 +754,7 @@ sub uninstall {
                }
                get_installed();
                while ($name = shift @ARGV) {
-                       my $target = "target/linux/$name";
+                       my $target = "target/linux/feeds/$name";
                        -l "$target" and do {
                                uninstall_target($target);
                                $uninstall = 1;
@@ -715,12 +776,11 @@ sub uninstall {
        return 0;
 }
 
-sub update_feed($$$$$)
+sub update_feed($$$$)
 {
        my $type=shift;
        my $name=shift;
        my $src=shift;
-       my $perform_update=shift;
        my $force_update=shift;
        my $force_relocate=update_location( $name, "@$src" );
        my $rv=0;
@@ -732,28 +792,22 @@ sub update_feed($$$$$)
                warn "Unknown type '$type' in feed $name\n";
                return 1;
        };
-       $perform_update and do {
-               my $failed = 1;
-               foreach my $feedsrc (@$src) {
-                       warn "Updating feed '$name' from '$feedsrc' ...\n";
-                       if (update_feed_via($type, $name, $feedsrc, $force_relocate, $force_update) != 0) {
-                               if ($force_update) {
-                                       $rv=1;
-                                       $failed=0;
-                                       warn "failed, ignore.\n";
-                                       next;
-                               }
-                               last;
+
+       my $failed = 1;
+       foreach my $feedsrc (@$src) {
+               warn "Updating feed '$name' from '$feedsrc' ...\n";
+               if (update_feed_via($type, $name, $feedsrc, $force_relocate, $force_update) != 0) {
+                       if ($force_update) {
+                               $rv=1;
+                               $failed=0;
+                               warn "failed, ignore.\n";
+                               next;
                        }
-                       $failed = 0;
+                       last;
                }
-               $failed and do {
-                       warn "failed.\n";
-                       return 1;
-               };
-       };
-       warn "Create index file './feeds/$name.index' \n";
-       update_index($name) == 0 or do {
+               $failed = 0;
+       }
+       $failed and do {
                warn "failed.\n";
                return 1;
        };
@@ -762,45 +816,39 @@ sub update_feed($$$$$)
 
 sub update {
        my %opts;
-       my $feed_name;
-       my $perform_update=1;
+       my %argv_feeds;
        my $failed=0;
 
        $ENV{SCAN_COOKIE} = $$;
        $ENV{OPENWRT_VERBOSE} = 's';
 
        getopts('ahif', \%opts);
+       %argv_feeds = map { $_ => 1 } @ARGV;
 
        if ($opts{h}) {
                usage();
                return 0;
        }
 
-       if ($opts{i}) {
-               # don't update from (remote) repository
-               # only re-create index information
-               $perform_update=0;
-       }
-
        -d "feeds" or do {
                        mkdir "feeds" or die "Unable to create the feeds directory";
                };
 
-       if ( ($#ARGV == -1) or $opts{a}) {
-               foreach my $feed (@feeds) {
-                       my ($type, $name, $src) = @$feed;
-                       update_feed($type, $name, $src, $perform_update, $opts{f}) == 0 or $failed=1;
-               }
-       } else {
-               while ($feed_name = shift @ARGV) {
-                       foreach my $feed (@feeds) {
-                               my ($type, $name, $src) = @$feed;
-                               if($feed_name ne $name) {
-                                       next;
-                               }
-                               update_feed($type, $name, $src, $perform_update, $opts{f}) == 0 or $failed=1;
-                       }
+       my @index_feeds;
+       foreach my $feed (@feeds) {
+               my ($type, $name, $src) = @$feed;
+               next unless $#ARGV == -1 or $opts{a} or $argv_feeds{$name};
+               if (not $opts{i}) {
+                       update_feed($type, $name, $src, $opts{f}) == 0 or $failed=1;
                }
+               push @index_feeds, $name;
+       }
+       foreach my $name (@index_feeds) {
+               warn "Create index file './feeds/$name.index' \n";
+               update_index($name) == 0 or do {
+                       warn "failed.\n";
+                       $failed=1;
+               };
        }
 
        refresh_config();
@@ -813,11 +861,12 @@ sub feed_config() {
                my $installed = (-f "feeds/$feed->[1].index");
 
                printf "\tconfig FEED_%s\n", $feed->[1];
-               printf "\t\tbool \"Enable feed %s\"\n", $feed->[1];
+               printf "\t\ttristate \"Enable feed %s\"\n", $feed->[1];
                printf "\t\tdepends on PER_FEED_REPO\n";
                printf "\t\tdefault y\n" if $installed;
                printf "\t\thelp\n";
-               printf "\t\t Enable the \\\"%s\\\" feed at %s.\n", $feed->[1], $feed->[2][0];
+               printf "\t\t Enable the \\\"%s\\\" feed in opkg distfeeds.conf.\n", $feed->[1];
+               printf "\t\t Say M to add the feed commented out.\n";
                printf "\n";
        }
 
@@ -872,7 +921,7 @@ my %commands = (
        'uninstall' => \&uninstall,
        'feed_config' => \&feed_config,
        'clean' => sub {
-               system("rm -rf ./feeds ./package/feeds");
+               system("rm -rf ./feeds ./package/feeds ./target/linux/feeds");
        }
 );