misc/translator/text-extract2.pl

   1 #!/usr/bin/perl
   2
   3 # Test filter partially based on Ambrose's hideous subst.pl code
   4 # The idea is that the .tmpl files are not valid HTML, and as a result
   5 # HTML::Parse would be completely confused by these templates.
   6 # This is just a simple scanner (not a parser) & should give better results.
   7
   8 # This script is meant to be a drop-in replacement of text-extract.pl
   9
  10 # A grander plan: Code could be written to detect template variables and
  11 # construct gettext-c-format-string-like meta-strings (e.g., "Results %s
  12 # through %s of %s records" that will be more likely to be translatable
  13 # to languages where word order is very unlike English word order.
  14 # --> This will be relatively major rework, and requires corresponding
  15 # rework in tmpl_process.pl
  16
  17 use Getopt::Long;
  18 use strict;
  19
  20 use vars qw( $input );
  21 use vars qw( $debug_dump_only_p );
  22 use vars qw( $pedantic_p $pedantic_tag );
  23 use vars qw( $pedantic_attribute_error_in_nonpedantic_mode_p );
  24 use vars qw( $pedantic_tmpl_var_use_in_nonpedantic_mode_p );
  25 use vars qw( $fatal_p );
  26
  27 ###############################################################################
  28
  29 # Hideous stuff
  30 use vars qw( $re_directive $re_tmpl_var $re_tmpl_var_escaped $re_tmpl_include );
  31 use vars qw( $re_directive_control $re_tmpl_endif_endloop );
  32 BEGIN {
  33     # $re_directive must not do any backreferences
  34     $re_directive = q{<(?:(?i)(?:!--\s*)?\/?TMPL_(?:VAR|LOOP|INCLUDE|IF|ELSE|UNLESS)(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))*\s*(?:--)?)>};
  35     # TMPL_VAR or TMPL_INCLUDE
  36     $re_tmpl_var = q{<(?:(?i)(?:!--\s*)?TMPL_(?:VAR)(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))*\s*(?:--)?)>};
  37     $re_tmpl_include = q{<(?:(?i)(?:!--\s*)?TMPL_(?:INCLUDE)(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))*\s*(?:--)?)>};
  38     # TMPL_VAR ESCAPE=1/HTML/URL
  39     $re_tmpl_var_escaped = q{<(?:(?i)(?:!--\s*)?TMPL_(?:VAR|INCLUDE)(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))\s+ESCAPE=(?:1|HTML|URL)(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))*\s*(?:--)?)>};
  40     # Any control flow directive
  41     $re_directive_control = q{<(?:(?i)(?:!--\s*)?\/?TMPL_(?:LOOP|IF|ELSE|UNLESS)(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))*\s*(?:--)?)>};
  42     # /LOOP or /IF or /UNLESS
  43     $re_tmpl_endif_endloop = q{<(?:(?i)(?:!--\s*)?\/TMPL_(?:LOOP|IF|UNLESS)(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))*\s*(?:--)?)>};
  44 }
  45
  46 # Hideous stuff from subst.pl, slightly modified to use the above hideous stuff
  47 # Note: The $re_tag's set $1 (<tag), $2 (>), and $3 (rest of string)
  48 use vars qw( $re_comment $re_entity_name $re_end_entity $re_etag );
  49 use vars qw( $re_tag_strict $re_tag_compat @re_tag );
  50 sub re_tag ($) {
  51    my($compat) = @_;
  52    my $etag = $compat? '>': '<>\/';
  53    # This is no longer similar to the original regexp in subst.pl :-(
  54    # Note that we don't want <> in compat mode; Mozilla knows about <
  55    q{(<\/?(?:|(?:"(?:} . $re_directive . q{|[^"])*"|'(?:} . $re_directive . q{|[^'])*'|--(?:[^-]|-[^-])*--|(?:}
  56    . $re_directive
  57    . q{|(?!--)[^"'<>} . $etag . q{]))+))([} . $etag . q{]|(?=<))(.*)};
  58 }
  59 BEGIN {
  60     $re_comment = '(?:--(?:[^-]|-[^-])*--)';
  61     $re_entity_name = '(?:[^&%#;<>\s]+)'; # NOTE: not really correct SGML
  62     $re_end_entity = '(?:;|$|(?=\s))'; # semicolon or before-whitespace
  63     $re_etag = q{(?:<\/?(?:"[^"]*"|'[^']*'|[^"'>\/])*[>\/])}; # end-tag
  64     @re_tag = ($re_tag_strict, $re_tag_compat) = (re_tag(0), re_tag(1));
  65 }
  66
  67 # End of the hideous stuff
  68
  69 sub KIND_TEXT      () { 'TEXT' }
  70 sub KIND_CDATA     () { 'CDATA' }
  71 sub KIND_TAG       () { 'TAG' }
  72 sub KIND_DECL      () { 'DECL' }
  73 sub KIND_PI        () { 'PI' }
  74 sub KIND_DIRECTIVE () { 'HTML::Template' }
  75 sub KIND_COMMENT   () { 'COMMENT' }   # empty DECL with exactly one SGML comment
  76 sub KIND_UNKNOWN   () { 'ERROR' }
  77
  78 use vars qw( $readahead $lc_0 $lc $syntaxerror_p );
  79 use vars qw( $cdata_mode_p $cdata_close );
  80
  81 ###############################################################################
  82
  83 use vars qw( $appName $input_abbr );
  84
  85 sub construct_warn_prefix ($$) {
  86     my($prefix, $lc) = @_;
  87     # Construct some short but should-be-still-useful versions
  88     # of this script's name and the input file's name
  89     my $appName = $& if !defined $appName && $0 =~ /[^\/]+$/;
  90     my $input_abbr = $& if !defined $input_abbr && $input =~ /[^\/]+$/;
  91     # FIXME: The line number is not accurate, but should be "close enough"
  92     # FIXME: This wording is worse than what was there, but it's wrong to
  93     # FIXME: hard-code this thing in each warn statement. Need improvement.
  94     return "$appName: $prefix: " . (defined $lc? "$input_abbr: line $lc: ": "$input_abbr: ");
  95 }
  96
  97 sub warn_normal ($$) {
  98     my($msg, $lc) = @_;
  99     my $prefix = construct_warn_prefix('Warning', $lc);
 100     $msg .= "\n" unless $msg =~ /\n$/s;
 101     warn "$prefix$msg";
 102 }
 103
 104 sub warn_pedantic ($$$) {
 105     my($msg, $lc, $flag) = @_;
 106     my $prefix = construct_warn_prefix("Warning$pedantic_tag", $lc);
 107     $msg .= "\n" unless $msg =~ /\n$/s;
 108     warn "$prefix$msg" if $pedantic_p || !$$flag;
 109     if (!$pedantic_p) {
 110         $prefix = construct_warn_prefix("Warning$pedantic_tag", undef);
 111         warn $prefix."Further similar negligible warnings will not be reported, use --pedantic for details\n" unless $$flag;
 112         $$flag = 1;
 113     }
 114 }
 115
 116 ###############################################################################
 117
 118 sub extract_attributes ($;$) {
 119     my($s, $lc) = @_;
 120     my %attr;
 121     $s = $1 if $s =~ /^<\S+(.*)\/\S$/s  # XML-style self-closing tags
 122             || $s =~ /^<\S+(.*)\S$/s;   # SGML-style tags
 123
 124     for (my $i = 0; $s =~ /^(?:$re_directive_control)?\s+(?:$re_directive_control)?(?:([a-zA-Z][-a-zA-Z0-9]*)\s*=\s*)?('((?:$re_directive|[^'])*)'|"((?:$re_directive|[^"])*)"|((?:$re_directive|[^\s<>])+))/os;) {
 125         my($key, $val, $val_orig, $rest)
 126                 = ($1, (defined $3? $3: defined $4? $4: $5), $2, $');
 127         $i += 1;
 128         $attr{+lc($key)} = [$key, $val, $val_orig, $i];
 129         $s = $rest;
 130         if ($val =~ /$re_tmpl_include/os) {
 131             warn_normal "TMPL_INCLUDE in attribute: $val_orig\n", $lc;
 132         } elsif ($val =~ /$re_tmpl_var/os && $val !~ /$re_tmpl_var_escaped/os) {
 133             # XXX: we probably should not warn if key is "onclick" etc
 134             # XXX: there's just no reasonable thing to suggest
 135             my $suggest = ($key =~ /^(?:action|archive|background|cite|classid|codebase|data|datasrc|for|href|longdesc|profile|src|usemap)$/i? 'URL': 'HTML');
 136             undef $suggest if $key =~ /^(?:onblur|onchange|onclick|ondblclick|onfocus|onkeydown|onkeypress|onkeyup|onload|onmousedown|onmousemove|onmouseout|onmouseover|onmouseup|onreset|onselect|onsubmit|onunload)$/i;
 137             warn_pedantic
 138                     "Suggest ESCAPE=$suggest for TMPL_VAR in attribute \"$key\""
 139                         . ": $val_orig",
 140                     $lc, \$pedantic_tmpl_var_use_in_nonpedantic_mode_p
 141                 if defined $suggest && ($pedantic_p || !$pedantic_tmpl_var_use_in_nonpedantic_mode_p);
 142         } elsif ($val_orig !~ /^['"]/) {
 143             my $t = $val; $t =~ s/$re_directive_control//os;
 144             warn_pedantic
 145                 "Unquoted attribute contains character(s) that should be quoted"
 146                     . ": $val_orig",
 147                 $lc, \$pedantic_attribute_error_in_nonpedantic_mode_p
 148                 if $t =~ /[^-\.A-Za-z0-9]/s;
 149         }
 150     }
 151     my $s2 = $s; $s2 =~ s/$re_tmpl_endif_endloop//g; # for the next check
 152     if ($s2 =~ /\S/s) { # should never happen
 153         if ($s =~ /^([^\n]*)\n/s) { # this is even worse
 154             my $prefix = construct_warn_prefix('Error: ', $lc);
 155             warn $prefix . "Completely confused while extracting attributes"
 156                     . ": $1\n";
 157             warn $prefix . (scalar split(/\n/, $s) - 1) . " more line(s) not shown.\n";
 158             $fatal_p = 1;
 159         } else {
 160             warn "Strange attribute syntax: $s\n", $lc;
 161         }
 162     }
 163     return \%attr;
 164 }
 165
 166 sub next_token_internal (*) {
 167     my($h) = @_;
 168     my($it, $kind);
 169     my $eof_p = 0;
 170     if (!defined $readahead || !length $readahead) {
 171         my $next = scalar <$h>;
 172         $eof_p = !defined $next;
 173         if (!$eof_p) {
 174             $lc += 1;
 175             $readahead .= $next;
 176         }
 177     }
 178     $lc_0 = $lc;                        # remember line number of first line
 179     if ($eof_p && !length $readahead) { # nothing left to do
 180         ;
 181     } elsif ($readahead =~ /^\s+/s) {   # whitespace
 182         ($kind, $it, $readahead) = (KIND_TEXT, $&, $');
 183     # FIXME the following (the [<\s] part) is an unreliable HACK :-(
 184     } elsif ($readahead =~ /^(?:[^<]|<[<\s])+/s) {      # non-space normal text
 185         ($kind, $it, $readahead) = (KIND_TEXT, $&, $');
 186         warn "Warning: Unescaped < $it\n", $lc_0
 187                 if !$cdata_mode_p && $it =~ /</s;
 188     } else {                            # tag/declaration/processing instruction
 189         my $ok_p = 0;
 190         for (;;) {
 191             if ($cdata_mode_p) {
 192                 if ($readahead =~ /^$cdata_close/) {
 193                     ($kind, $it, $readahead) = (KIND_TAG, $&, $');
 194                     $ok_p = 1;
 195                 } else {
 196                     ($kind, $it, $readahead) = (KIND_TEXT, $readahead, undef);
 197                     $ok_p = 1;
 198                 }
 199             } elsif ($readahead =~ /^$re_tag_compat/os) {
 200                 ($kind, $it, $readahead) = (KIND_TAG, "$1>", $3);
 201                 $ok_p = 1;
 202                 warn "SGML \"closed start tag\" notation: $1<\n", $lc_0 if $2 eq '';
 203             } elsif ($readahead =~ /^<!--(?:(?!-->).)*-->/s) {
 204                 ($kind, $it, $readahead) = (KIND_COMMENT, $&, $');
 205                 $ok_p = 1;
 206                 warn "Syntax error in comment: $&\n", $lc_0;
 207                 $syntaxerror_p = 1;
 208             }
 209         last if $ok_p;
 210             my $next = scalar <$h>;
 211             $eof_p = !defined $next;
 212         last if $eof_p;
 213             $lc += 1;
 214             $readahead .= $next;
 215         }
 216         if ($kind ne KIND_TAG) {
 217             ;
 218         } elsif ($it =~ /^<!/) {
 219             $kind = KIND_DECL;
 220             $kind = KIND_COMMENT if $it =~ /^<!--(?:(?!-->).)*-->/;
 221         } elsif ($it =~ /^<\?/) {
 222             $kind = KIND_PI;
 223         }
 224         if ($it =~ /^$re_directive/ios && !$cdata_mode_p) {
 225             $kind = KIND_DIRECTIVE;
 226         }
 227         if (!$ok_p && $eof_p) {
 228             ($kind, $it, $readahead) = (KIND_UNKNOWN, $readahead, undef);
 229             $syntaxerror_p = 1;
 230         }
 231     }
 232     warn "Unrecognizable token found: $it\n", $lc_0
 233             if $kind eq KIND_UNKNOWN;
 234     return defined $it? (wantarray? ($kind, $it):
 235                                     [$kind, $it]): undef;
 236 }
 237
 238 sub next_token (*) {
 239     my($h) = @_;
 240     my $it;
 241     if (!$cdata_mode_p) {
 242         $it = next_token_internal($h);
 243         if (defined $it && $it->[0] eq KIND_TAG) { # FIXME
 244             ($cdata_mode_p, $cdata_close) = (1, "</$1\\s*>")
 245                     if $it->[1] =~ /^<(script|style|textarea)\b/i; #FIXME
 246             push @$it, extract_attributes($it->[1], $lc_0); #FIXME
 247         }
 248     } else {
 249         for ($it = '';;) {
 250             my $lc_prev = $lc;
 251             my $next = next_token_internal($h);
 252         last if !defined $next;
 253             if (defined $next && $next->[1] =~ /$cdata_close/i) { #FIXME
 254                 ($lc, $readahead) = ($lc_prev, $next->[1] . $readahead); #FIXME
 255                 $cdata_mode_p = 0;
 256             }
 257         last unless $cdata_mode_p;
 258             $it .= $next->[1]; #FIXME
 259         }
 260         $it = [KIND_CDATA, $it]; #FIXME
 261         $cdata_close = undef;
 262     }
 263     return defined $it? (wantarray? @$it: $it): undef;
 264 }
 265
 266 ###############################################################################
 267
 268 sub debug_dump (*) { # for testing only
 269     my($h) = @_;
 270     print "re_tag_compat is /$re_tag_compat/\n";
 271     for (;;) {
 272         my $s = next_token $h;
 273     last unless defined $s;
 274         printf "%s\n", ('-' x 79);
 275         my($kind, $t, $attr) = @$s; # FIXME
 276         printf "%s:\n", $kind;
 277         printf "%4dH%s\n", length($t),
 278                 join('', map {/[\0-\37]/? $_: "$_\b$_"} split(//, $t));
 279         if ($kind eq KIND_TAG && %$attr) {
 280             printf "Attributes:\n";
 281             for my $a (keys %$attr) {
 282                 my($key, $val, $val_orig, $order) = @{$attr->{$a}};
 283                 printf "%s = %dH%s -- %s\n", $a, length $val,
 284                 join('', map {/[\0-\37]/? $_: "$_\b$_"} split(//, $val)),
 285                 $val_orig;
 286             }
 287         }
 288     }
 289 }
 290
 291 ###############################################################################
 292
 293 sub trim ($) {
 294     my($s) = @_;
 295     $s =~ s/^(?:\s|\&nbsp$re_end_entity)+//os;
 296     $s =~ s/(?:\s|\&nbsp$re_end_entity)+$//os;
 297     return $s;
 298 }
 299
 300 ###############################################################################
 301
 302 sub text_extract (*) {
 303     my($h) = @_;
 304     my %text = ();
 305     for (;;) {
 306         my $s = next_token $h;
 307     last unless defined $s;
 308         my($kind, $t, $attr) = @$s; # FIXME
 309         if ($kind eq KIND_TEXT) {
 310             $t = trim $t;
 311             $text{$t} = 1 if $t =~ /\S/s;
 312         } elsif ($kind eq KIND_TAG && %$attr) {
 313             # value [tag=input], meta
 314             my $tag = lc($1) if $t =~ /^<(\S+)/s;
 315             for my $a ('alt', 'content', 'title', 'value') {
 316                 if ($attr->{$a}) {
 317                     next if $a eq 'content' && $tag ne 'meta';
 318                     next if $a eq 'value' && ($tag ne 'input'
 319                         || (ref $attr->{'type'} && $attr->{'type'}->[1] eq 'hidden')); # FIXME
 320                     my($key, $val, $val_orig, $order) = @{$attr->{$a}}; #FIXME
 321                     $val = trim $val;
 322                     $text{$val} = 1 if $val =~ /\S/s;
 323                 }
 324             }
 325         }
 326     }
 327     # Emit all extracted strings.
 328     # Don't emit pure whitespace, pure numbers, or TMPL_VAR's.
 329     for my $t (keys %text) {
 330         printf "%s\n", $t
 331             unless $t =~ /^(?:\s|\&nbsp$re_end_entity|$re_tmpl_var)*$/os || $t =~ /^\d+$/;
 332     }
 333 }
 334
 335 ###############################################################################
 336
 337 sub usage ($) {
 338     my($exitcode) = @_;
 339     my $h = $exitcode? *STDERR: *STDOUT;
 340     print $h <<EOF;
 341 Usage: $0 [OPTIONS]
 342 Extract strings from HTML file.
 343
 344       --debug-dump-only     Do not extract strings; but display scanned tokens
 345   -f, --file=FILE           Extract from the specified FILE
 346       --pedantic-warnings   Issue warnings even for detected problems which
 347                             are likely to be harmless
 348       --help                Display this help and exit
 349 EOF
 350     exit($exitcode);
 351 }
 352
 353 ###############################################################################
 354
 355 sub usage_error (;$) {
 356     print STDERR "$_[0]\n" if @_;
 357     print STDERR "Try `$0 --help' for more information.\n";
 358     exit(-1);
 359 }
 360
 361 ###############################################################################
 362
 363 GetOptions(
 364     'f|file=s'          => \$input,
 365     'debug-dump-only'   => \$debug_dump_only_p,
 366     'pedantic-warnings' => sub { $pedantic_p = 1 },
 367     'help'              => sub { usage(0) },
 368 ) || usage_error;
 369 $pedantic_tag = $pedantic_p? '': ' (negligible)';
 370 usage_error('Missing mandatory option -f') unless defined $input;
 371
 372 open(INPUT, "<$input") || die "$0: $input: $!\n";
 373 if ($debug_dump_only_p) {
 374     debug_dump(*INPUT);
 375 } else {
 376     text_extract(*INPUT);
 377 }
 378
 379 warn "This input will not work with Mozilla standards-compliant mode\n", undef
 380         if $syntaxerror_p;
 381
 382 close INPUT;
 383
 384 exit(-1) if $fatal_p;