misc/translator/text-extract2.pl

   1 #!/usr/bin/perl
   2
   3 # Test filter partially based on Ambrose's hideous subst.pl code
   4 # The idea is that the .tmpl files are not valid HTML, and as a result
   5 # HTML::Parse would be completely confused by these templates.
   6 # This is just a simple scanner (not a parser) & should give better results.
   7
   8 # This script is meant to be a drop-in replacement of text-extract.pl
   9
  10 # FIXME: Strings like "<< Prev" or "Next >>" may confuse *this* filter
  11 # TODO: Need to detect unclosed tags, empty tags, and other such stuff.
  12
  13 use Getopt::Long;
  14 use strict;
  15
  16 use vars qw( $input );
  17 use vars qw( $debug_dump_only_p );
  18
  19 ###############################################################################
  20
  21 # Hideous stuff
  22 use vars qw( $re_directive );
  23 BEGIN {
  24     # $re_directive must not do any backreferences
  25     $re_directive = q{<(?:(?i)(?:!--\s*)?\/?TMPL_(?:VAR|LOOP|INCLUDE|IF|ELSE|UNLESS)\b(?:\s+(?:[a-zA-Z][-a-zA-Z0-9]*=)?(?:'[^']*'|"[^"]*"|[^\s<>]+))\s*(?:--)?)>};
  26 }
  27
  28 # Hideous stuff from subst.pl, slightly modified to use the above hideous stuff
  29 # Note: The $re_tag's set $1 (<tag), $2 (>), and $3 (rest of string)
  30 use vars qw( $re_comment $re_entity_name $re_end_entity $re_etag );
  31 use vars qw( $re_tag_strict $re_tag_compat @re_tag );
  32 sub re_tag ($) {
  33    my($compat) = @_;
  34    my $etag = $compat? '>': '<>\/';
  35    # See the file "subst.pl.test1" for how the following mess is derived
  36    # Unfortunately, inserting $re_directive's has made this even messier
  37    # FIXME: The following is somehow wrong. Paul's 1st report shouldn't happen.
  38    q{(<\/?(?:|(?:"(?:} . $re_directive . q{|[^"])*"|'(?:} . $re_directive . q{|[^'])*'|--(?:[^-]|-[^-])*--|(?:} . $re_directive . q{|[^-"'} . $etag . q{]|-[^-]))+))([} . $etag . q{])(.*)};
  39 }
  40 BEGIN {
  41     $re_comment = '(?:--(?:[^-]|-[^-])*--)';
  42     $re_entity_name = '(?:[^&%#;<>\s]+)'; # NOTE: not really correct SGML
  43     $re_end_entity = '(?:;|$|(?=\s))'; # semicolon or before-whitespace
  44     $re_etag = q{(?:<\/?(?:"[^"]*"|'[^']*'|[^"'>\/])*[>\/])}; # end-tag
  45     @re_tag = ($re_tag_strict, $re_tag_compat) = (re_tag(0), re_tag(1));
  46 }
  47
  48 # End of the hideous stuff
  49
  50 sub KIND_TEXT      () { 'TEXT' }
  51 sub KIND_CDATA     () { 'CDATA' }
  52 sub KIND_TAG       () { 'TAG' }
  53 sub KIND_DECL      () { 'DECL' }
  54 sub KIND_PI        () { 'PI' }
  55 sub KIND_DIRECTIVE () { 'HTML::Template' }
  56 sub KIND_COMMENT   () { 'COMMENT' }   # empty DECL with exactly one SGML comment
  57 sub KIND_UNKNOWN   () { 'ERROR' }
  58
  59 use vars qw( $readahead $lc_0 $lc $syntaxerror_p );
  60 use vars qw( $cdata_mode_p $cdata_close );
  61
  62 sub extract_attributes ($;$) {
  63     my($s, $lc) = @_;
  64     my %attr;
  65     $s = $1 if $s =~ /^<\S+(.*)\/\S$/s  # XML-style self-closing tags
  66             || $s =~ /^<\S+(.*)\S$/s;   # SGML-style tags
  67
  68     for (my $i = 0; $s =~ /^\s+(?:([a-zA-Z][-a-zA-Z0-9]*)=)?('((?:$re_directive|[^'])*)'|"((?:$re_directive|[^"])*)"|(($re_directive|[^\s<>])+))/os;) {
  69         my($key, $val, $val_orig, $rest)
  70                 = ($1, (defined $3? $3: defined $4? $4: $5), $2, $');
  71         $i += 1;
  72         $attr{+lc($key)} = [$key, $val, $val_orig, $i];
  73         $s = $rest;
  74         warn "Warning: Attribute should be quoted"
  75                 . (defined $lc? " in line $lc": '') . ": $val_orig\n"
  76                 if $val =~ /[^-\.A-Za-z0-9]/s && $val_orig !~ /^['"]/;
  77     }
  78     if ($s =~ /\S/s) { # should never happen
  79         warn "Warning: Strange attribute syntax"
  80                 . (defined $lc? " in line $lc": '') . ": $s\n";
  81     }
  82     return \%attr;
  83 }
  84
  85 sub next_token_internal (*) {
  86     my($h) = @_;
  87     my($it, $kind);
  88     my $eof_p = 0;
  89     if (!defined $readahead || !length $readahead) {
  90         my $next = scalar <$h>;
  91         $eof_p = !defined $next;
  92         if (!$eof_p) {
  93             $lc += 1;
  94             $readahead .= $next;
  95         }
  96     }
  97     $lc_0 = $lc;                        # remember line number of first line
  98     if ($eof_p && !length $readahead) { # nothing left to do
  99         ;
 100     } elsif ($readahead =~ /^\s+/s) {   # whitespace
 101         ($kind, $it, $readahead) = (KIND_TEXT, $&, $');
 102     # FIXME the following (the [<\s] part) is an unreliable HACK :-(
 103     } elsif ($readahead =~ /^(?:[^<]|<[<\s])+/s) {      # non-space normal text
 104         ($kind, $it, $readahead) = (KIND_TEXT, $&, $');
 105         warn "Warning: Unescaped < in line $lc: $it\n" if $it =~ /</s;
 106     } else {                            # tag/declaration/processing instruction
 107         my $ok_p = 0;
 108         for (;;) {
 109             if ($cdata_mode_p) {
 110                 if ($readahead =~ /^$cdata_close/) {
 111                     ($kind, $it, $readahead) = (KIND_TAG, $&, $');
 112                     $ok_p = 1;
 113                 } else {
 114                     ($kind, $it, $readahead) = (KIND_TEXT, $readahead, undef);
 115                     $ok_p = 1;
 116                 }
 117             } elsif ($readahead =~ /^$re_tag_compat/os) {
 118                 ($kind, $it, $readahead) = (KIND_TAG, "$1$2", $3);
 119                 $ok_p = 1;
 120             } elsif ($readahead =~ /^<!--(?:(?!-->).)*-->/s) {
 121                 ($kind, $it, $readahead) = (KIND_COMMENT, $&, $');
 122                 $ok_p = 1;
 123                 warn "Warning: Syntax error in comment at line $lc_0: $&\n";
 124                 $syntaxerror_p = 1;
 125             }
 126         last if $ok_p;
 127             my $next = scalar <$h>;
 128             $eof_p = !defined $next;
 129         last if $eof_p;
 130             $lc += 1;
 131             $readahead .= $next;
 132         }
 133         if ($kind ne KIND_TAG) {
 134             ;
 135         } elsif ($it =~ /^<!/) {
 136             $kind = KIND_DECL;
 137             $kind = KIND_COMMENT if $it =~ /^<!--(?:(?!-->).)*-->/;
 138         } elsif ($it =~ /^<\?/) {
 139             $kind = KIND_PI;
 140         }
 141         if ($it =~ /^$re_directive/ios && !$cdata_mode_p) {
 142             $kind = KIND_DIRECTIVE;
 143         }
 144         if (!$ok_p && $eof_p) {
 145             ($kind, $it, $readahead) = (KIND_UNKNOWN, $readahead, undef);
 146             $syntaxerror_p = 1;
 147         }
 148     }
 149     warn "Warning: Unrecognizable token found in line $lc_0: $it\n"
 150             if $kind eq KIND_UNKNOWN;
 151     return defined $it? (wantarray? ($kind, $it):
 152                                     [$kind, $it]): undef;
 153 }
 154
 155 sub next_token (*) {
 156     my($h) = @_;
 157     my $it;
 158     if (!$cdata_mode_p) {
 159         $it = next_token_internal($h);
 160         if (defined $it && $it->[0] eq KIND_TAG) { # FIXME
 161             ($cdata_mode_p, $cdata_close) = (1, "</$1\\s*>")
 162                     if $it->[1] =~ /^<(script|style|textarea)\b/i; #FIXME
 163             push @$it, extract_attributes($it->[1], $lc); #FIXME
 164         }
 165     } else {
 166         for (;;) {
 167             my $lc_prev = $lc;
 168             my $next = next_token_internal($h);
 169         last if !defined $next;
 170             if (defined $next && $next->[1] =~ /$cdata_close/i) { #FIXME
 171                 ($lc, $readahead) = ($lc_prev, $next->[1] . $readahead); #FIXME
 172                 $cdata_mode_p = 0;
 173             }
 174         last unless $cdata_mode_p;
 175             $it .= $next->[1]; #FIXME
 176         }
 177         $it = [KIND_CDATA, $it] if defined $it; #FIXME
 178         $cdata_close = undef;
 179     }
 180     return defined $it? (wantarray? @$it: $it): undef;
 181 }
 182
 183 ###############################################################################
 184
 185 sub debug_dump (*) { # for testing only
 186     my($h) = @_;
 187     print "re_tag_compat is /$re_tag_compat/\n";
 188     for (;;) {
 189         my $s = next_token $h;
 190     last unless defined $s;
 191         printf "%s\n", ('-' x 79);
 192         my($kind, $t, $attr) = @$s; # FIXME
 193         printf "%s:\n", $kind;
 194         printf "%4dH%s\n", length($t),
 195                 join('', map {/[\0-\37]/? $_: "$_\b$_"} split(//, $t));
 196         if ($kind eq KIND_TAG && %$attr) {
 197             printf "Attributes:\n";
 198             for my $a (keys %$attr) {
 199                 my($key, $val, $val_orig, $order) = @{$attr->{$a}};
 200                 printf "%s = %dH%s -- %s\n", $a, length $val,
 201                 join('', map {/[\0-\37]/? $_: "$_\b$_"} split(//, $val)),
 202                 $val_orig;
 203             }
 204         }
 205     }
 206 }
 207
 208 ###############################################################################
 209
 210 sub text_extract (*) {
 211     my($h) = @_;
 212     my %text = ();
 213     for (;;) {
 214         my $s = next_token $h;
 215     last unless defined $s;
 216         my($kind, $t, $attr) = @$s; # FIXME
 217         if ($kind eq KIND_TEXT) {
 218             $t =~ s/\s+$//s;
 219             $text{$t} = 1 if $t =~ /\S/s;
 220         } elsif ($kind eq KIND_TAG && %$attr) {
 221             # value [tag=input], meta
 222             my $tag = lc($1) if $t =~ /^<(\S+)/s;
 223             for my $a ('alt', 'content', 'title', 'value') {
 224                 if ($attr->{$a}) {
 225                     next if $a eq 'content' && $tag ne 'meta';
 226                     next if $a eq 'value' && ($tag ne 'input'
 227                         || (ref $attr->{'type'} && $attr->{'type'}->[1] eq 'hidden')); # FIXME
 228                     my($key, $val, $val_orig, $order) = @{$attr->{$a}}; #FIXME
 229                     $val =~ s/\s+$//s;
 230                     $text{$val} = 1 if $val =~ /\S/s;
 231                 }
 232             }
 233         }
 234     }
 235     for my $t (keys %text) {
 236         printf "%s\n", $t unless $t =~ /^(?:\s|\&nbsp;)*$/s;
 237     }
 238 }
 239
 240 ###############################################################################
 241
 242 GetOptions(
 243     'f|file=s' => \$input,
 244     'debug-dump-only-p' => \$debug_dump_only_p,
 245 ) || exit(-1);
 246
 247 open(INPUT, "<$input") || die "$0: $input: $!\n";
 248 if ($debug_dump_only_p) {
 249     debug_dump(*INPUT);
 250 } else {
 251     text_extract(*INPUT);
 252 }
 253
 254 warn "Warning: This input will not work with Mozilla standards-compliant mode\n"
 255         if $syntaxerror_p;
 256
 257 close INPUT;
 258