misc/translator/tmpl_process3.pl

   1 #!/usr/bin/perl
   2 # This file is part of Koha
   3 # Parts copyright 2003-2004 Paul Poulain
   4 # Parts copyright 2003-2004 Jerome Vizcaino
   5 # Parts copyright 2004 Ambrose Li
   6
   7 =head1 NAME
   8
   9 tmpl_process3.pl - Alternative version of tmpl_process.pl
  10 using gettext-compatible translation files
  11
  12 =cut
  13
  14 use strict;
  15 #use warnings; FIXME - Bug 2505
  16 use Getopt::Long;
  17 use Locale::PO;
  18 use File::Temp qw( :POSIX );
  19 use TmplTokenizer;
  20 use VerboseWarnings qw( :warn :die );
  21
  22 ###############################################################################
  23
  24 use vars qw( @in_files $in_dir $str_file $out_dir $quiet );
  25 use vars qw( @excludes $exclude_regex );
  26 use vars qw( $recursive_p );
  27 use vars qw( $pedantic_p );
  28 use vars qw( $href );
  29 use vars qw( $type );   # file extension (DOS form without the dot) to match
  30 use vars qw( $charset_in $charset_out );
  31
  32 ###############################################################################
  33
  34 sub find_translation ($) {
  35     my($s) = @_;
  36     my $key = $s;
  37     if ($s =~ /\S/s) {
  38     $key = TmplTokenizer::string_canon($key);
  39     $key = TmplTokenizer::charset_convert($key, $charset_in, $charset_out);
  40     $key = TmplTokenizer::quote_po($key);
  41     }
  42     return defined $href->{$key}
  43         && !$href->{$key}->fuzzy
  44         && length Locale::PO->dequote($href->{$key}->msgstr)?
  45        Locale::PO->dequote($href->{$key}->msgstr): $s;
  46 }
  47
  48 sub text_replace_tag ($$) {
  49     my($t, $attr) = @_;
  50     my $it;
  51
  52     # value [tag=input], meta
  53     my $tag = lc($1) if $t =~ /^<(\S+)/s;
  54     my $translated_p = 0;
  55     for my $a ('alt', 'content', 'title', 'value','label') {
  56     if ($attr->{$a}) {
  57         next if $a eq 'label' && $tag ne 'optgroup';
  58         next if $a eq 'content' && $tag ne 'meta';
  59         next if $a eq 'value' && ($tag ne 'input' || (ref $attr->{'type'} && $attr->{'type'}->[1] =~ /^(?:checkbox|hidden|radio|text)$/)); # FIXME
  60
  61         my($key, $val, $val_orig, $order) = @{$attr->{$a}}; #FIXME
  62         if ($val =~ /\S/s) {
  63         my $s = find_translation($val);
  64         if ($attr->{$a}->[1] ne $s) { #FIXME
  65             $attr->{$a}->[1] = $s; # FIXME
  66             $attr->{$a}->[2] = ($s =~ /"/s)? "'$s'": "\"$s\""; #FIXME
  67             $translated_p = 1;
  68         }
  69         }
  70     }
  71     }
  72     if ($translated_p) {
  73      $it = "<$tag"
  74           . join('', map { if ($_ ne '/'){
  75                              sprintf(' %s="%s"', $_, $attr->{$_}->[1]);
  76           }
  77               else {
  78                   sprintf(' %s',$_);
  79                   }
  80
  81               } sort {
  82                   $attr->{$a}->[3] <=> $attr->{$b}->[3] #FIXME
  83               } keys %$attr);
  84         $it .= '>';
  85     }
  86     else {
  87         $it = $t;
  88     }
  89     return $it;
  90 }
  91
  92 sub text_replace (**) {
  93     my($h, $output) = @_;
  94     for (;;) {
  95     my $s = TmplTokenizer::next_token $h;
  96     last unless defined $s;
  97     my($kind, $t, $attr) = ($s->type, $s->string, $s->attributes);
  98     if ($kind eq TmplTokenType::TEXT) {
  99         print $output find_translation($t);
 100     } elsif ($kind eq TmplTokenType::TEXT_PARAMETRIZED) {
 101         my $fmt = find_translation($s->form);
 102         print $output TmplTokenizer::parametrize($fmt, 1, $s, sub {
 103         $_ = $_[0];
 104         my($kind, $t, $attr) = ($_->type, $_->string, $_->attributes);
 105         $kind == TmplTokenType::TAG && %$attr?
 106             text_replace_tag($t, $attr): $t });
 107     } elsif ($kind eq TmplTokenType::TAG && %$attr) {
 108         print $output text_replace_tag($t, $attr);
 109     } elsif ($s->has_js_data) {
 110         for my $t (@{$s->js_data}) {
 111         # FIXME for this whole block
 112         if ($t->[0]) {
 113             printf $output "%s%s%s", $t->[2], find_translation $t->[3],
 114                 $t->[2];
 115         } else {
 116             print $output $t->[1];
 117         }
 118         }
 119     } elsif (defined $t) {
 120         # Quick fix to bug 4472
 121         $t = "<!DOCTYPE stylesheet ["  if $t =~ /DOCTYPE stylesheet/ ;
 122         print $output $t;
 123     }
 124     }
 125 }
 126
 127 sub listfiles ($$$) {
 128     my($dir, $type, $action) = @_;
 129     my @it = ();
 130     if (opendir(DIR, $dir)) {
 131     my @dirent = readdir DIR;   # because DIR is shared when recursing
 132     closedir DIR;
 133     for my $dirent (@dirent) {
 134         my $path = "$dir/$dirent";
 135         if ($dirent =~ /^\./ || $dirent eq 'CVS' || $dirent eq 'RCS'
 136         || (defined $exclude_regex && $dirent =~ /^(?:$exclude_regex)$/)) {
 137         ;
 138         } elsif (-f $path) {
 139         push @it, $path if (!defined $type || $dirent =~ /\.(?:$type)$/) || $action eq 'install';
 140         } elsif (-d $path && $recursive_p) {
 141         push @it, listfiles($path, $type, $action);
 142         }
 143     }
 144     } else {
 145     warn_normal "$dir: $!", undef;
 146     }
 147     return @it;
 148 }
 149
 150 ###############################################################################
 151
 152 sub mkdir_recursive ($) {
 153     my($dir) = @_;
 154     local($`, $&, $', $1);
 155     $dir = $` if $dir ne /^\/+$/ && $dir =~ /\/+$/;
 156     my ($prefix, $basename) = ($dir =~ /\/([^\/]+)$/s)? ($`, $1): ('.', $dir);
 157     mkdir_recursive($prefix) if $prefix ne '.' && !-d $prefix;
 158     if (!-d $dir) {
 159     print STDERR "Making directory $dir..." unless $quiet;
 160     # creates with rwxrwxr-x permissions
 161     mkdir($dir, 0775) || warn_normal "$dir: $!", undef;
 162     }
 163 }
 164
 165 ###############################################################################
 166
 167 sub usage ($) {
 168     my($exitcode) = @_;
 169     my $h = $exitcode? *STDERR: *STDOUT;
 170     print $h <<EOF;
 171 Usage: $0 create [OPTION]
 172   or:  $0 update [OPTION]
 173   or:  $0 install [OPTION]
 174   or:  $0 --help
 175 Create or update PO files from templates, or install translated templates.
 176
 177   -i, --input=SOURCE          Get or update strings from SOURCE file.
 178                               SOURCE is a directory if -r is also specified.
 179   -o, --outputdir=DIRECTORY   Install translation(s) to specified DIRECTORY
 180       --pedantic-warnings     Issue warnings even for detected problems
 181                               which are likely to be harmless
 182   -r, --recursive             SOURCE in the -i option is a directory
 183   -s, --str-file=FILE         Specify FILE as the translation (po) file
 184                               for input (install) or output (create, update)
 185   -x, --exclude=REGEXP        Exclude files matching the given REGEXP
 186       --help                  Display this help and exit
 187   -q, --quiet                 no output to screen (except for errors)
 188
 189 The -o option is ignored for the "create" and "update" actions.
 190 Try `perldoc $0 for perhaps more information.
 191 EOF
 192     exit($exitcode);
 193 }#`
 194
 195 ###############################################################################
 196
 197 sub usage_error (;$) {
 198     for my $msg (split(/\n/, $_[0])) {
 199     print STDERR "$msg\n";
 200     }
 201     print STDERR "Try `$0 --help for more information.\n";
 202     exit(-1);
 203 }
 204
 205 ###############################################################################
 206
 207 GetOptions(
 208     'input|i=s'             => \@in_files,
 209     'outputdir|o=s'         => \$out_dir,
 210     'recursive|r'           => \$recursive_p,
 211     'str-file|s=s'          => \$str_file,
 212     'exclude|x=s'           => \@excludes,
 213     'quiet|q'               => \$quiet,
 214     'pedantic-warnings|pedantic'    => sub { $pedantic_p = 1 },
 215     'help'              => \&usage,
 216 ) || usage_error;
 217
 218 VerboseWarnings::set_application_name $0;
 219 VerboseWarnings::set_pedantic_mode $pedantic_p;
 220
 221 # keep the buggy Locale::PO quiet if it says stupid things
 222 $SIG{__WARN__} = sub {
 223     my($s) = @_;
 224     print STDERR $s unless $s =~ /^Strange line in [^:]+: #~/s
 225     };
 226
 227 my $action = shift or usage_error('You must specify an ACTION.');
 228 usage_error('You must at least specify input and string list filenames.')
 229     if !@in_files || !defined $str_file;
 230
 231 # Type match defaults to *.tt plus *.inc if not specified
 232 $type = "tt|inc|xsl" if !defined($type);
 233
 234 # Check the inputs for being files or directories
 235 for my $input (@in_files) {
 236     usage_error("$input: Input must be a file or directory.\n"
 237         . "(Symbolic links are not supported at the moment)")
 238     unless -d $input || -f $input;;
 239 }
 240
 241 # Generates the global exclude regular expression
 242 $exclude_regex =  '(?:'.join('|', @excludes).')' if @excludes;
 243
 244 # Generate the list of input files if a directory is specified
 245 if (-d $in_files[0]) {
 246     die "If you specify a directory as input, you must specify only it.\n"
 247         if @in_files > 1;
 248
 249     # input is a directory, generates list of files to process
 250     $in_dir = $in_files[0];
 251     $in_dir =~ s/\/$//; # strips the trailing / if any
 252     @in_files = listfiles($in_dir, $type, $action);
 253 } else {
 254     for my $input (@in_files) {
 255     die "You cannot specify input files and directories at the same time.\n"
 256         unless -f $input;
 257     }
 258 }
 259
 260 # restores the string list from file
 261 $href = Locale::PO->load_file_ashash($str_file);
 262
 263 # guess the charsets. HTML::Templates defaults to iso-8859-1
 264 if (defined $href) {
 265     die "$str_file: PO file is corrupted, or not a PO file\n" unless defined $href->{'""'};
 266     $charset_out = TmplTokenizer::charset_canon $2 if $href->{'""'}->msgstr =~ /\bcharset=(["']?)([^;\s"'\\]+)\1/;
 267     $charset_in = $charset_out;
 268     warn "Charset in/out: ".$charset_out;
 269 #     for my $msgid (keys %$href) {
 270 #   if ($msgid =~ /\bcharset=(["']?)([^;\s"'\\]+)\1/) {
 271 #       my $candidate = TmplTokenizer::charset_canon $2;
 272 #       die "Conflicting charsets in msgid: $charset_in vs $candidate => $msgid\n"
 273 #           if defined $charset_in && $charset_in ne $candidate;
 274 #       $charset_in = $candidate;
 275 #   }
 276 #     }
 277 }
 278
 279 # set our charset in to UTF-8
 280 if (!defined $charset_in) {
 281     $charset_in = TmplTokenizer::charset_canon 'UTF-8';
 282     warn "Warning: Can't determine original templates' charset, defaulting to $charset_in\n";
 283 }
 284 # set our charset out to UTF-8
 285 if (!defined $charset_out) {
 286     $charset_out = TmplTokenizer::charset_canon 'UTF-8';
 287     warn "Warning: Charset Out defaulting to $charset_out\n";
 288 }
 289 my $xgettext = './xgettext.pl'; # actual text extractor script
 290 my $st;
 291
 292 if ($action eq 'create')  {
 293     # updates the list. As the list is empty, every entry will be added
 294     if (!-s $str_file) {
 295     warn "Removing empty file $str_file\n";
 296     unlink $str_file || die "$str_file: $!\n";
 297     }
 298     die "$str_file: Output file already exists\n" if -f $str_file;
 299     my($tmph1, $tmpfile1) = tmpnam();
 300     my($tmph2, $tmpfile2) = tmpnam();
 301     close $tmph2; # We just want a name
 302     # Generate the temporary file that acts as <MODULE>/POTFILES.in
 303     for my $input (@in_files) {
 304     print $tmph1 "$input\n";
 305     }
 306     close $tmph1;
 307     warn "I $charset_in O $charset_out";
 308     # Generate the specified po file ($str_file)
 309     $st = system ($xgettext, '-s', '-f', $tmpfile1, '-o', $tmpfile2,
 310             (defined $charset_in? ('-I', $charset_in): ()),
 311             (defined $charset_out? ('-O', $charset_out): ())
 312     );
 313     # Run msgmerge so that the pot file looks like a real pot file
 314     # We need to help msgmerge a bit by pre-creating a dummy po file that has
 315     # the headers and the "" msgid & msgstr. It will fill in the rest.
 316     if ($st == 0) {
 317     # Merge the temporary "pot file" with the specified po file ($str_file)
 318     # FIXME: msgmerge(1) is a Unix dependency
 319     # FIXME: need to check the return value
 320     unless (-f $str_file) {
 321         local(*INPUT, *OUTPUT);
 322         open(INPUT, "<$tmpfile2");
 323         open(OUTPUT, ">$str_file");
 324         while (<INPUT>) {
 325         print OUTPUT;
 326         last if /^\n/s;
 327         }
 328         close INPUT;
 329         close OUTPUT;
 330     }
 331     $st = system('msgmerge', '-U', '-s', $str_file, $tmpfile2);
 332     } else {
 333     error_normal "Text extraction failed: $xgettext: $!\n", undef;
 334     error_additional "Will not run msgmerge\n", undef;
 335     }
 336 #   unlink $tmpfile1 || warn_normal "$tmpfile1: unlink failed: $!\n", undef;
 337 #   unlink $tmpfile2 || warn_normal "$tmpfile2: unlink failed: $!\n", undef;
 338
 339 } elsif ($action eq 'update') {
 340     my($tmph1, $tmpfile1) = tmpnam();
 341     my($tmph2, $tmpfile2) = tmpnam();
 342     close $tmph2; # We just want a name
 343     # Generate the temporary file that acts as <MODULE>/POTFILES.in
 344     for my $input (@in_files) {
 345     print $tmph1 "$input\n";
 346     }
 347     close $tmph1;
 348     # Generate the temporary file that acts as <MODULE>/<LANG>.pot
 349     $st = system($xgettext, '-s', '-f', $tmpfile1, '-o', $tmpfile2,
 350         '--po-mode',
 351         (defined $charset_in? ('-I', $charset_in): ()),
 352         (defined $charset_out? ('-O', $charset_out): ()));
 353     if ($st == 0) {
 354     # Merge the temporary "pot file" with the specified po file ($str_file)
 355     # FIXME: msgmerge(1) is a Unix dependency
 356     # FIXME: need to check the return value
 357     $st = system('msgmerge', '-U', '-s', $str_file, $tmpfile2);
 358     } else {
 359     error_normal "Text extraction failed: $xgettext: $!\n", undef;
 360     error_additional "Will not run msgmerge\n", undef;
 361     }
 362 #   unlink $tmpfile1 || warn_normal "$tmpfile1: unlink failed: $!\n", undef;
 363 #   unlink $tmpfile2 || warn_normal "$tmpfile2: unlink failed: $!\n", undef;
 364
 365 } elsif ($action eq 'install') {
 366     if(!defined($out_dir)) {
 367     usage_error("You must specify an output directory when using the install method.");
 368     }
 369
 370     if ($in_dir eq $out_dir) {
 371     warn "You must specify a different input and output directory.\n";
 372     exit -1;
 373     }
 374
 375     # Make sure the output directory exists
 376     # (It will auto-create it, but for compatibility we should not)
 377     -d $out_dir || die "$out_dir: The directory does not exist\n";
 378
 379     # Try to open the file, because Locale::PO doesn't check :-/
 380     open(INPUT, "<$str_file") || die "$str_file: $!\n";
 381     close INPUT;
 382
 383     # creates the new tmpl file using the new translation
 384     for my $input (@in_files) {
 385         die "Assertion failed"
 386             unless substr($input, 0, length($in_dir) + 1) eq "$in_dir/";
 387 #       print "$input / $type\n";
 388         if (!defined $type || $input =~ /\.(?:$type)$/) {
 389             my $h = TmplTokenizer->new( $input );
 390             $h->set_allow_cformat( 1 );
 391             VerboseWarnings::set_input_file_name $input;
 392
 393             my $target = $out_dir . substr($input, length($in_dir));
 394             my $targetdir = $` if $target =~ /[^\/]+$/s;
 395             mkdir_recursive($targetdir) unless -d $targetdir;
 396             print STDERR "Creating $target...\n" unless $quiet;
 397             open( OUTPUT, ">$target" ) || die "$target: $!\n";
 398             text_replace( $h, *OUTPUT );
 399             close OUTPUT;
 400         } else {
 401         # just copying the file
 402             my $target = $out_dir . substr($input, length($in_dir));
 403             my $targetdir = $` if $target =~ /[^\/]+$/s;
 404             mkdir_recursive($targetdir) unless -d $targetdir;
 405             system("cp -f $input $target");
 406             print STDERR "Copying $input...\n" unless $quiet;
 407         }
 408     }
 409
 410 } else {
 411     usage_error('Unknown action specified.');
 412 }
 413
 414 if ($st == 0) {
 415     printf "The %s seems to be successful.\n", $action unless $quiet;
 416 } else {
 417     printf "%s FAILED.\n", "\u$action" unless $quiet;
 418 }
 419 exit 0;
 420
 421 ###############################################################################
 422
 423 =head1 SYNOPSIS
 424
 425 ./tmpl_process3.pl [ I<tmpl_process.pl options> ]
 426
 427 =head1 DESCRIPTION
 428
 429 This is an alternative version of the tmpl_process.pl script,
 430 using standard gettext-style PO files.  While there still might
 431 be changes made to the way it extracts strings, at this moment
 432 it should be stable enough for general use; it is already being
 433 used for the Chinese and Polish translations.
 434
 435 Currently, the create, update, and install actions have all been
 436 reimplemented and seem to work.
 437
 438 =head2 Features
 439
 440 =over
 441
 442 =item -
 443
 444 Translation files in standard Uniforum PO format.
 445 All standard tools including all gettext tools,
 446 plus PO file editors like kbabel(1) etc.
 447 can be used.
 448
 449 =item -
 450
 451 Minor changes in whitespace in source templates
 452 do not generally require strings to be re-translated.
 453
 454 =item -
 455
 456 Able to handle <TMPL_VAR> variables in the templates;
 457 <TMPL_VAR> variables are usually extracted in proper context,
 458 represented by a short %s placeholder.
 459
 460 =item -
 461
 462 Able to handle text input and radio button INPUT elements
 463 in the templates; these INPUT elements are also usually
 464 extracted in proper context,
 465 represented by a short %S or %p placeholder.
 466
 467 =item -
 468
 469 Automatic comments in the generated PO files to provide
 470 even more context (line numbers, and the names and types
 471 of the variables).
 472
 473 =item -
 474
 475 The %I<n>$s (or %I<n>$p, etc.) notation can be used
 476 for change the ordering of the variables,
 477 if such a reordering is required for correct translation.
 478
 479 =item -
 480
 481 If a particular <TMPL_VAR> should not appear in the
 482 translation, it can be suppressed with the %0.0s notation.
 483
 484 =item -
 485
 486 Using the PO format also means translators can add their
 487 own comments in the translation files, if necessary.
 488
 489 =item -
 490
 491 Create, update, and install actions are all based on the
 492 same scanner module. This ensures that update and install
 493 have the same idea of what is a translatable string;
 494 attribute names in tags, for example, will not be
 495 accidentally translated.
 496
 497 =back
 498
 499 =head1 NOTES
 500
 501 Anchors are represented by an <AI<n>> notation.
 502 The meaning of this non-standard notation might not be obvious.
 503
 504 The create action calls xgettext.pl to do the actual work;
 505 the update action calls xgettext.pl and msgmerge(1) to do the
 506 actual work.
 507
 508 =head1 BUGS
 509
 510 xgettext.pl must be present in the current directory; the
 511 msgmerge(1) command must also be present in the search path.
 512 The script currently does not check carefully whether these
 513 dependent commands are present.
 514
 515 Locale::PO(3) has a lot of bugs. It can neither parse nor
 516 generate GNU PO files properly; a couple of workarounds have
 517 been written in TmplTokenizer and more is likely to be needed
 518 (e.g., to get rid of the "Strange line" warning for #~).
 519
 520 This script may not work in Windows.
 521
 522 There are probably some other bugs too, since this has not been
 523 tested very much.
 524
 525 =head1 SEE ALSO
 526
 527 xgettext.pl,
 528 TmplTokenizer.pm,
 529 msgmerge(1),
 530 Locale::PO(3),
 531 translator_doc.txt
 532
 533 http://www.saas.nsw.edu.au/koha_wiki/index.php?page=DifficultTerms
 534
 535 =cut