misc/translator/tmpl_process3.pl

   1 #!/usr/bin/perl
   2 # This file is part of Koha
   3 # Parts copyright 2003-2004 Paul Poulain
   4 # Parts copyright 2003-2004 Jerome Vizcaino
   5 # Parts copyright 2004 Ambrose Li
   6
   7 =head1 NAME
   8
   9 tmpl_process3.pl - Alternative version of tmpl_process.pl
  10 using gettext-compatible translation files
  11
  12 =cut
  13
  14 use strict;
  15 use Getopt::Long;
  16 use Locale::PO;
  17 use File::Temp qw( :POSIX );
  18 use TmplTokenizer;
  19 use VerboseWarnings qw( :warn :die );
  20
  21 ###############################################################################
  22
  23 use vars qw( @in_files $in_dir $str_file $out_dir $quiet );
  24 use vars qw( @excludes $exclude_regex );
  25 use vars qw( $recursive_p );
  26 use vars qw( $pedantic_p );
  27 use vars qw( $href );
  28 use vars qw( $type );   # file extension (DOS form without the dot) to match
  29 use vars qw( $charset_in $charset_out );
  30
  31 ###############################################################################
  32
  33 sub find_translation ($) {
  34     my($s) = @_;
  35     my $key = $s;
  36     if ($s =~ /\S/s) {
  37     $key = TmplTokenizer::string_canon($key);
  38     $key = TmplTokenizer::charset_convert($key, $charset_in, $charset_out);
  39     $key = TmplTokenizer::quote_po($key);
  40     }
  41     return defined $href->{$key}
  42         && !$href->{$key}->fuzzy
  43         && length Locale::PO->dequote($href->{$key}->msgstr)?
  44        Locale::PO->dequote($href->{$key}->msgstr): $s;
  45 }
  46
  47 sub text_replace_tag ($$) {
  48     my($t, $attr) = @_;
  49     my $it;
  50     # value [tag=input], meta
  51     my $tag = lc($1) if $t =~ /^<(\S+)/s;
  52     my $translated_p = 0;
  53     for my $a ('alt', 'content', 'title', 'value') {
  54     if ($attr->{$a}) {
  55         next if $a eq 'content' && $tag ne 'meta';
  56         next if $a eq 'value' && ($tag ne 'input'
  57         || (ref $attr->{'type'} && $attr->{'type'}->[1] =~ /^(?:hidden|radio|text)$/)); # FIXME
  58         my($key, $val, $val_orig, $order) = @{$attr->{$a}}; #FIXME
  59         if ($val =~ /\S/s) {
  60         my $s = find_translation($val);
  61         if ($attr->{$a}->[1] ne $s) { #FIXME
  62             $attr->{$a}->[1] = $s; # FIXME
  63             $attr->{$a}->[2] = ($s =~ /"/s)? "'$s'": "\"$s\""; #FIXME
  64             $translated_p = 1;
  65         }
  66         }
  67     }
  68     }
  69     if ($translated_p) {
  70     $it = "<$tag"
  71         . join('', map {
  72             sprintf(' %s=%s', $_, $attr->{$_}->[2]) #FIXME
  73         } sort {
  74             $attr->{$a}->[3] <=> $attr->{$b}->[3] #FIXME
  75         } keys %$attr)
  76         . '>';
  77     } else {
  78     $it = $t;
  79     }
  80     return $it;
  81 }
  82
  83 sub text_replace (**) {
  84     my($h, $output) = @_;
  85     for (;;) {
  86     my $s = TmplTokenizer::next_token $h;
  87     last unless defined $s;
  88     my($kind, $t, $attr) = ($s->type, $s->string, $s->attributes);
  89     if ($kind eq TmplTokenType::TEXT) {
  90         print $output find_translation($t);
  91     } elsif ($kind eq TmplTokenType::TEXT_PARAMETRIZED) {
  92         my $fmt = find_translation($s->form);
  93         print $output TmplTokenizer::parametrize($fmt, 1, $s, sub {
  94         $_ = $_[0];
  95         my($kind, $t, $attr) = ($_->type, $_->string, $_->attributes);
  96         $kind == TmplTokenType::TAG && %$attr?
  97             text_replace_tag($t, $attr): $t });
  98     } elsif ($kind eq TmplTokenType::TAG && %$attr) {
  99         print $output text_replace_tag($t, $attr);
 100     } elsif ($s->has_js_data) {
 101         for my $t (@{$s->js_data}) {
 102         # FIXME for this whole block
 103         if ($t->[0]) {
 104             printf $output "%s%s%s", $t->[2], find_translation $t->[3],
 105                 $t->[2];
 106         } else {
 107             print $output $t->[1];
 108         }
 109         }
 110     } elsif (defined $t) {
 111         print $output $t;
 112     }
 113     }
 114 }
 115
 116 sub listfiles ($$$) {
 117     my($dir, $type, $action) = @_;
 118     my @it = ();
 119     if (opendir(DIR, $dir)) {
 120     my @dirent = readdir DIR;   # because DIR is shared when recursing
 121     closedir DIR;
 122     for my $dirent (@dirent) {
 123         my $path = "$dir/$dirent";
 124         if ($dirent =~ /^\./ || $dirent eq 'CVS' || $dirent eq 'RCS'
 125         || (defined $exclude_regex && $dirent =~ /^(?:$exclude_regex)$/)) {
 126         ;
 127         } elsif (-f $path) {
 128         push @it, $path if (!defined $type || $dirent =~ /\.(?:$type)$/) || $action eq 'install';
 129         } elsif (-d $path && $recursive_p) {
 130         push @it, listfiles($path, $type, $action);
 131         }
 132     }
 133     } else {
 134     warn_normal "$dir: $!", undef;
 135     }
 136     return @it;
 137 }
 138
 139 ###############################################################################
 140
 141 sub mkdir_recursive ($) {
 142     my($dir) = @_;
 143     local($`, $&, $', $1);
 144     $dir = $` if $dir ne /^\/+$/ && $dir =~ /\/+$/;
 145     my ($prefix, $basename) = ($dir =~ /\/([^\/]+)$/s)? ($`, $1): ('.', $dir);
 146     mkdir_recursive($prefix) if $prefix ne '.' && !-d $prefix;
 147     if (!-d $dir) {
 148     print STDERR "Making directory $dir..." unless $quiet;
 149     # creates with rwxrwxr-x permissions
 150     mkdir($dir, 0775) || warn_normal "$dir: $!", undef;
 151     }
 152 }
 153
 154 ###############################################################################
 155
 156 sub usage ($) {
 157     my($exitcode) = @_;
 158     my $h = $exitcode? *STDERR: *STDOUT;
 159     print $h <<EOF;
 160 Usage: $0 create [OPTION]
 161   or:  $0 update [OPTION]
 162   or:  $0 install [OPTION]
 163   or:  $0 --help
 164 Create or update PO files from templates, or install translated templates.
 165
 166   -i, --input=SOURCE          Get or update strings from SOURCE file.
 167                               SOURCE is a directory if -r is also specified.
 168   -o, --outputdir=DIRECTORY   Install translation(s) to specified DIRECTORY
 169       --pedantic-warnings     Issue warnings even for detected problems
 170                               which are likely to be harmless
 171   -r, --recursive             SOURCE in the -i option is a directory
 172   -s, --str-file=FILE         Specify FILE as the translation (po) file
 173                               for input (install) or output (create, update)
 174   -x, --exclude=REGEXP        Exclude files matching the given REGEXP
 175       --help                  Display this help and exit
 176   -q, --quiet                 no output to screen (except for errors)
 177
 178 The -o option is ignored for the "create" and "update" actions.
 179 Try `perldoc $0 for perhaps more information.
 180 EOF
 181     exit($exitcode);
 182 }#`
 183
 184 ###############################################################################
 185
 186 sub usage_error (;$) {
 187     for my $msg (split(/\n/, $_[0])) {
 188     print STDERR "$msg\n";
 189     }
 190     print STDERR "Try `$0 --help for more information.\n";
 191     exit(-1);
 192 }
 193
 194 ###############################################################################
 195
 196 GetOptions(
 197     'input|i=s'             => \@in_files,
 198     'outputdir|o=s'         => \$out_dir,
 199     'recursive|r'           => \$recursive_p,
 200     'str-file|s=s'          => \$str_file,
 201     'exclude|x=s'           => \@excludes,
 202     'quiet|q'               => \$quiet,
 203     'pedantic-warnings|pedantic'    => sub { $pedantic_p = 1 },
 204     'help'              => \&usage,
 205 ) || usage_error;
 206
 207 VerboseWarnings::set_application_name $0;
 208 VerboseWarnings::set_pedantic_mode $pedantic_p;
 209
 210 # keep the buggy Locale::PO quiet if it says stupid things
 211 $SIG{__WARN__} = sub {
 212     my($s) = @_;
 213     print STDERR $s unless $s =~ /^Strange line in [^:]+: #~/s
 214     };
 215
 216 my $action = shift or usage_error('You must specify an ACTION.');
 217 usage_error('You must at least specify input and string list filenames.')
 218     if !@in_files || !defined $str_file;
 219
 220 # Type match defaults to *.tmpl plus *.inc if not specified
 221 $type = "tmpl|inc" if !defined($type);
 222
 223 # Check the inputs for being files or directories
 224 for my $input (@in_files) {
 225     usage_error("$input: Input must be a file or directory.\n"
 226         . "(Symbolic links are not supported at the moment)")
 227     unless -d $input || -f $input;;
 228 }
 229
 230 # Generates the global exclude regular expression
 231 $exclude_regex =  '(?:'.join('|', @excludes).')' if @excludes;
 232
 233 # Generate the list of input files if a directory is specified
 234 if (-d $in_files[0]) {
 235     die "If you specify a directory as input, you must specify only it.\n"
 236         if @in_files > 1;
 237
 238     # input is a directory, generates list of files to process
 239     $in_dir = $in_files[0];
 240     $in_dir =~ s/\/$//; # strips the trailing / if any
 241     @in_files = listfiles($in_dir, $type, $action);
 242 } else {
 243     for my $input (@in_files) {
 244     die "You cannot specify input files and directories at the same time.\n"
 245         unless -f $input;
 246     }
 247 }
 248
 249 # restores the string list from file
 250 $href = Locale::PO->load_file_ashash($str_file);
 251
 252 # guess the charsets. HTML::Templates defaults to iso-8859-1
 253 if (defined $href) {
 254     die "$str_file: PO file is corrupted, or not a PO file\n" unless defined $href->{'""'};
 255     $charset_out = TmplTokenizer::charset_canon $2 if $href->{'""'}->msgstr =~ /\bcharset=(["']?)([^;\s"'\\]+)\1/;
 256     $charset_in = $charset_out;
 257     warn "Charset in/out: ".$charset_out;
 258 #     for my $msgid (keys %$href) {
 259 #   if ($msgid =~ /\bcharset=(["']?)([^;\s"'\\]+)\1/) {
 260 #       my $candidate = TmplTokenizer::charset_canon $2;
 261 #       die "Conflicting charsets in msgid: $charset_in vs $candidate => $msgid\n"
 262 #           if defined $charset_in && $charset_in ne $candidate;
 263 #       $charset_in = $candidate;
 264 #   }
 265 #     }
 266 }
 267
 268 # set our charset in to UTF-8
 269 if (!defined $charset_in) {
 270     $charset_in = TmplTokenizer::charset_canon 'UTF-8';
 271     warn "Warning: Can't determine original templates' charset, defaulting to $charset_in\n";
 272 }
 273 # set our charset out to UTF-8
 274 if (!defined $charset_out) {
 275     $charset_out = TmplTokenizer::charset_canon 'UTF-8';
 276     warn "Warning: Charset Out defaulting to $charset_out\n";
 277 }
 278 my $xgettext = './xgettext.pl'; # actual text extractor script
 279 my $st;
 280
 281 if ($action eq 'create')  {
 282     # updates the list. As the list is empty, every entry will be added
 283     if (!-s $str_file) {
 284     warn "Removing empty file $str_file\n";
 285     unlink $str_file || die "$str_file: $!\n";
 286     }
 287     die "$str_file: Output file already exists\n" if -f $str_file;
 288     my($tmph1, $tmpfile1) = tmpnam();
 289     my($tmph2, $tmpfile2) = tmpnam();
 290     close $tmph2; # We just want a name
 291     # Generate the temporary file that acts as <MODULE>/POTFILES.in
 292     for my $input (@in_files) {
 293     print $tmph1 "$input\n";
 294     }
 295     close $tmph1;
 296     warn "I $charset_in O $charset_out";
 297     # Generate the specified po file ($str_file)
 298     $st = system ($xgettext, '-s', '-f', $tmpfile1, '-o', $tmpfile2,
 299             (defined $charset_in? ('-I', $charset_in): ()),
 300             (defined $charset_out? ('-O', $charset_out): ())
 301     );
 302     # Run msgmerge so that the pot file looks like a real pot file
 303     # We need to help msgmerge a bit by pre-creating a dummy po file that has
 304     # the headers and the "" msgid & msgstr. It will fill in the rest.
 305     if ($st == 0) {
 306     # Merge the temporary "pot file" with the specified po file ($str_file)
 307     # FIXME: msgmerge(1) is a Unix dependency
 308     # FIXME: need to check the return value
 309     unless (-f $str_file) {
 310         local(*INPUT, *OUTPUT);
 311         open(INPUT, "<$tmpfile2");
 312         open(OUTPUT, ">$str_file");
 313         while (<INPUT>) {
 314         print OUTPUT;
 315         last if /^\n/s;
 316         }
 317         close INPUT;
 318         close OUTPUT;
 319     }
 320     $st = system('msgmerge', '-U', '-s', $str_file, $tmpfile2);
 321     } else {
 322     error_normal "Text extraction failed: $xgettext: $!\n", undef;
 323     error_additional "Will not run msgmerge\n", undef;
 324     }
 325 #   unlink $tmpfile1 || warn_normal "$tmpfile1: unlink failed: $!\n", undef;
 326 #   unlink $tmpfile2 || warn_normal "$tmpfile2: unlink failed: $!\n", undef;
 327
 328 } elsif ($action eq 'update') {
 329     my($tmph1, $tmpfile1) = tmpnam();
 330     my($tmph2, $tmpfile2) = tmpnam();
 331     close $tmph2; # We just want a name
 332     # Generate the temporary file that acts as <MODULE>/POTFILES.in
 333     for my $input (@in_files) {
 334     print $tmph1 "$input\n";
 335     }
 336     close $tmph1;
 337     # Generate the temporary file that acts as <MODULE>/<LANG>.pot
 338     $st = system($xgettext, '-s', '-f', $tmpfile1, '-o', $tmpfile2,
 339         '--po-mode',
 340         (defined $charset_in? ('-I', $charset_in): ()),
 341         (defined $charset_out? ('-O', $charset_out): ()));
 342     if ($st == 0) {
 343     # Merge the temporary "pot file" with the specified po file ($str_file)
 344     # FIXME: msgmerge(1) is a Unix dependency
 345     # FIXME: need to check the return value
 346     $st = system('msgmerge', '-U', '-s', $str_file, $tmpfile2);
 347     } else {
 348     error_normal "Text extraction failed: $xgettext: $!\n", undef;
 349     error_additional "Will not run msgmerge\n", undef;
 350     }
 351 #   unlink $tmpfile1 || warn_normal "$tmpfile1: unlink failed: $!\n", undef;
 352 #   unlink $tmpfile2 || warn_normal "$tmpfile2: unlink failed: $!\n", undef;
 353
 354 } elsif ($action eq 'install') {
 355     if(!defined($out_dir)) {
 356     usage_error("You must specify an output directory when using the install method.");
 357     }
 358
 359     if ($in_dir eq $out_dir) {
 360     warn "You must specify a different input and output directory.\n";
 361     exit -1;
 362     }
 363
 364     # Make sure the output directory exists
 365     # (It will auto-create it, but for compatibility we should not)
 366     -d $out_dir || die "$out_dir: The directory does not exist\n";
 367
 368     # Try to open the file, because Locale::PO doesn't check :-/
 369     open(INPUT, "<$str_file") || die "$str_file: $!\n";
 370     close INPUT;
 371
 372     # creates the new tmpl file using the new translation
 373     for my $input (@in_files) {
 374         die "Assertion failed"
 375             unless substr($input, 0, length($in_dir) + 1) eq "$in_dir/";
 376 #       print "$input / $type\n";
 377         if (!defined $type || $input =~ /\.(?:$type)$/) {
 378             my $h = TmplTokenizer->new( $input );
 379             $h->set_allow_cformat( 1 );
 380             VerboseWarnings::set_input_file_name $input;
 381
 382             my $target = $out_dir . substr($input, length($in_dir));
 383             my $targetdir = $` if $target =~ /[^\/]+$/s;
 384             mkdir_recursive($targetdir) unless -d $targetdir;
 385             print STDERR "Creating $target...\n" unless $quiet;
 386             open( OUTPUT, ">$target" ) || die "$target: $!\n";
 387             text_replace( $h, *OUTPUT );
 388             close OUTPUT;
 389         } else {
 390         # just copying the file
 391             my $target = $out_dir . substr($input, length($in_dir));
 392             my $targetdir = $` if $target =~ /[^\/]+$/s;
 393             mkdir_recursive($targetdir) unless -d $targetdir;
 394             system("cp -f $input $target");
 395             print STDERR "Copying $input...\n" unless $quiet;
 396         }
 397     }
 398
 399 } else {
 400     usage_error('Unknown action specified.');
 401 }
 402
 403 if ($st == 0) {
 404     printf "The %s seems to be successful.\n", $action unless $quiet;
 405 } else {
 406     printf "%s FAILED.\n", "\u$action" unless $quiet;
 407 }
 408 exit 0;
 409
 410 ###############################################################################
 411
 412 =head1 SYNOPSIS
 413
 414 ./tmpl_process3.pl [ I<tmpl_process.pl options> ]
 415
 416 =head1 DESCRIPTION
 417
 418 This is an alternative version of the tmpl_process.pl script,
 419 using standard gettext-style PO files.  While there still might
 420 be changes made to the way it extracts strings, at this moment
 421 it should be stable enough for general use; it is already being
 422 used for the Chinese and Polish translations.
 423
 424 Currently, the create, update, and install actions have all been
 425 reimplemented and seem to work.
 426
 427 =head2 Features
 428
 429 =over
 430
 431 =item -
 432
 433 Translation files in standard Uniforum PO format.
 434 All standard tools including all gettext tools,
 435 plus PO file editors like kbabel(1) etc.
 436 can be used.
 437
 438 =item -
 439
 440 Minor changes in whitespace in source templates
 441 do not generally require strings to be re-translated.
 442
 443 =item -
 444
 445 Able to handle <TMPL_VAR> variables in the templates;
 446 <TMPL_VAR> variables are usually extracted in proper context,
 447 represented by a short %s placeholder.
 448
 449 =item -
 450
 451 Able to handle text input and radio button INPUT elements
 452 in the templates; these INPUT elements are also usually
 453 extracted in proper context,
 454 represented by a short %S or %p placeholder.
 455
 456 =item -
 457
 458 Automatic comments in the generated PO files to provide
 459 even more context (line numbers, and the names and types
 460 of the variables).
 461
 462 =item -
 463
 464 The %I<n>$s (or %I<n>$p, etc.) notation can be used
 465 for change the ordering of the variables,
 466 if such a reordering is required for correct translation.
 467
 468 =item -
 469
 470 If a particular <TMPL_VAR> should not appear in the
 471 translation, it can be suppressed with the %0.0s notation.
 472
 473 =item -
 474
 475 Using the PO format also means translators can add their
 476 own comments in the translation files, if necessary.
 477
 478 =item -
 479
 480 Create, update, and install actions are all based on the
 481 same scanner module. This ensures that update and install
 482 have the same idea of what is a translatable string;
 483 attribute names in tags, for example, will not be
 484 accidentally translated.
 485
 486 =back
 487
 488 =head1 NOTES
 489
 490 Anchors are represented by an <AI<n>> notation.
 491 The meaning of this non-standard notation might not be obvious.
 492
 493 The create action calls xgettext.pl to do the actual work;
 494 the update action calls xgettext.pl and msgmerge(1) to do the
 495 actual work.
 496
 497 =head1 BUGS
 498
 499 xgettext.pl must be present in the current directory; the
 500 msgmerge(1) command must also be present in the search path.
 501 The script currently does not check carefully whether these
 502 dependent commands are present.
 503
 504 Locale::PO(3) has a lot of bugs. It can neither parse nor
 505 generate GNU PO files properly; a couple of workarounds have
 506 been written in TmplTokenizer and more is likely to be needed
 507 (e.g., to get rid of the "Strange line" warning for #~).
 508
 509 This script may not work in Windows.
 510
 511 There are probably some other bugs too, since this has not been
 512 tested very much.
 513
 514 =head1 SEE ALSO
 515
 516 xgettext.pl,
 517 TmplTokenizer.pm,
 518 msgmerge(1),
 519 Locale::PO(3),
 520 translator_doc.txt
 521
 522 http://www.saas.nsw.edu.au/koha_wiki/index.php?page=DifficultTerms
 523
 524 =cut