misc/migration_tools/rebuild_zebra.pl

   1 #!/usr/bin/perl
   2
   3 use C4::Context;
   4 use Getopt::Long;
   5 use C4::Biblio;
   6 use C4::AuthoritiesMarc;
   7
   8 use strict;
   9 #
  10 # script that checks zebradir structure & create directories & mandatory files if needed
  11 #
  12 #
  13
  14 $|=1; # flushes output
  15
  16 # limit for database dumping
  17 my $limit;# = "LIMIT 1";
  18 my $directory;
  19 my $skip_export;
  20 my $keep_export;
  21 my $reset;
  22 my $biblios;
  23 my $authorities;
  24 GetOptions(
  25         'd:s'      => \$directory,
  26         'reset'      => \$reset,
  27         's'        => \$skip_export,
  28         'k'        => \$keep_export,
  29         'b'        => \$biblios,
  30         'a'        => \$authorities,
  31         );
  32
  33 $directory = "export" unless $directory;
  34
  35
  36 my $biblioserverdir = C4::Context->zebraconfig('biblioserver')->{directory};
  37 my $authorityserverdir = C4::Context->zebraconfig('authorityserver')->{directory};
  38
  39 my $kohadir = C4::Context->config('intranetdir');
  40 my $dbh = C4::Context->dbh;
  41 my ($biblionumbertagfield,$biblionumbertagsubfield) = &GetMarcFromKohaField("biblio.biblionumber","");
  42 my ($biblioitemnumbertagfield,$biblioitemnumbertagsubfield) = &GetMarcFromKohaField("biblioitems.biblioitemnumber","");
  43
  44 print "some informations\n";
  45 print "=================\n";
  46 print "Zebra biblio directory =>$biblioserverdir\n";
  47 print "Zebra authorities directory =>$authorityserverdir\n";
  48 print "Koha directory =>$kohadir\n";
  49 print "BIBLIONUMBER in : $biblionumbertagfield\$$biblionumbertagsubfield\n";
  50 print "BIBLIOITEMNUMBER in : $biblioitemnumbertagfield\$$biblioitemnumbertagsubfield\n";
  51 print "=================\n";
  52 #
  53 # creating zebra-biblios.cfg depending on system
  54 #
  55
  56 # getting zebraidx directory
  57 my $zebraidxdir;
  58 foreach (qw(/usr/local/bin/zebraidx
  59         /opt/bin/zebraidx
  60         /usr/bin/zebraidx
  61         )) {
  62     if ( -f $_ ) {
  63         $zebraidxdir=$_;
  64     }
  65 }
  66
  67 unless ($zebraidxdir) {
  68     print qq|
  69     ERROR: could not find zebraidx directory
  70     ERROR: Either zebra is not installed,
  71     ERROR: or it's in a directory I don't checked.
  72     ERROR: do a which zebraidx and edit this file to add the result you get
  73 |;
  74     exit;
  75 }
  76 $zebraidxdir =~ s/\/bin\/.*//;
  77 print "Info : zebra is in $zebraidxdir \n";
  78
  79 # getting modules directory
  80 my $modulesdir;
  81 foreach (qw(/usr/local/lib/idzebra-2.0/modules/mod-grs-xml.so
  82             /usr/local/lib/idzebra/modules/mod-grs-xml.so
  83             /usr/lib/idzebra/modules/mod-grs-xml.so
  84             /usr/lib/idzebra-2.0/modules/mod-grs-xml.so
  85         )) {
  86     if ( -f $_ ) {
  87         $modulesdir=$_;
  88     }
  89 }
  90
  91 unless ($modulesdir) {
  92     print qq|
  93     ERROR: could not find mod-grs-xml.so directory
  94     ERROR: Either zebra is not properly compiled (libxml2 is not setup and you don t have mod-grs-xml.so,
  95     ERROR: or it's in a directory I don't checked.
  96     ERROR: find where mod-grs-xml.so is and edit this file to add the result you get
  97 |;
  98     exit;
  99 }
 100 $modulesdir =~ s/\/modules\/.*//;
 101 print "Info: zebra modules dir : $modulesdir\n";
 102
 103 # getting tab directory
 104 my $tabdir;
 105 foreach (qw(/usr/local/share/idzebra/tab/explain.att
 106             /usr/local/share/idzebra-2.0/tab/explain.att
 107             /usr/share/idzebra/tab/explain.att
 108             /usr/share/idzebra-2.0/tab/explain.att
 109         )) {
 110     if ( -f $_ ) {
 111         $tabdir=$_;
 112     }
 113 }
 114
 115 unless ($tabdir) {
 116     print qq|
 117     ERROR: could not find explain.att directory
 118     ERROR: Either zebra is not properly compiled,
 119     ERROR: or it's in a directory I don't checked.
 120     ERROR: find where explain.att is and edit this file to add the result you get
 121 |;
 122     exit;
 123 }
 124 $tabdir =~ s/\/tab\/.*//;
 125 print "Info: tab dir : $tabdir\n";
 126
 127 #
 128 # AUTHORITIES creating directory structure
 129 #
 130 my $created_dir_or_file = 0;
 131 if ($authorities) {
 132     print "====================\n";
 133     print "checking directories & files for authorities\n";
 134     print "====================\n";
 135     unless (-d "$authorityserverdir") {
 136         system("mkdir -p $authorityserverdir");
 137         print "Info: created $authorityserverdir\n";
 138         $created_dir_or_file++;
 139     }
 140     unless (-d "$authorityserverdir/lock") {
 141         mkdir "$authorityserverdir/lock";
 142         print "Info: created $authorityserverdir/lock\n";
 143         $created_dir_or_file++;
 144     }
 145     unless (-d "$authorityserverdir/register") {
 146         mkdir "$authorityserverdir/register";
 147         print "Info: created $authorityserverdir/register\n";
 148         $created_dir_or_file++;
 149     }
 150     unless (-d "$authorityserverdir/shadow") {
 151         mkdir "$authorityserverdir/shadow";
 152         print "Info: created $authorityserverdir/shadow\n";
 153         $created_dir_or_file++;
 154     }
 155     unless (-d "$authorityserverdir/tab") {
 156         mkdir "$authorityserverdir/tab";
 157         print "Info: created $authorityserverdir/tab\n";
 158         $created_dir_or_file++;
 159     }
 160     unless (-d "$authorityserverdir/key") {
 161         mkdir "$authorityserverdir/key";
 162         print "Info: created $authorityserverdir/key\n";
 163         $created_dir_or_file++;
 164     }
 165
 166     unless (-d "$authorityserverdir/etc") {
 167         mkdir "$authorityserverdir/etc";
 168         print "Info: created $authorityserverdir/etc\n";
 169         $created_dir_or_file++;
 170     }
 171
 172     #
 173     # AUTHORITIES : copying mandatory files
 174     #
 175     # the record model, depending on marc flavour
 176     unless (-f "$authorityserverdir/tab/record.abs") {
 177         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
 178             system("cp -f $kohadir/misc/zebra/record_authorities_unimarc.abs $authorityserverdir/tab/record.abs");
 179             print "Info: copied record.abs for UNIMARC\n";
 180         } else {
 181             system("cp -f $kohadir/misc/zebra/record_authorities_usmarc.abs $authorityserverdir/tab/record.abs");
 182             print "Info: copied record.abs for USMARC\n";
 183         }
 184         $created_dir_or_file++;
 185     }
 186     unless (-f "$authorityserverdir/tab/sort-string-utf.chr") {
 187         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $authorityserverdir/tab/sort-string-utf.chr");
 188         print "Info: copied sort-string-utf.chr\n";
 189         $created_dir_or_file++;
 190     }
 191     unless (-f "$authorityserverdir/tab/word-phrase-utf.chr") {
 192         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $authorityserverdir/tab/word-phrase-utf.chr");
 193         print "Info: copied word-phase-utf.chr\n";
 194         $created_dir_or_file++;
 195     }
 196     unless (-f "$authorityserverdir/tab/auth1.att") {
 197         system("cp -f $kohadir/misc/zebra/bib1_authorities.att $authorityserverdir/tab/auth1.att");
 198         print "Info: copied auth1.att\n";
 199         $created_dir_or_file++;
 200     }
 201     unless (-f "$authorityserverdir/tab/default.idx") {
 202         system("cp -f $kohadir/misc/zebra/default.idx $authorityserverdir/tab/default.idx");
 203         print "Info: copied default.idx\n";
 204         $created_dir_or_file++;
 205     }
 206
 207     unless (-f "$authorityserverdir/etc/ccl.properties") {
 208 #         system("cp -f $kohadir/misc/zebra/ccl.properties ".C4::Context->zebraconfig('authorityserver')->{ccl2rpn});
 209         system("cp -f $kohadir/misc/zebra/ccl.properties $authorityserverdir/etc/ccl.properties");
 210         print "Info: copied ccl.properties\n";
 211         $created_dir_or_file++;
 212     }
 213     unless (-f "$authorityserverdir/etc/pqf.properties") {
 214 #         system("cp -f $kohadir/misc/zebra/pqf.properties ".C4::Context->zebraconfig('authorityserver')->{ccl2rpn});
 215         system("cp -f $kohadir/misc/zebra/pqf.properties $authorityserverdir/etc/pqf.properties");
 216         print "Info: copied pqf.properties\n";
 217         $created_dir_or_file++;
 218     }
 219
 220     #
 221     # AUTHORITIES : copying mandatory files
 222     #
 223     unless (-f C4::Context->zebraconfig('authorityserver')->{config}) {
 224     open ZD,">:utf8 ",C4::Context->zebraconfig('authorityserver')->{config};
 225     print ZD "
 226 # generated by KOHA/misc/migration_tools/rebuild_zebra.pl
 227 profilePath:\${srcdir:-.}:$authorityserverdir/tab/:$tabdir/tab/:\${srcdir:-.}/tab/
 228
 229 encoding: UTF-8
 230 # Files that describe the attribute sets supported.
 231 attset: auth1.att
 232 attset: explain.att
 233 attset: gils.att
 234
 235 modulePath:$modulesdir/modules/
 236 # Specify record type
 237 iso2709.recordType:grs.marcxml.record
 238 recordType:grs.xml
 239 recordId: (auth1,Local-Number)
 240 storeKeys:1
 241 storeData:1
 242
 243
 244 # Lock File Area
 245 lockDir: $authorityserverdir/lock
 246 perm.anonymous:r
 247 perm.kohaadmin:rw
 248 passw.kohalis
 249 shadow
 250 register: $authorityserverdir/register:4G
 251 shadow: $authorityserverdir/shadow:4G
 252
 253 # Temp File area for result sets
 254 setTmpDir: $authorityserverdir/tmp
 255
 256 # Temp File area for index program
 257 keyTmpDir: $authorityserverdir/key
 258
 259 # Approx. Memory usage during indexing
 260 memMax: 40M
 261 rank:rank-1
 262     ";
 263         print "Info: creating zebra-authorities.cfg\n";
 264         $created_dir_or_file++;
 265     }
 266
 267     if ($created_dir_or_file) {
 268         print "Info: created : $created_dir_or_file directories & files\n";
 269     } else {
 270         print "Info: file & directories OK\n";
 271     }
 272
 273     #
 274     # exporting authorities
 275     #
 276     if ($skip_export) {
 277         print "====================\n";
 278         print "SKIPPING authorities export\n";
 279         print "====================\n";
 280     } else {
 281         print "====================\n";
 282         print "exporting authorities\n";
 283         print "====================\n";
 284         mkdir "$directory" unless (-d $directory);
 285         mkdir "$directory/authorities" unless (-d "$directory/authorities");
 286         open(OUT,">:utf8","$directory/authorities/authorities.iso2709") or die $!;
 287         my $dbh=C4::Context->dbh;
 288         my $sth;
 289         $sth=$dbh->prepare("select authid from auth_header $limit");
 290         $sth->execute();
 291         my $i=0;
 292         while (my ($authid) = $sth->fetchrow) {
 293             my $record = GetAuthority($authid);
 294             print ".";
 295             print "\r$i" unless ($i++ %100);
 296             print OUT $record->as_usmarc();
 297         }
 298         close(OUT);
 299     }
 300
 301     #
 302     # and reindexing everything
 303     #
 304     print "====================\n";
 305     print "REINDEXING zebra\n";
 306     print "====================\n";
 307     system("zebraidx -c ".C4::Context->zebraconfig('authorityserver')->{config}." -g iso2709 -d authorities init") if ($reset);
 308     system("zebraidx -c ".C4::Context->zebraconfig('authorityserver')->{config}." -g iso2709 -d authorities update $directory/authorities");
 309     system("zebraidx -c ".C4::Context->zebraconfig('authorityserver')->{config}." -g iso2709 -d authorities commit");
 310 } else {
 311     print "skipping authorities\n";
 312 }
 313 #################################################################################################################
 314 #                        BIBLIOS
 315 #################################################################################################################
 316
 317 if ($biblios) {
 318     print "====================\n";
 319     print "checking directories & files for biblios\n";
 320     print "====================\n";
 321
 322     #
 323     # BIBLIOS : creating directory structure
 324     #
 325     unless (-d "$biblioserverdir") {
 326         system("mkdir -p $biblioserverdir");
 327         print "Info: created $biblioserverdir\n";
 328         $created_dir_or_file++;
 329     }
 330     unless (-d "$biblioserverdir/lock") {
 331         mkdir "$biblioserverdir/lock";
 332         print "Info: created $biblioserverdir/lock\n";
 333         $created_dir_or_file++;
 334     }
 335     unless (-d "$biblioserverdir/register") {
 336         mkdir "$biblioserverdir/register";
 337         print "Info: created $biblioserverdir/register\n";
 338         $created_dir_or_file++;
 339     }
 340     unless (-d "$biblioserverdir/shadow") {
 341         mkdir "$biblioserverdir/shadow";
 342         print "Info: created $biblioserverdir/shadow\n";
 343         $created_dir_or_file++;
 344     }
 345     unless (-d "$biblioserverdir/tab") {
 346         mkdir "$biblioserverdir/tab";
 347         print "Info: created $biblioserverdir/tab\n";
 348         $created_dir_or_file++;
 349     }
 350     unless (-d "$biblioserverdir/key") {
 351         mkdir "$biblioserverdir/key";
 352         print "Info: created $biblioserverdir/key\n";
 353         $created_dir_or_file++;
 354     }
 355     unless (-d "$biblioserverdir/etc") {
 356         mkdir "$biblioserverdir/etc";
 357         print "Info: created $biblioserverdir/etc\n";
 358         $created_dir_or_file++;
 359     }
 360
 361     #
 362     # BIBLIOS : copying mandatory files
 363     #
 364     # the record model, depending on marc flavour
 365     unless (-f "$biblioserverdir/tab/record.abs") {
 366         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
 367             system("cp -f $kohadir/misc/zebra/record_biblios_unimarc.abs $biblioserverdir/tab/record.abs");
 368             print "Info: copied record.abs for UNIMARC\n";
 369         } else {
 370             system("cp -f $kohadir/misc/zebra/record_biblios_usmarc.abs $biblioserverdir/tab/record.abs");
 371             print "Info: copied record.abs for USMARC\n";
 372         }
 373         $created_dir_or_file++;
 374     }
 375     unless (-f "$biblioserverdir/tab/sort-string-utf.chr") {
 376         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $biblioserverdir/tab/sort-string-utf.chr");
 377         print "Info: copied sort-string-utf.chr\n";
 378         $created_dir_or_file++;
 379     }
 380     unless (-f "$biblioserverdir/tab/word-phrase-utf.chr") {
 381         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $biblioserverdir/tab/word-phrase-utf.chr");
 382         print "Info: copied word-phase-utf.chr\n";
 383         $created_dir_or_file++;
 384     }
 385     unless (-f "$biblioserverdir/tab/bib1.att") {
 386         system("cp -f $kohadir/misc/zebra/bib1_biblios.att $biblioserverdir/tab/bib1.att");
 387         print "Info: copied bib1.att\n";
 388         $created_dir_or_file++;
 389     }
 390     unless (-f "$biblioserverdir/tab/default.idx") {
 391         system("cp -f $kohadir/misc/zebra/default.idx $biblioserverdir/tab/default.idx");
 392         print "Info: copied default.idx\n";
 393         $created_dir_or_file++;
 394     }
 395     unless (-f "$biblioserverdir/etc/ccl.properties") {
 396 #         system("cp -f $kohadir/misc/zebra/ccl.properties ".C4::Context->zebraconfig('biblioserver')->{ccl2rpn});
 397         system("cp -f $kohadir/misc/zebra/ccl.properties $biblioserverdir/etc/ccl.properties");
 398         print "Info: copied ccl.properties\n";
 399         $created_dir_or_file++;
 400     }
 401     unless (-f "$biblioserverdir/etc/pqf.properties") {
 402 #         system("cp -f $kohadir/misc/zebra/pqf.properties ".C4::Context->zebraconfig('biblioserver')->{ccl2rpn});
 403         system("cp -f $kohadir/misc/zebra/pqf.properties $biblioserverdir/etc/pqf.properties");
 404         print "Info: copied pqf.properties\n";
 405         $created_dir_or_file++;
 406     }
 407
 408     #
 409     # BIBLIOS : copying mandatory files
 410     #
 411     unless (-f C4::Context->zebraconfig('biblioserver')->{config}) {
 412     open ZD,">:utf8 ",C4::Context->zebraconfig('biblioserver')->{config};
 413     print ZD "
 414 # generated by KOHA/misc/migrtion_tools/rebuild_zebra.pl
 415 profilePath:\${srcdir:-.}:$biblioserverdir/tab/:$tabdir/tab/:\${srcdir:-.}/tab/
 416
 417 encoding: UTF-8
 418 # Files that describe the attribute sets supported.
 419 attset:bib1.att
 420 attset:explain.att
 421 attset:gils.att
 422
 423 modulePath:$modulesdir/modules/
 424 # Specify record type
 425 iso2709.recordType:grs.marcxml.record
 426 recordType:grs.xml
 427 recordId: (bib1,Local-Number)
 428 storeKeys:1
 429 storeData:1
 430
 431
 432 # Lock File Area
 433 lockDir: $biblioserverdir/lock
 434 perm.anonymous:r
 435 perm.kohaadmin:rw
 436 passw.kohalis
 437 shadow
 438 register: $biblioserverdir/register:4G
 439 shadow: $biblioserverdir/shadow:4G
 440
 441 # Temp File area for result sets
 442 setTmpDir: $biblioserverdir/tmp
 443
 444 # Temp File area for index program
 445 keyTmpDir: $biblioserverdir/key
 446
 447 # Approx. Memory usage during indexing
 448 memMax: 40M
 449 rank:rank-1
 450     ";
 451         print "Info: creating zebra-biblios.cfg\n";
 452         $created_dir_or_file++;
 453     }
 454
 455     if ($created_dir_or_file) {
 456         print "Info: created : $created_dir_or_file directories & files\n";
 457     } else {
 458         print "Info: file & directories OK\n";
 459     }
 460
 461     # die;
 462     #
 463     # exporting biblios
 464     #
 465     if ($skip_export) {
 466         print "====================\n";
 467         print "SKIPPING biblio export\n";
 468         print "====================\n";
 469     } else {
 470         print "====================\n";
 471         print "exporting biblios\n";
 472         print "====================\n";
 473         mkdir "$directory" unless (-d $directory);
 474         mkdir "$directory/biblios" unless (-d "$directory/biblios");
 475         open(OUT,">:utf8 ","$directory/biblios/export") or die $!;
 476         my $dbh=C4::Context->dbh;
 477         my $sth;
 478         $sth=$dbh->prepare("select biblionumber from biblioitems order by biblionumber $limit");
 479         $sth->execute();
 480         my $i=0;
 481         while (my ($biblionumber) = $sth->fetchrow) {
 482             my $record = GetMarcBiblio($biblionumber);
 483 #             warn $record->as_formatted;
 484 # die if $record->subfield('090','9') eq 11;
 485     #         print $record;
 486             # check that biblionumber & biblioitemnumber are stored in the MARC record, otherwise, add them & update the biblioitems.marcxml data.
 487             my $record_correct=1;
 488             next unless $record->field($biblionumbertagfield);
 489             if ($biblionumbertagfield eq '001') {
 490                 unless ($record->field($biblionumbertagfield)->data()) {
 491                     $record_correct=0;
 492                     my $field;
 493                     # if the field where biblionumber is already exist, just update it, otherwise create it
 494                     if ($record->field($biblionumbertagfield)) {
 495                         $field =  $record->field($biblionumbertagfield);
 496                         $field->update($biblionumber);
 497                     } else {
 498                         my $newfield;
 499                         $newfield = MARC::Field->new( $biblionumbertagfield, $biblionumber);
 500                         $record->append_fields($newfield);
 501                     }
 502                 }
 503             } else {
 504                 unless ($record->subfield($biblionumbertagfield,$biblionumbertagsubfield)) {
 505                     $record_correct=0;
 506                     my $field;
 507                     # if the field where biblionumber is already exist, just update it, otherwise create it
 508                     if ($record->field($biblionumbertagfield)) {
 509                         $field =  $record->field($biblionumbertagfield);
 510                         $field->add_subfields($biblionumbertagsubfield => $biblionumber);
 511                     } else {
 512                         my $newfield;
 513                         $newfield = MARC::Field->new( $biblionumbertagfield,'','', $biblionumbertagsubfield => $biblionumber);
 514                         $record->append_fields($newfield);
 515                     }
 516                 }
 517     #             warn "FIXED BIBLIONUMBER".$record->as_formatted;
 518             }
 519             unless ($record->subfield($biblioitemnumbertagfield,$biblioitemnumbertagsubfield)) {
 520                 $record_correct=0;
 521     #             warn "INCORRECT BIBLIOITEMNUMBER :".$record->as_formatted;
 522                 my $field;
 523                 # if the field where biblionumber is already exist, just update it, otherwise create it
 524                 if ($record->field($biblioitemnumbertagfield)) {
 525                     $field =  $record->field($biblioitemnumbertagfield);
 526                     if ($biblioitemnumbertagfield <10) {
 527                         $field->update($biblionumber);
 528                     } else {
 529                         $field->add_subfields($biblioitemnumbertagsubfield => $biblionumber);
 530                     }
 531                 } else {
 532                     my $newfield;
 533                     if ($biblioitemnumbertagfield <10) {
 534                         $newfield = MARC::Field->new( $biblioitemnumbertagfield, $biblionumber);
 535                     } else {
 536                         $newfield = MARC::Field->new( $biblioitemnumbertagfield,'','', $biblioitemnumbertagsubfield => $biblionumber);
 537                     }
 538                     $record->insert_grouped_field($newfield);
 539                 }
 540     #             warn "FIXED BIBLIOITEMNUMBER".$record->as_formatted;
 541             }
 542             unless ($record_correct) {
 543                 my $update_xml = $dbh->prepare("update biblioitems set marcxml=? where biblionumber=?");
 544                 warn "UPDATING $biblionumber (missing biblionumber or biblioitemnumber in MARC record : ".$record->as_xml;
 545                 $update_xml->execute($record->as_xml,$biblionumber);
 546             }
 547             print ".";
 548             print "\r$i" unless ($i++ %100);
 549             print OUT $record->as_usmarc();
 550         }
 551         close(OUT);
 552     }
 553
 554     #
 555     # and reindexing everything
 556     #
 557     print "====================\n";
 558     print "REINDEXING zebra\n";
 559     print "====================\n";
 560     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios init") if ($reset);
 561     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios update $directory/biblios");
 562     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios commit");
 563 } else {
 564     print "skipping biblios\n";
 565 }
 566
 567 print "====================\n";
 568 print "CLEANING\n";
 569 print "====================\n";
 570 if ($keep_export) {
 571     print "NOTHING cleaned : the $directory has been kept. You can re-run this script with the -s parameter if you just want to rebuild zebra after changing the record.abs or another zebra config file\n";
 572 } else {
 573     system("rm -rf $directory");
 574     print "directory $directory deleted\n";
 575 }