misc/migration_tools/rebuild_zebra.pl

   1 #!/usr/bin/perl
   2
   3 use C4::Context;
   4 use Getopt::Long;
   5 use C4::Biblio;
   6 use C4::AuthoritiesMarc;
   7
   8 use strict;
   9 #
  10 # script that checks zebradir structure & create directories & mandatory files if needed
  11 #
  12 #
  13
  14 $|=1; # flushes output
  15
  16 # limit for database dumping
  17 my $limit;# = "LIMIT 500";
  18 my $directory;
  19 my $skip_export;
  20 my $keep_export;
  21 my $reset;
  22 my $biblios;
  23 my $authorities;
  24 GetOptions(
  25         'd:s'      => \$directory,
  26         'reset'      => \$reset,
  27         's'        => \$skip_export,
  28         'k'        => \$keep_export,
  29         'b'        => \$biblios,
  30         'a'        => \$authorities,
  31         );
  32
  33 $directory = "export" unless $directory;
  34
  35
  36 my $biblioserverdir = C4::Context->zebraconfig('biblioserver')->{directory};
  37 my $authorityserverdir = C4::Context->zebraconfig('authorityserver')->{directory};
  38
  39 my $kohadir = C4::Context->config('intranetdir');
  40 my $dbh = C4::Context->dbh;
  41 my ($biblionumbertagfield,$biblionumbertagsubfield) = &MARCfind_marc_from_kohafield($dbh,"biblio.biblionumber","");
  42 my ($biblioitemnumbertagfield,$biblioitemnumbertagsubfield) = &MARCfind_marc_from_kohafield($dbh,"biblioitems.biblioitemnumber","");
  43
  44 print "some informations\n";
  45 print "=================\n";
  46 print "Zebra biblio directory =>$biblioserverdir\n";
  47 print "Zebra authorities directory =>$authorityserverdir\n";
  48 print "Koha directory =>$kohadir\n";
  49 print "BIBLIONUMBER in : $biblionumbertagfield\$$biblionumbertagsubfield\n";
  50 print "BIBLIOITEMNUMBER in : $biblioitemnumbertagfield\$$biblioitemnumbertagsubfield\n";
  51 print "=================\n";
  52 #
  53 # creating zebra-biblios.cfg depending on system
  54 #
  55
  56 # getting zebraidx directory
  57 my $zebraidxdir;
  58 foreach (qw(/usr/local/bin/zebraidx
  59         /opt/bin/zebraidx
  60         /usr/bin/zebraidx
  61         )) {
  62     if ( -f $_ ) {
  63         $zebraidxdir=$_;
  64     }
  65 }
  66
  67 unless ($zebraidxdir) {
  68     print qq|
  69     ERROR: could not find zebraidx directory
  70     ERROR: Either zebra is not installed,
  71     ERROR: or it's in a directory I don't checked.
  72     ERROR: do a which zebraidx and edit this file to add the result you get
  73 |;
  74     exit;
  75 }
  76 $zebraidxdir =~ s/\/bin\/.*//;
  77 print "Info : zebra is in $zebraidxdir \n";
  78
  79 # getting modules directory
  80 my $modulesdir;
  81 foreach (qw(/usr/local/lib/idzebra-2.0/modules/mod-grs-xml.so
  82             /usr/local/lib/idzebra/modules/mod-grs-xml.so
  83             /usr/lib/idzebra/modules/mod-grs-xml.so
  84             /usr/lib/idzebra-2.0/modules/mod-grs-xml.so
  85         )) {
  86     if ( -f $_ ) {
  87         $modulesdir=$_;
  88     }
  89 }
  90
  91 unless ($modulesdir) {
  92     print qq|
  93     ERROR: could not find mod-grs-xml.so directory
  94     ERROR: Either zebra is not properly compiled (libxml2 is not setup and you don t have mod-grs-xml.so,
  95     ERROR: or it's in a directory I don't checked.
  96     ERROR: find where mod-grs-xml.so is and edit this file to add the result you get
  97 |;
  98     exit;
  99 }
 100 $modulesdir =~ s/\/modules\/.*//;
 101 print "Info: zebra modules dir : $modulesdir\n";
 102
 103 # getting tab directory
 104 my $tabdir;
 105 foreach (qw(/usr/local/share/idzebra/tab/explain.att
 106             /usr/local/share/idzebra-2.0/tab/explain.att
 107             /usr/share/idzebra/tab/explain.att
 108             /usr/share/idzebra-2.0/tab/explain.att
 109         )) {
 110     if ( -f $_ ) {
 111         $tabdir=$_;
 112     }
 113 }
 114
 115 unless ($tabdir) {
 116     print qq|
 117     ERROR: could not find explain.att directory
 118     ERROR: Either zebra is not properly compiled,
 119     ERROR: or it's in a directory I don't checked.
 120     ERROR: find where explain.att is and edit this file to add the result you get
 121 |;
 122     exit;
 123 }
 124 $tabdir =~ s/\/tab\/.*//;
 125 print "Info: tab dir : $tabdir\n";
 126
 127 #
 128 # AUTHORITIES creating directory structure
 129 #
 130 my $created_dir_or_file = 0;
 131 if ($authorities) {
 132     print "====================\n";
 133     print "checking directories & files for authorities\n";
 134     print "====================\n";
 135     unless (-d "$authorityserverdir") {
 136         system("mkdir -p $authorityserverdir");
 137         print "Info: created $authorityserverdir\n";
 138         $created_dir_or_file++;
 139     }
 140     unless (-d "$authorityserverdir/lock") {
 141         mkdir "$authorityserverdir/lock";
 142         print "Info: created $authorityserverdir/lock\n";
 143         $created_dir_or_file++;
 144     }
 145     unless (-d "$authorityserverdir/register") {
 146         mkdir "$authorityserverdir/register";
 147         print "Info: created $authorityserverdir/register\n";
 148         $created_dir_or_file++;
 149     }
 150     unless (-d "$authorityserverdir/shadow") {
 151         mkdir "$authorityserverdir/shadow";
 152         print "Info: created $authorityserverdir/shadow\n";
 153         $created_dir_or_file++;
 154     }
 155     unless (-d "$authorityserverdir/tab") {
 156         mkdir "$authorityserverdir/tab";
 157         print "Info: created $authorityserverdir/tab\n";
 158         $created_dir_or_file++;
 159     }
 160     unless (-d "$authorityserverdir/key") {
 161         mkdir "$authorityserverdir/key";
 162         print "Info: created $authorityserverdir/key\n";
 163         $created_dir_or_file++;
 164     }
 165
 166     unless (-d "$authorityserverdir/etc") {
 167         mkdir "$authorityserverdir/etc";
 168         print "Info: created $authorityserverdir/etc\n";
 169         $created_dir_or_file++;
 170     }
 171
 172     #
 173     # AUTHORITIES : copying mandatory files
 174     #
 175     # the record model, depending on marc flavour
 176     unless (-f "$authorityserverdir/tab/record.abs") {
 177         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
 178             system("cp -f $kohadir/misc/zebra/record_authorities_unimarc.abs $authorityserverdir/tab/record.abs");
 179             print "Info: copied record.abs for UNIMARC\n";
 180         } else {
 181             system("cp -f $kohadir/misc/zebra/record_authorities_usmarc.abs $authorityserverdir/tab/record.abs");
 182             print "Info: copied record.abs for USMARC\n";
 183         }
 184         $created_dir_or_file++;
 185     }
 186     unless (-f "$authorityserverdir/tab/sort-string-utf_french.chr") {
 187         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $authorityserverdir/tab/sort-string-utf.chr");
 188         print "Info: copied sort-string-utf.chr\n";
 189         $created_dir_or_file++;
 190     }
 191     unless (-f "$authorityserverdir/tab/word-phrase-utf.chr") {
 192         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $authorityserverdir/tab/word-phrase-utf.chr");
 193         print "Info: copied word-phase-utf.chr\n";
 194         $created_dir_or_file++;
 195     }
 196     unless (-f "$authorityserverdir/tab/auth1.att") {
 197         system("cp -f $kohadir/misc/zebra/bib1_authorities.att $authorityserverdir/tab/auth1.att");
 198         print "Info: copied auth1.att\n";
 199         $created_dir_or_file++;
 200     }
 201     unless (-f "$authorityserverdir/tab/default.idx") {
 202         system("cp -f $kohadir/misc/zebra/default.idx $authorityserverdir/tab/default.idx");
 203         print "Info: copied default.idx\n";
 204         $created_dir_or_file++;
 205     }
 206
 207     unless (-f C4::Context->zebraoptions('authorityserver')->{ccl2rpn}) {
 208         system("cp -f $kohadir/misc/zebra/ccl.properties ".C4::Context->zebraoptions('authorityserver')->{ccl2rpn});
 209     #    system("cp -f $kohadir/misc/zebra/ccl.properties $authorityserverdir/etc/ccl.properties");
 210         print "Info: copied ccl.properties\n";
 211         $created_dir_or_file++;
 212     }
 213     unless (-f C4::Context->zebraconfig('authorityserver')->{cql2rpn}) {
 214         system("cp -f $kohadir/misc/zebra/pqf.properties ".C4::Context->zebraconfig('authorityserver')->{cql2rpn});
 215         print "Info: copied pqf.properties\n";
 216         $created_dir_or_file++;
 217     }
 218
 219     #
 220     # AUTHORITIES : copying mandatory files
 221     #
 222     unless (-f C4::Context->zebraconfig('authorityserver')->{config}) {
 223     open ZD,">:utf8 ",C4::Context->zebraconfig('authorityserver')->{config};
 224     print ZD "
 225     # generated by KOHA/misc/migration_tools/rebuild_zebra.pl
 226     profilePath:\${srcdir:-.}:$authorityserverdir/tab/:$tabdir/tab/:\${srcdir:-.}/tab/
 227
 228     encoding: UTF-8
 229     # Files that describe the attribute sets supported.
 230     attset: auth1.att
 231     attset: explain.att
 232     attset: gils.att
 233
 234     modulePath:$modulesdir/modules/
 235     # Specify record type
 236     iso2709.recordType:grs.marcxml.record
 237     recordType:grs.xml
 238     recordId: (auth1,Local-Number)
 239     storeKeys:1
 240     storeData:1
 241
 242
 243     # Lock File Area
 244     lockDir: $authorityserverdir/lock
 245     perm.anonymous:r
 246     perm.kohaadmin:rw
 247     passw.kohalis
 248     shadow
 249     register: $authorityserverdir/register:4G
 250     shadow: $authorityserverdir/shadow:4G
 251
 252     # Temp File area for result sets
 253     setTmpDir: $authorityserverdir/tmp
 254
 255     # Temp File area for index program
 256     keyTmpDir: $authorityserverdir/key
 257
 258     # Approx. Memory usage during indexing
 259     memMax: 40M
 260     rank:rank-1
 261     ";
 262         print "Info: creating zebra-authorities.cfg\n";
 263         $created_dir_or_file++;
 264     }
 265
 266     if ($created_dir_or_file) {
 267         print "Info: created : $created_dir_or_file directories & files\n";
 268     } else {
 269         print "Info: file & directories OK\n";
 270     }
 271
 272     #
 273     # exporting authorities
 274     #
 275     if ($skip_export) {
 276         print "====================\n";
 277         print "SKIPPING authorities export\n";
 278         print "====================\n";
 279     } else {
 280         print "====================\n";
 281         print "exporting authorities\n";
 282         print "====================\n";
 283         mkdir "$directory" unless (-d $directory);
 284         mkdir "$directory/authorities" unless (-d "$directory/authorities");
 285         open(OUT,">:utf8","$directory/authorities/authorities.iso2709") or die $!;
 286         my $dbh=C4::Context->dbh;
 287         my $sth;
 288         $sth=$dbh->prepare("select authid from auth_header $limit");
 289         $sth->execute();
 290         my $i=0;
 291         while (my ($authid) = $sth->fetchrow) {
 292             my $record = AUTHgetauthority($dbh,$authid);
 293             print ".";
 294             print "\r$i" unless ($i++ %100);
 295             print OUT $record->as_usmarc();
 296         }
 297         close(OUT);
 298     }
 299
 300     #
 301     # and reindexing everything
 302     #
 303     print "====================\n";
 304     print "REINDEXING zebra\n";
 305     print "====================\n";
 306     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('authorityserver')->{config}." -d authorities init") if ($reset);
 307     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('authorityserver')->{config}." -d authorities update $directory/authorities");
 308     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('authorityserver')->{config}." -d authorities commit");
 309 } else {
 310     print "skipping authorities\n";
 311 }
 312 #################################################################################################################
 313 #                        BIBLIOS
 314 #################################################################################################################
 315
 316 if ($biblios) {
 317     print "====================\n";
 318     print "checking directories & files for biblios\n";
 319     print "====================\n";
 320
 321     #
 322     # BIBLIOS : creating directory structure
 323     #
 324     unless (-d "$biblioserverdir") {
 325         system("mkdir -p $biblioserverdir");
 326         print "Info: created $biblioserverdir\n";
 327         $created_dir_or_file++;
 328     }
 329     unless (-d "$biblioserverdir/lock") {
 330         mkdir "$biblioserverdir/lock";
 331         print "Info: created $biblioserverdir/lock\n";
 332         $created_dir_or_file++;
 333     }
 334     unless (-d "$biblioserverdir/register") {
 335         mkdir "$biblioserverdir/register";
 336         print "Info: created $biblioserverdir/register\n";
 337         $created_dir_or_file++;
 338     }
 339     unless (-d "$biblioserverdir/shadow") {
 340         mkdir "$biblioserverdir/shadow";
 341         print "Info: created $biblioserverdir/shadow\n";
 342         $created_dir_or_file++;
 343     }
 344     unless (-d "$biblioserverdir/tab") {
 345         mkdir "$biblioserverdir/tab";
 346         print "Info: created $biblioserverdir/tab\n";
 347         $created_dir_or_file++;
 348     }
 349     unless (-d "$biblioserverdir/key") {
 350         mkdir "$biblioserverdir/key";
 351         print "Info: created $biblioserverdir/key\n";
 352         $created_dir_or_file++;
 353     }
 354     unless (-d "$biblioserverdir/etc") {
 355         mkdir "$biblioserverdir/etc";
 356         print "Info: created $biblioserverdir/etc\n";
 357         $created_dir_or_file++;
 358     }
 359
 360     #
 361     # BIBLIOS : copying mandatory files
 362     #
 363     # the record model, depending on marc flavour
 364     unless (-f "$biblioserverdir/tab/record.abs") {
 365         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
 366             system("cp -f $kohadir/misc/zebra/record_biblios_unimarc.abs $biblioserverdir/tab/record.abs");
 367             print "Info: copied record.abs for UNIMARC\n";
 368         } else {
 369             system("cp -f $kohadir/misc/zebra/record_biblios_usmarc.abs $biblioserverdir/tab/record.abs");
 370             print "Info: copied record.abs for USMARC\n";
 371         }
 372         $created_dir_or_file++;
 373     }
 374     unless (-f "$biblioserverdir/tab/sort-string-utf_french.chr") {
 375         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $biblioserverdir/tab/sort-string-utf.chr");
 376         print "Info: copied sort-string-utf.chr\n";
 377         $created_dir_or_file++;
 378     }
 379     unless (-f "$biblioserverdir/tab/word-phrase-utf.chr") {
 380         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $biblioserverdir/tab/word-phrase-utf.chr");
 381         print "Info: copied word-phase-utf.chr\n";
 382         $created_dir_or_file++;
 383     }
 384     unless (-f "$biblioserverdir/tab/bib1.att") {
 385         system("cp -f $kohadir/misc/zebra/bib1_biblios.att $biblioserverdir/tab/bib1.att");
 386         print "Info: copied bib1.att\n";
 387         $created_dir_or_file++;
 388     }
 389     unless (-f "$biblioserverdir/tab/default.idx") {
 390         system("cp -f $kohadir/misc/zebra/default.idx $biblioserverdir/tab/default.idx");
 391         print "Info: copied default.idx\n";
 392         $created_dir_or_file++;
 393     }
 394     unless (-f C4::Context->zebraoptions('biblioserver')->{ccl2rpn}) {
 395         system("cp -f $kohadir/misc/zebra/ccl.properties ".C4::Context->zebraoptions('biblioserver')->{ccl2rpn});
 396     #    system("cp -f $kohadir/misc/zebra/ccl.properties $biblioserverdir/etc/ccl.properties");
 397         print "Info: copied ccl.properties\n";
 398         $created_dir_or_file++;
 399     }
 400     unless (-f C4::Context->zebraconfig('biblioserver')->{cql2rpn}) {
 401         system("cp -f $kohadir/misc/zebra/pqf.properties ".C4::Context->zebraconfig('authorityserver')->{cql2rpn});
 402         print "Info: copied pqf.properties\n";
 403         $created_dir_or_file++;
 404     }
 405
 406     #
 407     # BIBLIOS : copying mandatory files
 408     #
 409     unless (-f C4::Context->zebraconfig('biblioserver')->{config}) {
 410     open ZD,">:utf8 ",C4::Context->zebraconfig('biblioserver')->{config};
 411     print ZD "
 412     # generated by KOHA/misc/migrtion_tools/rebuild_zebra.pl
 413     profilePath:\${srcdir:-.}:$biblioserverdir/tab/:$tabdir/tab/:\${srcdir:-.}/tab/
 414
 415     encoding: UTF-8
 416     # Files that describe the attribute sets supported.
 417     attset:bib1.att
 418     attset:explain.att
 419     attset:gils.att
 420
 421     modulePath:$modulesdir/modules/
 422     # Specify record type
 423     iso2709.recordType:grs.marcxml.record
 424     recordType:grs.xml
 425     recordId: (bib1,Local-Number)
 426     storeKeys:1
 427     storeData:1
 428
 429
 430     # Lock File Area
 431     lockDir: $biblioserverdir/lock
 432     perm.anonymous:r
 433     perm.kohaadmin:rw
 434     passw.kohalis
 435     shadow
 436     register: $biblioserverdir/register:4G
 437     shadow: $biblioserverdir/shadow:4G
 438
 439     # Temp File area for result sets
 440     setTmpDir: $biblioserverdir/tmp
 441
 442     # Temp File area for index program
 443     keyTmpDir: $biblioserverdir/key
 444
 445     # Approx. Memory usage during indexing
 446     memMax: 40M
 447     rank:rank-1
 448     ";
 449         print "Info: creating zebra-biblios.cfg\n";
 450         $created_dir_or_file++;
 451     }
 452
 453     if ($created_dir_or_file) {
 454         print "Info: created : $created_dir_or_file directories & files\n";
 455     } else {
 456         print "Info: file & directories OK\n";
 457     }
 458
 459     # die;
 460     #
 461     # exporting biblios
 462     #
 463     if ($skip_export) {
 464         print "====================\n";
 465         print "SKIPPING biblio export\n";
 466         print "====================\n";
 467     } else {
 468         print "====================\n";
 469         print "exporting biblios\n";
 470         print "====================\n";
 471         mkdir "$directory" unless (-d $directory);
 472         mkdir "$directory/biblios" unless (-d "$directory/biblios");
 473         open(OUT,">:utf8 ","$directory/biblios/export") or die $!;
 474         my $dbh=C4::Context->dbh;
 475         my $sth;
 476         $sth=$dbh->prepare("select biblionumber from biblioitems order by biblionumber $limit");
 477         $sth->execute();
 478         my $i=0;
 479         while (my ($biblionumber) = $sth->fetchrow) {
 480             my $record = GetMarcBiblio($biblionumber);
 481     #         warn $record->as_formatted;
 482     #         print $record;
 483             # check that biblionumber & biblioitemnumber are stored in the MARC record, otherwise, add them & update the biblioitems.marcxml data.
 484             my $record_correct=1;
 485             next unless $record->field($biblionumbertagfield);
 486             if ($biblionumbertagfield eq '001') {
 487                 unless ($record->field($biblionumbertagfield)->data()) {
 488                     $record_correct=0;
 489                     my $field;
 490                     # if the field where biblionumber is already exist, just update it, otherwise create it
 491                     if ($record->field($biblionumbertagfield)) {
 492                         $field =  $record->field($biblionumbertagfield);
 493                         $field->update($biblionumber);
 494                     } else {
 495                         my $newfield;
 496                         $newfield = MARC::Field->new( $biblionumbertagfield, $biblionumber);
 497                         $record->append_fields($newfield);
 498                     }
 499                 }
 500             } else {
 501                 unless ($record->subfield($biblionumbertagfield,$biblionumbertagsubfield)) {
 502                     $record_correct=0;
 503                     my $field;
 504                     # if the field where biblionumber is already exist, just update it, otherwise create it
 505                     if ($record->field($biblionumbertagfield)) {
 506                         $field =  $record->field($biblionumbertagfield);
 507                         $field->add_subfields($biblionumbertagsubfield => $biblionumber);
 508                     } else {
 509                         my $newfield;
 510                         $newfield = MARC::Field->new( $biblionumbertagfield,'','', $biblionumbertagsubfield => $biblionumber);
 511                         $record->append_fields($newfield);
 512                     }
 513                 }
 514     #             warn "FIXED BIBLIONUMBER".$record->as_formatted;
 515             }
 516             unless ($record->subfield($biblioitemnumbertagfield,$biblioitemnumbertagsubfield)) {
 517                 $record_correct=0;
 518     #             warn "INCORRECT BIBLIOITEMNUMBER :".$record->as_formatted;
 519                 my $field;
 520                 # if the field where biblionumber is already exist, just update it, otherwise create it
 521                 if ($record->field($biblioitemnumbertagfield)) {
 522                     $field =  $record->field($biblioitemnumbertagfield);
 523                     if ($biblioitemnumbertagfield <10) {
 524                         $field->update($biblionumber);
 525                     } else {
 526                         $field->add_subfields($biblioitemnumbertagsubfield => $biblionumber);
 527                     }
 528                 } else {
 529                     my $newfield;
 530                     if ($biblioitemnumbertagfield <10) {
 531                         $newfield = MARC::Field->new( $biblioitemnumbertagfield, $biblionumber);
 532                     } else {
 533                         $newfield = MARC::Field->new( $biblioitemnumbertagfield,'','', $biblioitemnumbertagsubfield => $biblionumber);
 534                     }
 535                     $record->insert_grouped_field($newfield);
 536                 }
 537     #             warn "FIXED BIBLIOITEMNUMBER".$record->as_formatted;
 538             }
 539             unless ($record_correct) {
 540                 my $update_xml = $dbh->prepare("update biblioitems set marcxml=? where biblionumber=?");
 541                 warn "UPDATING $biblionumber (missing biblionumber or biblioitemnumber in MARC record : ".$record->as_xml;
 542                 $update_xml->execute($record->as_xml,$biblionumber);
 543             }
 544             print ".";
 545             print "\r$i" unless ($i++ %100);
 546             print OUT $record->as_usmarc();
 547         }
 548         close(OUT);
 549     }
 550
 551     #
 552     # and reindexing everything
 553     #
 554     print "====================\n";
 555     print "REINDEXING zebra\n";
 556     print "====================\n";
 557     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios init") if ($reset);
 558     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios update $directory/biblios");
 559     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios commit");
 560 } else {
 561     print "skipping biblios\n";
 562 }
 563
 564 print "====================\n";
 565 print "CLEANING\n";
 566 print "====================\n";
 567 if ($keep_export) {
 568     print "NOTHING cleaned : the $directory has been kept. You can re-run this script with the -s parameter if you just want to rebuild zebra after changing the record.abs or another zebra config file\n";
 569 } else {
 570     system("rm -rf $directory");
 571     print "directory $directory deleted\n";
 572 }