misc/migration_tools/bulkmarcimport.pl

   1 #!/usr/bin/perl
   2 # Import an iso2709 file into Koha 3
   3
   4 use strict;
   5 use warnings;
   6 #use diagnostics;
   7 BEGIN {
   8     # find Koha's Perl modules
   9     # test carefully before changing this
  10     use FindBin;
  11     eval { require "$FindBin::Bin/../kohalib.pl" };
  12 }
  13
  14 # Koha modules used
  15 use MARC::File::USMARC;
  16 use MARC::File::XML;
  17 use MARC::Record;
  18 use MARC::Batch;
  19 use MARC::Charset;
  20
  21 use C4::Context;
  22 use C4::Biblio;
  23 use C4::Koha;
  24 use C4::Debug;
  25 use C4::Charset;
  26 use C4::Items;
  27 use Unicode::Normalize;
  28 use Time::HiRes qw(gettimeofday);
  29 use Getopt::Long;
  30 use IO::File;
  31 use Pod::Usage;
  32
  33 binmode(STDOUT, ":utf8");
  34 my ( $input_marc_file, $number, $offset) = ('',0,0);
  35 my ($version, $delete, $test_parameter, $skip_marc8_conversion, $char_encoding, $verbose, $commit, $fk_off,$format,$biblios,$authorities,$keepids,$match, $isbn_check, $logfile);
  36 my ($sourcetag,$sourcesubfield,$idmapfl);
  37
  38 $|=1;
  39
  40 GetOptions(
  41     'commit:f'    => \$commit,
  42     'file:s'    => \$input_marc_file,
  43     'n:f' => \$number,
  44     'o|offset:f' => \$offset,
  45     'h' => \$version,
  46     'd' => \$delete,
  47     't' => \$test_parameter,
  48     's' => \$skip_marc8_conversion,
  49     'c:s' => \$char_encoding,
  50     'v:s' => \$verbose,
  51     'fk' => \$fk_off,
  52     'm:s' => \$format,
  53     'l:s' => \$logfile,
  54     'k|keepids:s' => \$keepids,
  55     'b|biblios' => \$biblios,
  56     'a|authorities' => \$authorities,
  57     'match=s@'    => \$match,
  58     'i|isbn' => \$isbn_check,
  59     'x:s' => \$sourcetag,
  60     'y:s' => \$sourcesubfield,
  61     'idmap:s' => \$idmapfl,
  62 );
  63 $biblios=!$authorities||$biblios;
  64
  65 if ($version || ($input_marc_file eq '')) {
  66     pod2usage( -verbose => 2 );
  67     exit;
  68 }
  69
  70 if (defined $idmapfl) {
  71   open(IDMAP,">$idmapfl") or die "cannot open $idmapfl \n";
  72 }
  73
  74 if ((not defined $sourcesubfield) && (not defined $sourcetag)){
  75   $sourcetag="910";
  76   $sourcesubfield="a";
  77 }
  78
  79 my $dbh = C4::Context->dbh;
  80
  81 # save the CataloguingLog property : we don't want to log a bulkmarcimport. It will slow the import &
  82 # will create problems in the action_logs table, that can't handle more than 1 entry per second per user.
  83 my $CataloguingLog = C4::Context->preference('CataloguingLog');
  84 $dbh->do("UPDATE systempreferences SET value=0 WHERE variable='CataloguingLog'");
  85
  86 if ($fk_off) {
  87         $dbh->do("SET FOREIGN_KEY_CHECKS = 0");
  88 }
  89
  90
  91 if ($delete) {
  92         if ($biblios){
  93         print "deleting biblios\n";
  94         $dbh->do("truncate biblio");
  95         $dbh->do("truncate biblioitems");
  96         $dbh->do("truncate items");
  97         }
  98         else {
  99         print "deleting authorities\n";
 100         $dbh->do("truncate auth_header");
 101         }
 102     $dbh->do("truncate zebraqueue");
 103 }
 104
 105
 106
 107 if ($test_parameter) {
 108     print "TESTING MODE ONLY\n    DOING NOTHING\n===============\n";
 109 }
 110
 111 my $marcFlavour = C4::Context->preference('marcflavour') || 'MARC21';
 112
 113 print "Characteristic MARC flavour: $marcFlavour\n" if $verbose;
 114 my $starttime = gettimeofday;
 115 my $batch;
 116 my $fh = IO::File->new($input_marc_file); # don't let MARC::Batch open the file, as it applies the ':utf8' IO layer
 117 if (defined $format && $format =~ /XML/i) {
 118     # ugly hack follows -- MARC::File::XML, when used by MARC::Batch,
 119     # appears to try to convert incoming XML records from MARC-8
 120     # to UTF-8.  Setting the BinaryEncoding key turns that off
 121     # TODO: see what happens to ISO-8859-1 XML files.
 122     # TODO: determine if MARC::Batch can be fixed to handle
 123     #       XML records properly -- it probably should be
 124     #       be using a proper push or pull XML parser to
 125     #       extract the records, not using regexes to look
 126     #       for <record>.*</record>.
 127     $MARC::File::XML::_load_args{BinaryEncoding} = 'utf-8';
 128     my $recordformat= ($marcFlavour eq "MARC21"?"USMARC":uc($marcFlavour));
 129 #UNIMARC Authorities have a different way to manage encoding than UNIMARC biblios.
 130     $recordformat=$recordformat."AUTH" if ($authorities and $marcFlavour ne "MARC21");
 131     $MARC::File::XML::_load_args{RecordFormat} = $recordformat;
 132     $batch = MARC::Batch->new( 'XML', $fh );
 133 } else {
 134     $batch = MARC::Batch->new( 'USMARC', $fh );
 135 }
 136 $batch->warnings_off();
 137 $batch->strict_off();
 138 my $i=0;
 139 my $commitnum = $commit ? $commit : 50;
 140
 141
 142 # Skip file offset
 143 if ( $offset ) {
 144     print "Skipping file offset: $offset records\n";
 145     $batch->next() while ($offset--);
 146 }
 147
 148 my ($tagid,$subfieldid);
 149 if ($authorities){
 150           $tagid='001';
 151 }
 152 else {
 153    ( $tagid, $subfieldid ) =
 154             GetMarcFromKohaField( "biblio.biblionumber", '' );
 155         $tagid||="001";
 156 }
 157
 158 # the SQL query to search on isbn
 159 my $sth_isbn = $dbh->prepare("SELECT biblionumber,biblioitemnumber FROM biblioitems WHERE isbn=?");
 160
 161 $dbh->{AutoCommit} = 0;
 162 my $loghandle;
 163 if ($logfile){
 164    $loghandle= IO::File->new($logfile,"w") ;
 165    print $loghandle "id;operation;status\n";
 166 }
 167 RECORD: while (  ) {
 168     my $record;
 169     # get records
 170     eval { $record = $batch->next() };
 171     if ( $@ ) {
 172         print "Bad MARC record: skipped\n";
 173         # FIXME - because MARC::Batch->next() combines grabbing the next
 174         # blob and parsing it into one operation, a correctable condition
 175         # such as a MARC-8 record claiming that it's UTF-8 can't be recovered
 176         # from because we don't have access to the original blob.  Note
 177         # that the staging import can deal with this condition (via
 178         # C4::Charset::MarcToUTF8Record) because it doesn't use MARC::Batch.
 179         next;
 180     }
 181     # skip if we get an empty record (that is MARC valid, but will result in AddBiblio failure
 182     last unless ( $record );
 183     $i++;
 184     print ".";
 185     print "\r$i" unless $i % 100;
 186
 187     # transcode the record to UTF8 if needed & applicable.
 188     if ($record->encoding() eq 'MARC-8' and not $skip_marc8_conversion) {
 189         # FIXME update condition
 190         my ($guessed_charset, $charset_errors);
 191          ($record, $guessed_charset, $charset_errors) = MarcToUTF8Record($record, $marcFlavour.(($authorities and $marcFlavour ne "MARC21")?'AUTH':''));
 192         if ($guessed_charset eq 'failed') {
 193             warn "ERROR: failed to perform character conversion for record $i\n";
 194             next RECORD;
 195         }
 196     }
 197     my $isbn;
 198     # remove trailing - in isbn (only for biblios, of course)
 199     if ($biblios) {
 200         if ($marcFlavour eq 'UNIMARC') {
 201             if (my $f010 = $record->field('010')) {
 202                 $isbn = $f010->subfield('a');
 203                 $isbn =~ s/-//g;
 204                 $f010->update('a' => $isbn);
 205             }
 206         } else {
 207             if (my $f020 = $record->field('020')) {
 208                 $isbn = $f020->subfield('a');
 209                 $isbn =~ s/-//g;
 210                 $f020->update('a' => $isbn);
 211             }
 212         }
 213     }
 214     my $id;
 215     # search for duplicates (based on Local-number)
 216     if ($match){
 217        require C4::Search;
 218        my $query=build_query($match,$record);
 219        my $server=($authorities?'authorityserver':'biblioserver');
 220        my ($error, $results,$totalhits)=C4::Search::SimpleSearch( $query, 0, 3, [$server] );
 221        die "unable to search the database for duplicates : $error" if (defined $error);
 222        #warn "$query $server : $totalhits";
 223        if ($results && scalar(@$results)==1){
 224            my $marcrecord = MARC::File::USMARC::decode($results->[0]);
 225                    $id=GetRecordId($marcrecord,$tagid,$subfieldid);
 226        }
 227        elsif  ($results && scalar(@$results)>1){
 228        $debug && warn "more than one match for $query";
 229        }
 230        else {
 231        $debug && warn "nomatch for $query";
 232        }
 233     }
 234         my $originalid;
 235     if ($keepids){
 236           $originalid=GetRecordId($record,$tagid,$subfieldid);
 237       if ($originalid){
 238                  my $storeidfield;
 239                  if (length($keepids)==3){
 240                         $storeidfield=MARC::Field->new($keepids,$originalid);
 241                  }
 242                  else  {
 243                         $storeidfield=MARC::Field->new(substr($keepids,0,3),"","",substr($keepids,3,1),$originalid);
 244                  }
 245          $record->insert_fields_ordered($storeidfield);
 246              $record->delete_field($record->field($tagid));
 247       }
 248     }
 249     unless ($test_parameter) {
 250         if ($authorities){
 251             use C4::AuthoritiesMarc;
 252             my $authtypecode=GuessAuthTypeCode($record);
 253             my $authid= ($id?$id:GuessAuthId($record));
 254             if ($authid && GetAuthority($authid)){
 255             ## Authority has an id and is in database : Replace
 256                 eval { ( $authid ) = ModAuthority($authid,$record, $authtypecode) };
 257                 if ($@){
 258                     warn "Problem with authority $authid Cannot Modify";
 259                                         printlog({id=>$originalid||$id||$authid, op=>"edit",status=>"ERROR"}) if ($logfile);
 260                 }
 261                                 else{
 262                                         printlog({id=>$originalid||$id||$authid, op=>"edit",status=>"ok"}) if ($logfile);
 263                                 }
 264             }
 265             elsif (defined $authid) {
 266             ## An authid is defined but no authority in database : add
 267                 eval { ( $authid ) = AddAuthority($record,$authid, $authtypecode) };
 268                 if ($@){
 269                     warn "Problem with authority $authid Cannot Add ".$@;
 270                                         printlog({id=>$originalid||$id||$authid, op=>"insert",status=>"ERROR"}) if ($logfile);
 271                 }
 272                                 else{
 273                                         printlog({id=>$originalid||$id||$authid, op=>"insert",status=>"ok"}) if ($logfile);
 274                                 }
 275             }
 276                 else {
 277             ## True insert in database
 278                 eval { ( $authid ) = AddAuthority($record,"", $authtypecode) };
 279                 if ($@){
 280                     warn "Problem with authority $authid Cannot Add".$@;
 281                                         printlog({id=>$originalid||$id||$authid, op=>"insert",status=>"ERROR"}) if ($logfile);
 282                 }
 283                                 else{
 284                                         printlog({id=>$originalid||$id||$authid, op=>"insert",status=>"ok"}) if ($logfile);
 285                                 }
 286                 }
 287         }
 288         else {
 289             my ( $biblionumber, $biblioitemnumber, $itemnumbers_ref, $errors_ref );
 290             $biblionumber = $id;
 291             # check for duplicate, based on ISBN (skip it if we already have found a duplicate with match parameter
 292             if (!$biblionumber && $isbn_check && $isbn) {
 293     #         warn "search ISBN : $isbn";
 294                 $sth_isbn->execute($isbn);
 295                 ($biblionumber,$biblioitemnumber) = $sth_isbn->fetchrow;
 296             }
 297                 if (defined $idmapfl) {
 298                                 if ($sourcetag < "010"){
 299                                         if ($record->field($sourcetag)){
 300                                           my $source = $record->field($sourcetag)->data();
 301                                           printf(IDMAP "%s|%s\n",$source,$biblionumber);
 302                                         }
 303                             } else {
 304                                         my $source=$record->subfield($sourcetag,$sourcesubfield);
 305                                         printf(IDMAP "%s|%s\n",$source,$biblionumber);
 306                           }
 307                         }
 308                                         # create biblio, unless we already have it ( either match or isbn )
 309             if ($biblionumber) {
 310                                 eval{$biblioitemnumber=GetBiblioData($biblionumber)->{biblioitemnumber};}
 311                         }
 312                         else
 313                         {
 314                 eval { ( $biblionumber, $biblioitemnumber ) = AddBiblio($record, '', { defer_marc_save => 1 }) };
 315             }
 316             if ( $@ ) {
 317                 warn "ERROR: Adding biblio $biblionumber failed: $@\n";
 318                                 printlog({id=>$id||$originalid||$biblionumber, op=>"insert",status=>"ERROR"}) if ($logfile);
 319                 next RECORD;
 320             }
 321                         else{
 322                                 printlog({id=>$id||$originalid||$biblionumber, op=>"insert",status=>"ok"}) if ($logfile);
 323                         }
 324             eval { ( $itemnumbers_ref, $errors_ref ) = AddItemBatchFromMarc( $record, $biblionumber, $biblioitemnumber, '' ); };
 325             if ( $@ ) {
 326                 warn "ERROR: Adding items to bib $biblionumber failed: $@\n";
 327                                 printlog({id=>$id||$originalid||$biblionumber, op=>"insertitem",status=>"ERROR"}) if ($logfile);
 328                 # if we failed because of an exception, assume that
 329                 # the MARC columns in biblioitems were not set.
 330                 ModBiblioMarc( $record, $biblionumber, '' );
 331                 next RECORD;
 332             }
 333                         else{
 334                                 printlog({id=>$id||$originalid||$biblionumber, op=>"insert",status=>"ok"}) if ($logfile);
 335                         }
 336             if ($#{ $errors_ref } > -1) {
 337                 report_item_errors($biblionumber, $errors_ref);
 338             }
 339         }
 340         $dbh->commit() if (0 == $i % $commitnum);
 341     }
 342     last if $i == $number;
 343 }
 344 $dbh->commit();
 345
 346
 347
 348 if ($fk_off) {
 349         $dbh->do("SET FOREIGN_KEY_CHECKS = 1");
 350 }
 351
 352 # restore CataloguingLog
 353 $dbh->do("UPDATE systempreferences SET value=$CataloguingLog WHERE variable='CataloguingLog'");
 354
 355 my $timeneeded = gettimeofday - $starttime;
 356 print "\n$i MARC records done in $timeneeded seconds\n";
 357 if ($logfile){
 358   print $loghandle "file : $input_marc_file\n";
 359   print $loghandle "$i MARC records done in $timeneeded seconds\n";
 360   $loghandle->close;
 361 }
 362 exit 0;
 363
 364 sub GetRecordId{
 365         my $marcrecord=shift;
 366         my $tag=shift;
 367         my $subfield=shift;
 368         my $id;
 369         if ($tag lt "010"){
 370                 return $marcrecord->field($tag)->data() if $marcrecord->field($tag);
 371         }
 372         elsif ($subfield){
 373                 if ($marcrecord->field($tag)){
 374                         return $marcrecord->subfield($tag,$subfield);
 375                 }
 376         }
 377         return $id;
 378 }
 379 sub build_query {
 380         my $match = shift;
 381         my $record=shift;
 382         my @searchstrings;
 383         foreach my $matchingpoint (@$match){
 384           my $string = build_simplequery($matchingpoint,$record);
 385           push @searchstrings,$string if (length($string)>0);
 386         }
 387         return join(" and ",@searchstrings);
 388 }
 389 sub build_simplequery {
 390         my $element=shift;
 391         my $record=shift;
 392         my ($index,$recorddata)=split /,/,$element;
 393         my ($tag,$subfields) =($1,$2) if ($recorddata=~/(\d{3})(.*)/);
 394         my @searchstrings;
 395         foreach my $field ($record->field($tag)){
 396                   if (length($field->as_string("$subfields"))>0){
 397                 push @searchstrings,"$index,wrdl=\"".$field->as_string("$subfields")."\"";
 398                   }
 399         }
 400         return join(" and ",@searchstrings);
 401 }
 402 sub report_item_errors {
 403     my $biblionumber = shift;
 404     my $errors_ref = shift;
 405
 406     foreach my $error (@{ $errors_ref }) {
 407         my $msg = "Item not added (bib $biblionumber, item tag #$error->{'item_sequence'}, barcode $error->{'item_barcode'}): ";
 408         my $error_code = $error->{'error_code'};
 409         $error_code =~ s/_/ /g;
 410         $msg .= "$error_code $error->{'error_information'}";
 411         print $msg, "\n";
 412     }
 413 }
 414 sub printlog{
 415         my $logelements=shift;
 416         print $loghandle join (";",@$logelements{qw<id op status>}),"\n";
 417 }
 418
 419
 420 =head1 NAME
 421
 422 bulkmarcimport.pl - Import bibliographic/authority records into Koha
 423
 424 =head1 USAGE
 425
 426  $ export KOHA_CONF=/etc/koha.conf
 427  $ perl misc/migration_tools/bulkmarcimport.pl -d -commit 1000 \\
 428     -file /home/jmf/koha.mrc -n 3000
 429
 430 =head1 WARNING
 431
 432 Don't use this script before you've entered and checked your MARC parameters
 433 tables twice (or more!). Otherwise, the import won't work correctly and you
 434 will get invalid data.
 435
 436 =head1 DESCRIPTION
 437
 438 =over
 439
 440 =item  B<-h>
 441
 442 This version/help screen
 443
 444 =item B<-b, -biblios>
 445
 446 Type of import: bibliographic records
 447
 448 =item B<-a, -authorities>
 449
 450 Type of import: authority records
 451
 452 =item B<-file>=I<FILE>
 453
 454 The I<FILE> to import
 455
 456 =item  B<-v>
 457
 458 Verbose mode. 1 means "some infos", 2 means "MARC dumping"
 459
 460 =item B<-fk>
 461
 462 Turn off foreign key checks during import.
 463
 464 =item B<-n>=I<NUMBER>
 465
 466 The I<NUMBER> of records to import. If missing, all the file is imported
 467
 468 =item B<-o, -offset>=I<NUMBER>
 469
 470 File offset before importing, ie I<NUMBER> of records to skip.
 471
 472 =item B<-commit>=I<NUMBER>
 473
 474 The I<NUMBER> of records to wait before performing a 'commit' operation
 475
 476 =item B<-l>
 477
 478 File logs actions done for each record and their status into file
 479
 480 =item B<-t>
 481
 482 Test mode: parses the file, saying what he would do, but doing nothing.
 483
 484 =item B<-s>
 485
 486 Skip automatic conversion of MARC-8 to UTF-8.  This option is provided for
 487 debugging.
 488
 489 =item B<-c>=I<CHARACTERISTIC>
 490
 491 The I<CHARACTERISTIC> MARC flavour. At the moment, only I<MARC21> and
 492 I<UNIMARC> are supported. MARC21 by default.
 493
 494 =item B<-d>
 495
 496 Delete EVERYTHING related to biblio in koha-DB before import. Tables: biblio,
 497 biblioitems, items
 498
 499 =item B<-m>=I<FORMAT>
 500
 501 Input file I<FORMAT>: I<MARCXML> or I<ISO2709> (defaults to ISO2709)
 502
 503 =item B<-k, -keepids>=<FIELD>
 504
 505 Field store ids in I<FIELD> (usefull for authorities, where 001 contains the
 506 authid for Koha, that can contain a very valuable info for authorities coming
 507 from LOC or BNF. useless for biblios probably)
 508
 509 =item B<-match>=<FIELD>
 510
 511 I<FIELD> matchindex,fieldtomatch matchpoint to use to deduplicate fieldtomatch
 512 can be either 001 to 999 or field and list of subfields as such 100abcde
 513
 514 =item B<-i,-isbn>
 515
 516 If set, a search will be done on isbn, and, if the same isbn is found, the
 517 biblio is not added. It's another method to deduplicate.  B<-match> & B<-isbn>
 518 can be both set.
 519
 520 =item B<-x>=I<TAG>
 521
 522 Source bib I<TAG> for reporting the source bib number
 523
 524 =item B<-y>=I<SUBFIELD>
 525
 526 Source I<SUBFIELD> for reporting the source bib number
 527
 528 =item B<-idmap>=I<FILE>
 529
 530 I<FILE> for the koha bib and source id
 531
 532 =item B<-keepids>
 533
 534 Store ids in 009 (usefull for authorities, where 001 contains the authid for
 535 Koha, that can contain a very valuable info for authorities coming from LOC or
 536 BNF. useless for biblios probably)
 537
 538 =back
 539
 540 =cut
 541