C4/AuthoritiesMarc.pm

   1 package C4::AuthoritiesMarc;
   2
   3 # Copyright 2000-2002 Katipo Communications
   4 # Copyright 2018 The National Library of Finland, University of Helsinki
   5 #
   6 # This file is part of Koha.
   7 #
   8 # Koha is free software; you can redistribute it and/or modify it
   9 # under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation; either version 3 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # Koha is distributed in the hope that it will be useful, but
  14 # WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  16 # GNU General Public License for more details.
  17 #
  18 # You should have received a copy of the GNU General Public License
  19 # along with Koha; if not, see <http://www.gnu.org/licenses>.
  20
  21 use strict;
  22 use warnings;
  23 use MARC::Field;
  24
  25 use C4::Context;
  26 use C4::Biblio qw( GetFrameworkCode ModBiblio );
  27 use C4::Search qw( FindDuplicate new_record_from_zebra );
  28 use C4::AuthoritiesMarc::MARC21;
  29 use C4::AuthoritiesMarc::UNIMARC;
  30 use C4::Charset qw( SetUTF8Flag );
  31 use C4::Log qw( logaction );
  32 use Koha::MetadataRecord::Authority;
  33 use Koha::Authorities;
  34 use Koha::Authority::MergeRequests;
  35 use Koha::Authority::Types;
  36 use Koha::Authority;
  37 use Koha::Libraries;
  38 use Koha::SearchEngine;
  39 use Koha::SearchEngine::Indexer;
  40 use Koha::SearchEngine::Search;
  41
  42 our (@ISA, @EXPORT_OK);
  43 BEGIN {
  44
  45     require Exporter;
  46     @ISA       = qw(Exporter);
  47     @EXPORT_OK = qw(
  48       GetTagsLabels
  49       GetAuthMARCFromKohaField
  50
  51       AddAuthority
  52       ModAuthority
  53       DelAuthority
  54       GetAuthority
  55       GetAuthorityXML
  56       GetAuthorizedHeading
  57
  58       SearchAuthorities
  59
  60       BuildSummary
  61       BuildAuthHierarchies
  62       BuildAuthHierarchy
  63       GenerateHierarchy
  64       GetHeaderAuthority
  65       AddAuthorityTrees
  66       CompareFieldWithAuthority
  67
  68       merge
  69       FindDuplicateAuthority
  70
  71       GuessAuthTypeCode
  72       GuessAuthId
  73       compare_fields
  74     );
  75 }
  76
  77
  78 =head1 NAME
  79
  80 C4::AuthoritiesMarc
  81
  82 =head2 GetAuthMARCFromKohaField
  83
  84   ( $tag, $subfield ) = &GetAuthMARCFromKohaField ($kohafield,$authtypecode);
  85
  86 returns tag and subfield linked to kohafield
  87
  88 Comment :
  89 Suppose Kohafield is only linked to ONE subfield
  90
  91 =cut
  92
  93 sub GetAuthMARCFromKohaField {
  94 #AUTHfind_marc_from_kohafield
  95   my ( $kohafield,$authtypecode ) = @_;
  96   my $dbh=C4::Context->dbh;
  97   return 0, 0 unless $kohafield;
  98   $authtypecode="" unless $authtypecode;
  99   my $sth = $dbh->prepare("select tagfield,tagsubfield from auth_subfield_structure where kohafield= ? and authtypecode=? ");
 100   $sth->execute($kohafield,$authtypecode);
 101   my ($tagfield,$tagsubfield) = $sth->fetchrow;
 102
 103   return  ($tagfield,$tagsubfield);
 104 }
 105
 106 =head2 SearchAuthorities
 107
 108   (\@finalresult, $nbresults)= &SearchAuthorities($tags, $and_or,
 109      $excluding, $operator, $value, $offset,$length,$authtypecode,
 110      $sortby[, $skipmetadata])
 111
 112 returns ref to array result and count of results returned
 113
 114 =cut
 115
 116 sub SearchAuthorities {
 117     my ($tags, $and_or, $excluding, $operator, $value, $offset,$length,$authtypecode,$sortby,$skipmetadata) = @_;
 118     # warn Dumper($tags, $and_or, $excluding, $operator, $value, $offset,$length,$authtypecode,$sortby);
 119     my $dbh=C4::Context->dbh;
 120     $sortby="" unless $sortby;
 121     my $query;
 122     my $qpquery = '';
 123     my $attr = '';
 124         # the marclist may contain "mainentry". In this case, search the tag_to_report, that depends on
 125         # the authtypecode. Then, search on $a of this tag_to_report
 126         # also store main entry MARC tag, to extract it at end of search
 127     ##first set the authtype search and may be multiple authorities
 128     if ($authtypecode) {
 129         my $n=0;
 130         my @authtypecode;
 131         my @auths=split / /,$authtypecode ;
 132         foreach my  $auth (@auths){
 133             $query .=" \@attr 1=authtype \@attr 5=100 ".$auth; ##No truncation on authtype
 134                 push @authtypecode ,$auth;
 135             $n++;
 136         }
 137         if ($n>1){
 138             while ($n>1){$query= "\@or ".$query;$n--;}
 139         }
 140     }
 141
 142     my $dosearch;
 143     my $and=" \@and " ;
 144     my $q2;
 145     my $attr_cnt = 0;
 146     for ( my $i = 0 ; $i <= $#{$value} ; $i++ ) {
 147         if ( @$value[$i] ) {
 148             if ( @$tags[$i] ) {
 149                 if ( @$tags[$i] eq "mainmainentry" ) {
 150                     $attr = " \@attr 1=Heading-Main ";
 151                 }
 152                 elsif ( @$tags[$i] eq "mainentry" ) {
 153                     $attr = " \@attr 1=Heading ";
 154                 }
 155                 elsif ( @$tags[$i] eq "match" ) {
 156                     $attr = " \@attr 1=Match ";
 157                 }
 158                 elsif ( @$tags[$i] eq "match-heading" ) {
 159                     $attr = " \@attr 1=Match-heading ";
 160                 }
 161                 elsif ( @$tags[$i] eq "see-from" ) {
 162                     $attr = " \@attr 1=Match-heading-see-from ";
 163                 }
 164                 elsif ( @$tags[$i] eq "thesaurus" ) {
 165                     $attr = " \@attr 1=Subject-heading-thesaurus ";
 166                 }
 167                 elsif ( @$tags[$i] eq "all" ) {
 168                     $attr = " \@attr 1=Any ";
 169                 }
 170                 else {    # Use the index passed in params
 171                     $attr = " \@attr 1=" . @$tags[$i] . " ";
 172                 }
 173             }         #if @$tags[$i]
 174             else {    # Assume any if no index was specified
 175                 $attr = " \@attr 1=Any ";
 176             }
 177
 178             my $operator = @$operator[$i];
 179             if ( $operator and $operator eq 'is' ) {
 180                 $attr .= " \@attr 4=1  \@attr 5=100 "
 181                   ;    ##Phrase, No truncation,all of subfield field must match
 182             }
 183             elsif ( $operator and $operator eq "=" ) {
 184                 $attr .= " \@attr 4=107 ";    #Number Exact match
 185             }
 186             elsif ( $operator and $operator eq "start" ) {
 187                 $attr .= " \@attr 3=2 \@attr 4=1 \@attr 5=1 \@attr 6=3 "
 188                   ;    #Firstinfield Phrase, Right truncated, Complete field
 189             }
 190             elsif ( $operator and $operator eq "exact" ) {
 191                 $attr .= " \@attr 4=1  \@attr 5=100 \@attr 6=3 "
 192                   ;    ##Phrase, No truncation,all of subfield field must match
 193             }
 194             else {
 195                 $attr .= " \@attr 5=1 \@attr 4=6 "
 196                   ;    ## Word list, right truncated, anywhere
 197                 if ( $sortby eq 'Relevance' ) {
 198                     $attr .= "\@attr 2=102 ";
 199                 }
 200             }
 201             @$value[$i] =~
 202               s/"/\\"/g;    # Escape the double-quotes in the search value
 203             $attr = $attr . "\"" . @$value[$i] . "\"";
 204             $q2 .= $attr;
 205             $dosearch = 1;
 206             ++$attr_cnt;
 207         }    #if value
 208     }
 209     ##Add how many queries generated
 210     if ( defined $query && $query =~ /\S+/ ) {
 211         #NOTE: This code path is used by authority search in cataloguing plugins...
 212         #FIXME: This does not quite work the way the author probably intended.
 213         #It creates a ($query prefix) AND (query 1) AND (query 2) structure instead of
 214         #($query prefix) AND (query 1 AND query 2)
 215         $query = $and x $attr_cnt . $query . ( defined $q2 ? $q2 : '' );
 216     } else {
 217         #NOTE: This code path is used by authority search in authority home and record matching rules...
 218         my $op_prefix = '';
 219         #NOTE: Without the following code, multiple queries will never be joined together
 220         #with a Boolean operator.
 221         if ( $attr_cnt > 1 ) {
 222             #NOTE: We always need 1 less operator than we have operands,
 223             #so long as there is more than 1 operand
 224             my $or_cnt = $attr_cnt - 1;
 225             #NOTE: We hard-code OR here because that's what Elasticsearch does
 226             $op_prefix = ' @or ' x $or_cnt;
 227             #NOTE: This evaluates to a logical structure like (query 1) OR (query 2) OR (query 3)
 228         }
 229         $query = $op_prefix . $q2;
 230     }
 231     ## Adding order
 232     #$query=' @or  @attr 7=2 @attr 1=Heading 0 @or  @attr 7=1 @attr 1=Heading 1'.$query if ($sortby eq "HeadingDsc");
 233     my $orderstring;
 234     if ($sortby eq 'HeadingAsc') {
 235         $orderstring = '@attr 7=1 @attr 1=Heading 0';
 236     } elsif ($sortby eq 'HeadingDsc') {
 237         $orderstring = '@attr 7=2 @attr 1=Heading 0';
 238     } elsif ($sortby eq 'AuthidAsc') {
 239         $orderstring = '@attr 7=1 @attr 4=109 @attr 1=Local-Number 0';
 240     } elsif ($sortby eq 'AuthidDsc') {
 241         $orderstring = '@attr 7=2 @attr 4=109 @attr 1=Local-Number 0';
 242     }
 243     $query=($query?$query:"\@attr 1=_ALLRECORDS \@attr 2=103 ''");
 244     $query="\@or $orderstring $query" if $orderstring;
 245
 246     $offset = 0 if not defined $offset or $offset < 0;
 247     my $counter = $offset;
 248     $length=10 unless $length;
 249     my @oAuth;
 250     my $i;
 251     $oAuth[0]=C4::Context->Zconn("authorityserver" , 1);
 252     my $Anewq= ZOOM::Query::PQF->new($query,$oAuth[0]);
 253     my $oAResult;
 254     $oAResult= $oAuth[0]->search($Anewq) ;
 255     while (($i = ZOOM::event(\@oAuth)) != 0) {
 256         my $ev = $oAuth[$i-1]->last_event();
 257         last if $ev == ZOOM::Event::ZEND;
 258     }
 259     my($error, $errmsg, $addinfo, $diagset) = $oAuth[0]->error_x();
 260     if ($error) {
 261         warn  "oAuth error: $errmsg ($error) $addinfo $diagset\n";
 262         goto NOLUCK;
 263     }
 264
 265     my $nbresults;
 266     $nbresults=$oAResult->size();
 267     my $nremains=$nbresults;
 268     my @result = ();
 269     my @finalresult = ();
 270
 271     if ($nbresults>0){
 272
 273     ##Find authid and linkid fields
 274     ##we may be searching multiple authoritytypes.
 275     ## FIXME this assumes that all authid and linkid fields are the same for all authority types
 276     # my ($authidfield,$authidsubfield)=GetAuthMARCFromKohaField($dbh,"auth_header.authid",$authtypecode[0]);
 277     # my ($linkidfield,$linkidsubfield)=GetAuthMARCFromKohaField($dbh,"auth_header.linkid",$authtypecode[0]);
 278         while (($counter < $nbresults) && ($counter < ($offset + $length))) {
 279
 280         ##Here we have to extract MARC record and $authid from ZEBRA AUTHORITIES
 281         my $rec=$oAResult->record($counter);
 282         my $separator=C4::Context->preference('AuthoritySeparator');
 283         my $authrecord = C4::Search::new_record_from_zebra(
 284             'authorityserver',
 285             $rec->raw()
 286         );
 287
 288         if ( !defined $authrecord or !defined $authrecord->field('001') ) {
 289             $counter++;
 290             next;
 291         }
 292
 293         SetUTF8Flag( $authrecord );
 294
 295         my $authid=$authrecord->field('001')->data();
 296         my %newline;
 297         $newline{authid} = $authid;
 298         if ( !$skipmetadata ) {
 299             my $auth_tag_to_report;
 300             $auth_tag_to_report = Koha::Authority::Types->find($authtypecode)->auth_tag_to_report
 301                 if $authtypecode;
 302             my $reported_tag;
 303             my $mainentry = $authrecord->field($auth_tag_to_report);
 304             if ($mainentry) {
 305                 foreach ( $mainentry->subfields() ) {
 306                     $reported_tag .= '$' . $_->[0] . $_->[1];
 307                 }
 308             }
 309
 310             my ( $thisauthtype, $thisauthtypecode );
 311             if ( my $authority = Koha::Authorities->find($authid) ) {
 312                 $thisauthtypecode = $authority->authtypecode;
 313                 $thisauthtype = Koha::Authority::Types->find($thisauthtypecode);
 314             }
 315             unless (defined $thisauthtype) {
 316                 $thisauthtypecode = $authtypecode;
 317                 $thisauthtype = Koha::Authority::Types->find($thisauthtypecode);
 318             }
 319             my $summary = BuildSummary( $authrecord, $authid, $thisauthtypecode );
 320
 321             if ( C4::Context->preference('ShowHeadingUse') ) {
 322                 # checking valid heading use
 323                 my $f008 = $authrecord->field('008');
 324                 my $pos14to16 = substr( $f008->data, 14, 3 );
 325                 my $main = substr( $pos14to16, 0, 1 );
 326                 $newline{main} = 1 if $main eq 'a';
 327                 my $subject = substr( $pos14to16, 1, 1);
 328                 $newline{subject} = 1 if $subject eq 'a';
 329                 my $series = substr( $pos14to16, 2, 1 );
 330                 $newline{series} = 1 if $series eq 'a';
 331             }
 332
 333             $newline{authtype}     = defined($thisauthtype) ?
 334                                         $thisauthtype->authtypetext : '';
 335             $newline{summary}      = $summary;
 336             $newline{even}         = $counter % 2;
 337             $newline{reported_tag} = $reported_tag;
 338         }
 339         $counter++;
 340         push @finalresult, \%newline;
 341         }## while counter
 342         ###
 343         if (! $skipmetadata) {
 344             for (my $z=0; $z<@finalresult; $z++){
 345                 my $count = Koha::Authorities->get_usage_count({ authid => $finalresult[$z]{authid} });
 346                 $finalresult[$z]{used}=$count;
 347             }# all $z's
 348         }
 349
 350     }## if nbresult
 351     NOLUCK:
 352     $oAResult->destroy();
 353     # $oAuth[0]->destroy();
 354
 355     return (\@finalresult, $nbresults);
 356 }
 357
 358 =head2 GuessAuthTypeCode
 359
 360   my $authtypecode = GuessAuthTypeCode($record);
 361
 362 Get the record and tries to guess the adequate authtypecode from its content.
 363
 364 =cut
 365
 366 sub GuessAuthTypeCode {
 367     my ($record, $heading_fields) = @_;
 368     return unless defined $record;
 369     $heading_fields //= {
 370     "MARC21"=>{
 371         '100'=>{authtypecode=>'PERSO_NAME'},
 372         '110'=>{authtypecode=>'CORPO_NAME'},
 373         '111'=>{authtypecode=>'MEETI_NAME'},
 374         '130'=>{authtypecode=>'UNIF_TITLE'},
 375         '147'=>{authtypecode=>'NAME_EVENT'},
 376         '148'=>{authtypecode=>'CHRON_TERM'},
 377         '150'=>{authtypecode=>'TOPIC_TERM'},
 378         '151'=>{authtypecode=>'GEOGR_NAME'},
 379         '155'=>{authtypecode=>'GENRE/FORM'},
 380         '162'=>{authtypecode=>'MED_PERFRM'},
 381         '180'=>{authtypecode=>'GEN_SUBDIV'},
 382         '181'=>{authtypecode=>'GEO_SUBDIV'},
 383         '182'=>{authtypecode=>'CHRON_SUBD'},
 384         '185'=>{authtypecode=>'FORM_SUBD'},
 385     },
 386 #200 Personal name      700, 701, 702 4-- with embedded 700, 701, 702 600
 387 #                    604 with embedded 700, 701, 702
 388 #210 Corporate or meeting name  710, 711, 712 4-- with embedded 710, 711, 712 601 604 with embedded 710, 711, 712
 389 #215 Territorial or geographic name     710, 711, 712 4-- with embedded 710, 711, 712 601, 607 604 with embedded 710, 711, 712
 390 #216 Trademark  716 [Reserved for future use]
 391 #220 Family name        720, 721, 722 4-- with embedded 720, 721, 722 602 604 with embedded 720, 721, 722
 392 #230 Title      500 4-- with embedded 500 605
 393 #240 Name and title (embedded 200, 210, 215, or 220 and 230)    4-- with embedded 7-- and 500 7--  604 with embedded 7-- and 500 500
 394 #245 Name and collective title (embedded 200, 210, 215, or 220 and 235)         4-- with embedded 7-- and 501 604 with embedded 7-- and 501 7-- 501
 395 #250 Topical subject    606
 396 #260 Place access       620
 397 #280 Form, genre or physical characteristics    608
 398 #
 399 #
 400 # Could also be represented with :
 401 #leader position 9
 402 #a = personal name entry
 403 #b = corporate name entry
 404 #c = territorial or geographical name
 405 #d = trademark
 406 #e = family name
 407 #f = uniform title
 408 #g = collective uniform title
 409 #h = name/title
 410 #i = name/collective uniform title
 411 #j = topical subject
 412 #k = place access
 413 #l = form, genre or physical characteristics
 414     "UNIMARC"=>{
 415         '200'=>{authtypecode=>'NP'},
 416         '210'=>{authtypecode=>'CO'},
 417         '215'=>{authtypecode=>'SNG'},
 418         '216'=>{authtypecode=>'TM'},
 419         '220'=>{authtypecode=>'FAM'},
 420         '230'=>{authtypecode=>'TU'},
 421         '235'=>{authtypecode=>'CO_UNI_TI'},
 422         '240'=>{authtypecode=>'SAUTTIT'},
 423         '245'=>{authtypecode=>'NAME_COL'},
 424         '250'=>{authtypecode=>'SNC'},
 425         '260'=>{authtypecode=>'PA'},
 426         '280'=>{authtypecode=>'GENRE/FORM'},
 427     }
 428 };
 429     foreach my $field (keys %{$heading_fields->{uc(C4::Context->preference('marcflavour'))} }) {
 430        return $heading_fields->{uc(C4::Context->preference('marcflavour'))}->{$field}->{'authtypecode'} if (defined $record->field($field));
 431     }
 432     return;
 433 }
 434
 435 =head2 GuessAuthId
 436
 437   my $authtid = GuessAuthId($record);
 438
 439 Get the record and tries to guess the adequate authtypecode from its content.
 440
 441 =cut
 442
 443 sub GuessAuthId {
 444     my ($record) = @_;
 445     return unless ($record && $record->field('001'));
 446 #    my $authtypecode=GuessAuthTypeCode($record);
 447 #    my ($tag,$subfield)=GetAuthMARCFromKohaField("auth_header.authid",$authtypecode);
 448 #    if ($tag > 010) {return $record->subfield($tag,$subfield)}
 449 #    else {return $record->field($tag)->data}
 450     return $record->field('001')->data;
 451 }
 452
 453 =head2 GetTagsLabels
 454
 455   $tagslabel= &GetTagsLabels($forlibrarian,$authtypecode)
 456
 457 returns a ref to hashref of authorities tag and subfield structure.
 458
 459 tagslabel usage :
 460
 461   $tagslabel->{$tag}->{$subfield}->{'attribute'}
 462
 463 where attribute takes values in :
 464
 465   lib
 466   tab
 467   mandatory
 468   repeatable
 469   authorised_value
 470   authtypecode
 471   value_builder
 472   kohafield
 473   seealso
 474   hidden
 475   isurl
 476   link
 477
 478 =cut
 479
 480 sub GetTagsLabels {
 481   my ($forlibrarian,$authtypecode)= @_;
 482   my $dbh=C4::Context->dbh;
 483   $authtypecode="" unless $authtypecode;
 484   my $sth;
 485   my $libfield = ($forlibrarian) ? 'liblibrarian' : 'libopac';
 486
 487
 488   # check that authority exists
 489   $sth=$dbh->prepare("SELECT count(*) FROM auth_tag_structure WHERE authtypecode=?");
 490   $sth->execute($authtypecode);
 491   my ($total) = $sth->fetchrow;
 492   $authtypecode="" unless ($total >0);
 493   $sth= $dbh->prepare(
 494 "SELECT auth_tag_structure.tagfield,auth_tag_structure.liblibrarian,auth_tag_structure.libopac,auth_tag_structure.mandatory,auth_tag_structure.repeatable
 495  FROM auth_tag_structure
 496  WHERE authtypecode=?
 497  ORDER BY tagfield"
 498     );
 499
 500   $sth->execute($authtypecode);
 501   my ( $liblibrarian, $libopac, $tag, $res, $tab, $mandatory, $repeatable );
 502
 503   while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) = $sth->fetchrow ) {
 504         $res->{$tag}->{lib}        = ($forlibrarian or !$libopac)?$liblibrarian:$libopac;
 505         $res->{$tag}->{tab}        = " ";            # XXX
 506         $res->{$tag}->{mandatory}  = $mandatory;
 507         $res->{$tag}->{repeatable} = $repeatable;
 508   }
 509   $sth=      $dbh->prepare(
 510 "SELECT tagfield,tagsubfield,liblibrarian,libopac,tab, mandatory, repeatable,authorised_value,frameworkcode as authtypecode,value_builder,kohafield,seealso,hidden,isurl,defaultvalue, display_order
 511 FROM auth_subfield_structure
 512 WHERE authtypecode=?
 513 ORDER BY tagfield, display_order, tagsubfield"
 514     );
 515     $sth->execute($authtypecode);
 516
 517     my $subfield;
 518     my $authorised_value;
 519     my $value_builder;
 520     my $kohafield;
 521     my $seealso;
 522     my $hidden;
 523     my $isurl;
 524     my $defaultvalue;
 525     my $display_order;
 526
 527     while (
 528         ( $tag,         $subfield,   $liblibrarian,   , $libopac,      $tab,
 529         $mandatory,     $repeatable, $authorised_value, $authtypecode,
 530         $value_builder, $kohafield,  $seealso,          $hidden,
 531         $isurl,         $defaultvalue, $display_order )
 532         = $sth->fetchrow
 533       )
 534     {
 535         $res->{$tag}->{$subfield}->{subfield}         = $subfield;
 536         $res->{$tag}->{$subfield}->{lib}              = ($forlibrarian or !$libopac)?$liblibrarian:$libopac;
 537         $res->{$tag}->{$subfield}->{tab}              = $tab;
 538         $res->{$tag}->{$subfield}->{mandatory}        = $mandatory;
 539         $res->{$tag}->{$subfield}->{repeatable}       = $repeatable;
 540         $res->{$tag}->{$subfield}->{authorised_value} = $authorised_value;
 541         $res->{$tag}->{$subfield}->{authtypecode}     = $authtypecode;
 542         $res->{$tag}->{$subfield}->{value_builder}    = $value_builder;
 543         $res->{$tag}->{$subfield}->{kohafield}        = $kohafield;
 544         $res->{$tag}->{$subfield}->{seealso}          = $seealso;
 545         $res->{$tag}->{$subfield}->{hidden}           = $hidden;
 546         $res->{$tag}->{$subfield}->{isurl}            = $isurl;
 547         $res->{$tag}->{$subfield}->{defaultvalue}     = $defaultvalue;
 548         $res->{$tag}->{$subfield}->{display_order}    = $display_order;
 549     }
 550
 551     return $res;
 552 }
 553
 554 =head2 AddAuthority
 555
 556   $authid= &AddAuthority($record, $authid,$authtypecode)
 557
 558 Either Create Or Modify existing authority.
 559 returns authid of the newly created authority
 560
 561 =cut
 562
 563 sub AddAuthority {
 564 # pass the MARC::Record to this function, and it will create the records in the authority table
 565     my ( $record, $authid, $authtypecode, $params ) = @_;
 566
 567     my $skip_record_index = $params->{skip_record_index} || 0;
 568
 569   my $dbh=C4::Context->dbh;
 570         my $leader='     nz  a22     o  4500';#Leader for incomplete MARC21 record
 571
 572 # if authid empty => true add, find a new authid number
 573     my $format;
 574     if (uc(C4::Context->preference('marcflavour')) eq 'UNIMARC') {
 575         $format= 'UNIMARCAUTH';
 576     }
 577     else {
 578         $format= 'MARC21';
 579     }
 580
 581     #update date/time to 005 for marc and unimarc
 582     my $time=POSIX::strftime("%Y%m%d%H%M%S",localtime);
 583     my $f5=$record->field('005');
 584     if (!$f5) {
 585       $record->insert_fields_ordered( MARC::Field->new('005',$time.".0") );
 586     }
 587     else {
 588       $f5->update($time.".0");
 589     }
 590
 591     SetUTF8Flag($record);
 592         if ($format eq "MARC21") {
 593         my $userenv = C4::Context->userenv;
 594         my $library;
 595         my $marcorgcode = C4::Context->preference('MARCOrgCode');
 596         if ( $userenv && $userenv->{'branch'} ) {
 597             $library = Koha::Libraries->find( $userenv->{'branch'} );
 598             # userenv's library could not exist because of a trick in misc/commit_file.pl (see FIXME and set_userenv statement)
 599             $marcorgcode = $library ? $library->get_effective_marcorgcode : $marcorgcode;
 600         }
 601                 if (!$record->leader) {
 602                         $record->leader($leader);
 603                 }
 604                 if (!$record->field('003')) {
 605                         $record->insert_fields_ordered(
 606                 MARC::Field->new('003', $marcorgcode),
 607                         );
 608                 }
 609                 my $date=POSIX::strftime("%y%m%d",localtime);
 610                 if (!$record->field('008')) {
 611             # Get a valid default value for field 008
 612             my $default_008 = C4::Context->preference('MARCAuthorityControlField008');
 613             if(!$default_008 or length($default_008)<34) {
 614                 $default_008 = '|| aca||aabn           | a|a     d';
 615             }
 616             else {
 617                 $default_008 = substr($default_008,0,34);
 618             }
 619
 620             $record->insert_fields_ordered( MARC::Field->new('008',$date.$default_008) );
 621                 }
 622                 if (!$record->field('040')) {
 623                  $record->insert_fields_ordered(
 624         MARC::Field->new('040','','',
 625             'a' => $marcorgcode,
 626             'c' => $marcorgcode,
 627                                 )
 628                         );
 629     }
 630         }
 631
 632   if ($format eq "UNIMARCAUTH") {
 633         $record->leader("     nx  j22             ") unless ($record->leader());
 634         my $date=POSIX::strftime("%Y%m%d",localtime);
 635         my $defaultfield100 = C4::Context->preference('UNIMARCAuthorityField100');
 636     if (my $string=$record->subfield('100',"a")){
 637         $string=~s/fre50/frey50/;
 638         $record->field('100')->update('a'=>$string);
 639     }
 640     elsif ($record->field('100')){
 641           $record->field('100')->update('a'=>$date.$defaultfield100);
 642     } else {
 643         $record->append_fields(
 644         MARC::Field->new('100',' ',' '
 645             ,'a'=>$date.$defaultfield100)
 646         );
 647     }
 648   }
 649   my ($auth_type_tag, $auth_type_subfield) = get_auth_type_location($authtypecode);
 650   if (!$authid and $format eq "MARC21") {
 651     # only need to do this fix when modifying an existing authority
 652     C4::AuthoritiesMarc::MARC21::fix_marc21_auth_type_location($record, $auth_type_tag, $auth_type_subfield);
 653   }
 654   if (my $field=$record->field($auth_type_tag)){
 655     $field->update($auth_type_subfield=>$authtypecode);
 656   }
 657   else {
 658     $record->add_fields($auth_type_tag,'','', $auth_type_subfield=>$authtypecode);
 659   }
 660
 661     if ( C4::Context->preference('StripWhitespaceChars') ) {
 662         $record = Koha::MetadataRecord::stripWhitespaceChars( $record );
 663     }
 664
 665     # Save record into auth_header, update 001
 666     my $action;
 667     my $authority;
 668     if (!$authid ) {
 669         $action = 'create';
 670         # Save a blank record, get authid
 671         $authority = Koha::Authority->new({ datecreated => \'NOW()', marcxml => '' })->store();
 672         $authority->discard_changes();
 673         $authid = $authority->authid;
 674         logaction( "AUTHORITIES", "ADD", $authid, "authority" ) if C4::Context->preference("AuthoritiesLog");
 675     } else {
 676         $action = 'modify';
 677         $authority = Koha::Authorities->find($authid);
 678     }
 679
 680     # Insert/update the recordID in MARC record
 681     $record->delete_field( $record->field('001') );
 682     $record->insert_fields_ordered( MARC::Field->new( '001', $authid ) );
 683     # Update
 684     $authority->update({ authtypecode => $authtypecode, marc => $record->as_usmarc, marcxml => $record->as_xml_record($format) });
 685
 686     unless ( $skip_record_index ) {
 687         my $indexer = Koha::SearchEngine::Indexer->new({ index => $Koha::SearchEngine::AUTHORITIES_INDEX });
 688         $indexer->index_records( $authid, "specialUpdate", "authorityserver", $record );
 689     }
 690
 691     _after_authority_action_hooks({ action => $action, authority_id => $authid });
 692     return ( $authid );
 693 }
 694
 695 =head2 DelAuthority
 696
 697     DelAuthority({ authid => $authid, [ skip_merge => 1 ] });
 698
 699 Deletes $authid and calls merge to cleanup linked biblio records.
 700 Parameter skip_merge is used in authorities/merge.pl. You should normally not
 701 use it.
 702
 703 skip_record_index will skip the indexation step.
 704
 705 =cut
 706
 707 sub DelAuthority {
 708     my ( $params ) = @_;
 709     my $authid = $params->{authid} || return;
 710     my $skip_merge = $params->{skip_merge};
 711     my $skip_record_index = $params->{skip_record_index} || 0;
 712
 713     my $dbh = C4::Context->dbh;
 714
 715     # Remove older pending merge requests for $authid to itself. (See bug 22437)
 716     my $condition = { authid => $authid, authid_new => [undef, 0, $authid], done => 0 };
 717     Koha::Authority::MergeRequests->search($condition)->delete;
 718
 719     merge({ mergefrom => $authid }) if !$skip_merge;
 720     $dbh->do( "DELETE FROM auth_header WHERE authid=?", undef, $authid );
 721     logaction( "AUTHORITIES", "DELETE", $authid, "authority" ) if C4::Context->preference("AuthoritiesLog");
 722     unless ( $skip_record_index ) {
 723         my $indexer = Koha::SearchEngine::Indexer->new({ index => $Koha::SearchEngine::AUTHORITIES_INDEX });
 724         $indexer->index_records( $authid, "recordDelete", "authorityserver", undef );
 725     }
 726
 727     _after_authority_action_hooks({ action => 'delete', authority_id => $authid });
 728 }
 729
 730 =head2 ModAuthority
 731
 732   $authid= &ModAuthority($authid,$record,$authtypecode, [ { skip_merge => 1 ] )
 733
 734 Modifies authority record, optionally updates attached biblios.
 735 The parameter skip_merge is optional and should be used with care.
 736
 737 skip_record_index will skip the indexation step.
 738
 739 =cut
 740
 741 sub ModAuthority {
 742     my ( $authid, $record, $authtypecode, $params ) = @_;
 743
 744     my $skip_record_index = $params->{skip_record_index} || 0;
 745
 746     my $oldrecord = GetAuthority($authid);
 747     #Now rewrite the $record to table with an add
 748     $authid = AddAuthority($record, $authid, $authtypecode, { skip_record_index => $skip_record_index });
 749     merge({ mergefrom => $authid, MARCfrom => $oldrecord, mergeto => $authid, MARCto => $record }) if !$params->{skip_merge};
 750     logaction( "AUTHORITIES", "MODIFY", $authid, "authority BEFORE=>" . $oldrecord->as_formatted ) if C4::Context->preference("AuthoritiesLog");
 751     return $authid;
 752 }
 753
 754 =head2 GetAuthorityXML
 755
 756   $marcxml= &GetAuthorityXML( $authid)
 757
 758 returns xml form of record $authid
 759
 760 =cut
 761
 762 sub GetAuthorityXML {
 763   # Returns MARC::XML of the authority passed in parameter.
 764   my ( $authid ) = @_;
 765   if (uc(C4::Context->preference('marcflavour')) eq 'UNIMARC') {
 766       my $dbh=C4::Context->dbh;
 767       my $sth = $dbh->prepare("select marcxml from auth_header where authid=? "  );
 768       $sth->execute($authid);
 769       my ($marcxml)=$sth->fetchrow;
 770       return $marcxml;
 771   }
 772   else {
 773       # for MARC21, call GetAuthority instead of
 774       # getting the XML directly since we may
 775       # need to fix up the location of the authority
 776       # code -- note that this is reasonably safe
 777       # because GetAuthorityXML is used only by the
 778       # indexing processes like zebraqueue_start.pl
 779       my $record = GetAuthority($authid);
 780       return $record->as_xml_record('MARC21');
 781   }
 782 }
 783
 784 =head2 GetAuthority
 785
 786   $record= &GetAuthority( $authid)
 787
 788 Returns MARC::Record of the authority passed in parameter.
 789
 790 =cut
 791
 792 sub GetAuthority {
 793     my ($authid)=@_;
 794     my $authority = Koha::MetadataRecord::Authority->get_from_authid($authid);
 795     return unless $authority;
 796     return ($authority->record);
 797 }
 798
 799 =head2 FindDuplicateAuthority
 800
 801   $record= &FindDuplicateAuthority( $record, $authtypecode)
 802
 803 return $authid,Summary if duplicate is found.
 804
 805 Comments : an improvement would be to return All the records that match.
 806
 807 =cut
 808
 809 sub FindDuplicateAuthority {
 810
 811     my ($record,$authtypecode)=@_;
 812     my $dbh = C4::Context->dbh;
 813     my $auth_tag_to_report = Koha::Authority::Types->find($authtypecode)->auth_tag_to_report;
 814     # build a request for SearchAuthorities
 815     my $op = 'AND';
 816     my $query='at:"'.$authtypecode.'" '; # Quote authtype code to avoid unescaping slash in GENRE/FORM later
 817     my $filtervalues=qr([\001-\040\Q!'"`#$%&*+,-./:;<=>?@(){[}_|~\E\]]);
 818     if ($record->field($auth_tag_to_report)) {
 819         foreach ($record->field($auth_tag_to_report)->subfields()) {
 820             $_->[1]=~s/$filtervalues/ /g; $query.= " $op he:\"".$_->[1]."\"" if ($_->[0]=~/[A-z]/);
 821         }
 822     }
 823     my $searcher = Koha::SearchEngine::Search->new({index => $Koha::SearchEngine::AUTHORITIES_INDEX});
 824     my ($error, $results, $total_hits) = $searcher->simple_search_compat( $query, 0, 1, [ 'authorityserver' ] );
 825     # there is at least 1 result => return the 1st one
 826     if (!defined $error && @{$results} ) {
 827         my $marcrecord = C4::Search::new_record_from_zebra(
 828             'authorityserver',
 829             $results->[0]
 830         );
 831         return $marcrecord->field('001')->data,BuildSummary($marcrecord,$marcrecord->field('001')->data,$authtypecode);
 832     }
 833     # no result, returns nothing
 834     return;
 835 }
 836
 837 =head2 BuildSummary
 838
 839   $summary= &BuildSummary( $record, $authid, $authtypecode)
 840
 841 Returns a hashref with a summary of the specified record.
 842
 843 Comment : authtypecode can be inferred from both record and authid.
 844 Moreover, authid can also be inferred from $record.
 845 Would it be interesting to delete those things.
 846
 847 =cut
 848
 849 sub BuildSummary {
 850     ## give this a Marc record to return summary
 851     my ($record,$authid,$authtypecode)=@_;
 852     my $dbh=C4::Context->dbh;
 853     my %summary;
 854     my $summary_template;
 855     # handle $authtypecode is NULL or eq ""
 856     if ($authtypecode) {
 857         my $authref = Koha::Authority::Types->find($authtypecode);
 858         if ( $authref ) {
 859             $summary{authtypecode} = $authref->authtypecode;
 860             $summary{type} = $authref->authtypetext;
 861             $summary_template = $authref->summary;
 862             # for MARC21, the authority type summary displays a label meant for
 863             # display
 864             if (C4::Context->preference('marcflavour') ne 'UNIMARC') {
 865                 $summary{label} = $authref->summary;
 866             } else {
 867                 $summary{summary} = $authref->summary;
 868             }
 869         }
 870     }
 871     my $marc21subfields = 'abcdfghjklmnopqrstuvxyz68';
 872     my %marc21controlrefs = ( 'a' => 'earlier',
 873         'b' => 'later',
 874         'd' => 'acronym',
 875         'f' => 'musical',
 876         'g' => 'broader',
 877         'h' => 'narrower',
 878         'n' => 'notapplicable',
 879         'i' => 'subfi',
 880         't' => 'parent'
 881     );
 882     my %unimarc_relation_from_code = (
 883         g => 'broader',
 884         h => 'narrower',
 885         a => 'seealso',
 886     );
 887     my %thesaurus;
 888     $thesaurus{'1'}="Peuples";
 889     $thesaurus{'2'}="Anthroponymes";
 890     $thesaurus{'3'}="Oeuvres";
 891     $thesaurus{'4'}="Chronologie";
 892     $thesaurus{'5'}="Lieux";
 893     $thesaurus{'6'}="Sujets";
 894     #thesaurus a remplir
 895     my $reported_tag;
 896 # if the library has a summary defined, use it. Otherwise, build a standard one
 897 # FIXME - it appears that the summary field in the authority frameworks
 898 #         can work as a display template.  However, this doesn't
 899 #         suit the MARC21 version, so for now the "templating"
 900 #         feature will be enabled only for UNIMARC for backwards
 901 #         compatibility.
 902     if ($summary{summary} and C4::Context->preference('marcflavour') eq 'UNIMARC') {
 903         my @matches = ($summary{summary} =~ m/\[(.*?)(\d{3})([\*a-z0-9])(.*?)\]/g);
 904         my (@textbefore, @tag, @subtag, @textafter);
 905         for(my $i = 0; $i < scalar @matches; $i++){
 906             push @textbefore, $matches[$i] if($i%4 == 0);
 907             push @tag,        $matches[$i] if($i%4 == 1);
 908             push @subtag,     $matches[$i] if($i%4 == 2);
 909             push @textafter,  $matches[$i] if($i%4 == 3);
 910         }
 911         for(my $i = scalar @tag; $i >= 0; $i--){
 912             my $textbefore = $textbefore[$i] || '';
 913             my $tag = $tag[$i] || '';
 914             my $subtag = $subtag[$i] || '';
 915             my $textafter = $textafter[$i] || '';
 916             my $value = '';
 917             my $field = $record->field($tag);
 918             if ( $field ) {
 919                 if($subtag eq '*') {
 920                     if($tag < 10) {
 921                         $value = $textbefore . $field->data() . $textafter;
 922                     }
 923                 } else {
 924                     my @subfields = $field->subfield($subtag);
 925                     if(@subfields > 0) {
 926                         $value = $textbefore . join (" - ", @subfields) . $textafter;
 927                     }
 928                 }
 929             }
 930             $summary{summary} =~ s/\[\Q$textbefore$tag$subtag$textafter\E\]/$value/;
 931         }
 932         $summary{summary} =~ s/\\n/<br \/>/g;
 933     }
 934     my @authorized;
 935     my @notes;
 936     my @seefrom;
 937     my @seealso;
 938     my @otherscript;
 939     if (C4::Context->preference('marcflavour') eq 'UNIMARC') {
 940 # construct UNIMARC summary, that is quite different from MARC21 one
 941 # accepted form
 942         foreach my $field ($record->field('2..')) {
 943             push @authorized, {
 944                 heading => $field->as_string('abcdefghijlmnopqrstuvwxyz'),
 945                 hemain  => ( $field->subfield('a') // undef ),
 946                 field   => $field->tag(),
 947             };
 948         }
 949 # rejected form(s)
 950         foreach my $field ($record->field('3..')) {
 951             push @notes, { note => $field->subfield('a'), field => $field->tag() };
 952         }
 953         foreach my $field ($record->field('4..')) {
 954             my $thesaurus = $field->subfield('2') ? "thes. : ".$thesaurus{"$field->subfield('2')"}." : " : '';
 955             push @seefrom, {
 956                 heading => $thesaurus . $field->as_string('abcdefghijlmnopqrstuvwxyz'),
 957                 hemain  => ( $field->subfield('a') // undef ),
 958                 type    => 'seefrom',
 959                 field   => $field->tag(),
 960             };
 961         }
 962
 963         # see :
 964         @seealso = map {
 965             my $type = $unimarc_relation_from_code{$_->subfield('5') || 'a'};
 966             my $heading = $_->as_string('abcdefgjxyz');
 967             {
 968                 field   => $_->tag,
 969                 type    => $type,
 970                 heading => $heading,
 971                 hemain  => ( $_->subfield('a') // undef ),
 972                 search  => $heading,
 973                 authid  => ( $_->subfield('9') // undef ),
 974             }
 975         } $record->field('5..');
 976
 977         # Other forms
 978         @otherscript = map { {
 979             lang      => length ($_->subfield('8')) == 6 ? substr ($_->subfield('8'), 3, 3) : $_->subfield('8') || '',
 980             term      => $_->subfield('a') . ($_->subfield('b') ? ', ' . $_->subfield('b') : ''),
 981             direction => 'ltr',
 982             field     => $_->tag,
 983         } } $record->field('7..');
 984
 985     } else {
 986 # construct MARC21 summary
 987 # FIXME - looping over 1XX is questionable
 988 # since MARC21 authority should have only one 1XX
 989         use C4::Heading::MARC21;
 990         my $handler = C4::Heading::MARC21->new();
 991         my $subfields_to_report;
 992         foreach my $field ($record->field('1..')) {
 993             my $tag = $field->tag();
 994             next if "152" eq $tag;
 995 # FIXME - 152 is not a good tag to use
 996 # in MARC21 -- purely local tags really ought to be
 997 # 9XX
 998
 999             $subfields_to_report = $handler->get_auth_heading_subfields_to_report($tag);
1000
1001             if ($subfields_to_report) {
1002                 push @authorized, {
1003                     heading => $field->as_string($subfields_to_report),
1004                     hemain  => ( $field->subfield( substr($subfields_to_report, 0, 1) ) // undef ),
1005                     field   => $tag,
1006                 };
1007             } else {
1008                 push @authorized, {
1009                     heading => $field->as_string(),
1010                     hemain  => ( $field->subfield( 'a' ) // undef ),
1011                     field   => $tag,
1012                 };
1013             }
1014         }
1015         foreach my $field ($record->field('4..')) { #See From
1016             my $type = 'seefrom';
1017             $type = ($marc21controlrefs{substr $field->subfield('w'), 0, 1} || '') if ($field->subfield('w'));
1018             if ($type eq 'notapplicable') {
1019                 $type = substr $field->subfield('w'), 2, 1;
1020                 $type = 'earlier' if $type && $type ne 'n';
1021             }
1022             if ($type eq 'subfi') {
1023                 push @seefrom, {
1024                     heading => $field->as_string($marc21subfields),
1025                     hemain  => scalar $field->subfield( substr($marc21subfields, 0, 1) ),
1026                     type    => ($field->subfield('i') || ''),
1027                     field   => $field->tag(),
1028                 };
1029             } else {
1030                 push @seefrom, {
1031                     heading => $field->as_string($marc21subfields),
1032                     hemain  => scalar $field->subfield( substr($marc21subfields, 0, 1) ),
1033                     type    => $type,
1034                     field   => $field->tag(),
1035                 };
1036             }
1037         }
1038         foreach my $field ($record->field('5..')) { #See Also
1039             my $type = 'seealso';
1040             $type = ($marc21controlrefs{substr $field->subfield('w'), 0, 1} || '') if ($field->subfield('w'));
1041             if ($type eq 'notapplicable') {
1042                 $type = substr $field->subfield('w'), 2, 1;
1043                 $type = 'earlier' if $type && $type ne 'n';
1044             }
1045             if ($type eq 'subfi') {
1046                 push @seealso, {
1047                     heading => $field->as_string($marc21subfields),
1048                     hemain  => scalar $field->subfield( substr($marc21subfields, 0, 1) ),
1049                     type    => scalar $field->subfield('i'),
1050                     field   => $field->tag(),
1051                     search  => $field->as_string($marc21subfields) || '',
1052                     authid  => $field->subfield('9') || ''
1053                 };
1054             } else {
1055                 push @seealso, {
1056                     heading => $field->as_string($marc21subfields),
1057                     hemain  => scalar $field->subfield( substr($marc21subfields, 0, 1) ),
1058                     type    => $type,
1059                     field   => $field->tag(),
1060                     search  => $field->as_string($marc21subfields) || '',
1061                     authid  => $field->subfield('9') || ''
1062                 };
1063             }
1064         }
1065         foreach my $field ($record->field('6..')) {
1066             push @notes, { note => $field->as_string(), field => $field->tag() };
1067         }
1068         foreach my $field ($record->field('880')) {
1069             my $linkage = $field->subfield('6');
1070             my $category = substr $linkage, 0, 1;
1071             if ($category eq '1') {
1072                 $category = 'preferred';
1073             } elsif ($category eq '4') {
1074                 $category = 'seefrom';
1075             } elsif ($category eq '5') {
1076                 $category = 'seealso';
1077             }
1078             my $type;
1079             if ($field->subfield('w')) {
1080                 $type = $marc21controlrefs{substr $field->subfield('w'), '0'};
1081             } else {
1082                 $type = $category;
1083             }
1084             my $direction = $linkage =~ m#/r$# ? 'rtl' : 'ltr';
1085             push @otherscript, { term => $field->as_string($subfields_to_report), category => $category, type => $type, direction => $direction, linkage => $linkage };
1086         }
1087     }
1088     $summary{mainentry} = $authorized[0]->{heading};
1089     $summary{mainmainentry} = $authorized[0]->{hemain};
1090     $summary{authorized} = \@authorized;
1091     $summary{notes} = \@notes;
1092     $summary{seefrom} = \@seefrom;
1093     $summary{seealso} = \@seealso;
1094     $summary{otherscript} = \@otherscript;
1095     return \%summary;
1096 }
1097
1098 =head2 GetAuthorizedHeading
1099
1100   $heading = &GetAuthorizedHeading({ record => $record, authid => $authid })
1101
1102 Takes a MARC::Record object describing an authority record or an authid, and
1103 returns a string representation of the first authorized heading. This routine
1104 should be considered a temporary shim to ease the future migration of authority
1105 data from C4::AuthoritiesMarc to the object-oriented Koha::*::Authority.
1106
1107 =cut
1108
1109 sub GetAuthorizedHeading {
1110     my $args = shift;
1111     my $record;
1112     unless ($record = $args->{record}) {
1113         return unless $args->{authid};
1114         $record = GetAuthority($args->{authid});
1115     }
1116     return unless (ref $record eq 'MARC::Record');
1117     if (C4::Context->preference('marcflavour') eq 'UNIMARC') {
1118 # construct UNIMARC summary, that is quite different from MARC21 one
1119 # accepted form
1120         foreach my $field ($record->field('2..')) {
1121             return $field->as_string('abcdefghijlmnopqrstuvwxyz');
1122         }
1123     } else {
1124         use C4::Heading::MARC21;
1125         my $handler = C4::Heading::MARC21->new();
1126
1127         foreach my $field ($record->field('1..')) {
1128             my $subfields = $handler->get_valid_bib_heading_subfields($field->tag());
1129             return $field->as_string($subfields) if ($subfields);
1130         }
1131     }
1132     return;
1133 }
1134
1135 =head2 CompareFieldWithAuthority
1136
1137   $match = &CompareFieldWithAuthority({ field => $field, authid => $authid })
1138
1139 Takes a MARC::Field from a bibliographic record and an authid, and returns true if they match.
1140
1141 =cut
1142
1143 sub CompareFieldWithAuthority {
1144     my $args = shift;
1145
1146     my $record = GetAuthority($args->{authid});
1147     return unless (ref $record eq 'MARC::Record');
1148     if (C4::Context->preference('marcflavour') eq 'UNIMARC') {
1149         # UNIMARC has same subfields for bibs and authorities
1150         foreach my $field ($record->field('2..')) {
1151             return compare_fields($field, $args->{field}, 'abcdefghijlmnopqrstuvwxyz');
1152         }
1153     } else {
1154         use C4::Heading::MARC21;
1155         my $handler = C4::Heading::MARC21->new();
1156
1157         foreach my $field ($record->field('1..')) {
1158             my $subfields = $handler->get_valid_bib_heading_subfields($field->tag());
1159             return compare_fields($field, $args->{field}, $subfields) if ($subfields);
1160         }
1161     }
1162     return 0;
1163 }
1164
1165 =head2 BuildAuthHierarchies
1166
1167   $text= &BuildAuthHierarchies( $authid, $force)
1168
1169 return text containing trees for hierarchies
1170 for them to be stored in auth_header
1171
1172 Example of text:
1173 122,1314,2452;1324,2342,3,2452
1174
1175 =cut
1176
1177 sub BuildAuthHierarchies{
1178     my $authid = shift @_;
1179 #   warn "authid : $authid";
1180     my $force = shift @_ || (C4::Context->preference('marcflavour') eq 'UNIMARC' ? 0 : 1);
1181     my @globalresult;
1182     my $dbh=C4::Context->dbh;
1183     my $hierarchies;
1184     my $data = GetHeaderAuthority($authid);
1185     if ($data->{'authtrees'} and not $force){
1186         return $data->{'authtrees'};
1187 #  } elsif ($data->{'authtrees'}){
1188 #    $hierarchies=$data->{'authtrees'};
1189     } else {
1190         my $record = GetAuthority($authid);
1191         my $found;
1192         return unless $record;
1193         foreach my $field ($record->field('5..')){
1194             my $broader = 0;
1195             $broader = 1 if (
1196                     (C4::Context->preference('marcflavour') eq 'UNIMARC' && $field->subfield('5') && $field->subfield('5') eq 'g') ||
1197                     (C4::Context->preference('marcflavour') ne 'UNIMARC' && $field->subfield('w') && substr($field->subfield('w'), 0, 1) eq 'g'));
1198             if ($broader) {
1199                 my $subfauthid=_get_authid_subfield($field) || '';
1200                 next if ($subfauthid eq $authid);
1201                 my $parentrecord = GetAuthority($subfauthid);
1202                 next unless $parentrecord;
1203                 my $localresult=$hierarchies;
1204                 my $trees;
1205                 $trees = BuildAuthHierarchies($subfauthid);
1206                 my @trees;
1207                 if ($trees=~/;/){
1208                     @trees = split(/;/,$trees);
1209                 } else {
1210                     push @trees, $trees;
1211                 }
1212                 foreach (@trees){
1213                     $_.= ",$authid";
1214                 }
1215                 @globalresult = (@globalresult,@trees);
1216                 $found=1;
1217             }
1218             $hierarchies=join(";",@globalresult);
1219         }
1220 #Unless there is no ancestor, I am alone.
1221         $hierarchies="$authid" unless ($hierarchies);
1222     }
1223     AddAuthorityTrees($authid,$hierarchies);
1224     return $hierarchies;
1225 }
1226
1227 =head2 BuildAuthHierarchy
1228
1229   $ref= &BuildAuthHierarchy( $record, $class,$authid)
1230
1231 return a hashref in order to display hierarchy for record and final Authid $authid
1232
1233 "loopparents"
1234 "loopchildren"
1235 "class"
1236 "loopauthid"
1237 "current_value"
1238 "value"
1239
1240 =cut
1241
1242 sub BuildAuthHierarchy{
1243     my $record = shift @_;
1244     my $class = shift @_;
1245     my $authid_constructed = shift @_;
1246     return unless ($record && $record->field('001'));
1247     my $authid=$record->field('001')->data();
1248     my %cell;
1249     my $parents=""; my $children="";
1250     my (@loopparents,@loopchildren);
1251     my $marcflavour = C4::Context->preference('marcflavour');
1252     my $relationshipsf = $marcflavour eq 'UNIMARC' ? '5' : 'w';
1253     foreach my $field ($record->field('5..')){
1254         my $subfauthid=_get_authid_subfield($field);
1255         if ($subfauthid && $field->subfield($relationshipsf) && $field->subfield('a')){
1256             my $relationship = substr($field->subfield($relationshipsf), 0, 1);
1257             if ($relationship eq 'h'){
1258                 push @loopchildren, { "authid"=>$subfauthid,"value"=>$field->subfield('a')};
1259             }
1260             elsif ($relationship eq 'g'){
1261                 push @loopparents, { "authid"=>$subfauthid,"value"=>$field->subfield('a')};
1262             }
1263 # brothers could get in there with an else
1264         }
1265     }
1266     $cell{"parents"}=\@loopparents;
1267     $cell{"children"}=\@loopchildren;
1268     $cell{"class"}=$class;
1269     $cell{"authid"}=$authid;
1270     $cell{"current_value"} =1 if ($authid eq $authid_constructed);
1271     $cell{"value"}=C4::Context->preference('marcflavour') eq 'UNIMARC' ? $record->subfield('2..',"a") : $record->subfield('1..', 'a');
1272     return \%cell;
1273 }
1274
1275 =head2 BuildAuthHierarchyBranch
1276
1277   $branch = &BuildAuthHierarchyBranch( $tree, $authid[, $cnt])
1278
1279 Return a data structure representing an authority hierarchy
1280 given a list of authorities representing a single branch in
1281 an authority hierarchy tree. $authid is the current node in
1282 the tree (which may or may not be somewhere in the middle).
1283 $cnt represents the level of the upper-most item, and is only
1284 used when BuildAuthHierarchyBranch is called recursively (i.e.,
1285 don't ever pass in anything but zero to it).
1286
1287 =cut
1288
1289 sub BuildAuthHierarchyBranch {
1290     my ($tree, $authid, $cnt) = @_;
1291     $cnt |= 0;
1292     my $elementdata = GetAuthority(shift @$tree);
1293     my $branch = BuildAuthHierarchy($elementdata,"child".$cnt, $authid);
1294     if (scalar @$tree > 0) {
1295         my $nextBranch = BuildAuthHierarchyBranch($tree, $authid, ++$cnt);
1296         my $nextAuthid = $nextBranch->{authid};
1297         my $found;
1298         # If we already have the next branch listed as a child, let's
1299         # replace the old listing with the new one. If not, we will add
1300         # the branch at the end.
1301         foreach my $cell (@{$branch->{children}}) {
1302             if ($cell->{authid} eq $nextAuthid) {
1303                 $cell = $nextBranch;
1304                 $found = 1;
1305                 last;
1306             }
1307         }
1308         push @{$branch->{children}}, $nextBranch unless $found;
1309     }
1310     return $branch;
1311 }
1312
1313 =head2 GenerateHierarchy
1314
1315   $hierarchy = &GenerateHierarchy($authid);
1316
1317 Return an arrayref holding one or more "trees" representing
1318 authority hierarchies.
1319
1320 =cut
1321
1322 sub GenerateHierarchy {
1323     my ($authid) = @_;
1324     my $trees    = BuildAuthHierarchies($authid);
1325     my @trees    = split /;/,$trees ;
1326     push @trees,$trees unless (@trees);
1327     my @loophierarchies;
1328     foreach my $tree (@trees){
1329         my @tree=split /,/,$tree;
1330         push @tree, $tree unless (@tree);
1331         my $branch = BuildAuthHierarchyBranch(\@tree, $authid);
1332         push @loophierarchies, [ $branch ];
1333     }
1334     return \@loophierarchies;
1335 }
1336
1337 sub _get_authid_subfield{
1338     my ($field)=@_;
1339     return $field->subfield('9')||$field->subfield('3');
1340 }
1341
1342 =head2 GetHeaderAuthority
1343
1344   $ref= &GetHeaderAuthority( $authid)
1345
1346 return a hashref in order auth_header table data
1347
1348 =cut
1349
1350 sub GetHeaderAuthority{
1351   my $authid = shift @_;
1352   my $sql= "SELECT * from auth_header WHERE authid = ?";
1353   my $dbh=C4::Context->dbh;
1354   my $rq= $dbh->prepare($sql);
1355   $rq->execute($authid);
1356   my $data= $rq->fetchrow_hashref;
1357   return $data;
1358 }
1359
1360 =head2 AddAuthorityTrees
1361
1362   $ref= &AddAuthorityTrees( $authid, $trees)
1363
1364 return success or failure
1365
1366 =cut
1367
1368 sub AddAuthorityTrees{
1369   my $authid = shift @_;
1370   my $trees = shift @_;
1371   my $sql= "UPDATE IGNORE auth_header set authtrees=? WHERE authid = ?";
1372   my $dbh=C4::Context->dbh;
1373   my $rq= $dbh->prepare($sql);
1374   return $rq->execute($trees,$authid);
1375 }
1376
1377 =head2 merge
1378
1379     $count = merge({
1380         mergefrom => $mergefrom,
1381         [ MARCfrom => $MARCfrom, ]
1382         [ mergeto => $mergeto, ]
1383         [ MARCto => $MARCto, ]
1384         [ biblionumbers => [ $a, $b, $c ], ]
1385         [ override_limit => 1, ]
1386     });
1387
1388 Merge biblios linked to authority $mergefrom (mandatory parameter).
1389 If $mergeto equals mergefrom, the linked biblio field is updated.
1390 If $mergeto is different, the biblio field will be linked to $mergeto.
1391 If $mergeto is missing, the biblio field is deleted.
1392
1393 MARCfrom is used to determine if a cleared subfield in the authority record
1394 should be removed from a biblio. MARCto is used to populate the biblio
1395 record with the updated values; if you do not pass it, the biblio field
1396 will be deleted (same as missing mergeto).
1397
1398 Normally all biblio records linked to $mergefrom, will be considered. But
1399 you can pass specific numbers via the biblionumbers parameter.
1400
1401 The parameter override_limit is used by the cron job to force larger
1402 postponed merges.
1403
1404 Note: Although $mergefrom and $mergeto will normally be of the same
1405 authority type, merge also supports moving to another authority type.
1406
1407 =cut
1408
1409 sub merge {
1410     my ( $params ) = @_;
1411     my $mergefrom = $params->{mergefrom} || return;
1412     my $MARCfrom = $params->{MARCfrom};
1413     my $mergeto = $params->{mergeto};
1414     my $MARCto = $params->{MARCto};
1415     my $override_limit = $params->{override_limit};
1416
1417     # If we do not have biblionumbers, we get all linked biblios if the
1418     # number of linked records does not exceed the limit UNLESS we override.
1419     my @biblionumbers;
1420     if( $params->{biblionumbers} ) {
1421         @biblionumbers = @{ $params->{biblionumbers} };
1422     } elsif( $override_limit ) {
1423         @biblionumbers = Koha::Authorities->linked_biblionumbers({ authid => $mergefrom });
1424     } else { # now first check number of linked records
1425         my $max = C4::Context->preference('AuthorityMergeLimit') // 0;
1426         my $hits = Koha::Authorities->get_usage_count({ authid => $mergefrom });
1427         if( $hits > 0 && $hits <= $max ) {
1428             @biblionumbers = Koha::Authorities->linked_biblionumbers({ authid => $mergefrom });
1429         } elsif( $hits > $max ) { #postpone this merge to the cron job
1430             Koha::Authority::MergeRequest->new({
1431                 authid => $mergefrom,
1432                 oldrecord => $MARCfrom,
1433                 authid_new => $mergeto,
1434             })->store;
1435         }
1436     }
1437     return 0 if !@biblionumbers;
1438
1439     # Search authtypes and reporting tags
1440     my $authfrom = Koha::Authorities->find($mergefrom);
1441     my $authto = Koha::Authorities->find($mergeto);
1442     my $authtypefrom;
1443     my $authtypeto   = $authto ? Koha::Authority::Types->find($authto->authtypecode) : undef;
1444     if( $mergeto && $mergefrom == $mergeto && $MARCfrom ) {
1445         # bulkmarcimport may have changed the authtype; see BZ 19693
1446         my $old_type = $MARCfrom->subfield( get_auth_type_location() ); # going via default
1447         if( $old_type && $authto && $old_type ne $authto->authtypecode ) {
1448             # Type change: handled by simulating a postponed merge where the auth record has been deleted already
1449             # This triggers a walk through all auth controlled tags
1450             undef $authfrom;
1451         }
1452     }
1453     $authtypefrom = Koha::Authority::Types->find($authfrom->authtypecode) if $authfrom;
1454     my $auth_tag_to_report_from = $authtypefrom ? $authtypefrom->auth_tag_to_report : '';
1455     my $auth_tag_to_report_to   = $authtypeto ? $authtypeto->auth_tag_to_report : '';
1456
1457     my @record_to;
1458     @record_to = $MARCto->field($auth_tag_to_report_to)->subfields() if $auth_tag_to_report_to && $MARCto && $MARCto->field($auth_tag_to_report_to);
1459     # Exceptional: If MARCto and authtypeto exist but $auth_tag_to_report_to
1460     # is empty, make sure that $9 and $a remain (instead of clearing the
1461     # reference) in order to allow for data recovery.
1462     # Note: We need $a too, since a single $9 does not pass ModBiblio.
1463     if( $MARCto && $authtypeto && !@record_to  ) {
1464         push @record_to, [ 'a', ' ' ]; # do not remove the space
1465     }
1466
1467     my @record_from;
1468     if( !$authfrom && $MARCfrom && $MARCfrom->field('1..','2..') ) {
1469     # postponed merge, authfrom was deleted and MARCfrom only contains the old reporting tag (and possibly a 100 for UNIMARC)
1470     # 2XX is for UNIMARC; we use -1 in order to skip 100 in UNIMARC; this will not impact MARC21, since there is only one tag
1471         @record_from = ( $MARCfrom->field('1..','2..') )[-1]->subfields;
1472     } elsif( $auth_tag_to_report_from && $MARCfrom && $MARCfrom->field($auth_tag_to_report_from) ) {
1473         @record_from = $MARCfrom->field($auth_tag_to_report_from)->subfields;
1474     }
1475
1476     # Get all candidate tags for the change
1477     # (This will reduce the search scope in marc records).
1478     # For a deleted authority record, we scan all auth controlled fields
1479     my $dbh = C4::Context->dbh;
1480     my $sql = "SELECT DISTINCT tagfield FROM marc_subfield_structure WHERE authtypecode=?";
1481     my $tags_using_authtype = $authtypefrom && $authtypefrom->authtypecode ? $dbh->selectcol_arrayref( $sql, undef, ( $authtypefrom->authtypecode )) : $dbh->selectcol_arrayref( "SELECT DISTINCT tagfield FROM marc_subfield_structure WHERE authtypecode IS NOT NULL AND authtypecode<>''" );
1482     my $tags_new;
1483     if( $authtypeto && ( !$authtypefrom || $authtypeto->authtypecode ne $authtypefrom->authtypecode )) {
1484         $tags_new = $dbh->selectcol_arrayref( $sql, undef, ( $authtypeto->authtypecode ));
1485     }
1486
1487     my $overwrite = C4::Context->preference( 'AuthorityMergeMode' ) eq 'strict';
1488     my $skip_subfields = $overwrite
1489         # This hash contains all subfields from the authority report fields
1490         # Including $MARCfrom as well as $MARCto
1491         # We only need it in loose merge mode; replaces the former $exclude
1492         ? {}
1493         : { map { ( $_->[0], 1 ); } ( @record_from, @record_to ) };
1494
1495     my $counteditedbiblio = 0;
1496     foreach my $biblionumber ( @biblionumbers ) {
1497         my $biblio = Koha::Biblios->find($biblionumber);
1498         next unless $biblio;
1499         my $marcrecord = $biblio->metadata->record;
1500         my $update = 0;
1501         foreach my $tagfield (@$tags_using_authtype) {
1502             my $countfrom = 0;    # used in strict mode to remove duplicates
1503             foreach my $field ( $marcrecord->field($tagfield) ) {
1504                 my $auth_number = $field->subfield("9");    # link to authority
1505                 my $tag         = $field->tag();
1506                 next if !defined($auth_number) || $auth_number ne $mergefrom;
1507                 $countfrom++;
1508                 if ( !$mergeto || !@record_to ||
1509                   ( $overwrite && $countfrom > 1 ) ) {
1510                     # !mergeto or !record_to indicates a delete
1511                     # Other condition: remove this duplicate in strict mode
1512                     $marcrecord->delete_field($field);
1513                     $update = 1;
1514                     next;
1515                 }
1516                 my $newtag = $tags_new && @$tags_new
1517                   ? _merge_newtag( $tag, $tags_new )
1518                   : $tag;
1519                 my $controlled_ind = $authto->controlled_indicators({ record => $MARCto, biblio_tag => $newtag });
1520                 my $field_to = MARC::Field->new(
1521                     $newtag,
1522                     $controlled_ind->{ind1} // $field->indicator(1),
1523                     $controlled_ind->{ind2} // $field->indicator(2),
1524                     9 => $mergeto, # Needed to create field, will be moved
1525                 );
1526                 my ( @prefix, @postfix );
1527                 if ( !$overwrite ) {
1528                     # add subfields back in loose mode, check skip_subfields
1529                     # The first extra subfields will be in front of the
1530                     # controlled block, the rest at the end.
1531                     my $prefix_flag = 1;
1532                     foreach my $subfield ( $field->subfields ) {
1533                         next if $subfield->[0] eq '9'; # skip but leave flag
1534                         if ( $skip_subfields->{ $subfield->[0] } ) {
1535                             # This marks the beginning of the controlled block
1536                             $prefix_flag = 0;
1537                             next;
1538                         }
1539                         if ($prefix_flag) {
1540                             push @prefix, [ $subfield->[0], $subfield->[1] ];
1541                         } else {
1542                             push @postfix, [ $subfield->[0], $subfield->[1] ];
1543                         }
1544                     }
1545                 }
1546                 foreach my $subfield ( @prefix, @record_to, @postfix ) {
1547                     $field_to->add_subfields($subfield->[0] => $subfield->[1]);
1548                 }
1549                 if( exists $controlled_ind->{sub2} ) { # thesaurus info
1550                     if( defined $controlled_ind->{sub2} ) {
1551                         # Add or replace
1552                         $field_to->update( 2 => $controlled_ind->{sub2} );
1553                     } else {
1554                         # Key alerts us here to remove $2
1555                         $field_to->delete_subfield( code => '2' );
1556                     }
1557                 }
1558                 # Move $9 to the end
1559                 $field_to->delete_subfield( code => '9' );
1560                 $field_to->add_subfields( 9 => $mergeto );
1561
1562                 if ($tags_new && @$tags_new) {
1563                     $marcrecord->delete_field($field);
1564                     append_fields_ordered( $marcrecord, $field_to );
1565                 } else {
1566                     $field->replace_with($field_to);
1567                 }
1568                 $update = 1;
1569             }
1570         }
1571         next if !$update;
1572         ModBiblio($marcrecord, $biblionumber, GetFrameworkCode($biblionumber));
1573         $counteditedbiblio++;
1574     }
1575     return $counteditedbiblio;
1576 }
1577
1578 sub _merge_newtag {
1579 # Routine is only called for an (exceptional) authtypecode change
1580 # Fixes old behavior of returning the first tag found
1581     my ( $oldtag, $new_tags ) = @_;
1582
1583     # If we e.g. have 650 and 151,651,751 try 651 and check presence
1584     my $prefix = substr( $oldtag, 0, 1 );
1585     my $guess = $prefix . substr( $new_tags->[0], -2 );
1586     if( grep { $_ eq $guess } @$new_tags ) {
1587         return $guess;
1588     }
1589     # Otherwise return one from the same block e.g. 6XX for 650
1590     # If not there too, fall back to first new tag (old behavior!)
1591     my @same_block = grep { /^$prefix/ } @$new_tags;
1592     return @same_block ? $same_block[0] : $new_tags->[0];
1593 }
1594
1595 sub append_fields_ordered {
1596 # while we lack this function in MARC::Record
1597 # we do not want insert_fields_ordered since it inserts before
1598     my ( $record, $field ) = @_;
1599     if( my @flds = $record->field( $field->tag ) ) {
1600         $record->insert_fields_after( pop @flds, $field );
1601     } else { # now fallback to insert_fields_ordered
1602         $record->insert_fields_ordered( $field );
1603     }
1604 }
1605
1606 =head2 get_auth_type_location
1607
1608   my ($tag, $subfield) = get_auth_type_location($auth_type_code);
1609
1610 Get the tag and subfield used to store the heading type
1611 for indexing purposes.  The C<$auth_type> parameter is
1612 optional; if it is not supplied, assume ''.
1613
1614 This routine searches the MARC authority framework
1615 for the tag and subfield whose kohafield is
1616 C<auth_header.authtypecode>; if no such field is
1617 defined in the framework, default to the hardcoded value
1618 specific to the MARC format.
1619
1620 =cut
1621
1622 sub get_auth_type_location {
1623     my $auth_type_code = @_ ? shift : '';
1624
1625     my ($tag, $subfield) = GetAuthMARCFromKohaField('auth_header.authtypecode', $auth_type_code);
1626     if (defined $tag and defined $subfield and $tag != 0 and $subfield ne '' and $subfield ne ' ') {
1627         return ($tag, $subfield);
1628     } else {
1629         if (C4::Context->preference('marcflavour') eq "MARC21")  {
1630             return C4::AuthoritiesMarc::MARC21::default_auth_type_location();
1631         } else {
1632             return C4::AuthoritiesMarc::UNIMARC::default_auth_type_location();
1633         }
1634     }
1635 }
1636
1637 =head2 compare_fields
1638
1639   my match = compare_fields($field1, $field2, 'abcde');
1640
1641 Compares the listed subfields of both fields and return true if they all match
1642
1643 =cut
1644
1645 sub compare_fields {
1646     my ($field1, $field2, $subfields) = @_;
1647
1648     foreach my $subfield (split(//, $subfields)) {
1649         my $subfield1 = $field1->subfield($subfield) // '';
1650         my $subfield2 = $field2->subfield($subfield) // '';
1651         return 0 unless $subfield1 eq $subfield2;
1652     }
1653     return 1;
1654 }
1655
1656
1657 =head2 _after_authority_action_hooks
1658
1659 Helper method that takes care of calling all plugin hooks
1660
1661 =cut
1662
1663 sub _after_authority_action_hooks {
1664     my ( $args ) = @_; # hash keys: action, authority_id
1665     return Koha::Plugins->call( 'after_authority_action', $args );
1666 }
1667
1668 END { }       # module clean-up code here (global destructor)
1669
1670 1;
1671 __END__
1672
1673 =head1 AUTHOR
1674
1675 Koha Development Team <http://koha-community.org/>
1676
1677 Paul POULAIN paul.poulain@free.fr
1678 Ere Maijala ere.maijala@helsinki.fi
1679
1680 =cut
1681