Bug 11842 - fix framework caching with memcache/plack
[koha.git] / C4 / Biblio.pm
1 package C4::Biblio;
2
3 # Copyright 2000-2002 Katipo Communications
4 # Copyright 2010 BibLibre
5 # Copyright 2011 Equinox Software, Inc.
6 #
7 # This file is part of Koha.
8 #
9 # Koha is free software; you can redistribute it and/or modify it under the
10 # terms of the GNU General Public License as published by the Free Software
11 # Foundation; either version 2 of the License, or (at your option) any later
12 # version.
13 #
14 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
15 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
16 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
17 #
18 # You should have received a copy of the GNU General Public License along
19 # with Koha; if not, write to the Free Software Foundation, Inc.,
20 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
21
22 use strict;
23 use warnings;
24 use Carp;
25
26 # use utf8;
27 use MARC::Record;
28 use MARC::File::USMARC;
29 use MARC::File::XML;
30 use POSIX qw(strftime);
31 use Module::Load::Conditional qw(can_load);
32
33 use C4::Koha;
34 use C4::Dates qw/format_date/;
35 use C4::Log;    # logaction
36 use C4::Budgets;
37 use C4::ClassSource;
38 use C4::Charset;
39 use C4::Linker;
40 use C4::OAI::Sets;
41
42 use Koha::Cache;
43
44 use vars qw($VERSION @ISA @EXPORT);
45
46 BEGIN {
47     $VERSION = 3.07.00.049;
48
49     require Exporter;
50     @ISA = qw( Exporter );
51
52     # to add biblios
53     # EXPORTED FUNCTIONS.
54     push @EXPORT, qw(
55       &AddBiblio
56     );
57
58     # to get something
59     push @EXPORT, qw(
60       &GetBiblio
61       &GetBiblioData
62       &GetBiblioItemData
63       &GetBiblioItemInfosOf
64       &GetBiblioItemByBiblioNumber
65       &GetBiblioFromItemNumber
66       &GetBiblionumberFromItemnumber
67
68       &GetRecordValue
69       &GetFieldMapping
70       &SetFieldMapping
71       &DeleteFieldMapping
72
73       &GetISBDView
74
75       &GetMarcControlnumber
76       &GetMarcNotes
77       &GetMarcISBN
78       &GetMarcISSN
79       &GetMarcSubjects
80       &GetMarcBiblio
81       &GetMarcAuthors
82       &GetMarcSeries
83       &GetMarcHosts
84       GetMarcUrls
85       &GetUsedMarcStructure
86       &GetXmlBiblio
87       &GetCOinSBiblio
88       &GetMarcPrice
89       &MungeMarcPrice
90       &GetMarcQuantity
91
92       &GetAuthorisedValueDesc
93       &GetMarcStructure
94       &GetMarcFromKohaField
95       &GetMarcSubfieldStructureFromKohaField
96       &GetFrameworkCode
97       &TransformKohaToMarc
98       &PrepHostMarcField
99
100       &CountItemsIssued
101       &CountBiblioInOrders
102       &GetSubscriptionsId
103       &GetHolds
104     );
105
106     # To modify something
107     push @EXPORT, qw(
108       &ModBiblio
109       &ModBiblioframework
110       &ModZebra
111       &UpdateTotalIssues
112       &RemoveAllNsb
113     );
114
115     # To delete something
116     push @EXPORT, qw(
117       &DelBiblio
118     );
119
120     # To link headings in a bib record
121     # to authority records.
122     push @EXPORT, qw(
123       &BiblioAutoLink
124       &LinkBibHeadingsToAuthorities
125     );
126
127     # Internal functions
128     # those functions are exported but should not be used
129     # they are usefull is few circumstances, so are exported.
130     # but don't use them unless you're a core developer ;-)
131     push @EXPORT, qw(
132       &ModBiblioMarc
133     );
134
135     # Others functions
136     push @EXPORT, qw(
137       &TransformMarcToKoha
138       &TransformHtmlToMarc
139       &TransformHtmlToXml
140       prepare_host_field
141     );
142 }
143
144 =head1 NAME
145
146 C4::Biblio - cataloging management functions
147
148 =head1 DESCRIPTION
149
150 Biblio.pm contains functions for managing storage and editing of bibliographic data within Koha. Most of the functions in this module are used for cataloging records: adding, editing, or removing biblios, biblioitems, or items. Koha's stores bibliographic information in three places:
151
152 =over 4
153
154 =item 1. in the biblio,biblioitems,items, etc tables, which are limited to a one-to-one mapping to underlying MARC data
155
156 =item 2. as raw MARC in the Zebra index and storage engine
157
158 =item 3. as raw MARC the biblioitems.marc and biblioitems.marcxml
159
160 =back
161
162 In the 3.0 version of Koha, the authoritative record-level information is in biblioitems.marcxml
163
164 Because the data isn't completely normalized there's a chance for information to get out of sync. The design choice to go with a un-normalized schema was driven by performance and stability concerns. However, if this occur, it can be considered as a bug : The API is (or should be) complete & the only entry point for all biblio/items managements.
165
166 =over 4
167
168 =item 1. Compared with MySQL, Zebra is slow to update an index for small data changes -- especially for proc-intensive operations like circulation
169
170 =item 2. Zebra's index has been known to crash and a backup of the data is necessary to rebuild it in such cases
171
172 =back
173
174 Because of this design choice, the process of managing storage and editing is a bit convoluted. Historically, Biblio.pm's grown to an unmanagable size and as a result we have several types of functions currently:
175
176 =over 4
177
178 =item 1. Add*/Mod*/Del*/ - high-level external functions suitable for being called from external scripts to manage the collection
179
180 =item 2. _koha_* - low-level internal functions for managing the koha tables
181
182 =item 3. Marc management function : as the MARC record is stored in biblioitems.marc(xml), some subs dedicated to it's management are in this package. They should be used only internally by Biblio.pm, the only official entry points being AddBiblio, AddItem, ModBiblio, ModItem.
183
184 =item 4. Zebra functions used to update the Zebra index
185
186 =item 5. internal helper functions such as char_decode, checkitems, etc. Some of these probably belong in Koha.pm
187
188 =back
189
190 The MARC record (in biblioitems.marcxml) contains the complete marc record, including items. It also contains the biblionumber. That is the reason why it is not stored directly by AddBiblio, with all other fields . To save a biblio, we need to :
191
192 =over 4
193
194 =item 1. save datas in biblio and biblioitems table, that gives us a biblionumber and a biblioitemnumber
195
196 =item 2. add the biblionumber and biblioitemnumber into the MARC records
197
198 =item 3. save the marc record
199
200 =back
201
202 When dealing with items, we must :
203
204 =over 4
205
206 =item 1. save the item in items table, that gives us an itemnumber
207
208 =item 2. add the itemnumber to the item MARC field
209
210 =item 3. overwrite the MARC record (with the added item) into biblioitems.marc(xml)
211
212 When modifying a biblio or an item, the behaviour is quite similar.
213
214 =back
215
216 =head1 EXPORTED FUNCTIONS
217
218 =head2 AddBiblio
219
220   ($biblionumber,$biblioitemnumber) = AddBiblio($record,$frameworkcode);
221
222 Exported function (core API) for adding a new biblio to koha.
223
224 The first argument is a C<MARC::Record> object containing the
225 bib to add, while the second argument is the desired MARC
226 framework code.
227
228 This function also accepts a third, optional argument: a hashref
229 to additional options.  The only defined option is C<defer_marc_save>,
230 which if present and mapped to a true value, causes C<AddBiblio>
231 to omit the call to save the MARC in C<bibilioitems.marc>
232 and C<biblioitems.marcxml>  This option is provided B<only>
233 for the use of scripts such as C<bulkmarcimport.pl> that may need
234 to do some manipulation of the MARC record for item parsing before
235 saving it and which cannot afford the performance hit of saving
236 the MARC record twice.  Consequently, do not use that option
237 unless you can guarantee that C<ModBiblioMarc> will be called.
238
239 =cut
240
241 sub AddBiblio {
242     my $record          = shift;
243     my $frameworkcode   = shift;
244     my $options         = @_ ? shift : undef;
245     my $defer_marc_save = 0;
246     if (!$record) {
247         carp('AddBiblio called with undefined record');
248         return;
249     }
250     if ( defined $options and exists $options->{'defer_marc_save'} and $options->{'defer_marc_save'} ) {
251         $defer_marc_save = 1;
252     }
253
254     my ( $biblionumber, $biblioitemnumber, $error );
255     my $dbh = C4::Context->dbh;
256
257     # transform the data into koha-table style data
258     SetUTF8Flag($record);
259     my $olddata = TransformMarcToKoha( $dbh, $record, $frameworkcode );
260     ( $biblionumber, $error ) = _koha_add_biblio( $dbh, $olddata, $frameworkcode );
261     $olddata->{'biblionumber'} = $biblionumber;
262     ( $biblioitemnumber, $error ) = _koha_add_biblioitem( $dbh, $olddata );
263
264     _koha_marc_update_bib_ids( $record, $frameworkcode, $biblionumber, $biblioitemnumber );
265
266     # update MARC subfield that stores biblioitems.cn_sort
267     _koha_marc_update_biblioitem_cn_sort( $record, $olddata, $frameworkcode );
268
269     # now add the record
270     ModBiblioMarc( $record, $biblionumber, $frameworkcode ) unless $defer_marc_save;
271
272     # update OAI-PMH sets
273     if(C4::Context->preference("OAI-PMH:AutoUpdateSets")) {
274         C4::OAI::Sets::UpdateOAISetsBiblio($biblionumber, $record);
275     }
276
277     logaction( "CATALOGUING", "ADD", $biblionumber, "biblio" ) if C4::Context->preference("CataloguingLog");
278     return ( $biblionumber, $biblioitemnumber );
279 }
280
281 =head2 ModBiblio
282
283   ModBiblio( $record,$biblionumber,$frameworkcode);
284
285 Replace an existing bib record identified by C<$biblionumber>
286 with one supplied by the MARC::Record object C<$record>.  The embedded
287 item, biblioitem, and biblionumber fields from the previous
288 version of the bib record replace any such fields of those tags that
289 are present in C<$record>.  Consequently, ModBiblio() is not
290 to be used to try to modify item records.
291
292 C<$frameworkcode> specifies the MARC framework to use
293 when storing the modified bib record; among other things,
294 this controls how MARC fields get mapped to display columns
295 in the C<biblio> and C<biblioitems> tables, as well as
296 which fields are used to store embedded item, biblioitem,
297 and biblionumber data for indexing.
298
299 Returns 1 on success 0 on failure
300
301 =cut
302
303 sub ModBiblio {
304     my ( $record, $biblionumber, $frameworkcode ) = @_;
305     if (!$record) {
306         carp 'No record passed to ModBiblio';
307         return 0;
308     }
309
310     if ( C4::Context->preference("CataloguingLog") ) {
311         my $newrecord = GetMarcBiblio($biblionumber);
312         logaction( "CATALOGUING", "MODIFY", $biblionumber, "biblio BEFORE=>" . $newrecord->as_formatted );
313     }
314
315     # Cleaning up invalid fields must be done early or SetUTF8Flag is liable to
316     # throw an exception which probably won't be handled.
317     foreach my $field ($record->fields()) {
318         if (! $field->is_control_field()) {
319             if (scalar($field->subfields()) == 0 || (scalar($field->subfields()) == 1 && $field->subfield('9'))) {
320                 $record->delete_field($field);
321             }
322         }
323     }
324
325     SetUTF8Flag($record);
326     my $dbh = C4::Context->dbh;
327
328     $frameworkcode = "" if !$frameworkcode || $frameworkcode eq "Default"; # XXX
329
330     _strip_item_fields($record, $frameworkcode);
331
332     # update biblionumber and biblioitemnumber in MARC
333     # FIXME - this is assuming a 1 to 1 relationship between
334     # biblios and biblioitems
335     my $sth = $dbh->prepare("select biblioitemnumber from biblioitems where biblionumber=?");
336     $sth->execute($biblionumber);
337     my ($biblioitemnumber) = $sth->fetchrow;
338     $sth->finish();
339     _koha_marc_update_bib_ids( $record, $frameworkcode, $biblionumber, $biblioitemnumber );
340
341     # load the koha-table data object
342     my $oldbiblio = TransformMarcToKoha( $dbh, $record, $frameworkcode );
343
344     # update MARC subfield that stores biblioitems.cn_sort
345     _koha_marc_update_biblioitem_cn_sort( $record, $oldbiblio, $frameworkcode );
346
347     # update the MARC record (that now contains biblio and items) with the new record data
348     &ModBiblioMarc( $record, $biblionumber, $frameworkcode );
349
350     # modify the other koha tables
351     _koha_modify_biblio( $dbh, $oldbiblio, $frameworkcode );
352     _koha_modify_biblioitem_nonmarc( $dbh, $oldbiblio );
353
354     # update OAI-PMH sets
355     if(C4::Context->preference("OAI-PMH:AutoUpdateSets")) {
356         C4::OAI::Sets::UpdateOAISetsBiblio($biblionumber, $record);
357     }
358
359     return 1;
360 }
361
362 =head2 _strip_item_fields
363
364   _strip_item_fields($record, $frameworkcode)
365
366 Utility routine to remove item tags from a
367 MARC bib.
368
369 =cut
370
371 sub _strip_item_fields {
372     my $record = shift;
373     my $frameworkcode = shift;
374     # get the items before and append them to the biblio before updating the record, atm we just have the biblio
375     my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
376
377     # delete any item fields from incoming record to avoid
378     # duplication or incorrect data - use AddItem() or ModItem()
379     # to change items
380     foreach my $field ( $record->field($itemtag) ) {
381         $record->delete_field($field);
382     }
383 }
384
385 =head2 ModBiblioframework
386
387    ModBiblioframework($biblionumber,$frameworkcode);
388
389 Exported function to modify a biblio framework
390
391 =cut
392
393 sub ModBiblioframework {
394     my ( $biblionumber, $frameworkcode ) = @_;
395     my $dbh = C4::Context->dbh;
396     my $sth = $dbh->prepare( "UPDATE biblio SET frameworkcode=? WHERE biblionumber=?" );
397     $sth->execute( $frameworkcode, $biblionumber );
398     return 1;
399 }
400
401 =head2 DelBiblio
402
403   my $error = &DelBiblio($biblionumber);
404
405 Exported function (core API) for deleting a biblio in koha.
406 Deletes biblio record from Zebra and Koha tables (biblio & biblioitems)
407 Also backs it up to deleted* tables.
408 Checks to make sure that the biblio has no items attached.
409 return:
410 C<$error> : undef unless an error occurs
411
412 =cut
413
414 sub DelBiblio {
415     my ($biblionumber) = @_;
416     my $dbh = C4::Context->dbh;
417     my $error;    # for error handling
418
419     # First make sure this biblio has no items attached
420     my $sth = $dbh->prepare("SELECT itemnumber FROM items WHERE biblionumber=?");
421     $sth->execute($biblionumber);
422     if ( my $itemnumber = $sth->fetchrow ) {
423
424         # Fix this to use a status the template can understand
425         $error .= "This Biblio has items attached, please delete them first before deleting this biblio ";
426     }
427
428     return $error if $error;
429
430     # We delete attached subscriptions
431     require C4::Serials;
432     my $subscriptions = C4::Serials::GetFullSubscriptionsFromBiblionumber($biblionumber);
433     foreach my $subscription (@$subscriptions) {
434         C4::Serials::DelSubscription( $subscription->{subscriptionid} );
435     }
436
437     # We delete any existing holds
438     require C4::Reserves;
439     my $reserves = C4::Reserves::GetReservesFromBiblionumber({ biblionumber => $biblionumber });
440     foreach my $res ( @$reserves ) {
441         C4::Reserves::CancelReserve({ reserve_id => $res->{'reserve_id'} });
442     }
443
444     # Delete in Zebra. Be careful NOT to move this line after _koha_delete_biblio
445     # for at least 2 reasons :
446     # - if something goes wrong, the biblio may be deleted from Koha but not from zebra
447     #   and we would have no way to remove it (except manually in zebra, but I bet it would be very hard to handle the problem)
448     ModZebra( $biblionumber, "recordDelete", "biblioserver" );
449
450     # delete biblioitems and items from Koha tables and save in deletedbiblioitems,deleteditems
451     $sth = $dbh->prepare("SELECT biblioitemnumber FROM biblioitems WHERE biblionumber=?");
452     $sth->execute($biblionumber);
453     while ( my $biblioitemnumber = $sth->fetchrow ) {
454
455         # delete this biblioitem
456         $error = _koha_delete_biblioitems( $dbh, $biblioitemnumber );
457         return $error if $error;
458     }
459
460     # delete biblio from Koha tables and save in deletedbiblio
461     # must do this *after* _koha_delete_biblioitems, otherwise
462     # delete cascade will prevent deletedbiblioitems rows
463     # from being generated by _koha_delete_biblioitems
464     $error = _koha_delete_biblio( $dbh, $biblionumber );
465
466     logaction( "CATALOGUING", "DELETE", $biblionumber, "biblio" ) if C4::Context->preference("CataloguingLog");
467
468     return;
469 }
470
471
472 =head2 BiblioAutoLink
473
474   my $headings_linked = BiblioAutoLink($record, $frameworkcode)
475
476 Automatically links headings in a bib record to authorities.
477
478 Returns the number of headings changed
479
480 =cut
481
482 sub BiblioAutoLink {
483     my $record        = shift;
484     my $frameworkcode = shift;
485     if (!$record) {
486         carp('Undefined record passed to BiblioAutoLink');
487         return 0;
488     }
489     my ( $num_headings_changed, %results );
490
491     my $linker_module =
492       "C4::Linker::" . ( C4::Context->preference("LinkerModule") || 'Default' );
493     unless ( can_load( modules => { $linker_module => undef } ) ) {
494         $linker_module = 'C4::Linker::Default';
495         unless ( can_load( modules => { $linker_module => undef } ) ) {
496             return 0;
497         }
498     }
499
500     my $linker = $linker_module->new(
501         { 'options' => C4::Context->preference("LinkerOptions") } );
502     my ( $headings_changed, undef ) =
503       LinkBibHeadingsToAuthorities( $linker, $record, $frameworkcode, C4::Context->preference("CatalogModuleRelink") || '' );
504     # By default we probably don't want to relink things when cataloging
505     return $headings_changed;
506 }
507
508 =head2 LinkBibHeadingsToAuthorities
509
510   my $num_headings_changed, %results = LinkBibHeadingsToAuthorities($linker, $marc, $frameworkcode, [$allowrelink]);
511
512 Links bib headings to authority records by checking
513 each authority-controlled field in the C<MARC::Record>
514 object C<$marc>, looking for a matching authority record,
515 and setting the linking subfield $9 to the ID of that
516 authority record.  
517
518 If $allowrelink is false, existing authids will never be
519 replaced, regardless of the values of LinkerKeepStale and
520 LinkerRelink.
521
522 Returns the number of heading links changed in the
523 MARC record.
524
525 =cut
526
527 sub LinkBibHeadingsToAuthorities {
528     my $linker        = shift;
529     my $bib           = shift;
530     my $frameworkcode = shift;
531     my $allowrelink = shift;
532     my %results;
533     if (!$bib) {
534         carp 'LinkBibHeadingsToAuthorities called on undefined bib record';
535         return ( 0, {});
536     }
537     require C4::Heading;
538     require C4::AuthoritiesMarc;
539
540     $allowrelink = 1 unless defined $allowrelink;
541     my $num_headings_changed = 0;
542     foreach my $field ( $bib->fields() ) {
543         my $heading = C4::Heading->new_from_bib_field( $field, $frameworkcode );
544         next unless defined $heading;
545
546         # check existing $9
547         my $current_link = $field->subfield('9');
548
549         if ( defined $current_link && (!$allowrelink || !C4::Context->preference('LinkerRelink')) )
550         {
551             $results{'linked'}->{ $heading->display_form() }++;
552             next;
553         }
554
555         my ( $authid, $fuzzy ) = $linker->get_link($heading);
556         if ($authid) {
557             $results{ $fuzzy ? 'fuzzy' : 'linked' }
558               ->{ $heading->display_form() }++;
559             next if defined $current_link and $current_link == $authid;
560
561             $field->delete_subfield( code => '9' ) if defined $current_link;
562             $field->add_subfields( '9', $authid );
563             $num_headings_changed++;
564         }
565         else {
566             if ( defined $current_link
567                 && (!$allowrelink || C4::Context->preference('LinkerKeepStale')) )
568             {
569                 $results{'fuzzy'}->{ $heading->display_form() }++;
570             }
571             elsif ( C4::Context->preference('AutoCreateAuthorities') ) {
572                 if ( _check_valid_auth_link( $current_link, $field ) ) {
573                     $results{'linked'}->{ $heading->display_form() }++;
574                 }
575                 else {
576                     my $authtypedata =
577                       C4::AuthoritiesMarc::GetAuthType( $heading->auth_type() );
578                     my $marcrecordauth = MARC::Record->new();
579                     if ( C4::Context->preference('marcflavour') eq 'MARC21' ) {
580                         $marcrecordauth->leader('     nz  a22     o  4500');
581                         SetMarcUnicodeFlag( $marcrecordauth, 'MARC21' );
582                     }
583                     $field->delete_subfield( code => '9' )
584                       if defined $current_link;
585                     my $authfield =
586                       MARC::Field->new( $authtypedata->{auth_tag_to_report},
587                         '', '', "a" => "" . $field->subfield('a') );
588                     map {
589                         $authfield->add_subfields( $_->[0] => $_->[1] )
590                           if ( $_->[0] =~ /[A-z]/ && $_->[0] ne "a" )
591                     } $field->subfields();
592                     $marcrecordauth->insert_fields_ordered($authfield);
593
594 # bug 2317: ensure new authority knows it's using UTF-8; currently
595 # only need to do this for MARC21, as MARC::Record->as_xml_record() handles
596 # automatically for UNIMARC (by not transcoding)
597 # FIXME: AddAuthority() instead should simply explicitly require that the MARC::Record
598 # use UTF-8, but as of 2008-08-05, did not want to introduce that kind
599 # of change to a core API just before the 3.0 release.
600
601                     if ( C4::Context->preference('marcflavour') eq 'MARC21' ) {
602                         $marcrecordauth->insert_fields_ordered(
603                             MARC::Field->new(
604                                 '667', '', '',
605                                 'a' => "Machine generated authority record."
606                             )
607                         );
608                         my $cite =
609                             $bib->author() . ", "
610                           . $bib->title_proper() . ", "
611                           . $bib->publication_date() . " ";
612                         $cite =~ s/^[\s\,]*//;
613                         $cite =~ s/[\s\,]*$//;
614                         $cite =
615                             "Work cat.: ("
616                           . C4::Context->preference('MARCOrgCode') . ")"
617                           . $bib->subfield( '999', 'c' ) . ": "
618                           . $cite;
619                         $marcrecordauth->insert_fields_ordered(
620                             MARC::Field->new( '670', '', '', 'a' => $cite ) );
621                     }
622
623            #          warn "AUTH RECORD ADDED : ".$marcrecordauth->as_formatted;
624
625                     $authid =
626                       C4::AuthoritiesMarc::AddAuthority( $marcrecordauth, '',
627                         $heading->auth_type() );
628                     $field->add_subfields( '9', $authid );
629                     $num_headings_changed++;
630                     $linker->update_cache($heading, $authid);
631                     $results{'added'}->{ $heading->display_form() }++;
632                 }
633             }
634             elsif ( defined $current_link ) {
635                 if ( _check_valid_auth_link( $current_link, $field ) ) {
636                     $results{'linked'}->{ $heading->display_form() }++;
637                 }
638                 else {
639                     $field->delete_subfield( code => '9' );
640                     $num_headings_changed++;
641                     $results{'unlinked'}->{ $heading->display_form() }++;
642                 }
643             }
644             else {
645                 $results{'unlinked'}->{ $heading->display_form() }++;
646             }
647         }
648
649     }
650     return $num_headings_changed, \%results;
651 }
652
653 =head2 _check_valid_auth_link
654
655     if ( _check_valid_auth_link($authid, $field) ) {
656         ...
657     }
658
659 Check whether the specified heading-auth link is valid without reference
660 to Zebra/Solr. Ideally this code would be in C4::Heading, but that won't be
661 possible until we have de-cycled C4::AuthoritiesMarc, so this is the
662 safest place.
663
664 =cut
665
666 sub _check_valid_auth_link {
667     my ( $authid, $field ) = @_;
668
669     require C4::AuthoritiesMarc;
670
671     my $authorized_heading =
672       C4::AuthoritiesMarc::GetAuthorizedHeading( { 'authid' => $authid } ) || '';
673
674    return ($field->as_string('abcdefghijklmnopqrstuvwxyz') eq $authorized_heading);
675 }
676
677 =head2 GetRecordValue
678
679   my $values = GetRecordValue($field, $record, $frameworkcode);
680
681 Get MARC fields from a keyword defined in fieldmapping table.
682
683 =cut
684
685 sub GetRecordValue {
686     my ( $field, $record, $frameworkcode ) = @_;
687
688     if (!$record) {
689         carp 'GetRecordValue called with undefined record';
690         return;
691     }
692     my $dbh = C4::Context->dbh;
693
694     my $sth = $dbh->prepare('SELECT fieldcode, subfieldcode FROM fieldmapping WHERE frameworkcode = ? AND field = ?');
695     $sth->execute( $frameworkcode, $field );
696
697     my @result = ();
698
699     while ( my $row = $sth->fetchrow_hashref ) {
700         foreach my $field ( $record->field( $row->{fieldcode} ) ) {
701             if ( ( $row->{subfieldcode} ne "" && $field->subfield( $row->{subfieldcode} ) ) ) {
702                 foreach my $subfield ( $field->subfield( $row->{subfieldcode} ) ) {
703                     push @result, { 'subfield' => $subfield };
704                 }
705
706             } elsif ( $row->{subfieldcode} eq "" ) {
707                 push @result, { 'subfield' => $field->as_string() };
708             }
709         }
710     }
711
712     return \@result;
713 }
714
715 =head2 SetFieldMapping
716
717   SetFieldMapping($framework, $field, $fieldcode, $subfieldcode);
718
719 Set a Field to MARC mapping value, if it already exists we don't add a new one.
720
721 =cut
722
723 sub SetFieldMapping {
724     my ( $framework, $field, $fieldcode, $subfieldcode ) = @_;
725     my $dbh = C4::Context->dbh;
726
727     my $sth = $dbh->prepare('SELECT * FROM fieldmapping WHERE fieldcode = ? AND subfieldcode = ? AND frameworkcode = ? AND field = ?');
728     $sth->execute( $fieldcode, $subfieldcode, $framework, $field );
729     if ( not $sth->fetchrow_hashref ) {
730         my @args;
731         $sth = $dbh->prepare('INSERT INTO fieldmapping (fieldcode, subfieldcode, frameworkcode, field) VALUES(?,?,?,?)');
732
733         $sth->execute( $fieldcode, $subfieldcode, $framework, $field );
734     }
735 }
736
737 =head2 DeleteFieldMapping
738
739   DeleteFieldMapping($id);
740
741 Delete a field mapping from an $id.
742
743 =cut
744
745 sub DeleteFieldMapping {
746     my ($id) = @_;
747     my $dbh = C4::Context->dbh;
748
749     my $sth = $dbh->prepare('DELETE FROM fieldmapping WHERE id = ?');
750     $sth->execute($id);
751 }
752
753 =head2 GetFieldMapping
754
755   GetFieldMapping($frameworkcode);
756
757 Get all field mappings for a specified frameworkcode
758
759 =cut
760
761 sub GetFieldMapping {
762     my ($framework) = @_;
763     my $dbh = C4::Context->dbh;
764
765     my $sth = $dbh->prepare('SELECT * FROM fieldmapping where frameworkcode = ?');
766     $sth->execute($framework);
767
768     my @return;
769     while ( my $row = $sth->fetchrow_hashref ) {
770         push @return, $row;
771     }
772     return \@return;
773 }
774
775 =head2 GetBiblioData
776
777   $data = &GetBiblioData($biblionumber);
778
779 Returns information about the book with the given biblionumber.
780 C<&GetBiblioData> returns a reference-to-hash. The keys are the fields in
781 the C<biblio> and C<biblioitems> tables in the
782 Koha database.
783
784 In addition, C<$data-E<gt>{subject}> is the list of the book's
785 subjects, separated by C<" , "> (space, comma, space).
786 If there are multiple biblioitems with the given biblionumber, only
787 the first one is considered.
788
789 =cut
790
791 sub GetBiblioData {
792     my ($bibnum) = @_;
793     my $dbh = C4::Context->dbh;
794
795     my $query = " SELECT * , biblioitems.notes AS bnotes, itemtypes.notforloan as bi_notforloan, biblio.notes
796             FROM biblio
797             LEFT JOIN biblioitems ON biblio.biblionumber = biblioitems.biblionumber
798             LEFT JOIN itemtypes ON biblioitems.itemtype = itemtypes.itemtype
799             WHERE biblio.biblionumber = ?";
800
801     my $sth = $dbh->prepare($query);
802     $sth->execute($bibnum);
803     my $data;
804     $data = $sth->fetchrow_hashref;
805     $sth->finish;
806
807     return ($data);
808 }    # sub GetBiblioData
809
810 =head2 &GetBiblioItemData
811
812   $itemdata = &GetBiblioItemData($biblioitemnumber);
813
814 Looks up the biblioitem with the given biblioitemnumber. Returns a
815 reference-to-hash. The keys are the fields from the C<biblio>,
816 C<biblioitems>, and C<itemtypes> tables in the Koha database, except
817 that C<biblioitems.notes> is given as C<$itemdata-E<gt>{bnotes}>.
818
819 =cut
820
821 #'
822 sub GetBiblioItemData {
823     my ($biblioitemnumber) = @_;
824     my $dbh                = C4::Context->dbh;
825     my $query              = "SELECT *,biblioitems.notes AS bnotes
826         FROM biblio LEFT JOIN biblioitems on biblio.biblionumber=biblioitems.biblionumber ";
827     unless ( C4::Context->preference('item-level_itypes') ) {
828         $query .= "LEFT JOIN itemtypes on biblioitems.itemtype=itemtypes.itemtype ";
829     }
830     $query .= " WHERE biblioitemnumber = ? ";
831     my $sth = $dbh->prepare($query);
832     my $data;
833     $sth->execute($biblioitemnumber);
834     $data = $sth->fetchrow_hashref;
835     $sth->finish;
836     return ($data);
837 }    # sub &GetBiblioItemData
838
839 =head2 GetBiblioItemByBiblioNumber
840
841 NOTE : This function has been copy/paste from C4/Biblio.pm from head before zebra integration.
842
843 =cut
844
845 sub GetBiblioItemByBiblioNumber {
846     my ($biblionumber) = @_;
847     my $dbh            = C4::Context->dbh;
848     my $sth            = $dbh->prepare("Select * FROM biblioitems WHERE biblionumber = ?");
849     my $count          = 0;
850     my @results;
851
852     $sth->execute($biblionumber);
853
854     while ( my $data = $sth->fetchrow_hashref ) {
855         push @results, $data;
856     }
857
858     $sth->finish;
859     return @results;
860 }
861
862 =head2 GetBiblionumberFromItemnumber
863
864
865 =cut
866
867 sub GetBiblionumberFromItemnumber {
868     my ($itemnumber) = @_;
869     my $dbh            = C4::Context->dbh;
870     my $sth            = $dbh->prepare("Select biblionumber FROM items WHERE itemnumber = ?");
871
872     $sth->execute($itemnumber);
873     my ($result) = $sth->fetchrow;
874     return ($result);
875 }
876
877 =head2 GetBiblioFromItemNumber
878
879   $item = &GetBiblioFromItemNumber($itemnumber,$barcode);
880
881 Looks up the item with the given itemnumber. if undef, try the barcode.
882
883 C<&itemnodata> returns a reference-to-hash whose keys are the fields
884 from the C<biblio>, C<biblioitems>, and C<items> tables in the Koha
885 database.
886
887 =cut
888
889 #'
890 sub GetBiblioFromItemNumber {
891     my ( $itemnumber, $barcode ) = @_;
892     my $dbh = C4::Context->dbh;
893     my $sth;
894     if ($itemnumber) {
895         $sth = $dbh->prepare(
896             "SELECT * FROM items 
897             LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
898             LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
899              WHERE items.itemnumber = ?"
900         );
901         $sth->execute($itemnumber);
902     } else {
903         $sth = $dbh->prepare(
904             "SELECT * FROM items 
905             LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
906             LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
907              WHERE items.barcode = ?"
908         );
909         $sth->execute($barcode);
910     }
911     my $data = $sth->fetchrow_hashref;
912     $sth->finish;
913     return ($data);
914 }
915
916 =head2 GetISBDView 
917
918   $isbd = &GetISBDView($biblionumber);
919
920 Return the ISBD view which can be included in opac and intranet
921
922 =cut
923
924 sub GetISBDView {
925     my ( $biblionumber, $template ) = @_;
926     my $record   = GetMarcBiblio($biblionumber, 1);
927     return unless defined $record;
928     my $itemtype = &GetFrameworkCode($biblionumber);
929     my ( $holdingbrtagf, $holdingbrtagsubf ) = &GetMarcFromKohaField( "items.holdingbranch", $itemtype );
930     my $tagslib = &GetMarcStructure( 1, $itemtype );
931
932     my $ISBD = C4::Context->preference('isbd');
933     my $bloc = $ISBD;
934     my $res;
935     my $blocres;
936
937     foreach my $isbdfield ( split( /#/, $bloc ) ) {
938
939         #         $isbdfield= /(.?.?.?)/;
940         $isbdfield =~ /(\d\d\d)([^\|])?\|(.*)\|(.*)\|(.*)/;
941         my $fieldvalue = $1 || 0;
942         my $subfvalue  = $2 || "";
943         my $textbefore = $3;
944         my $analysestring = $4;
945         my $textafter     = $5;
946
947         #         warn "==> $1 / $2 / $3 / $4";
948         #         my $fieldvalue=substr($isbdfield,0,3);
949         if ( $fieldvalue > 0 ) {
950             my $hasputtextbefore = 0;
951             my @fieldslist       = $record->field($fieldvalue);
952             @fieldslist = sort { $a->subfield($holdingbrtagsubf) cmp $b->subfield($holdingbrtagsubf) } @fieldslist if ( $fieldvalue eq $holdingbrtagf );
953
954             #         warn "ERROR IN ISBD DEFINITION at : $isbdfield" unless $fieldvalue;
955             #             warn "FV : $fieldvalue";
956             if ( $subfvalue ne "" ) {
957                 # OPAC hidden subfield
958                 next
959                   if ( ( $template eq 'opac' )
960                     && ( $tagslib->{$fieldvalue}->{$subfvalue}->{'hidden'} || 0 ) > 0 );
961                 foreach my $field (@fieldslist) {
962                     foreach my $subfield ( $field->subfield($subfvalue) ) {
963                         my $calculated = $analysestring;
964                         my $tag        = $field->tag();
965                         if ( $tag < 10 ) {
966                         } else {
967                             my $subfieldvalue = GetAuthorisedValueDesc( $tag, $subfvalue, $subfield, '', $tagslib );
968                             my $tagsubf = $tag . $subfvalue;
969                             $calculated =~ s/\{(.?.?.?.?)$tagsubf(.*?)\}/$1$subfieldvalue$2\{$1$tagsubf$2\}/g;
970                             if ( $template eq "opac" ) { $calculated =~ s#/cgi-bin/koha/[^/]+/([^.]*.pl\?.*)$#opac-$1#g; }
971
972                             # field builded, store the result
973                             if ( $calculated && !$hasputtextbefore ) {    # put textbefore if not done
974                                 $blocres .= $textbefore;
975                                 $hasputtextbefore = 1;
976                             }
977
978                             # remove punctuation at start
979                             $calculated =~ s/^( |;|:|\.|-)*//g;
980                             $blocres .= $calculated;
981
982                         }
983                     }
984                 }
985                 $blocres .= $textafter if $hasputtextbefore;
986             } else {
987                 foreach my $field (@fieldslist) {
988                     my $calculated = $analysestring;
989                     my $tag        = $field->tag();
990                     if ( $tag < 10 ) {
991                     } else {
992                         my @subf = $field->subfields;
993                         for my $i ( 0 .. $#subf ) {
994                             my $valuecode     = $subf[$i][1];
995                             my $subfieldcode  = $subf[$i][0];
996                             # OPAC hidden subfield
997                             next
998                               if ( ( $template eq 'opac' )
999                                 && ( $tagslib->{$fieldvalue}->{$subfieldcode}->{'hidden'} || 0 ) > 0 );
1000                             my $subfieldvalue = GetAuthorisedValueDesc( $tag, $subf[$i][0], $subf[$i][1], '', $tagslib );
1001                             my $tagsubf       = $tag . $subfieldcode;
1002
1003                             $calculated =~ s/                  # replace all {{}} codes by the value code.
1004                                   \{\{$tagsubf\}\} # catch the {{actualcode}}
1005                                 /
1006                                   $valuecode     # replace by the value code
1007                                /gx;
1008
1009                             $calculated =~ s/\{(.?.?.?.?)$tagsubf(.*?)\}/$1$subfieldvalue$2\{$1$tagsubf$2\}/g;
1010                             if ( $template eq "opac" ) { $calculated =~ s#/cgi-bin/koha/[^/]+/([^.]*.pl\?.*)$#opac-$1#g; }
1011                         }
1012
1013                         # field builded, store the result
1014                         if ( $calculated && !$hasputtextbefore ) {    # put textbefore if not done
1015                             $blocres .= $textbefore;
1016                             $hasputtextbefore = 1;
1017                         }
1018
1019                         # remove punctuation at start
1020                         $calculated =~ s/^( |;|:|\.|-)*//g;
1021                         $blocres .= $calculated;
1022                     }
1023                 }
1024                 $blocres .= $textafter if $hasputtextbefore;
1025             }
1026         } else {
1027             $blocres .= $isbdfield;
1028         }
1029     }
1030     $res .= $blocres;
1031
1032     $res =~ s/\{(.*?)\}//g;
1033     $res =~ s/\\n/\n/g;
1034     $res =~ s/\n/<br\/>/g;
1035
1036     # remove empty ()
1037     $res =~ s/\(\)//g;
1038
1039     return $res;
1040 }
1041
1042 =head2 GetBiblio
1043
1044   my $biblio = &GetBiblio($biblionumber);
1045
1046 =cut
1047
1048 sub GetBiblio {
1049     my ($biblionumber) = @_;
1050     my $dbh            = C4::Context->dbh;
1051     my $sth            = $dbh->prepare("SELECT * FROM biblio WHERE biblionumber = ?");
1052     my $count          = 0;
1053     my @results;
1054     $sth->execute($biblionumber);
1055     if ( my $data = $sth->fetchrow_hashref ) {
1056         return $data;
1057     }
1058     return;
1059 }    # sub GetBiblio
1060
1061 =head2 GetBiblioItemInfosOf
1062
1063   GetBiblioItemInfosOf(@biblioitemnumbers);
1064
1065 =cut
1066
1067 sub GetBiblioItemInfosOf {
1068     my @biblioitemnumbers = @_;
1069
1070     my $biblioitemnumber_values = @biblioitemnumbers ? join( ',', @biblioitemnumbers ) : "''";
1071
1072     my $query = "
1073         SELECT biblioitemnumber,
1074             publicationyear,
1075             itemtype
1076         FROM biblioitems
1077         WHERE biblioitemnumber IN ($biblioitemnumber_values)
1078     ";
1079     return get_infos_of( $query, 'biblioitemnumber' );
1080 }
1081
1082 =head1 FUNCTIONS FOR HANDLING MARC MANAGEMENT
1083
1084 =head2 GetMarcStructure
1085
1086   $res = GetMarcStructure($forlibrarian,$frameworkcode);
1087
1088 Returns a reference to a big hash of hash, with the Marc structure for the given frameworkcode
1089 $forlibrarian  :if set to 1, the MARC descriptions are the librarians ones, otherwise it's the public (OPAC) ones
1090 $frameworkcode : the framework code to read
1091
1092 =cut
1093
1094 sub GetMarcStructure {
1095     my ( $forlibrarian, $frameworkcode ) = @_;
1096     my $dbh = C4::Context->dbh;
1097     $frameworkcode = "" unless $frameworkcode;
1098
1099     $forlibrarian = $forlibrarian ? 1 : 0;
1100     my $cache = Koha::Cache->get_instance();
1101     my $cache_key = "MarcStructure-$forlibrarian-$frameworkcode";
1102     my $cached = $cache->get_from_cache($cache_key);
1103     return $cached if $cached;
1104
1105     my $sth = $dbh->prepare(
1106         "SELECT tagfield,liblibrarian,libopac,mandatory,repeatable 
1107         FROM marc_tag_structure 
1108         WHERE frameworkcode=? 
1109         ORDER BY tagfield"
1110     );
1111     $sth->execute($frameworkcode);
1112     my ( $liblibrarian, $libopac, $tag, $res, $tab, $mandatory, $repeatable );
1113
1114     while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) = $sth->fetchrow ) {
1115         $res->{$tag}->{lib}        = ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
1116         $res->{$tag}->{tab}        = "";
1117         $res->{$tag}->{mandatory}  = $mandatory;
1118         $res->{$tag}->{repeatable} = $repeatable;
1119     }
1120
1121     $sth = $dbh->prepare(
1122         "SELECT tagfield,tagsubfield,liblibrarian,libopac,tab,mandatory,repeatable,authorised_value,authtypecode,value_builder,kohafield,seealso,hidden,isurl,link,defaultvalue,maxlength
1123          FROM   marc_subfield_structure 
1124          WHERE  frameworkcode=? 
1125          ORDER BY tagfield,tagsubfield
1126         "
1127     );
1128
1129     $sth->execute($frameworkcode);
1130
1131     my $subfield;
1132     my $authorised_value;
1133     my $authtypecode;
1134     my $value_builder;
1135     my $kohafield;
1136     my $seealso;
1137     my $hidden;
1138     my $isurl;
1139     my $link;
1140     my $defaultvalue;
1141     my $maxlength;
1142
1143     while (
1144         (   $tag,          $subfield,      $liblibrarian, $libopac, $tab,    $mandatory, $repeatable, $authorised_value,
1145             $authtypecode, $value_builder, $kohafield,    $seealso, $hidden, $isurl,     $link,       $defaultvalue,
1146             $maxlength
1147         )
1148         = $sth->fetchrow
1149       ) {
1150         $res->{$tag}->{$subfield}->{lib}              = ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
1151         $res->{$tag}->{$subfield}->{tab}              = $tab;
1152         $res->{$tag}->{$subfield}->{mandatory}        = $mandatory;
1153         $res->{$tag}->{$subfield}->{repeatable}       = $repeatable;
1154         $res->{$tag}->{$subfield}->{authorised_value} = $authorised_value;
1155         $res->{$tag}->{$subfield}->{authtypecode}     = $authtypecode;
1156         $res->{$tag}->{$subfield}->{value_builder}    = $value_builder;
1157         $res->{$tag}->{$subfield}->{kohafield}        = $kohafield;
1158         $res->{$tag}->{$subfield}->{seealso}          = $seealso;
1159         $res->{$tag}->{$subfield}->{hidden}           = $hidden;
1160         $res->{$tag}->{$subfield}->{isurl}            = $isurl;
1161         $res->{$tag}->{$subfield}->{'link'}           = $link;
1162         $res->{$tag}->{$subfield}->{defaultvalue}     = $defaultvalue;
1163         $res->{$tag}->{$subfield}->{maxlength}        = $maxlength;
1164     }
1165
1166     $cache->set_in_cache($cache_key, $res);
1167     return $res;
1168 }
1169
1170 =head2 GetUsedMarcStructure
1171
1172 The same function as GetMarcStructure except it just takes field
1173 in tab 0-9. (used field)
1174
1175   my $results = GetUsedMarcStructure($frameworkcode);
1176
1177 C<$results> is a ref to an array which each case containts a ref
1178 to a hash which each keys is the columns from marc_subfield_structure
1179
1180 C<$frameworkcode> is the framework code. 
1181
1182 =cut
1183
1184 sub GetUsedMarcStructure {
1185     my $frameworkcode = shift || '';
1186     my $query = qq/
1187         SELECT *
1188         FROM   marc_subfield_structure
1189         WHERE   tab > -1 
1190             AND frameworkcode = ?
1191         ORDER BY tagfield, tagsubfield
1192     /;
1193     my $sth = C4::Context->dbh->prepare($query);
1194     $sth->execute($frameworkcode);
1195     return $sth->fetchall_arrayref( {} );
1196 }
1197
1198 =head2 GetMarcFromKohaField
1199
1200   ($MARCfield,$MARCsubfield)=GetMarcFromKohaField($kohafield,$frameworkcode);
1201
1202 Returns the MARC fields & subfields mapped to the koha field 
1203 for the given frameworkcode or default framework if $frameworkcode is missing
1204
1205 =cut
1206
1207 sub GetMarcFromKohaField {
1208     my $kohafield = shift;
1209     my $frameworkcode = shift || '';
1210     return (0, undef) unless $kohafield;
1211     my $relations = C4::Context->marcfromkohafield;
1212     if ( my $mf = $relations->{$frameworkcode}->{$kohafield} ) {
1213         return @$mf;
1214     }
1215     return (0, undef);
1216 }
1217
1218 =head2 GetMarcSubfieldStructureFromKohaField
1219
1220     my $subfield_structure = &GetMarcSubfieldStructureFromKohaField($kohafield, $frameworkcode);
1221
1222 Returns a hashref where keys are marc_subfield_structure column names for the
1223 row where kohafield=$kohafield for the given framework code.
1224
1225 $frameworkcode is optional. If not given, then the default framework is used.
1226
1227 =cut
1228
1229 sub GetMarcSubfieldStructureFromKohaField {
1230     my ($kohafield, $frameworkcode) = @_;
1231
1232     return undef unless $kohafield;
1233     $frameworkcode //= '';
1234
1235     my $dbh = C4::Context->dbh;
1236     my $query = qq{
1237         SELECT *
1238         FROM marc_subfield_structure
1239         WHERE kohafield = ?
1240           AND frameworkcode = ?
1241     };
1242     my $sth = $dbh->prepare($query);
1243     $sth->execute($kohafield, $frameworkcode);
1244     my $result = $sth->fetchrow_hashref;
1245     $sth->finish;
1246
1247     return $result;
1248 }
1249
1250 =head2 GetMarcBiblio
1251
1252   my $record = GetMarcBiblio($biblionumber, [$embeditems]);
1253
1254 Returns MARC::Record representing bib identified by
1255 C<$biblionumber>.  If no bib exists, returns undef.
1256 C<$embeditems>.  If set to true, items data are included.
1257 The MARC record contains biblio data, and items data if $embeditems is set to true.
1258
1259 =cut
1260
1261 sub GetMarcBiblio {
1262     my $biblionumber = shift;
1263     my $embeditems   = shift || 0;
1264     my $dbh          = C4::Context->dbh;
1265     my $sth          = $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
1266     $sth->execute($biblionumber);
1267     my $row     = $sth->fetchrow_hashref;
1268     my $marcxml = StripNonXmlChars( $row->{'marcxml'} );
1269     MARC::File::XML->default_record_format( C4::Context->preference('marcflavour') );
1270     my $record = MARC::Record->new();
1271
1272     if ($marcxml) {
1273         $record = eval { MARC::Record::new_from_xml( $marcxml, "utf8", C4::Context->preference('marcflavour') ) };
1274         if ($@) { warn " problem with :$biblionumber : $@ \n$marcxml"; }
1275         return unless $record;
1276
1277         C4::Biblio::_koha_marc_update_bib_ids($record, '', $biblionumber, $biblionumber);
1278         C4::Biblio::EmbedItemsInMarcBiblio($record, $biblionumber) if ($embeditems);
1279
1280         return $record;
1281     } else {
1282         return;
1283     }
1284 }
1285
1286 =head2 GetXmlBiblio
1287
1288   my $marcxml = GetXmlBiblio($biblionumber);
1289
1290 Returns biblioitems.marcxml of the biblionumber passed in parameter.
1291 The XML should only contain biblio information (item information is no longer stored in marcxml field)
1292
1293 =cut
1294
1295 sub GetXmlBiblio {
1296     my ($biblionumber) = @_;
1297     my $dbh            = C4::Context->dbh;
1298     my $sth            = $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
1299     $sth->execute($biblionumber);
1300     my ($marcxml) = $sth->fetchrow;
1301     return $marcxml;
1302 }
1303
1304 =head2 GetCOinSBiblio
1305
1306   my $coins = GetCOinSBiblio($record);
1307
1308 Returns the COinS (a span) which can be included in a biblio record
1309
1310 =cut
1311
1312 sub GetCOinSBiblio {
1313     my $record = shift;
1314
1315     # get the coin format
1316     if ( ! $record ) {
1317         carp 'GetCOinSBiblio called with undefined record';
1318         return;
1319     }
1320     my $pos7 = substr $record->leader(), 7, 1;
1321     my $pos6 = substr $record->leader(), 6, 1;
1322     my $mtx;
1323     my $genre;
1324     my ( $aulast, $aufirst ) = ( '', '' );
1325     my $oauthors  = '';
1326     my $title     = '';
1327     my $subtitle  = '';
1328     my $pubyear   = '';
1329     my $isbn      = '';
1330     my $issn      = '';
1331     my $publisher = '';
1332     my $pages     = '';
1333     my $titletype = 'b';
1334
1335     # For the purposes of generating COinS metadata, LDR/06-07 can be
1336     # considered the same for UNIMARC and MARC21
1337     my $fmts6;
1338     my $fmts7;
1339     %$fmts6 = (
1340                 'a' => 'book',
1341                 'b' => 'manuscript',
1342                 'c' => 'book',
1343                 'd' => 'manuscript',
1344                 'e' => 'map',
1345                 'f' => 'map',
1346                 'g' => 'film',
1347                 'i' => 'audioRecording',
1348                 'j' => 'audioRecording',
1349                 'k' => 'artwork',
1350                 'l' => 'document',
1351                 'm' => 'computerProgram',
1352                 'o' => 'document',
1353                 'r' => 'document',
1354             );
1355     %$fmts7 = (
1356                     'a' => 'journalArticle',
1357                     's' => 'journal',
1358               );
1359
1360     $genre = $fmts6->{$pos6} ? $fmts6->{$pos6} : 'book';
1361
1362     if ( $genre eq 'book' ) {
1363             $genre = $fmts7->{$pos7} if $fmts7->{$pos7};
1364     }
1365
1366     ##### We must transform mtx to a valable mtx and document type ####
1367     if ( $genre eq 'book' ) {
1368             $mtx = 'book';
1369     } elsif ( $genre eq 'journal' ) {
1370             $mtx = 'journal';
1371             $titletype = 'j';
1372     } elsif ( $genre eq 'journalArticle' ) {
1373             $mtx   = 'journal';
1374             $genre = 'article';
1375             $titletype = 'a';
1376     } else {
1377             $mtx = 'dc';
1378     }
1379
1380     $genre = ( $mtx eq 'dc' ) ? "&amp;rft.type=$genre" : "&amp;rft.genre=$genre";
1381
1382     if ( C4::Context->preference("marcflavour") eq "UNIMARC" ) {
1383
1384         # Setting datas
1385         $aulast  = $record->subfield( '700', 'a' ) || '';
1386         $aufirst = $record->subfield( '700', 'b' ) || '';
1387         $oauthors = "&amp;rft.au=$aufirst $aulast";
1388
1389         # others authors
1390         if ( $record->field('200') ) {
1391             for my $au ( $record->field('200')->subfield('g') ) {
1392                 $oauthors .= "&amp;rft.au=$au";
1393             }
1394         }
1395         $title =
1396           ( $mtx eq 'dc' )
1397           ? "&amp;rft.title=" . $record->subfield( '200', 'a' )
1398           : "&amp;rft.title=" . $record->subfield( '200', 'a' ) . "&amp;rft.btitle=" . $record->subfield( '200', 'a' );
1399         $pubyear   = $record->subfield( '210', 'd' ) || '';
1400         $publisher = $record->subfield( '210', 'c' ) || '';
1401         $isbn      = $record->subfield( '010', 'a' ) || '';
1402         $issn      = $record->subfield( '011', 'a' ) || '';
1403     } else {
1404
1405         # MARC21 need some improve
1406
1407         # Setting datas
1408         if ( $record->field('100') ) {
1409             $oauthors .= "&amp;rft.au=" . $record->subfield( '100', 'a' );
1410         }
1411
1412         # others authors
1413         if ( $record->field('700') ) {
1414             for my $au ( $record->field('700')->subfield('a') ) {
1415                 $oauthors .= "&amp;rft.au=$au";
1416             }
1417         }
1418         $title = "&amp;rft." . $titletype . "title=" . $record->subfield( '245', 'a' );
1419         $subtitle = $record->subfield( '245', 'b' ) || '';
1420         $title .= $subtitle;
1421         if ($titletype eq 'a') {
1422             $pubyear   = $record->field('008') || '';
1423             $pubyear   = substr($pubyear->data(), 7, 4) if $pubyear;
1424             $isbn      = $record->subfield( '773', 'z' ) || '';
1425             $issn      = $record->subfield( '773', 'x' ) || '';
1426             if ($mtx eq 'journal') {
1427                 $title    .= "&amp;rft.title=" . (($record->subfield( '773', 't' ) || $record->subfield( '773', 'a')));
1428             } else {
1429                 $title    .= "&amp;rft.btitle=" . (($record->subfield( '773', 't' ) || $record->subfield( '773', 'a')) || '');
1430             }
1431             foreach my $rel ($record->subfield( '773', 'g' )) {
1432                 if ($pages) {
1433                     $pages .= ', ';
1434                 }
1435                 $pages .= $rel;
1436             }
1437         } else {
1438             $pubyear   = $record->subfield( '260', 'c' ) || '';
1439             $publisher = $record->subfield( '260', 'b' ) || '';
1440             $isbn      = $record->subfield( '020', 'a' ) || '';
1441             $issn      = $record->subfield( '022', 'a' ) || '';
1442         }
1443
1444     }
1445     my $coins_value =
1446 "ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3A$mtx$genre$title&amp;rft.isbn=$isbn&amp;rft.issn=$issn&amp;rft.aulast=$aulast&amp;rft.aufirst=$aufirst$oauthors&amp;rft.pub=$publisher&amp;rft.date=$pubyear&amp;rft.pages=$pages";
1447     $coins_value =~ s/(\ |&[^a])/\+/g;
1448     $coins_value =~ s/\"/\&quot\;/g;
1449
1450 #<!-- TMPL_VAR NAME="ocoins_format" -->&amp;rft.au=<!-- TMPL_VAR NAME="author" -->&amp;rft.btitle=<!-- TMPL_VAR NAME="title" -->&amp;rft.date=<!-- TMPL_VAR NAME="publicationyear" -->&amp;rft.pages=<!-- TMPL_VAR NAME="pages" -->&amp;rft.isbn=<!-- TMPL_VAR NAME=amazonisbn -->&amp;rft.aucorp=&amp;rft.place=<!-- TMPL_VAR NAME="place" -->&amp;rft.pub=<!-- TMPL_VAR NAME="publishercode" -->&amp;rft.edition=<!-- TMPL_VAR NAME="edition" -->&amp;rft.series=<!-- TMPL_VAR NAME="series" -->&amp;rft.genre="
1451
1452     return $coins_value;
1453 }
1454
1455
1456 =head2 GetMarcPrice
1457
1458 return the prices in accordance with the Marc format.
1459
1460 returns 0 if no price found
1461 returns undef if called without a marc record or with
1462 an unrecognized marc format
1463
1464 =cut
1465
1466 sub GetMarcPrice {
1467     my ( $record, $marcflavour ) = @_;
1468     if (!$record) {
1469         carp 'GetMarcPrice called on undefined record';
1470         return;
1471     }
1472
1473     my @listtags;
1474     my $subfield;
1475     
1476     if ( $marcflavour eq "MARC21" || $marcflavour eq "NORMARC" ) {
1477         @listtags = ('345', '020');
1478         $subfield="c";
1479     } elsif ( $marcflavour eq "UNIMARC" ) {
1480         @listtags = ('345', '010');
1481         $subfield="d";
1482     } else {
1483         return;
1484     }
1485     
1486     for my $field ( $record->field(@listtags) ) {
1487         for my $subfield_value  ($field->subfield($subfield)){
1488             #check value
1489             $subfield_value = MungeMarcPrice( $subfield_value );
1490             return $subfield_value if ($subfield_value);
1491         }
1492     }
1493     return 0; # no price found
1494 }
1495
1496 =head2 MungeMarcPrice
1497
1498 Return the best guess at what the actual price is from a price field.
1499 =cut
1500
1501 sub MungeMarcPrice {
1502     my ( $price ) = @_;
1503     return unless ( $price =~ m/\d/ ); ## No digits means no price.
1504     # Look for the currency symbol and the normalized code of the active currency, if it's there,
1505     my $active_currency = C4::Budgets->GetCurrency();
1506     my $symbol = $active_currency->{'symbol'};
1507     my $isocode = $active_currency->{'isocode'};
1508     $isocode = $active_currency->{'currency'} unless defined $isocode;
1509     my $localprice;
1510     if ( $symbol ) {
1511         my @matches =($price=~ /
1512             \s?
1513             (                          # start of capturing parenthesis
1514             (?:
1515             (?:[\p{Sc}\p{L}\/.]){1,4}  # any character from Currency signs or Letter Unicode categories or slash or dot                                              within 1 to 4 occurrences : call this whole block 'symbol block'
1516             |(?:\d+[\p{P}\s]?){1,4}    # or else at least one digit followed or not by a punctuation sign or whitespace,                                             all theese within 1 to 4 occurrences : call this whole block 'digits block'
1517             )
1518             \s?\p{Sc}?\s?              # followed or not by a whitespace. \p{Sc}?\s? are for cases like '25$ USD'
1519             (?:
1520             (?:[\p{Sc}\p{L}\/.]){1,4}  # followed by same block as symbol block
1521             |(?:\d+[\p{P}\s]?){1,4}    # or by same block as digits block
1522             )
1523             \s?\p{L}{0,4}\s?           # followed or not by a whitespace. \p{L}{0,4}\s? are for cases like '$9.50 USD'
1524             )                          # end of capturing parenthesis
1525             (?:\p{P}|\z)               # followed by a punctuation sign or by the end of the string
1526             /gx);
1527
1528         if ( @matches ) {
1529             foreach ( @matches ) {
1530                 $localprice = $_ and last if index($_, $isocode)>=0;
1531             }
1532             if ( !$localprice ) {
1533                 foreach ( @matches ) {
1534                     $localprice = $_ and last if $_=~ /(^|[^\p{Sc}\p{L}\/])\Q$symbol\E([^\p{Sc}\p{L}\/]+\z|\z)/;
1535                 }
1536             }
1537         }
1538     }
1539     if ( $localprice ) {
1540         $price = $localprice;
1541     } else {
1542         ## Grab the first number in the string ( can use commas or periods for thousands separator and/or decimal separator )
1543         ( $price ) = $price =~ m/([\d\,\.]+[[\,\.]\d\d]?)/;
1544     }
1545     # eliminate symbol/isocode, space and any final dot from the string
1546     $price =~ s/[\p{Sc}\p{L}\/ ]|\.$//g;
1547     # remove comma,dot when used as separators from hundreds
1548     $price =~s/[\,\.](\d{3})/$1/g;
1549     # convert comma to dot to ensure correct display of decimals if existing
1550     $price =~s/,/./;
1551     return $price;
1552 }
1553
1554
1555 =head2 GetMarcQuantity
1556
1557 return the quantity of a book. Used in acquisition only, when importing a file an iso2709 from a bookseller
1558 Warning : this is not really in the marc standard. In Unimarc, Electre (the most widely used bookseller) use the 969$a
1559
1560 returns 0 if no quantity found
1561 returns undef if called without a marc record or with
1562 an unrecognized marc format
1563
1564 =cut
1565
1566 sub GetMarcQuantity {
1567     my ( $record, $marcflavour ) = @_;
1568     if (!$record) {
1569         carp 'GetMarcQuantity called on undefined record';
1570         return;
1571     }
1572
1573     my @listtags;
1574     my $subfield;
1575     
1576     if ( $marcflavour eq "MARC21" ) {
1577         return 0
1578     } elsif ( $marcflavour eq "UNIMARC" ) {
1579         @listtags = ('969');
1580         $subfield="a";
1581     } else {
1582         return;
1583     }
1584     
1585     for my $field ( $record->field(@listtags) ) {
1586         for my $subfield_value  ($field->subfield($subfield)){
1587             #check value
1588             if ($subfield_value) {
1589                  # in France, the cents separator is the , but sometimes, ppl use a .
1590                  # in this case, the price will be x100 when unformatted ! Replace the . by a , to get a proper price calculation
1591                 $subfield_value =~ s/\./,/ if C4::Context->preference("CurrencyFormat") eq "FR";
1592                 return $subfield_value;
1593             }
1594         }
1595     }
1596     return 0; # no price found
1597 }
1598
1599
1600 =head2 GetAuthorisedValueDesc
1601
1602   my $subfieldvalue =get_authorised_value_desc(
1603     $tag, $subf[$i][0],$subf[$i][1], '', $taglib, $category, $opac);
1604
1605 Retrieve the complete description for a given authorised value.
1606
1607 Now takes $category and $value pair too.
1608
1609   my $auth_value_desc =GetAuthorisedValueDesc(
1610     '','', 'DVD' ,'','','CCODE');
1611
1612 If the optional $opac parameter is set to a true value, displays OPAC 
1613 descriptions rather than normal ones when they exist.
1614
1615 =cut
1616
1617 sub GetAuthorisedValueDesc {
1618     my ( $tag, $subfield, $value, $framework, $tagslib, $category, $opac ) = @_;
1619     my $dbh = C4::Context->dbh;
1620
1621     if ( !$category ) {
1622
1623         return $value unless defined $tagslib->{$tag}->{$subfield}->{'authorised_value'};
1624
1625         #---- branch
1626         if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "branches" ) {
1627             return C4::Branch::GetBranchName($value);
1628         }
1629
1630         #---- itemtypes
1631         if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "itemtypes" ) {
1632             return getitemtypeinfo($value)->{description};
1633         }
1634
1635         #---- "true" authorized value
1636         $category = $tagslib->{$tag}->{$subfield}->{'authorised_value'};
1637     }
1638
1639     if ( $category ne "" ) {
1640         my $sth = $dbh->prepare( "SELECT lib, lib_opac FROM authorised_values WHERE category = ? AND authorised_value = ?" );
1641         $sth->execute( $category, $value );
1642         my $data = $sth->fetchrow_hashref;
1643         return ( $opac && $data->{'lib_opac'} ) ? $data->{'lib_opac'} : $data->{'lib'};
1644     } else {
1645         return $value;    # if nothing is found return the original value
1646     }
1647 }
1648
1649 =head2 GetMarcControlnumber
1650
1651   $marccontrolnumber = GetMarcControlnumber($record,$marcflavour);
1652
1653 Get the control number / record Identifier from the MARC record and return it.
1654
1655 =cut
1656
1657 sub GetMarcControlnumber {
1658     my ( $record, $marcflavour ) = @_;
1659     if (!$record) {
1660         carp 'GetMarcControlnumber called on undefined record';
1661         return;
1662     }
1663     my $controlnumber = "";
1664     # Control number or Record identifier are the same field in MARC21, UNIMARC and NORMARC
1665     # Keep $marcflavour for possible later use
1666     if ($marcflavour eq "MARC21" || $marcflavour eq "UNIMARC" || $marcflavour eq "NORMARC") {
1667         my $controlnumberField = $record->field('001');
1668         if ($controlnumberField) {
1669             $controlnumber = $controlnumberField->data();
1670         }
1671     }
1672     return $controlnumber;
1673 }
1674
1675 =head2 GetMarcISBN
1676
1677   $marcisbnsarray = GetMarcISBN( $record, $marcflavour );
1678
1679 Get all ISBNs from the MARC record and returns them in an array.
1680 ISBNs stored in different fields depending on MARC flavour
1681
1682 =cut
1683
1684 sub GetMarcISBN {
1685     my ( $record, $marcflavour ) = @_;
1686     if (!$record) {
1687         carp 'GetMarcISBN called on undefined record';
1688         return;
1689     }
1690     my $scope;
1691     if ( $marcflavour eq "UNIMARC" ) {
1692         $scope = '010';
1693     } else {    # assume marc21 if not unimarc
1694         $scope = '020';
1695     }
1696
1697     my @marcisbns;
1698     foreach my $field ( $record->field($scope) ) {
1699         my $isbn = $field->subfield( 'a' );
1700         if ( $isbn ne "" ) {
1701             push @marcisbns, $isbn;
1702         }
1703     }
1704
1705     return \@marcisbns;
1706 }    # end GetMarcISBN
1707
1708
1709 =head2 GetMarcISSN
1710
1711   $marcissnsarray = GetMarcISSN( $record, $marcflavour );
1712
1713 Get all valid ISSNs from the MARC record and returns them in an array.
1714 ISSNs are stored in different fields depending on MARC flavour
1715
1716 =cut
1717
1718 sub GetMarcISSN {
1719     my ( $record, $marcflavour ) = @_;
1720     if (!$record) {
1721         carp 'GetMarcISSN called on undefined record';
1722         return;
1723     }
1724     my $scope;
1725     if ( $marcflavour eq "UNIMARC" ) {
1726         $scope = '011';
1727     }
1728     else {    # assume MARC21 or NORMARC
1729         $scope = '022';
1730     }
1731     my @marcissns;
1732     foreach my $field ( $record->field($scope) ) {
1733         push @marcissns, $field->subfield( 'a' );
1734     }
1735     return \@marcissns;
1736 }    # end GetMarcISSN
1737
1738 =head2 GetMarcNotes
1739
1740   $marcnotesarray = GetMarcNotes( $record, $marcflavour );
1741
1742 Get all notes from the MARC record and returns them in an array.
1743 The note are stored in different fields depending on MARC flavour
1744
1745 =cut
1746
1747 sub GetMarcNotes {
1748     my ( $record, $marcflavour ) = @_;
1749     if (!$record) {
1750         carp 'GetMarcNotes called on undefined record';
1751         return;
1752     }
1753     my $scope;
1754     if ( $marcflavour eq "UNIMARC" ) {
1755         $scope = '3..';
1756     } else {    # assume marc21 if not unimarc
1757         $scope = '5..';
1758     }
1759     my @marcnotes;
1760     my $note = "";
1761     my $tag  = "";
1762     my $marcnote;
1763     my %blacklist = map { $_ => 1 } split(/,/,C4::Context->preference('NotesBlacklist'));
1764     foreach my $field ( $record->field($scope) ) {
1765         my $tag = $field->tag();
1766         if (!$blacklist{$tag}) {
1767             my $value = $field->as_string();
1768             if ( $note ne "" ) {
1769                 $marcnote = { marcnote => $note, };
1770                 push @marcnotes, $marcnote;
1771                 $note = $value;
1772             }
1773             if ( $note ne $value ) {
1774                 $note = $note . " " . $value;
1775             }
1776         }
1777     }
1778
1779     if ($note) {
1780         $marcnote = { marcnote => $note };
1781         push @marcnotes, $marcnote;    #load last tag into array
1782     }
1783     return \@marcnotes;
1784 }    # end GetMarcNotes
1785
1786 =head2 GetMarcSubjects
1787
1788   $marcsubjcts = GetMarcSubjects($record,$marcflavour);
1789
1790 Get all subjects from the MARC record and returns them in an array.
1791 The subjects are stored in different fields depending on MARC flavour
1792
1793 =cut
1794
1795 sub GetMarcSubjects {
1796     my ( $record, $marcflavour ) = @_;
1797     if (!$record) {
1798         carp 'GetMarcSubjects called on undefined record';
1799         return;
1800     }
1801     my ( $mintag, $maxtag, $fields_filter );
1802     if ( $marcflavour eq "UNIMARC" ) {
1803         $mintag = "600";
1804         $maxtag = "611";
1805         $fields_filter = '6..';
1806     } else { # marc21/normarc
1807         $mintag = "600";
1808         $maxtag = "699";
1809         $fields_filter = '6..';
1810     }
1811
1812     my @marcsubjects;
1813
1814     my $subject_limit = C4::Context->preference("TraceCompleteSubfields") ? 'su,complete-subfield' : 'su';
1815     my $AuthoritySeparator = C4::Context->preference('AuthoritySeparator');
1816
1817     foreach my $field ( $record->field($fields_filter) ) {
1818         next unless ($field->tag() >= $mintag && $field->tag() <= $maxtag);
1819         my @subfields_loop;
1820         my @subfields = $field->subfields();
1821         my @link_loop;
1822
1823         # if there is an authority link, build the links with an= subfield9
1824         my $subfield9 = $field->subfield('9');
1825         my $authoritylink;
1826         if ($subfield9) {
1827             my $linkvalue = $subfield9;
1828             $linkvalue =~ s/(\(|\))//g;
1829             @link_loop = ( { limit => 'an', 'link' => $linkvalue } );
1830             $authoritylink = $linkvalue
1831         }
1832
1833         # other subfields
1834         for my $subject_subfield (@subfields) {
1835             next if ( $subject_subfield->[0] eq '9' );
1836
1837             # don't load unimarc subfields 3,4,5
1838             next if ( ( $marcflavour eq "UNIMARC" ) and ( $subject_subfield->[0] =~ /2|3|4|5/ ) );
1839             # don't load MARC21 subfields 2 (FIXME: any more subfields??)
1840             next if ( ( $marcflavour eq "MARC21" ) and ( $subject_subfield->[0] =~ /2/ ) );
1841
1842             my $code      = $subject_subfield->[0];
1843             my $value     = $subject_subfield->[1];
1844             my $linkvalue = $value;
1845             $linkvalue =~ s/(\(|\))//g;
1846             # if no authority link, build a search query
1847             unless ($subfield9) {
1848                 push @link_loop, {
1849                     limit    => $subject_limit,
1850                     'link'   => $linkvalue,
1851                     operator => (scalar @link_loop) ? ' and ' : undef
1852                 };
1853             }
1854             my @this_link_loop = @link_loop;
1855             # do not display $0
1856             unless ( $code eq '0' ) {
1857                 push @subfields_loop, {
1858                     code      => $code,
1859                     value     => $value,
1860                     link_loop => \@this_link_loop,
1861                     separator => (scalar @subfields_loop) ? $AuthoritySeparator : ''
1862                 };
1863             }
1864         }
1865
1866         push @marcsubjects, {
1867             MARCSUBJECT_SUBFIELDS_LOOP => \@subfields_loop,
1868             authoritylink => $authoritylink,
1869         };
1870
1871     }
1872     return \@marcsubjects;
1873 }    #end getMARCsubjects
1874
1875 =head2 GetMarcAuthors
1876
1877   authors = GetMarcAuthors($record,$marcflavour);
1878
1879 Get all authors from the MARC record and returns them in an array.
1880 The authors are stored in different fields depending on MARC flavour
1881
1882 =cut
1883
1884 sub GetMarcAuthors {
1885     my ( $record, $marcflavour ) = @_;
1886     if (!$record) {
1887         carp 'GetMarcAuthors called on undefined record';
1888         return;
1889     }
1890     my ( $mintag, $maxtag, $fields_filter );
1891
1892     # tagslib useful for UNIMARC author reponsabilities
1893     my $tagslib =
1894       &GetMarcStructure( 1, '' );    # FIXME : we don't have the framework available, we take the default framework. May be buggy on some setups, will be usually correct.
1895     if ( $marcflavour eq "UNIMARC" ) {
1896         $mintag = "700";
1897         $maxtag = "712";
1898         $fields_filter = '7..';
1899     } else { # marc21/normarc
1900         $mintag = "700";
1901         $maxtag = "720";
1902         $fields_filter = '7..';
1903     }
1904
1905     my @marcauthors;
1906     my $AuthoritySeparator = C4::Context->preference('AuthoritySeparator');
1907
1908     foreach my $field ( $record->field($fields_filter) ) {
1909         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
1910         my @subfields_loop;
1911         my @link_loop;
1912         my @subfields  = $field->subfields();
1913         my $count_auth = 0;
1914
1915         # if there is an authority link, build the link with Koha-Auth-Number: subfield9
1916         my $subfield9 = $field->subfield('9');
1917         if ($subfield9) {
1918             my $linkvalue = $subfield9;
1919             $linkvalue =~ s/(\(|\))//g;
1920             @link_loop = ( { 'limit' => 'an', 'link' => $linkvalue } );
1921         }
1922
1923         # other subfields
1924         for my $authors_subfield (@subfields) {
1925             next if ( $authors_subfield->[0] eq '9' );
1926
1927             # don't load unimarc subfields 3, 5
1928             next if ( $marcflavour eq 'UNIMARC' and ( $authors_subfield->[0] =~ /3|5/ ) );
1929
1930             my $code = $authors_subfield->[0];
1931             my $value        = $authors_subfield->[1];
1932             my $linkvalue    = $value;
1933             $linkvalue =~ s/(\(|\))//g;
1934             # UNIMARC author responsibility
1935             if ( $marcflavour eq 'UNIMARC' and $code eq '4' ) {
1936                 $value = GetAuthorisedValueDesc( $field->tag(), $code, $value, '', $tagslib );
1937                 $linkvalue = "($value)";
1938             }
1939             # if no authority link, build a search query
1940             unless ($subfield9) {
1941                 push @link_loop, {
1942                     limit    => 'au',
1943                     'link'   => $linkvalue,
1944                     operator => (scalar @link_loop) ? ' and ' : undef
1945                 };
1946             }
1947             my @this_link_loop = @link_loop;
1948             # do not display $0
1949             unless ( $code eq '0') {
1950                 push @subfields_loop, {
1951                     tag       => $field->tag(),
1952                     code      => $code,
1953                     value     => $value,
1954                     link_loop => \@this_link_loop,
1955                     separator => (scalar @subfields_loop) ? $AuthoritySeparator : ''
1956                 };
1957             }
1958         }
1959         push @marcauthors, {
1960             MARCAUTHOR_SUBFIELDS_LOOP => \@subfields_loop,
1961             authoritylink => $subfield9,
1962         };
1963     }
1964     return \@marcauthors;
1965 }
1966
1967 =head2 GetMarcUrls
1968
1969   $marcurls = GetMarcUrls($record,$marcflavour);
1970
1971 Returns arrayref of URLs from MARC data, suitable to pass to tmpl loop.
1972 Assumes web resources (not uncommon in MARC21 to omit resource type ind) 
1973
1974 =cut
1975
1976 sub GetMarcUrls {
1977     my ( $record, $marcflavour ) = @_;
1978     if (!$record) {
1979         carp 'GetMarcUrls called on undefined record';
1980         return;
1981     }
1982
1983     my @marcurls;
1984     for my $field ( $record->field('856') ) {
1985         my @notes;
1986         for my $note ( $field->subfield('z') ) {
1987             push @notes, { note => $note };
1988         }
1989         my @urls = $field->subfield('u');
1990         foreach my $url (@urls) {
1991             my $marcurl;
1992             if ( $marcflavour eq 'MARC21' ) {
1993                 my $s3   = $field->subfield('3');
1994                 my $link = $field->subfield('y');
1995                 unless ( $url =~ /^\w+:/ ) {
1996                     if ( $field->indicator(1) eq '7' ) {
1997                         $url = $field->subfield('2') . "://" . $url;
1998                     } elsif ( $field->indicator(1) eq '1' ) {
1999                         $url = 'ftp://' . $url;
2000                     } else {
2001
2002                         #  properly, this should be if ind1=4,
2003                         #  however we will assume http protocol since we're building a link.
2004                         $url = 'http://' . $url;
2005                     }
2006                 }
2007
2008                 # TODO handle ind 2 (relationship)
2009                 $marcurl = {
2010                     MARCURL => $url,
2011                     notes   => \@notes,
2012                 };
2013                 $marcurl->{'linktext'} = $link || $s3 || C4::Context->preference('URLLinkText') || $url;
2014                 $marcurl->{'part'} = $s3 if ($link);
2015                 $marcurl->{'toc'} = 1 if ( defined($s3) && $s3 =~ /^[Tt]able/ );
2016             } else {
2017                 $marcurl->{'linktext'} = $field->subfield('2') || C4::Context->preference('URLLinkText') || $url;
2018                 $marcurl->{'MARCURL'} = $url;
2019             }
2020             push @marcurls, $marcurl;
2021         }
2022     }
2023     return \@marcurls;
2024 }
2025
2026 =head2 GetMarcSeries
2027
2028   $marcseriesarray = GetMarcSeries($record,$marcflavour);
2029
2030 Get all series from the MARC record and returns them in an array.
2031 The series are stored in different fields depending on MARC flavour
2032
2033 =cut
2034
2035 sub GetMarcSeries {
2036     my ( $record, $marcflavour ) = @_;
2037     if (!$record) {
2038         carp 'GetMarcSeries called on undefined record';
2039         return;
2040     }
2041
2042     my ( $mintag, $maxtag, $fields_filter );
2043     if ( $marcflavour eq "UNIMARC" ) {
2044         $mintag = "225";
2045         $maxtag = "225";
2046         $fields_filter = '2..';
2047     } else {    # marc21/normarc
2048         $mintag = "440";
2049         $maxtag = "490";
2050         $fields_filter = '4..';
2051     }
2052
2053     my @marcseries;
2054     my $AuthoritySeparator = C4::Context->preference('AuthoritySeparator');
2055
2056     foreach my $field ( $record->field($fields_filter) ) {
2057         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
2058         my @subfields_loop;
2059         my @subfields = $field->subfields();
2060         my @link_loop;
2061
2062         for my $series_subfield (@subfields) {
2063
2064             # ignore $9, used for authority link
2065             next if ( $series_subfield->[0] eq '9' );
2066
2067             my $volume_number;
2068             my $code      = $series_subfield->[0];
2069             my $value     = $series_subfield->[1];
2070             my $linkvalue = $value;
2071             $linkvalue =~ s/(\(|\))//g;
2072
2073             # see if this is an instance of a volume
2074             if ( $code eq 'v' ) {
2075                 $volume_number = 1;
2076             }
2077
2078             push @link_loop, {
2079                 'link' => $linkvalue,
2080                 operator => (scalar @link_loop) ? ' and ' : undef
2081             };
2082
2083             if ($volume_number) {
2084                 push @subfields_loop, { volumenum => $value };
2085             } else {
2086                 push @subfields_loop, {
2087                     code      => $code,
2088                     value     => $value,
2089                     link_loop => \@link_loop,
2090                     separator => (scalar @subfields_loop) ? $AuthoritySeparator : '',
2091                     volumenum => $volume_number,
2092                 }
2093             }
2094         }
2095         push @marcseries, { MARCSERIES_SUBFIELDS_LOOP => \@subfields_loop };
2096
2097     }
2098     return \@marcseries;
2099 }    #end getMARCseriess
2100
2101 =head2 GetMarcHosts
2102
2103   $marchostsarray = GetMarcHosts($record,$marcflavour);
2104
2105 Get all host records (773s MARC21, 461 UNIMARC) from the MARC record and returns them in an array.
2106
2107 =cut
2108
2109 sub GetMarcHosts {
2110     my ( $record, $marcflavour ) = @_;
2111     if (!$record) {
2112         carp 'GetMarcHosts called on undefined record';
2113         return;
2114     }
2115
2116     my ( $tag,$title_subf,$bibnumber_subf,$itemnumber_subf);
2117     $marcflavour ||="MARC21";
2118     if ( $marcflavour eq "MARC21" || $marcflavour eq "NORMARC" ) {
2119         $tag = "773";
2120         $title_subf = "t";
2121         $bibnumber_subf ="0";
2122         $itemnumber_subf='9';
2123     }
2124     elsif ($marcflavour eq "UNIMARC") {
2125         $tag = "461";
2126         $title_subf = "t";
2127         $bibnumber_subf ="0";
2128         $itemnumber_subf='9';
2129     };
2130
2131     my @marchosts;
2132
2133     foreach my $field ( $record->field($tag)) {
2134
2135         my @fields_loop;
2136
2137         my $hostbiblionumber = $field->subfield("$bibnumber_subf");
2138         my $hosttitle = $field->subfield($title_subf);
2139         my $hostitemnumber=$field->subfield($itemnumber_subf);
2140         push @fields_loop, { hostbiblionumber => $hostbiblionumber, hosttitle => $hosttitle, hostitemnumber => $hostitemnumber};
2141         push @marchosts, { MARCHOSTS_FIELDS_LOOP => \@fields_loop };
2142
2143         }
2144     my $marchostsarray = \@marchosts;
2145     return $marchostsarray;
2146 }
2147
2148 =head2 GetFrameworkCode
2149
2150   $frameworkcode = GetFrameworkCode( $biblionumber )
2151
2152 =cut
2153
2154 sub GetFrameworkCode {
2155     my ($biblionumber) = @_;
2156     my $dbh            = C4::Context->dbh;
2157     my $sth            = $dbh->prepare("SELECT frameworkcode FROM biblio WHERE biblionumber=?");
2158     $sth->execute($biblionumber);
2159     my ($frameworkcode) = $sth->fetchrow;
2160     return $frameworkcode;
2161 }
2162
2163 =head2 TransformKohaToMarc
2164
2165     $record = TransformKohaToMarc( $hash )
2166
2167 This function builds partial MARC::Record from a hash
2168 Hash entries can be from biblio or biblioitems.
2169
2170 This function is called in acquisition module, to create a basic catalogue
2171 entry from user entry
2172
2173 =cut
2174
2175
2176 sub TransformKohaToMarc {
2177     my $hash = shift;
2178     my $record = MARC::Record->new();
2179     SetMarcUnicodeFlag( $record, C4::Context->preference("marcflavour") );
2180     my $db_to_marc = C4::Context->marcfromkohafield;
2181     my $tag_hr = {};
2182     while ( my ($name, $value) = each %$hash ) {
2183         next unless my $dtm = $db_to_marc->{''}->{$name};
2184         next unless ( scalar( @$dtm ) );
2185         my ($tag, $letter) = @$dtm;
2186         $tag .= '';
2187         foreach my $value ( split(/\s?\|\s?/, $value, -1) ) {
2188             next if $value eq '';
2189             $tag_hr->{$tag} //= [];
2190             push @{$tag_hr->{$tag}}, [($letter, $value)];
2191         }
2192     }
2193     foreach my $tag (sort keys %$tag_hr) {
2194         my @sfl = @{$tag_hr->{$tag}};
2195         @sfl = sort { $a->[0] cmp $b->[0]; } @sfl;
2196         @sfl = map { @{$_}; } @sfl;
2197         $record->insert_fields_ordered(
2198             MARC::Field->new($tag, " ", " ", @sfl)
2199         );
2200     }
2201     return $record;
2202 }
2203
2204 =head2 PrepHostMarcField
2205
2206     $hostfield = PrepHostMarcField ( $hostbiblionumber,$hostitemnumber,$marcflavour )
2207
2208 This function returns a host field populated with data from the host record, the field can then be added to an analytical record
2209
2210 =cut
2211
2212 sub PrepHostMarcField {
2213     my ($hostbiblionumber,$hostitemnumber, $marcflavour) = @_;
2214     $marcflavour ||="MARC21";
2215     
2216     require C4::Items;
2217     my $hostrecord = GetMarcBiblio($hostbiblionumber);
2218         my $item = C4::Items::GetItem($hostitemnumber);
2219         
2220         my $hostmarcfield;
2221     if ( $marcflavour eq "MARC21" || $marcflavour eq "NORMARC" ) {
2222         
2223         #main entry
2224         my $mainentry;
2225         if ($hostrecord->subfield('100','a')){
2226             $mainentry = $hostrecord->subfield('100','a');
2227         } elsif ($hostrecord->subfield('110','a')){
2228             $mainentry = $hostrecord->subfield('110','a');
2229         } else {
2230             $mainentry = $hostrecord->subfield('111','a');
2231         }
2232         
2233         # qualification info
2234         my $qualinfo;
2235         if (my $field260 = $hostrecord->field('260')){
2236             $qualinfo =  $field260->as_string( 'abc' );
2237         }
2238         
2239
2240         #other fields
2241         my $ed = $hostrecord->subfield('250','a');
2242         my $barcode = $item->{'barcode'};
2243         my $title = $hostrecord->subfield('245','a');
2244
2245         # record control number, 001 with 003 and prefix
2246         my $recctrlno;
2247         if ($hostrecord->field('001')){
2248             $recctrlno = $hostrecord->field('001')->data();
2249             if ($hostrecord->field('003')){
2250                 $recctrlno = '('.$hostrecord->field('003')->data().')'.$recctrlno;
2251             }
2252         }
2253
2254         # issn/isbn
2255         my $issn = $hostrecord->subfield('022','a');
2256         my $isbn = $hostrecord->subfield('020','a');
2257
2258
2259         $hostmarcfield = MARC::Field->new(
2260                 773, '0', '',
2261                 '0' => $hostbiblionumber,
2262                 '9' => $hostitemnumber,
2263                 'a' => $mainentry,
2264                 'b' => $ed,
2265                 'd' => $qualinfo,
2266                 'o' => $barcode,
2267                 't' => $title,
2268                 'w' => $recctrlno,
2269                 'x' => $issn,
2270                 'z' => $isbn
2271                 );
2272     } elsif ($marcflavour eq "UNIMARC") {
2273         $hostmarcfield = MARC::Field->new(
2274             461, '', '',
2275             '0' => $hostbiblionumber,
2276             't' => $hostrecord->subfield('200','a'), 
2277             '9' => $hostitemnumber
2278         );      
2279     };
2280
2281     return $hostmarcfield;
2282 }
2283
2284 =head2 TransformHtmlToXml
2285
2286   $xml = TransformHtmlToXml( $tags, $subfields, $values, $indicator, 
2287                              $ind_tag, $auth_type )
2288
2289 $auth_type contains :
2290
2291 =over
2292
2293 =item - nothing : rebuild a biblio. In UNIMARC the encoding is in 100$a pos 26/27
2294
2295 =item - UNIMARCAUTH : rebuild an authority. In UNIMARC, the encoding is in 100$a pos 13/14
2296
2297 =item - ITEM : rebuild an item : in UNIMARC, 100$a, it's in the biblio ! (otherwise, we would get 2 100 fields !)
2298
2299 =back
2300
2301 =cut
2302
2303 sub TransformHtmlToXml {
2304     my ( $tags, $subfields, $values, $indicator, $ind_tag, $auth_type ) = @_;
2305     my $xml = MARC::File::XML::header('UTF-8');
2306     $xml .= "<record>\n";
2307     $auth_type = C4::Context->preference('marcflavour') unless $auth_type;
2308     MARC::File::XML->default_record_format($auth_type);
2309
2310     # in UNIMARC, field 100 contains the encoding
2311     # check that there is one, otherwise the
2312     # MARC::Record->new_from_xml will fail (and Koha will die)
2313     my $unimarc_and_100_exist = 0;
2314     $unimarc_and_100_exist = 1 if $auth_type eq 'ITEM';    # if we rebuild an item, no need of a 100 field
2315     my $prevvalue;
2316     my $prevtag = -1;
2317     my $first   = 1;
2318     my $j       = -1;
2319     for ( my $i = 0 ; $i < @$tags ; $i++ ) {
2320
2321         if ( C4::Context->preference('marcflavour') eq 'UNIMARC' and @$tags[$i] eq "100" and @$subfields[$i] eq "a" ) {
2322
2323             # if we have a 100 field and it's values are not correct, skip them.
2324             # if we don't have any valid 100 field, we will create a default one at the end
2325             my $enc = substr( @$values[$i], 26, 2 );
2326             if ( $enc eq '01' or $enc eq '50' or $enc eq '03' ) {
2327                 $unimarc_and_100_exist = 1;
2328             } else {
2329                 next;
2330             }
2331         }
2332         @$values[$i] =~ s/&/&amp;/g;
2333         @$values[$i] =~ s/</&lt;/g;
2334         @$values[$i] =~ s/>/&gt;/g;
2335         @$values[$i] =~ s/"/&quot;/g;
2336         @$values[$i] =~ s/'/&apos;/g;
2337
2338         #         if ( !utf8::is_utf8( @$values[$i] ) ) {
2339         #             utf8::decode( @$values[$i] );
2340         #         }
2341         if ( ( @$tags[$i] ne $prevtag ) ) {
2342             $j++ unless ( @$tags[$i] eq "" );
2343             my $indicator1 = eval { substr( @$indicator[$j], 0, 1 ) };
2344             my $indicator2 = eval { substr( @$indicator[$j], 1, 1 ) };
2345             my $ind1       = _default_ind_to_space($indicator1);
2346             my $ind2;
2347             if ( @$indicator[$j] ) {
2348                 $ind2 = _default_ind_to_space($indicator2);
2349             } else {
2350                 warn "Indicator in @$tags[$i] is empty";
2351                 $ind2 = " ";
2352             }
2353             if ( !$first ) {
2354                 $xml .= "</datafield>\n";
2355                 if (   ( @$tags[$i] && @$tags[$i] > 10 )
2356                     && ( @$values[$i] ne "" ) ) {
2357                     $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
2358                     $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
2359                     $first = 0;
2360                 } else {
2361                     $first = 1;
2362                 }
2363             } else {
2364                 if ( @$values[$i] ne "" ) {
2365
2366                     # leader
2367                     if ( @$tags[$i] eq "000" ) {
2368                         $xml .= "<leader>@$values[$i]</leader>\n";
2369                         $first = 1;
2370
2371                         # rest of the fixed fields
2372                     } elsif ( @$tags[$i] < 10 ) {
2373                         $xml .= "<controlfield tag=\"@$tags[$i]\">@$values[$i]</controlfield>\n";
2374                         $first = 1;
2375                     } else {
2376                         $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
2377                         $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
2378                         $first = 0;
2379                     }
2380                 }
2381             }
2382         } else {    # @$tags[$i] eq $prevtag
2383             my $indicator1 = eval { substr( @$indicator[$j], 0, 1 ) };
2384             my $indicator2 = eval { substr( @$indicator[$j], 1, 1 ) };
2385             my $ind1       = _default_ind_to_space($indicator1);
2386             my $ind2;
2387             if ( @$indicator[$j] ) {
2388                 $ind2 = _default_ind_to_space($indicator2);
2389             } else {
2390                 warn "Indicator in @$tags[$i] is empty";
2391                 $ind2 = " ";
2392             }
2393             if ( @$values[$i] eq "" ) {
2394             } else {
2395                 if ($first) {
2396                     $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
2397                     $first = 0;
2398                 }
2399                 $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
2400             }
2401         }
2402         $prevtag = @$tags[$i];
2403     }
2404     $xml .= "</datafield>\n" if $xml =~ m/<datafield/;
2405     if ( C4::Context->preference('marcflavour') eq 'UNIMARC' and !$unimarc_and_100_exist ) {
2406
2407         #     warn "SETTING 100 for $auth_type";
2408         my $string = strftime( "%Y%m%d", localtime(time) );
2409
2410         # set 50 to position 26 is biblios, 13 if authorities
2411         my $pos = 26;
2412         $pos = 13 if $auth_type eq 'UNIMARCAUTH';
2413         $string = sprintf( "%-*s", 35, $string );
2414         substr( $string, $pos, 6, "50" );
2415         $xml .= "<datafield tag=\"100\" ind1=\"\" ind2=\"\">\n";
2416         $xml .= "<subfield code=\"a\">$string</subfield>\n";
2417         $xml .= "</datafield>\n";
2418     }
2419     $xml .= "</record>\n";
2420     $xml .= MARC::File::XML::footer();
2421     return $xml;
2422 }
2423
2424 =head2 _default_ind_to_space
2425
2426 Passed what should be an indicator returns a space
2427 if its undefined or zero length
2428
2429 =cut
2430
2431 sub _default_ind_to_space {
2432     my $s = shift;
2433     if ( !defined $s || $s eq q{} ) {
2434         return ' ';
2435     }
2436     return $s;
2437 }
2438
2439 =head2 TransformHtmlToMarc
2440
2441     L<$record> = TransformHtmlToMarc(L<$cgi>)
2442     L<$cgi> is the CGI object which containts the values for subfields
2443     {
2444         'tag_010_indicator1_531951' ,
2445         'tag_010_indicator2_531951' ,
2446         'tag_010_code_a_531951_145735' ,
2447         'tag_010_subfield_a_531951_145735' ,
2448         'tag_200_indicator1_873510' ,
2449         'tag_200_indicator2_873510' ,
2450         'tag_200_code_a_873510_673465' ,
2451         'tag_200_subfield_a_873510_673465' ,
2452         'tag_200_code_b_873510_704318' ,
2453         'tag_200_subfield_b_873510_704318' ,
2454         'tag_200_code_e_873510_280822' ,
2455         'tag_200_subfield_e_873510_280822' ,
2456         'tag_200_code_f_873510_110730' ,
2457         'tag_200_subfield_f_873510_110730' ,
2458     }
2459     L<$record> is the MARC::Record object.
2460
2461 =cut
2462
2463 sub TransformHtmlToMarc {
2464     my $cgi    = shift;
2465
2466     my @params = $cgi->param();
2467
2468     # explicitly turn on the UTF-8 flag for all
2469     # 'tag_' parameters to avoid incorrect character
2470     # conversion later on
2471     my $cgi_params = $cgi->Vars;
2472     foreach my $param_name ( keys %$cgi_params ) {
2473         if ( $param_name =~ /^tag_/ ) {
2474             my $param_value = $cgi_params->{$param_name};
2475             if ( utf8::decode($param_value) ) {
2476                 $cgi_params->{$param_name} = $param_value;
2477             }
2478
2479             # FIXME - need to do something if string is not valid UTF-8
2480         }
2481     }
2482
2483     # creating a new record
2484     my $record = MARC::Record->new();
2485     my $i      = 0;
2486     my @fields;
2487 #FIXME This code assumes that the CGI params will be in the same order as the fields in the template; this is no absolute guarantee!
2488     while ( $params[$i] ) {    # browse all CGI params
2489         my $param    = $params[$i];
2490         my $newfield = 0;
2491
2492         # if we are on biblionumber, store it in the MARC::Record (it may not be in the edited fields)
2493         if ( $param eq 'biblionumber' ) {
2494             my ( $biblionumbertagfield, $biblionumbertagsubfield ) = &GetMarcFromKohaField( "biblio.biblionumber", '' );
2495             if ( $biblionumbertagfield < 10 ) {
2496                 $newfield = MARC::Field->new( $biblionumbertagfield, $cgi->param($param), );
2497             } else {
2498                 $newfield = MARC::Field->new( $biblionumbertagfield, '', '', "$biblionumbertagsubfield" => $cgi->param($param), );
2499             }
2500             push @fields, $newfield if ($newfield);
2501         } elsif ( $param =~ /^tag_(\d*)_indicator1_/ ) {    # new field start when having 'input name="..._indicator1_..."
2502             my $tag = $1;
2503
2504             my $ind1 = _default_ind_to_space( substr( $cgi->param($param), 0, 1 ) );
2505             my $ind2 = _default_ind_to_space( substr( $cgi->param( $params[ $i + 1 ] ), 0, 1 ) );
2506             $newfield = 0;
2507             my $j = $i + 2;
2508
2509             if ( $tag < 10 ) {                              # no code for theses fields
2510                                                             # in MARC editor, 000 contains the leader.
2511                 if ( $tag eq '000' ) {
2512                     # Force a fake leader even if not provided to avoid crashing
2513                     # during decoding MARC record containing UTF-8 characters
2514                     $record->leader(
2515                         length( $cgi->param($params[$j+1]) ) == 24
2516                         ? $cgi->param( $params[ $j + 1 ] )
2517                         : '     nam a22        4500'
2518                         )
2519                     ;
2520                     # between 001 and 009 (included)
2521                 } elsif ( $cgi->param( $params[ $j + 1 ] ) ne '' ) {
2522                     $newfield = MARC::Field->new( $tag, $cgi->param( $params[ $j + 1 ] ), );
2523                 }
2524
2525                 # > 009, deal with subfields
2526             } else {
2527                 # browse subfields for this tag (reason for _code_ match)
2528                 while(defined $params[$j] && $params[$j] =~ /_code_/) {
2529                     last unless defined $params[$j+1];
2530                     #if next param ne subfield, then it was probably empty
2531                     #try next param by incrementing j
2532                     if($params[$j+1]!~/_subfield_/) {$j++; next; }
2533                     my $fval= $cgi->param($params[$j+1]);
2534                     #check if subfield value not empty and field exists
2535                     if($fval ne '' && $newfield) {
2536                         $newfield->add_subfields( $cgi->param($params[$j]) => $fval);
2537                     }
2538                     elsif($fval ne '') {
2539                         $newfield = MARC::Field->new( $tag, $ind1, $ind2, $cgi->param($params[$j]) => $fval );
2540                     }
2541                     $j += 2;
2542                 } #end-of-while
2543                 $i= $j-1; #update i for outer loop accordingly
2544             }
2545             push @fields, $newfield if ($newfield);
2546         }
2547         $i++;
2548     }
2549
2550     $record->append_fields(@fields);
2551     return $record;
2552 }
2553
2554 # cache inverted MARC field map
2555 our $inverted_field_map;
2556
2557 =head2 TransformMarcToKoha
2558
2559   $result = TransformMarcToKoha( $dbh, $record, $frameworkcode )
2560
2561 Extract data from a MARC bib record into a hashref representing
2562 Koha biblio, biblioitems, and items fields. 
2563
2564 If passed an undefined record will log the error and return an empty
2565 hash_ref
2566
2567 =cut
2568
2569 sub TransformMarcToKoha {
2570     my ( $dbh, $record, $frameworkcode, $limit_table ) = @_;
2571
2572     my $result = {};
2573     if (!defined $record) {
2574         carp('TransformMarcToKoha called with undefined record');
2575         return $result;
2576     }
2577     $limit_table = $limit_table || 0;
2578     $frameworkcode = '' unless defined $frameworkcode;
2579
2580     unless ( defined $inverted_field_map ) {
2581         $inverted_field_map = _get_inverted_marc_field_map();
2582     }
2583
2584     my %tables = ();
2585     if ( defined $limit_table && $limit_table eq 'items' ) {
2586         $tables{'items'} = 1;
2587     } else {
2588         $tables{'items'}       = 1;
2589         $tables{'biblio'}      = 1;
2590         $tables{'biblioitems'} = 1;
2591     }
2592
2593     # traverse through record
2594   MARCFIELD: foreach my $field ( $record->fields() ) {
2595         my $tag = $field->tag();
2596         next MARCFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag};
2597         if ( $field->is_control_field() ) {
2598             my $kohafields = $inverted_field_map->{$frameworkcode}->{$tag}->{list};
2599           ENTRY: foreach my $entry ( @{$kohafields} ) {
2600                 my ( $subfield, $table, $column ) = @{$entry};
2601                 next ENTRY unless exists $tables{$table};
2602                 my $key = _disambiguate( $table, $column );
2603                 if ( $result->{$key} ) {
2604                     unless ( ( $key eq "biblionumber" or $key eq "biblioitemnumber" ) and ( $field->data() eq "" ) ) {
2605                         $result->{$key} .= " | " . $field->data();
2606                     }
2607                 } else {
2608                     $result->{$key} = $field->data();
2609                 }
2610             }
2611         } else {
2612
2613             # deal with subfields
2614           MARCSUBFIELD: foreach my $sf ( $field->subfields() ) {
2615                 my $code = $sf->[0];
2616                 next MARCSUBFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code};
2617                 my $value = $sf->[1];
2618               SFENTRY: foreach my $entry ( @{ $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code} } ) {
2619                     my ( $table, $column ) = @{$entry};
2620                     next SFENTRY unless exists $tables{$table};
2621                     my $key = _disambiguate( $table, $column );
2622                     if ( $result->{$key} ) {
2623                         unless ( ( $key eq "biblionumber" or $key eq "biblioitemnumber" ) and ( $value eq "" ) ) {
2624                             $result->{$key} .= " | " . $value;
2625                         }
2626                     } else {
2627                         $result->{$key} = $value;
2628                     }
2629                 }
2630             }
2631         }
2632     }
2633
2634     # modify copyrightdate to keep only the 1st year found
2635     if ( exists $result->{'copyrightdate'} ) {
2636         my $temp = $result->{'copyrightdate'};
2637         $temp =~ m/c(\d\d\d\d)/;
2638         if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) {    # search cYYYY first
2639             $result->{'copyrightdate'} = $1;
2640         } else {                                       # if no cYYYY, get the 1st date.
2641             $temp =~ m/(\d\d\d\d)/;
2642             $result->{'copyrightdate'} = $1;
2643         }
2644     }
2645
2646     # modify publicationyear to keep only the 1st year found
2647     if ( exists $result->{'publicationyear'} ) {
2648         my $temp = $result->{'publicationyear'};
2649         if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) {    # search cYYYY first
2650             $result->{'publicationyear'} = $1;
2651         } else {                                       # if no cYYYY, get the 1st date.
2652             $temp =~ m/(\d\d\d\d)/;
2653             $result->{'publicationyear'} = $1;
2654         }
2655     }
2656
2657     return $result;
2658 }
2659
2660 sub _get_inverted_marc_field_map {
2661     my $field_map = {};
2662     my $relations = C4::Context->marcfromkohafield;
2663
2664     foreach my $frameworkcode ( keys %{$relations} ) {
2665         foreach my $kohafield ( keys %{ $relations->{$frameworkcode} } ) {
2666             next unless @{ $relations->{$frameworkcode}->{$kohafield} };    # not all columns are mapped to MARC tag & subfield
2667             my $tag      = $relations->{$frameworkcode}->{$kohafield}->[0];
2668             my $subfield = $relations->{$frameworkcode}->{$kohafield}->[1];
2669             my ( $table, $column ) = split /[.]/, $kohafield, 2;
2670             push @{ $field_map->{$frameworkcode}->{$tag}->{list} }, [ $subfield, $table, $column ];
2671             push @{ $field_map->{$frameworkcode}->{$tag}->{sfs}->{$subfield} }, [ $table, $column ];
2672         }
2673     }
2674     return $field_map;
2675 }
2676
2677 =head2 _disambiguate
2678
2679   $newkey = _disambiguate($table, $field);
2680
2681 This is a temporary hack to distinguish between the
2682 following sets of columns when using TransformMarcToKoha.
2683
2684   items.cn_source & biblioitems.cn_source
2685   items.cn_sort & biblioitems.cn_sort
2686
2687 Columns that are currently NOT distinguished (FIXME
2688 due to lack of time to fully test) are:
2689
2690   biblio.notes and biblioitems.notes
2691   biblionumber
2692   timestamp
2693   biblioitemnumber
2694
2695 FIXME - this is necessary because prefixing each column
2696 name with the table name would require changing lots
2697 of code and templates, and exposing more of the DB
2698 structure than is good to the UI templates, particularly
2699 since biblio and bibloitems may well merge in a future
2700 version.  In the future, it would also be good to 
2701 separate DB access and UI presentation field names
2702 more.
2703
2704 =cut
2705
2706 sub CountItemsIssued {
2707     my ($biblionumber) = @_;
2708     my $dbh            = C4::Context->dbh;
2709     my $sth            = $dbh->prepare('SELECT COUNT(*) as issuedCount FROM items, issues WHERE items.itemnumber = issues.itemnumber AND items.biblionumber = ?');
2710     $sth->execute($biblionumber);
2711     my $row = $sth->fetchrow_hashref();
2712     return $row->{'issuedCount'};
2713 }
2714
2715 sub _disambiguate {
2716     my ( $table, $column ) = @_;
2717     if ( $column eq "cn_sort" or $column eq "cn_source" ) {
2718         return $table . '.' . $column;
2719     } else {
2720         return $column;
2721     }
2722
2723 }
2724
2725 =head2 get_koha_field_from_marc
2726
2727   $result->{_disambiguate($table, $field)} = 
2728      get_koha_field_from_marc($table,$field,$record,$frameworkcode);
2729
2730 Internal function to map data from the MARC record to a specific non-MARC field.
2731 FIXME: this is meant to replace TransformMarcToKohaOneField after more testing.
2732
2733 =cut
2734
2735 sub get_koha_field_from_marc {
2736     my ( $koha_table, $koha_column, $record, $frameworkcode ) = @_;
2737     my ( $tagfield, $subfield ) = GetMarcFromKohaField( $koha_table . '.' . $koha_column, $frameworkcode );
2738     my $kohafield;
2739     foreach my $field ( $record->field($tagfield) ) {
2740         if ( $field->tag() < 10 ) {
2741             if ($kohafield) {
2742                 $kohafield .= " | " . $field->data();
2743             } else {
2744                 $kohafield = $field->data();
2745             }
2746         } else {
2747             if ( $field->subfields ) {
2748                 my @subfields = $field->subfields();
2749                 foreach my $subfieldcount ( 0 .. $#subfields ) {
2750                     if ( $subfields[$subfieldcount][0] eq $subfield ) {
2751                         if ($kohafield) {
2752                             $kohafield .= " | " . $subfields[$subfieldcount][1];
2753                         } else {
2754                             $kohafield = $subfields[$subfieldcount][1];
2755                         }
2756                     }
2757                 }
2758             }
2759         }
2760     }
2761     return $kohafield;
2762 }
2763
2764 =head2 TransformMarcToKohaOneField
2765
2766   $result = TransformMarcToKohaOneField( $kohatable, $kohafield, $record, $result, $frameworkcode )
2767
2768 =cut
2769
2770 sub TransformMarcToKohaOneField {
2771
2772     # FIXME ? if a field has a repeatable subfield that is used in old-db,
2773     # only the 1st will be retrieved...
2774     my ( $kohatable, $kohafield, $record, $result, $frameworkcode ) = @_;
2775     my $res = "";
2776     my ( $tagfield, $subfield ) = GetMarcFromKohaField( $kohatable . "." . $kohafield, $frameworkcode );
2777     foreach my $field ( $record->field($tagfield) ) {
2778         if ( $field->tag() < 10 ) {
2779             if ( $result->{$kohafield} ) {
2780                 $result->{$kohafield} .= " | " . $field->data();
2781             } else {
2782                 $result->{$kohafield} = $field->data();
2783             }
2784         } else {
2785             if ( $field->subfields ) {
2786                 my @subfields = $field->subfields();
2787                 foreach my $subfieldcount ( 0 .. $#subfields ) {
2788                     if ( $subfields[$subfieldcount][0] eq $subfield ) {
2789                         if ( $result->{$kohafield} ) {
2790                             $result->{$kohafield} .= " | " . $subfields[$subfieldcount][1];
2791                         } else {
2792                             $result->{$kohafield} = $subfields[$subfieldcount][1];
2793                         }
2794                     }
2795                 }
2796             }
2797         }
2798     }
2799     return $result;
2800 }
2801
2802
2803 #"
2804
2805 #
2806 # true ModZebra commented until indexdata fixes zebraDB crashes (it seems they occur on multiple updates
2807 # at the same time
2808 # replaced by a zebraqueue table, that is filled with ModZebra to run.
2809 # the table is emptied by misc/cronjobs/zebraqueue_start.pl script
2810 # =head2 ModZebrafiles
2811 #
2812 # &ModZebrafiles( $dbh, $biblionumber, $record, $folder, $server );
2813 #
2814 # =cut
2815 #
2816 # sub ModZebrafiles {
2817 #
2818 #     my ( $dbh, $biblionumber, $record, $folder, $server ) = @_;
2819 #
2820 #     my $op;
2821 #     my $zebradir =
2822 #       C4::Context->zebraconfig($server)->{directory} . "/" . $folder . "/";
2823 #     unless ( opendir( DIR, "$zebradir" ) ) {
2824 #         warn "$zebradir not found";
2825 #         return;
2826 #     }
2827 #     closedir DIR;
2828 #     my $filename = $zebradir . $biblionumber;
2829 #
2830 #     if ($record) {
2831 #         open( OUTPUT, ">", $filename . ".xml" );
2832 #         print OUTPUT $record;
2833 #         close OUTPUT;
2834 #     }
2835 # }
2836
2837 =head2 ModZebra
2838
2839   ModZebra( $biblionumber, $op, $server );
2840
2841 $biblionumber is the biblionumber we want to index
2842
2843 $op is specialUpdate or delete, and is used to know what we want to do
2844
2845 $server is the server that we want to update
2846
2847 =cut
2848
2849 sub ModZebra {
2850 ###Accepts a $server variable thus we can use it for biblios authorities or other zebra dbs
2851     my ( $biblionumber, $op, $server ) = @_;
2852     my $dbh = C4::Context->dbh;
2853
2854     # true ModZebra commented until indexdata fixes zebraDB crashes (it seems they occur on multiple updates
2855     # at the same time
2856     # replaced by a zebraqueue table, that is filled with ModZebra to run.
2857     # the table is emptied by rebuild_zebra.pl script (using the -z switch)
2858
2859     my $check_sql = "SELECT COUNT(*) FROM zebraqueue
2860                      WHERE server = ?
2861                      AND   biblio_auth_number = ?
2862                      AND   operation = ?
2863                      AND   done = 0";
2864     my $check_sth = $dbh->prepare_cached($check_sql);
2865     $check_sth->execute( $server, $biblionumber, $op );
2866     my ($count) = $check_sth->fetchrow_array;
2867     $check_sth->finish();
2868     if ( $count == 0 ) {
2869         my $sth = $dbh->prepare("INSERT INTO zebraqueue  (biblio_auth_number,server,operation) VALUES(?,?,?)");
2870         $sth->execute( $biblionumber, $server, $op );
2871         $sth->finish;
2872     }
2873 }
2874
2875
2876 =head2 EmbedItemsInMarcBiblio
2877
2878     EmbedItemsInMarcBiblio($marc, $biblionumber, $itemnumbers);
2879
2880 Given a MARC::Record object containing a bib record,
2881 modify it to include the items attached to it as 9XX
2882 per the bib's MARC framework.
2883 if $itemnumbers is defined, only specified itemnumbers are embedded
2884
2885 =cut
2886
2887 sub EmbedItemsInMarcBiblio {
2888     my ($marc, $biblionumber, $itemnumbers) = @_;
2889     if ( !$marc ) {
2890         carp 'EmbedItemsInMarcBiblio: No MARC record passed';
2891         return;
2892     }
2893
2894     $itemnumbers = [] unless defined $itemnumbers;
2895
2896     my $frameworkcode = GetFrameworkCode($biblionumber);
2897     _strip_item_fields($marc, $frameworkcode);
2898
2899     # ... and embed the current items
2900     my $dbh = C4::Context->dbh;
2901     my $sth = $dbh->prepare("SELECT itemnumber FROM items WHERE biblionumber = ?");
2902     $sth->execute($biblionumber);
2903     my @item_fields;
2904     my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
2905     while (my ($itemnumber) = $sth->fetchrow_array) {
2906         next if @$itemnumbers and not grep { $_ == $itemnumber } @$itemnumbers;
2907         require C4::Items;
2908         my $item_marc = C4::Items::GetMarcItem($biblionumber, $itemnumber);
2909         push @item_fields, $item_marc->field($itemtag);
2910     }
2911     $marc->append_fields(@item_fields);
2912 }
2913
2914 =head1 INTERNAL FUNCTIONS
2915
2916 =head2 _koha_marc_update_bib_ids
2917
2918
2919   _koha_marc_update_bib_ids($record, $frameworkcode, $biblionumber, $biblioitemnumber);
2920
2921 Internal function to add or update biblionumber and biblioitemnumber to
2922 the MARC XML.
2923
2924 =cut
2925
2926 sub _koha_marc_update_bib_ids {
2927     my ( $record, $frameworkcode, $biblionumber, $biblioitemnumber ) = @_;
2928
2929     # we must add bibnum and bibitemnum in MARC::Record...
2930     # we build the new field with biblionumber and biblioitemnumber
2931     # we drop the original field
2932     # we add the new builded field.
2933     my ( $biblio_tag,     $biblio_subfield )     = GetMarcFromKohaField( "biblio.biblionumber",          $frameworkcode );
2934     die qq{No biblionumber tag for framework "$frameworkcode"} unless $biblio_tag;
2935     my ( $biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField( "biblioitems.biblioitemnumber", $frameworkcode );
2936     die qq{No biblioitemnumber tag for framework "$frameworkcode"} unless $biblioitem_tag;
2937
2938     if ( $biblio_tag == $biblioitem_tag ) {
2939
2940         # biblionumber & biblioitemnumber are in the same field (can't be <10 as fields <10 have only 1 value)
2941         my $new_field = MARC::Field->new(
2942             $biblio_tag, '', '',
2943             "$biblio_subfield"     => $biblionumber,
2944             "$biblioitem_subfield" => $biblioitemnumber
2945         );
2946
2947         # drop old field and create new one...
2948         my $old_field = $record->field($biblio_tag);
2949         $record->delete_field($old_field) if $old_field;
2950         $record->insert_fields_ordered($new_field);
2951     } else {
2952
2953         # biblionumber & biblioitemnumber are in different fields
2954
2955         # deal with biblionumber
2956         my ( $new_field, $old_field );
2957         if ( $biblio_tag < 10 ) {
2958             $new_field = MARC::Field->new( $biblio_tag, $biblionumber );
2959         } else {
2960             $new_field = MARC::Field->new( $biblio_tag, '', '', "$biblio_subfield" => $biblionumber );
2961         }
2962
2963         # drop old field and create new one...
2964         $old_field = $record->field($biblio_tag);
2965         $record->delete_field($old_field) if $old_field;
2966         $record->insert_fields_ordered($new_field);
2967
2968         # deal with biblioitemnumber
2969         if ( $biblioitem_tag < 10 ) {
2970             $new_field = MARC::Field->new( $biblioitem_tag, $biblioitemnumber, );
2971         } else {
2972             $new_field = MARC::Field->new( $biblioitem_tag, '', '', "$biblioitem_subfield" => $biblioitemnumber, );
2973         }
2974
2975         # drop old field and create new one...
2976         $old_field = $record->field($biblioitem_tag);
2977         $record->delete_field($old_field) if $old_field;
2978         $record->insert_fields_ordered($new_field);
2979     }
2980 }
2981
2982 =head2 _koha_marc_update_biblioitem_cn_sort
2983
2984   _koha_marc_update_biblioitem_cn_sort($marc, $biblioitem, $frameworkcode);
2985
2986 Given a MARC bib record and the biblioitem hash, update the
2987 subfield that contains a copy of the value of biblioitems.cn_sort.
2988
2989 =cut
2990
2991 sub _koha_marc_update_biblioitem_cn_sort {
2992     my $marc          = shift;
2993     my $biblioitem    = shift;
2994     my $frameworkcode = shift;
2995
2996     my ( $biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField( "biblioitems.cn_sort", $frameworkcode );
2997     return unless $biblioitem_tag;
2998
2999     my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
3000
3001     if ( my $field = $marc->field($biblioitem_tag) ) {
3002         $field->delete_subfield( code => $biblioitem_subfield );
3003         if ( $cn_sort ne '' ) {
3004             $field->add_subfields( $biblioitem_subfield => $cn_sort );
3005         }
3006     } else {
3007
3008         # if we get here, no biblioitem tag is present in the MARC record, so
3009         # we'll create it if $cn_sort is not empty -- this would be
3010         # an odd combination of events, however
3011         if ($cn_sort) {
3012             $marc->insert_grouped_field( MARC::Field->new( $biblioitem_tag, ' ', ' ', $biblioitem_subfield => $cn_sort ) );
3013         }
3014     }
3015 }
3016
3017 =head2 _koha_add_biblio
3018
3019   my ($biblionumber,$error) = _koha_add_biblio($dbh,$biblioitem);
3020
3021 Internal function to add a biblio ($biblio is a hash with the values)
3022
3023 =cut
3024
3025 sub _koha_add_biblio {
3026     my ( $dbh, $biblio, $frameworkcode ) = @_;
3027
3028     my $error;
3029
3030     # set the series flag
3031     unless (defined $biblio->{'serial'}){
3032         $biblio->{'serial'} = 0;
3033         if ( $biblio->{'seriestitle'} ) { $biblio->{'serial'} = 1 }
3034     }
3035
3036     my $query = "INSERT INTO biblio
3037         SET frameworkcode = ?,
3038             author = ?,
3039             title = ?,
3040             unititle =?,
3041             notes = ?,
3042             serial = ?,
3043             seriestitle = ?,
3044             copyrightdate = ?,
3045             datecreated=NOW(),
3046             abstract = ?
3047         ";
3048     my $sth = $dbh->prepare($query);
3049     $sth->execute(
3050         $frameworkcode, $biblio->{'author'},      $biblio->{'title'},         $biblio->{'unititle'}, $biblio->{'notes'},
3051         $biblio->{'serial'},        $biblio->{'seriestitle'}, $biblio->{'copyrightdate'}, $biblio->{'abstract'}
3052     );
3053
3054     my $biblionumber = $dbh->{'mysql_insertid'};
3055     if ( $dbh->errstr ) {
3056         $error .= "ERROR in _koha_add_biblio $query" . $dbh->errstr;
3057         warn $error;
3058     }
3059
3060     $sth->finish();
3061
3062     #warn "LEAVING _koha_add_biblio: ".$biblionumber."\n";
3063     return ( $biblionumber, $error );
3064 }
3065
3066 =head2 _koha_modify_biblio
3067
3068   my ($biblionumber,$error) == _koha_modify_biblio($dbh,$biblio,$frameworkcode);
3069
3070 Internal function for updating the biblio table
3071
3072 =cut
3073
3074 sub _koha_modify_biblio {
3075     my ( $dbh, $biblio, $frameworkcode ) = @_;
3076     my $error;
3077
3078     my $query = "
3079         UPDATE biblio
3080         SET    frameworkcode = ?,
3081                author = ?,
3082                title = ?,
3083                unititle = ?,
3084                notes = ?,
3085                serial = ?,
3086                seriestitle = ?,
3087                copyrightdate = ?,
3088                abstract = ?
3089         WHERE  biblionumber = ?
3090         "
3091       ;
3092     my $sth = $dbh->prepare($query);
3093
3094     $sth->execute(
3095         $frameworkcode,      $biblio->{'author'},      $biblio->{'title'},         $biblio->{'unititle'}, $biblio->{'notes'},
3096         $biblio->{'serial'}, $biblio->{'seriestitle'}, $biblio->{'copyrightdate'}, $biblio->{'abstract'}, $biblio->{'biblionumber'}
3097     ) if $biblio->{'biblionumber'};
3098
3099     if ( $dbh->errstr || !$biblio->{'biblionumber'} ) {
3100         $error .= "ERROR in _koha_modify_biblio $query" . $dbh->errstr;
3101         warn $error;
3102     }
3103     return ( $biblio->{'biblionumber'}, $error );
3104 }
3105
3106 =head2 _koha_modify_biblioitem_nonmarc
3107
3108   my ($biblioitemnumber,$error) = _koha_modify_biblioitem_nonmarc( $dbh, $biblioitem );
3109
3110 Updates biblioitems row except for marc and marcxml, which should be changed
3111 via ModBiblioMarc
3112
3113 =cut
3114
3115 sub _koha_modify_biblioitem_nonmarc {
3116     my ( $dbh, $biblioitem ) = @_;
3117     my $error;
3118
3119     # re-calculate the cn_sort, it may have changed
3120     my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
3121
3122     my $query = "UPDATE biblioitems 
3123     SET biblionumber    = ?,
3124         volume          = ?,
3125         number          = ?,
3126         itemtype        = ?,
3127         isbn            = ?,
3128         issn            = ?,
3129         publicationyear = ?,
3130         publishercode   = ?,
3131         volumedate      = ?,
3132         volumedesc      = ?,
3133         collectiontitle = ?,
3134         collectionissn  = ?,
3135         collectionvolume= ?,
3136         editionstatement= ?,
3137         editionresponsibility = ?,
3138         illus           = ?,
3139         pages           = ?,
3140         notes           = ?,
3141         size            = ?,
3142         place           = ?,
3143         lccn            = ?,
3144         url             = ?,
3145         cn_source       = ?,
3146         cn_class        = ?,
3147         cn_item         = ?,
3148         cn_suffix       = ?,
3149         cn_sort         = ?,
3150         totalissues     = ?,
3151         ean             = ?,
3152         agerestriction  = ?
3153         where biblioitemnumber = ?
3154         ";
3155     my $sth = $dbh->prepare($query);
3156     $sth->execute(
3157         $biblioitem->{'biblionumber'},     $biblioitem->{'volume'},           $biblioitem->{'number'},                $biblioitem->{'itemtype'},
3158         $biblioitem->{'isbn'},             $biblioitem->{'issn'},             $biblioitem->{'publicationyear'},       $biblioitem->{'publishercode'},
3159         $biblioitem->{'volumedate'},       $biblioitem->{'volumedesc'},       $biblioitem->{'collectiontitle'},       $biblioitem->{'collectionissn'},
3160         $biblioitem->{'collectionvolume'}, $biblioitem->{'editionstatement'}, $biblioitem->{'editionresponsibility'}, $biblioitem->{'illus'},
3161         $biblioitem->{'pages'},            $biblioitem->{'bnotes'},           $biblioitem->{'size'},                  $biblioitem->{'place'},
3162         $biblioitem->{'lccn'},             $biblioitem->{'url'},              $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'},
3163         $biblioitem->{'cn_item'},          $biblioitem->{'cn_suffix'},        $cn_sort,                               $biblioitem->{'totalissues'},
3164         $biblioitem->{'ean'},              $biblioitem->{'agerestriction'},   $biblioitem->{'biblioitemnumber'}
3165     );
3166     if ( $dbh->errstr ) {
3167         $error .= "ERROR in _koha_modify_biblioitem_nonmarc $query" . $dbh->errstr;
3168         warn $error;
3169     }
3170     return ( $biblioitem->{'biblioitemnumber'}, $error );
3171 }
3172
3173 =head2 _koha_add_biblioitem
3174
3175   my ($biblioitemnumber,$error) = _koha_add_biblioitem( $dbh, $biblioitem );
3176
3177 Internal function to add a biblioitem
3178
3179 =cut
3180
3181 sub _koha_add_biblioitem {
3182     my ( $dbh, $biblioitem ) = @_;
3183     my $error;
3184
3185     my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
3186     my $query = "INSERT INTO biblioitems SET
3187         biblionumber    = ?,
3188         volume          = ?,
3189         number          = ?,
3190         itemtype        = ?,
3191         isbn            = ?,
3192         issn            = ?,
3193         publicationyear = ?,
3194         publishercode   = ?,
3195         volumedate      = ?,
3196         volumedesc      = ?,
3197         collectiontitle = ?,
3198         collectionissn  = ?,
3199         collectionvolume= ?,
3200         editionstatement= ?,
3201         editionresponsibility = ?,
3202         illus           = ?,
3203         pages           = ?,
3204         notes           = ?,
3205         size            = ?,
3206         place           = ?,
3207         lccn            = ?,
3208         marc            = ?,
3209         url             = ?,
3210         cn_source       = ?,
3211         cn_class        = ?,
3212         cn_item         = ?,
3213         cn_suffix       = ?,
3214         cn_sort         = ?,
3215         totalissues     = ?,
3216         ean             = ?,
3217         agerestriction  = ?
3218         ";
3219     my $sth = $dbh->prepare($query);
3220     $sth->execute(
3221         $biblioitem->{'biblionumber'},     $biblioitem->{'volume'},           $biblioitem->{'number'},                $biblioitem->{'itemtype'},
3222         $biblioitem->{'isbn'},             $biblioitem->{'issn'},             $biblioitem->{'publicationyear'},       $biblioitem->{'publishercode'},
3223         $biblioitem->{'volumedate'},       $biblioitem->{'volumedesc'},       $biblioitem->{'collectiontitle'},       $biblioitem->{'collectionissn'},
3224         $biblioitem->{'collectionvolume'}, $biblioitem->{'editionstatement'}, $biblioitem->{'editionresponsibility'}, $biblioitem->{'illus'},
3225         $biblioitem->{'pages'},            $biblioitem->{'bnotes'},           $biblioitem->{'size'},                  $biblioitem->{'place'},
3226         $biblioitem->{'lccn'},             $biblioitem->{'marc'},             $biblioitem->{'url'},                   $biblioitem->{'biblioitems.cn_source'},
3227         $biblioitem->{'cn_class'},         $biblioitem->{'cn_item'},          $biblioitem->{'cn_suffix'},             $cn_sort,
3228         $biblioitem->{'totalissues'},      $biblioitem->{'ean'},              $biblioitem->{'agerestriction'}
3229     );
3230     my $bibitemnum = $dbh->{'mysql_insertid'};
3231
3232     if ( $dbh->errstr ) {
3233         $error .= "ERROR in _koha_add_biblioitem $query" . $dbh->errstr;
3234         warn $error;
3235     }
3236     $sth->finish();
3237     return ( $bibitemnum, $error );
3238 }
3239
3240 =head2 _koha_delete_biblio
3241
3242   $error = _koha_delete_biblio($dbh,$biblionumber);
3243
3244 Internal sub for deleting from biblio table -- also saves to deletedbiblio
3245
3246 C<$dbh> - the database handle
3247
3248 C<$biblionumber> - the biblionumber of the biblio to be deleted
3249
3250 =cut
3251
3252 # FIXME: add error handling
3253
3254 sub _koha_delete_biblio {
3255     my ( $dbh, $biblionumber ) = @_;
3256
3257     # get all the data for this biblio
3258     my $sth = $dbh->prepare("SELECT * FROM biblio WHERE biblionumber=?");
3259     $sth->execute($biblionumber);
3260
3261     if ( my $data = $sth->fetchrow_hashref ) {
3262
3263         # save the record in deletedbiblio
3264         # find the fields to save
3265         my $query = "INSERT INTO deletedbiblio SET ";
3266         my @bind  = ();
3267         foreach my $temp ( keys %$data ) {
3268             $query .= "$temp = ?,";
3269             push( @bind, $data->{$temp} );
3270         }
3271
3272         # replace the last , by ",?)"
3273         $query =~ s/\,$//;
3274         my $bkup_sth = $dbh->prepare($query);
3275         $bkup_sth->execute(@bind);
3276         $bkup_sth->finish;
3277
3278         # delete the biblio
3279         my $sth2 = $dbh->prepare("DELETE FROM biblio WHERE biblionumber=?");
3280         $sth2->execute($biblionumber);
3281         # update the timestamp (Bugzilla 7146)
3282         $sth2= $dbh->prepare("UPDATE deletedbiblio SET timestamp=NOW() WHERE biblionumber=?");
3283         $sth2->execute($biblionumber);
3284         $sth2->finish;
3285     }
3286     $sth->finish;
3287     return;
3288 }
3289
3290 =head2 _koha_delete_biblioitems
3291
3292   $error = _koha_delete_biblioitems($dbh,$biblioitemnumber);
3293
3294 Internal sub for deleting from biblioitems table -- also saves to deletedbiblioitems
3295
3296 C<$dbh> - the database handle
3297 C<$biblionumber> - the biblioitemnumber of the biblioitem to be deleted
3298
3299 =cut
3300
3301 # FIXME: add error handling
3302
3303 sub _koha_delete_biblioitems {
3304     my ( $dbh, $biblioitemnumber ) = @_;
3305
3306     # get all the data for this biblioitem
3307     my $sth = $dbh->prepare("SELECT * FROM biblioitems WHERE biblioitemnumber=?");
3308     $sth->execute($biblioitemnumber);
3309
3310     if ( my $data = $sth->fetchrow_hashref ) {
3311
3312         # save the record in deletedbiblioitems
3313         # find the fields to save
3314         my $query = "INSERT INTO deletedbiblioitems SET ";
3315         my @bind  = ();
3316         foreach my $temp ( keys %$data ) {
3317             $query .= "$temp = ?,";
3318             push( @bind, $data->{$temp} );
3319         }
3320
3321         # replace the last , by ",?)"
3322         $query =~ s/\,$//;
3323         my $bkup_sth = $dbh->prepare($query);
3324         $bkup_sth->execute(@bind);
3325         $bkup_sth->finish;
3326
3327         # delete the biblioitem
3328         my $sth2 = $dbh->prepare("DELETE FROM biblioitems WHERE biblioitemnumber=?");
3329         $sth2->execute($biblioitemnumber);
3330         # update the timestamp (Bugzilla 7146)
3331         $sth2= $dbh->prepare("UPDATE deletedbiblioitems SET timestamp=NOW() WHERE biblioitemnumber=?");
3332         $sth2->execute($biblioitemnumber);
3333         $sth2->finish;
3334     }
3335     $sth->finish;
3336     return;
3337 }
3338
3339 =head1 UNEXPORTED FUNCTIONS
3340
3341 =head2 ModBiblioMarc
3342
3343   &ModBiblioMarc($newrec,$biblionumber,$frameworkcode);
3344
3345 Add MARC data for a biblio to koha 
3346
3347 Function exported, but should NOT be used, unless you really know what you're doing
3348
3349 =cut
3350
3351 sub ModBiblioMarc {
3352     # pass the MARC::Record to this function, and it will create the records in
3353     # the marc field
3354     my ( $record, $biblionumber, $frameworkcode ) = @_;
3355     if ( !$record ) {
3356         carp 'ModBiblioMarc passed an undefined record';
3357         return;
3358     }
3359
3360     # Clone record as it gets modified
3361     $record = $record->clone();
3362     my $dbh    = C4::Context->dbh;
3363     my @fields = $record->fields();
3364     if ( !$frameworkcode ) {
3365         $frameworkcode = "";
3366     }
3367     my $sth = $dbh->prepare("UPDATE biblio SET frameworkcode=? WHERE biblionumber=?");
3368     $sth->execute( $frameworkcode, $biblionumber );
3369     $sth->finish;
3370     my $encoding = C4::Context->preference("marcflavour");
3371
3372     # deal with UNIMARC field 100 (encoding) : create it if needed & set encoding to unicode
3373     if ( $encoding eq "UNIMARC" ) {
3374         my $defaultlanguage = C4::Context->preference("UNIMARCField100Language");
3375         $defaultlanguage = "fre" if (!$defaultlanguage || length($defaultlanguage) != 3);
3376         my $string = $record->subfield( 100, "a" );
3377         if ( ($string) && ( length( $record->subfield( 100, "a" ) ) == 36 ) ) {
3378             my $f100 = $record->field(100);
3379             $record->delete_field($f100);
3380         } else {
3381             $string = POSIX::strftime( "%Y%m%d", localtime );
3382             $string =~ s/\-//g;
3383             $string = sprintf( "%-*s", 35, $string );
3384             substr ( $string, 22, 3, $defaultlanguage);
3385         }
3386         substr( $string, 25, 3, "y50" );
3387         unless ( $record->subfield( 100, "a" ) ) {
3388             $record->insert_fields_ordered( MARC::Field->new( 100, "", "", "a" => $string ) );
3389         }
3390     }
3391
3392     #enhancement 5374: update transaction date (005) for marc21/unimarc
3393     if($encoding =~ /MARC21|UNIMARC/) {
3394       my @a= (localtime) [5,4,3,2,1,0]; $a[0]+=1900; $a[1]++;
3395         # YY MM DD HH MM SS (update year and month)
3396       my $f005= $record->field('005');
3397       $f005->update(sprintf("%4d%02d%02d%02d%02d%04.1f",@a)) if $f005;
3398     }
3399
3400     $sth = $dbh->prepare("UPDATE biblioitems SET marc=?,marcxml=? WHERE biblionumber=?");
3401     $sth->execute( $record->as_usmarc(), $record->as_xml_record($encoding), $biblionumber );
3402     $sth->finish;
3403     ModZebra( $biblionumber, "specialUpdate", "biblioserver" );
3404     return $biblionumber;
3405 }
3406
3407 =head2 get_biblio_authorised_values
3408
3409 find the types and values for all authorised values assigned to this biblio.
3410
3411 parameters:
3412     biblionumber
3413     MARC::Record of the bib
3414
3415 returns: a hashref mapping the authorised value to the value set for this biblionumber
3416
3417   $authorised_values = {
3418                        'Scent'     => 'flowery',
3419                        'Audience'  => 'Young Adult',
3420                        'itemtypes' => 'SER',
3421                         };
3422
3423 Notes: forlibrarian should probably be passed in, and called something different.
3424
3425 =cut
3426
3427 sub get_biblio_authorised_values {
3428     my $biblionumber = shift;
3429     my $record       = shift;
3430
3431     my $forlibrarian  = 1;                                 # are we in staff or opac?
3432     my $frameworkcode = GetFrameworkCode($biblionumber);
3433
3434     my $authorised_values;
3435
3436     my $tagslib = GetMarcStructure( $forlibrarian, $frameworkcode )
3437       or return $authorised_values;
3438
3439     # assume that these entries in the authorised_value table are bibliolevel.
3440     # ones that start with 'item%' are item level.
3441     my $query = q(SELECT distinct authorised_value, kohafield
3442                     FROM marc_subfield_structure
3443                     WHERE authorised_value !=''
3444                       AND (kohafield like 'biblio%'
3445                        OR  kohafield like '') );
3446     my $bibliolevel_authorised_values = C4::Context->dbh->selectall_hashref( $query, 'authorised_value' );
3447
3448     foreach my $tag ( keys(%$tagslib) ) {
3449         foreach my $subfield ( keys( %{ $tagslib->{$tag} } ) ) {
3450
3451             # warn "checking $subfield. type is: " . ref $tagslib->{ $tag }{ $subfield };
3452             if ( 'HASH' eq ref $tagslib->{$tag}{$subfield} ) {
3453                 if ( defined $tagslib->{$tag}{$subfield}{'authorised_value'} && exists $bibliolevel_authorised_values->{ $tagslib->{$tag}{$subfield}{'authorised_value'} } ) {
3454                     if ( defined $record->field($tag) ) {
3455                         my $this_subfield_value = $record->field($tag)->subfield($subfield);
3456                         if ( defined $this_subfield_value ) {
3457                             $authorised_values->{ $tagslib->{$tag}{$subfield}{'authorised_value'} } = $this_subfield_value;
3458                         }
3459                     }
3460                 }
3461             }
3462         }
3463     }
3464
3465     # warn ( Data::Dumper->Dump( [ $authorised_values ], [ 'authorised_values' ] ) );
3466     return $authorised_values;
3467 }
3468
3469 =head2 CountBiblioInOrders
3470
3471 =over 4
3472 $count = &CountBiblioInOrders( $biblionumber);
3473
3474 =back
3475
3476 This function return count of biblios in orders with $biblionumber 
3477
3478 =cut
3479
3480 sub CountBiblioInOrders {
3481  my ($biblionumber) = @_;
3482     my $dbh            = C4::Context->dbh;
3483     my $query          = "SELECT count(*)
3484           FROM  aqorders 
3485           WHERE biblionumber=? AND (datecancellationprinted IS NULL OR datecancellationprinted='0000-00-00')";
3486     my $sth = $dbh->prepare($query);
3487     $sth->execute($biblionumber);
3488     my $count = $sth->fetchrow;
3489     return ($count);
3490 }
3491
3492 =head2 GetSubscriptionsId
3493
3494 =over 4
3495 $subscriptions = &GetSubscriptionsId($biblionumber);
3496
3497 =back
3498
3499 This function return an array of subscriptionid with $biblionumber
3500
3501 =cut
3502
3503 sub GetSubscriptionsId {
3504  my ($biblionumber) = @_;
3505     my $dbh            = C4::Context->dbh;
3506     my $query          = "SELECT subscriptionid
3507           FROM  subscription
3508           WHERE biblionumber=?";
3509     my $sth = $dbh->prepare($query);
3510     $sth->execute($biblionumber);
3511     my @subscriptions = $sth->fetchrow_array;
3512     return (@subscriptions);
3513 }
3514
3515 =head2 GetHolds
3516
3517 =over 4
3518 $holds = &GetHolds($biblionumber);
3519
3520 =back
3521
3522 This function return the count of holds with $biblionumber
3523
3524 =cut
3525
3526 sub GetHolds {
3527  my ($biblionumber) = @_;
3528     my $dbh            = C4::Context->dbh;
3529     my $query          = "SELECT count(*)
3530           FROM  reserves
3531           WHERE biblionumber=?";
3532     my $sth = $dbh->prepare($query);
3533     $sth->execute($biblionumber);
3534     my $holds = $sth->fetchrow;
3535     return ($holds);
3536 }
3537
3538 =head2 prepare_host_field
3539
3540 $marcfield = prepare_host_field( $hostbiblioitem, $marcflavour );
3541 Generate the host item entry for an analytic child entry
3542
3543 =cut
3544
3545 sub prepare_host_field {
3546     my ( $hostbiblio, $marcflavour ) = @_;
3547     $marcflavour ||= C4::Context->preference('marcflavour');
3548     my $host = GetMarcBiblio($hostbiblio);
3549     # unfortunately as_string does not 'do the right thing'
3550     # if field returns undef
3551     my %sfd;
3552     my $field;
3553     my $host_field;
3554     if ( $marcflavour eq 'MARC21' || $marcflavour eq 'NORMARC' ) {
3555         if ( $field = $host->field('100') || $host->field('110') || $host->field('11') ) {
3556             my $s = $field->as_string('ab');
3557             if ($s) {
3558                 $sfd{a} = $s;
3559             }
3560         }
3561         if ( $field = $host->field('245') ) {
3562             my $s = $field->as_string('a');
3563             if ($s) {
3564                 $sfd{t} = $s;
3565             }
3566         }
3567         if ( $field = $host->field('260') ) {
3568             my $s = $field->as_string('abc');
3569             if ($s) {
3570                 $sfd{d} = $s;
3571             }
3572         }
3573         if ( $field = $host->field('240') ) {
3574             my $s = $field->as_string();
3575             if ($s) {
3576                 $sfd{b} = $s;
3577             }
3578         }
3579         if ( $field = $host->field('022') ) {
3580             my $s = $field->as_string('a');
3581             if ($s) {
3582                 $sfd{x} = $s;
3583             }
3584         }
3585         if ( $field = $host->field('020') ) {
3586             my $s = $field->as_string('a');
3587             if ($s) {
3588                 $sfd{z} = $s;
3589             }
3590         }
3591         if ( $field = $host->field('001') ) {
3592             $sfd{w} = $field->data(),;
3593         }
3594         $host_field = MARC::Field->new( 773, '0', ' ', %sfd );
3595         return $host_field;
3596     }
3597     elsif ( $marcflavour eq 'UNIMARC' ) {
3598         #author
3599         if ( $field = $host->field('700') || $host->field('710') || $host->field('720') ) {
3600             my $s = $field->as_string('ab');
3601             if ($s) {
3602                 $sfd{a} = $s;
3603             }
3604         }
3605         #title
3606         if ( $field = $host->field('200') ) {
3607             my $s = $field->as_string('a');
3608             if ($s) {
3609                 $sfd{t} = $s;
3610             }
3611         }
3612         #place of publicaton
3613         if ( $field = $host->field('210') ) {
3614             my $s = $field->as_string('a');
3615             if ($s) {
3616                 $sfd{c} = $s;
3617             }
3618         }
3619         #date of publication
3620         if ( $field = $host->field('210') ) {
3621             my $s = $field->as_string('d');
3622             if ($s) {
3623                 $sfd{d} = $s;
3624             }
3625         }
3626         #edition statement
3627         if ( $field = $host->field('205') ) {
3628             my $s = $field->as_string();
3629             if ($s) {
3630                 $sfd{a} = $s;
3631             }
3632         }
3633         #URL
3634         if ( $field = $host->field('856') ) {
3635             my $s = $field->as_string('u');
3636             if ($s) {
3637                 $sfd{u} = $s;
3638             }
3639         }
3640         #ISSN
3641         if ( $field = $host->field('011') ) {
3642             my $s = $field->as_string('a');
3643             if ($s) {
3644                 $sfd{x} = $s;
3645             }
3646         }
3647         #ISBN
3648         if ( $field = $host->field('010') ) {
3649             my $s = $field->as_string('a');
3650             if ($s) {
3651                 $sfd{y} = $s;
3652             }
3653         }
3654         if ( $field = $host->field('001') ) {
3655             $sfd{0} = $field->data(),;
3656         }
3657         $host_field = MARC::Field->new( 461, '0', ' ', %sfd );
3658         return $host_field;
3659     }
3660     return;
3661 }
3662
3663
3664 =head2 UpdateTotalIssues
3665
3666   UpdateTotalIssues($biblionumber, $increase, [$value])
3667
3668 Update the total issue count for a particular bib record.
3669
3670 =over 4
3671
3672 =item C<$biblionumber> is the biblionumber of the bib to update
3673
3674 =item C<$increase> is the amount to increase (or decrease) the total issues count by
3675
3676 =item C<$value> is the absolute value that total issues count should be set to. If provided, C<$increase> is ignored.
3677
3678 =back
3679
3680 =cut
3681
3682 sub UpdateTotalIssues {
3683     my ($biblionumber, $increase, $value) = @_;
3684     my $totalissues;
3685
3686     my $data = GetBiblioData($biblionumber);
3687
3688     if (defined $value) {
3689         $totalissues = $value;
3690     } else {
3691         $totalissues = $data->{'totalissues'} + $increase;
3692     }
3693      my ($totalissuestag, $totalissuessubfield) = GetMarcFromKohaField('biblioitems.totalissues', $data->{'frameworkcode'});
3694
3695      my $record = GetMarcBiblio($biblionumber);
3696
3697      my $field = $record->field($totalissuestag);
3698      if (defined $field) {
3699          $field->update( $totalissuessubfield => $totalissues );
3700      } else {
3701          $field = MARC::Field->new($totalissuestag, '0', '0',
3702                  $totalissuessubfield => $totalissues);
3703          $record->insert_grouped_field($field);
3704      }
3705
3706      ModBiblio($record, $biblionumber, $data->{'frameworkcode'});
3707      return;
3708 }
3709
3710 =head2 RemoveAllNsb
3711
3712     &RemoveAllNsb($record);
3713
3714 Removes all nsb/nse chars from a record
3715
3716 =cut
3717
3718 sub RemoveAllNsb {
3719     my $record = shift;
3720     if (!$record) {
3721         carp 'RemoveAllNsb called with undefined record';
3722         return;
3723     }
3724
3725     SetUTF8Flag($record);
3726
3727     foreach my $field ($record->fields()) {
3728         if ($field->is_control_field()) {
3729             $field->update(nsb_clean($field->data()));
3730         } else {
3731             my @subfields = $field->subfields();
3732             my @new_subfields;
3733             foreach my $subfield (@subfields) {
3734                 push @new_subfields, $subfield->[0] => nsb_clean($subfield->[1]);
3735             }
3736             if (scalar(@new_subfields) > 0) {
3737                 my $new_field;
3738                 eval {
3739                     $new_field = MARC::Field->new(
3740                         $field->tag(),
3741                         $field->indicator(1),
3742                         $field->indicator(2),
3743                         @new_subfields
3744                     );
3745                 };
3746                 if ($@) {
3747                     warn "error in RemoveAllNsb : $@";
3748                 } else {
3749                     $field->replace_with($new_field);
3750                 }
3751             }
3752         }
3753     }
3754
3755     return $record;
3756 }
3757
3758 1;
3759
3760
3761 __END__
3762
3763 =head1 AUTHOR
3764
3765 Koha Development Team <http://koha-community.org/>
3766
3767 Paul POULAIN paul.poulain@free.fr
3768
3769 Joshua Ferraro jmf@liblime.com
3770
3771 =cut