BZ4376 Minor change in GetMarcAuthor
[koha.git] / C4 / Biblio.pm
1 package C4::Biblio;
2
3 # Copyright 2000-2002 Katipo Communications
4 # Copyright 2010 BibLibre
5 # Copyright 2011 Equinox Software, Inc.
6 #
7 # This file is part of Koha.
8 #
9 # Koha is free software; you can redistribute it and/or modify it under the
10 # terms of the GNU General Public License as published by the Free Software
11 # Foundation; either version 2 of the License, or (at your option) any later
12 # version.
13 #
14 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
15 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
16 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
17 #
18 # You should have received a copy of the GNU General Public License along
19 # with Koha; if not, write to the Free Software Foundation, Inc.,
20 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
21
22 use strict;
23 use warnings;
24 use Carp;
25
26 # use utf8;
27 use MARC::Record;
28 use MARC::File::USMARC;
29 use MARC::File::XML;
30 use ZOOM;
31 use POSIX qw(strftime);
32
33 use C4::Koha;
34 use C4::Dates qw/format_date/;
35 use C4::Log;    # logaction
36 use C4::ClassSource;
37 use C4::Charset;
38 require C4::Heading;
39 require C4::Serials;
40 require C4::Items;
41
42 use vars qw($VERSION @ISA @EXPORT);
43
44 BEGIN {
45     $VERSION = 1.00;
46
47     require Exporter;
48     @ISA = qw( Exporter );
49
50     # to add biblios
51     # EXPORTED FUNCTIONS.
52     push @EXPORT, qw(
53       &AddBiblio
54     );
55
56     # to get something
57     push @EXPORT, qw(
58       &Get
59       &GetBiblio
60       &GetBiblioData
61       &GetBiblioItemData
62       &GetBiblioItemInfosOf
63       &GetBiblioItemByBiblioNumber
64       &GetBiblioFromItemNumber
65       &GetBiblionumberFromItemnumber
66
67       &GetRecordValue
68       &GetFieldMapping
69       &SetFieldMapping
70       &DeleteFieldMapping
71
72       &GetISBDView
73
74       &GetMarcControlnumber
75       &GetMarcNotes
76       &GetMarcISBN
77       &GetMarcSubjects
78       &GetMarcBiblio
79       &GetMarcAuthors
80       &GetMarcSeries
81       &GetMarcHosts
82       GetMarcUrls
83       &GetUsedMarcStructure
84       &GetXmlBiblio
85       &GetCOinSBiblio
86       &GetMarcPrice
87       &GetMarcQuantity
88
89       &GetAuthorisedValueDesc
90       &GetMarcStructure
91       &GetMarcFromKohaField
92       &GetFrameworkCode
93       &TransformKohaToMarc
94       &PrepHostMarcField
95
96       &CountItemsIssued
97       &CountBiblioInOrders
98       &GetSubscriptionsId
99       &GetHolds
100     );
101
102     # To modify something
103     push @EXPORT, qw(
104       &ModBiblio
105       &ModBiblioframework
106       &ModZebra
107     );
108
109     # To delete something
110     push @EXPORT, qw(
111       &DelBiblio
112     );
113
114     # To link headings in a bib record
115     # to authority records.
116     push @EXPORT, qw(
117       &LinkBibHeadingsToAuthorities
118     );
119
120     # Internal functions
121     # those functions are exported but should not be used
122     # they are usefull is few circumstances, so are exported.
123     # but don't use them unless you're a core developer ;-)
124     push @EXPORT, qw(
125       &ModBiblioMarc
126     );
127
128     # Others functions
129     push @EXPORT, qw(
130       &TransformMarcToKoha
131       &TransformHtmlToMarc2
132       &TransformHtmlToMarc
133       &TransformHtmlToXml
134       &PrepareItemrecordDisplay
135       &GetNoZebraIndexes
136     );
137 }
138
139 eval {
140     my $servers = C4::Context->config('memcached_servers');
141     if ($servers) {
142         require Memoize::Memcached;
143         import Memoize::Memcached qw(memoize_memcached);
144
145         my $memcached = {
146             servers    => [$servers],
147             key_prefix => C4::Context->config('memcached_namespace') || 'koha',
148         };
149         memoize_memcached( 'GetMarcStructure', memcached => $memcached, expire_time => 600 );    #cache for 10 minutes
150     }
151 };
152
153 =head1 NAME
154
155 C4::Biblio - cataloging management functions
156
157 =head1 DESCRIPTION
158
159 Biblio.pm contains functions for managing storage and editing of bibliographic data within Koha. Most of the functions in this module are used for cataloging records: adding, editing, or removing biblios, biblioitems, or items. Koha's stores bibliographic information in three places:
160
161 =over 4
162
163 =item 1. in the biblio,biblioitems,items, etc tables, which are limited to a one-to-one mapping to underlying MARC data
164
165 =item 2. as raw MARC in the Zebra index and storage engine
166
167 =item 3. as raw MARC the biblioitems.marc and biblioitems.marcxml
168
169 =back
170
171 In the 3.0 version of Koha, the authoritative record-level information is in biblioitems.marcxml
172
173 Because the data isn't completely normalized there's a chance for information to get out of sync. The design choice to go with a un-normalized schema was driven by performance and stability concerns. However, if this occur, it can be considered as a bug : The API is (or should be) complete & the only entry point for all biblio/items managements.
174
175 =over 4
176
177 =item 1. Compared with MySQL, Zebra is slow to update an index for small data changes -- especially for proc-intensive operations like circulation
178
179 =item 2. Zebra's index has been known to crash and a backup of the data is necessary to rebuild it in such cases
180
181 =back
182
183 Because of this design choice, the process of managing storage and editing is a bit convoluted. Historically, Biblio.pm's grown to an unmanagable size and as a result we have several types of functions currently:
184
185 =over 4
186
187 =item 1. Add*/Mod*/Del*/ - high-level external functions suitable for being called from external scripts to manage the collection
188
189 =item 2. _koha_* - low-level internal functions for managing the koha tables
190
191 =item 3. Marc management function : as the MARC record is stored in biblioitems.marc(xml), some subs dedicated to it's management are in this package. They should be used only internally by Biblio.pm, the only official entry points being AddBiblio, AddItem, ModBiblio, ModItem.
192
193 =item 4. Zebra functions used to update the Zebra index
194
195 =item 5. internal helper functions such as char_decode, checkitems, etc. Some of these probably belong in Koha.pm
196
197 =back
198
199 The MARC record (in biblioitems.marcxml) contains the complete marc record, including items. It also contains the biblionumber. That is the reason why it is not stored directly by AddBiblio, with all other fields . To save a biblio, we need to :
200
201 =over 4
202
203 =item 1. save datas in biblio and biblioitems table, that gives us a biblionumber and a biblioitemnumber
204
205 =item 2. add the biblionumber and biblioitemnumber into the MARC records
206
207 =item 3. save the marc record
208
209 =back
210
211 When dealing with items, we must :
212
213 =over 4
214
215 =item 1. save the item in items table, that gives us an itemnumber
216
217 =item 2. add the itemnumber to the item MARC field
218
219 =item 3. overwrite the MARC record (with the added item) into biblioitems.marc(xml)
220
221 When modifying a biblio or an item, the behaviour is quite similar.
222
223 =back
224
225 =head1 EXPORTED FUNCTIONS
226
227 =head2 AddBiblio
228
229   ($biblionumber,$biblioitemnumber) = AddBiblio($record,$frameworkcode);
230
231 Exported function (core API) for adding a new biblio to koha.
232
233 The first argument is a C<MARC::Record> object containing the
234 bib to add, while the second argument is the desired MARC
235 framework code.
236
237 This function also accepts a third, optional argument: a hashref
238 to additional options.  The only defined option is C<defer_marc_save>,
239 which if present and mapped to a true value, causes C<AddBiblio>
240 to omit the call to save the MARC in C<bibilioitems.marc>
241 and C<biblioitems.marcxml>  This option is provided B<only>
242 for the use of scripts such as C<bulkmarcimport.pl> that may need
243 to do some manipulation of the MARC record for item parsing before
244 saving it and which cannot afford the performance hit of saving
245 the MARC record twice.  Consequently, do not use that option
246 unless you can guarantee that C<ModBiblioMarc> will be called.
247
248 =cut
249
250 sub AddBiblio {
251     my $record          = shift;
252     my $frameworkcode   = shift;
253     my $options         = @_ ? shift : undef;
254     my $defer_marc_save = 0;
255     if ( defined $options and exists $options->{'defer_marc_save'} and $options->{'defer_marc_save'} ) {
256         $defer_marc_save = 1;
257     }
258
259     my ( $biblionumber, $biblioitemnumber, $error );
260     my $dbh = C4::Context->dbh;
261
262     # transform the data into koha-table style data
263     SetUTF8Flag($record);
264     my $olddata = TransformMarcToKoha( $dbh, $record, $frameworkcode );
265     ( $biblionumber, $error ) = _koha_add_biblio( $dbh, $olddata, $frameworkcode );
266     $olddata->{'biblionumber'} = $biblionumber;
267     ( $biblioitemnumber, $error ) = _koha_add_biblioitem( $dbh, $olddata );
268
269     _koha_marc_update_bib_ids( $record, $frameworkcode, $biblionumber, $biblioitemnumber );
270
271     # update MARC subfield that stores biblioitems.cn_sort
272     _koha_marc_update_biblioitem_cn_sort( $record, $olddata, $frameworkcode );
273
274     # now add the record
275     ModBiblioMarc( $record, $biblionumber, $frameworkcode ) unless $defer_marc_save;
276
277     logaction( "CATALOGUING", "ADD", $biblionumber, "biblio" ) if C4::Context->preference("CataloguingLog");
278     return ( $biblionumber, $biblioitemnumber );
279 }
280
281 =head2 ModBiblio
282
283   ModBiblio( $record,$biblionumber,$frameworkcode);
284
285 Replace an existing bib record identified by C<$biblionumber>
286 with one supplied by the MARC::Record object C<$record>.  The embedded
287 item, biblioitem, and biblionumber fields from the previous
288 version of the bib record replace any such fields of those tags that
289 are present in C<$record>.  Consequently, ModBiblio() is not
290 to be used to try to modify item records.
291
292 C<$frameworkcode> specifies the MARC framework to use
293 when storing the modified bib record; among other things,
294 this controls how MARC fields get mapped to display columns
295 in the C<biblio> and C<biblioitems> tables, as well as
296 which fields are used to store embedded item, biblioitem,
297 and biblionumber data for indexing.
298
299 =cut
300
301 sub ModBiblio {
302     my ( $record, $biblionumber, $frameworkcode ) = @_;
303     croak "No record" unless $record;
304
305     if ( C4::Context->preference("CataloguingLog") ) {
306         my $newrecord = GetMarcBiblio($biblionumber);
307         logaction( "CATALOGUING", "MODIFY", $biblionumber, "BEFORE=>" . $newrecord->as_formatted );
308     }
309
310     # Cleaning up invalid fields must be done early or SetUTF8Flag is liable to
311     # throw an exception which probably won't be handled.
312     foreach my $field ($record->fields()) {
313         if (! $field->is_control_field()) {
314             if (scalar($field->subfields()) == 0 || (scalar($field->subfields()) == 1 && $field->subfield('9'))) {
315                 $record->delete_field($field);
316             }
317         }
318     }
319
320     SetUTF8Flag($record);
321     my $dbh = C4::Context->dbh;
322
323     $frameworkcode = "" unless $frameworkcode;
324
325     _strip_item_fields($record, $frameworkcode);
326
327     # update biblionumber and biblioitemnumber in MARC
328     # FIXME - this is assuming a 1 to 1 relationship between
329     # biblios and biblioitems
330     my $sth = $dbh->prepare("select biblioitemnumber from biblioitems where biblionumber=?");
331     $sth->execute($biblionumber);
332     my ($biblioitemnumber) = $sth->fetchrow;
333     $sth->finish();
334     _koha_marc_update_bib_ids( $record, $frameworkcode, $biblionumber, $biblioitemnumber );
335
336     # load the koha-table data object
337     my $oldbiblio = TransformMarcToKoha( $dbh, $record, $frameworkcode );
338
339     # update MARC subfield that stores biblioitems.cn_sort
340     _koha_marc_update_biblioitem_cn_sort( $record, $oldbiblio, $frameworkcode );
341
342     # update the MARC record (that now contains biblio and items) with the new record data
343     &ModBiblioMarc( $record, $biblionumber, $frameworkcode );
344
345     # modify the other koha tables
346     _koha_modify_biblio( $dbh, $oldbiblio, $frameworkcode );
347     _koha_modify_biblioitem_nonmarc( $dbh, $oldbiblio );
348     return 1;
349 }
350
351 =head2 _strip_item_fields
352
353   _strip_item_fields($record, $frameworkcode)
354
355 Utility routine to remove item tags from a
356 MARC bib.
357
358 =cut
359
360 sub _strip_item_fields {
361     my $record = shift;
362     my $frameworkcode = shift;
363     # get the items before and append them to the biblio before updating the record, atm we just have the biblio
364     my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
365
366     # delete any item fields from incoming record to avoid
367     # duplication or incorrect data - use AddItem() or ModItem()
368     # to change items
369     foreach my $field ( $record->field($itemtag) ) {
370         $record->delete_field($field);
371     }
372 }
373
374 =head2 ModBiblioframework
375
376    ModBiblioframework($biblionumber,$frameworkcode);
377
378 Exported function to modify a biblio framework
379
380 =cut
381
382 sub ModBiblioframework {
383     my ( $biblionumber, $frameworkcode ) = @_;
384     my $dbh = C4::Context->dbh;
385     my $sth = $dbh->prepare( "UPDATE biblio SET frameworkcode=? WHERE biblionumber=?" );
386     $sth->execute( $frameworkcode, $biblionumber );
387     return 1;
388 }
389
390 =head2 DelBiblio
391
392   my $error = &DelBiblio($biblionumber);
393
394 Exported function (core API) for deleting a biblio in koha.
395 Deletes biblio record from Zebra and Koha tables (biblio,biblioitems,items)
396 Also backs it up to deleted* tables
397 Checks to make sure there are not issues on any of the items
398 return:
399 C<$error> : undef unless an error occurs
400
401 =cut
402
403 sub DelBiblio {
404     my ($biblionumber) = @_;
405     my $dbh = C4::Context->dbh;
406     my $error;    # for error handling
407
408     # First make sure this biblio has no items attached
409     my $sth = $dbh->prepare("SELECT itemnumber FROM items WHERE biblionumber=?");
410     $sth->execute($biblionumber);
411     if ( my $itemnumber = $sth->fetchrow ) {
412
413         # Fix this to use a status the template can understand
414         $error .= "This Biblio has items attached, please delete them first before deleting this biblio ";
415     }
416
417     return $error if $error;
418
419     # We delete attached subscriptions
420     my $subscriptions = &C4::Serials::GetFullSubscriptionsFromBiblionumber($biblionumber);
421     foreach my $subscription (@$subscriptions) {
422         &C4::Serials::DelSubscription( $subscription->{subscriptionid} );
423     }
424
425     # Delete in Zebra. Be careful NOT to move this line after _koha_delete_biblio
426     # for at least 2 reasons :
427     # - we need to read the biblio if NoZebra is set (to remove it from the indexes
428     # - if something goes wrong, the biblio may be deleted from Koha but not from zebra
429     #   and we would have no way to remove it (except manually in zebra, but I bet it would be very hard to handle the problem)
430     my $oldRecord;
431     if ( C4::Context->preference("NoZebra") ) {
432
433         # only NoZebra indexing needs to have
434         # the previous version of the record
435         $oldRecord = GetMarcBiblio($biblionumber);
436     }
437     ModZebra( $biblionumber, "recordDelete", "biblioserver", $oldRecord, undef );
438
439     # delete biblioitems and items from Koha tables and save in deletedbiblioitems,deleteditems
440     $sth = $dbh->prepare("SELECT biblioitemnumber FROM biblioitems WHERE biblionumber=?");
441     $sth->execute($biblionumber);
442     while ( my $biblioitemnumber = $sth->fetchrow ) {
443
444         # delete this biblioitem
445         $error = _koha_delete_biblioitems( $dbh, $biblioitemnumber );
446         return $error if $error;
447     }
448
449     # delete biblio from Koha tables and save in deletedbiblio
450     # must do this *after* _koha_delete_biblioitems, otherwise
451     # delete cascade will prevent deletedbiblioitems rows
452     # from being generated by _koha_delete_biblioitems
453     $error = _koha_delete_biblio( $dbh, $biblionumber );
454
455     logaction( "CATALOGUING", "DELETE", $biblionumber, "" ) if C4::Context->preference("CataloguingLog");
456
457     return;
458 }
459
460 =head2 LinkBibHeadingsToAuthorities
461
462   my $headings_linked = LinkBibHeadingsToAuthorities($marc);
463
464 Links bib headings to authority records by checking
465 each authority-controlled field in the C<MARC::Record>
466 object C<$marc>, looking for a matching authority record,
467 and setting the linking subfield $9 to the ID of that
468 authority record.  
469
470 If no matching authority exists, or if multiple
471 authorities match, no $9 will be added, and any 
472 existing one inthe field will be deleted.
473
474 Returns the number of heading links changed in the
475 MARC record.
476
477 =cut
478
479 sub LinkBibHeadingsToAuthorities {
480     my $bib = shift;
481
482     my $num_headings_changed = 0;
483     foreach my $field ( $bib->fields() ) {
484         my $heading = C4::Heading->new_from_bib_field($field);
485         next unless defined $heading;
486
487         # check existing $9
488         my $current_link = $field->subfield('9');
489
490         # look for matching authorities
491         my $authorities = $heading->authorities();
492
493         # want only one exact match
494         if ( $#{$authorities} == 0 ) {
495             my $authority = MARC::Record->new_from_usmarc( $authorities->[0] );
496             my $authid    = $authority->field('001')->data();
497             next if defined $current_link and $current_link eq $authid;
498
499             $field->delete_subfield( code => '9' ) if defined $current_link;
500             $field->add_subfields( '9', $authid );
501             $num_headings_changed++;
502         } else {
503             if ( defined $current_link ) {
504                 $field->delete_subfield( code => '9' );
505                 $num_headings_changed++;
506             }
507         }
508
509     }
510     return $num_headings_changed;
511 }
512
513 =head2 GetRecordValue
514
515   my $values = GetRecordValue($field, $record, $frameworkcode);
516
517 Get MARC fields from a keyword defined in fieldmapping table.
518
519 =cut
520
521 sub GetRecordValue {
522     my ( $field, $record, $frameworkcode ) = @_;
523     my $dbh = C4::Context->dbh;
524
525     my $sth = $dbh->prepare('SELECT fieldcode, subfieldcode FROM fieldmapping WHERE frameworkcode = ? AND field = ?');
526     $sth->execute( $frameworkcode, $field );
527
528     my @result = ();
529
530     while ( my $row = $sth->fetchrow_hashref ) {
531         foreach my $field ( $record->field( $row->{fieldcode} ) ) {
532             if ( ( $row->{subfieldcode} ne "" && $field->subfield( $row->{subfieldcode} ) ) ) {
533                 foreach my $subfield ( $field->subfield( $row->{subfieldcode} ) ) {
534                     push @result, { 'subfield' => $subfield };
535                 }
536
537             } elsif ( $row->{subfieldcode} eq "" ) {
538                 push @result, { 'subfield' => $field->as_string() };
539             }
540         }
541     }
542
543     return \@result;
544 }
545
546 =head2 SetFieldMapping
547
548   SetFieldMapping($framework, $field, $fieldcode, $subfieldcode);
549
550 Set a Field to MARC mapping value, if it already exists we don't add a new one.
551
552 =cut
553
554 sub SetFieldMapping {
555     my ( $framework, $field, $fieldcode, $subfieldcode ) = @_;
556     my $dbh = C4::Context->dbh;
557
558     my $sth = $dbh->prepare('SELECT * FROM fieldmapping WHERE fieldcode = ? AND subfieldcode = ? AND frameworkcode = ? AND field = ?');
559     $sth->execute( $fieldcode, $subfieldcode, $framework, $field );
560     if ( not $sth->fetchrow_hashref ) {
561         my @args;
562         $sth = $dbh->prepare('INSERT INTO fieldmapping (fieldcode, subfieldcode, frameworkcode, field) VALUES(?,?,?,?)');
563
564         $sth->execute( $fieldcode, $subfieldcode, $framework, $field );
565     }
566 }
567
568 =head2 DeleteFieldMapping
569
570   DeleteFieldMapping($id);
571
572 Delete a field mapping from an $id.
573
574 =cut
575
576 sub DeleteFieldMapping {
577     my ($id) = @_;
578     my $dbh = C4::Context->dbh;
579
580     my $sth = $dbh->prepare('DELETE FROM fieldmapping WHERE id = ?');
581     $sth->execute($id);
582 }
583
584 =head2 GetFieldMapping
585
586   GetFieldMapping($frameworkcode);
587
588 Get all field mappings for a specified frameworkcode
589
590 =cut
591
592 sub GetFieldMapping {
593     my ($framework) = @_;
594     my $dbh = C4::Context->dbh;
595
596     my $sth = $dbh->prepare('SELECT * FROM fieldmapping where frameworkcode = ?');
597     $sth->execute($framework);
598
599     my @return;
600     while ( my $row = $sth->fetchrow_hashref ) {
601         push @return, $row;
602     }
603     return \@return;
604 }
605
606 =head2 GetBiblioData
607
608   $data = &GetBiblioData($biblionumber);
609
610 Returns information about the book with the given biblionumber.
611 C<&GetBiblioData> returns a reference-to-hash. The keys are the fields in
612 the C<biblio> and C<biblioitems> tables in the
613 Koha database.
614
615 In addition, C<$data-E<gt>{subject}> is the list of the book's
616 subjects, separated by C<" , "> (space, comma, space).
617 If there are multiple biblioitems with the given biblionumber, only
618 the first one is considered.
619
620 =cut
621
622 sub GetBiblioData {
623     my ($bibnum) = @_;
624     my $dbh = C4::Context->dbh;
625
626     #  my $query =  C4::Context->preference('item-level_itypes') ?
627     #   " SELECT * , biblioitems.notes AS bnotes, biblio.notes
628     #       FROM biblio
629     #        LEFT JOIN biblioitems ON biblio.biblionumber = biblioitems.biblionumber
630     #       WHERE biblio.biblionumber = ?
631     #        AND biblioitems.biblionumber = biblio.biblionumber
632     #";
633
634     my $query = " SELECT * , biblioitems.notes AS bnotes, itemtypes.notforloan as bi_notforloan, biblio.notes
635             FROM biblio
636             LEFT JOIN biblioitems ON biblio.biblionumber = biblioitems.biblionumber
637             LEFT JOIN itemtypes ON biblioitems.itemtype = itemtypes.itemtype
638             WHERE biblio.biblionumber = ?
639             AND biblioitems.biblionumber = biblio.biblionumber ";
640
641     my $sth = $dbh->prepare($query);
642     $sth->execute($bibnum);
643     my $data;
644     $data = $sth->fetchrow_hashref;
645     $sth->finish;
646
647     return ($data);
648 }    # sub GetBiblioData
649
650 =head2 &GetBiblioItemData
651
652   $itemdata = &GetBiblioItemData($biblioitemnumber);
653
654 Looks up the biblioitem with the given biblioitemnumber. Returns a
655 reference-to-hash. The keys are the fields from the C<biblio>,
656 C<biblioitems>, and C<itemtypes> tables in the Koha database, except
657 that C<biblioitems.notes> is given as C<$itemdata-E<gt>{bnotes}>.
658
659 =cut
660
661 #'
662 sub GetBiblioItemData {
663     my ($biblioitemnumber) = @_;
664     my $dbh                = C4::Context->dbh;
665     my $query              = "SELECT *,biblioitems.notes AS bnotes
666         FROM biblio LEFT JOIN biblioitems on biblio.biblionumber=biblioitems.biblionumber ";
667     unless ( C4::Context->preference('item-level_itypes') ) {
668         $query .= "LEFT JOIN itemtypes on biblioitems.itemtype=itemtypes.itemtype ";
669     }
670     $query .= " WHERE biblioitemnumber = ? ";
671     my $sth = $dbh->prepare($query);
672     my $data;
673     $sth->execute($biblioitemnumber);
674     $data = $sth->fetchrow_hashref;
675     $sth->finish;
676     return ($data);
677 }    # sub &GetBiblioItemData
678
679 =head2 GetBiblioItemByBiblioNumber
680
681 NOTE : This function has been copy/paste from C4/Biblio.pm from head before zebra integration.
682
683 =cut
684
685 sub GetBiblioItemByBiblioNumber {
686     my ($biblionumber) = @_;
687     my $dbh            = C4::Context->dbh;
688     my $sth            = $dbh->prepare("Select * FROM biblioitems WHERE biblionumber = ?");
689     my $count          = 0;
690     my @results;
691
692     $sth->execute($biblionumber);
693
694     while ( my $data = $sth->fetchrow_hashref ) {
695         push @results, $data;
696     }
697
698     $sth->finish;
699     return @results;
700 }
701
702 =head2 GetBiblionumberFromItemnumber
703
704
705 =cut
706
707 sub GetBiblionumberFromItemnumber {
708     my ($itemnumber) = @_;
709     my $dbh            = C4::Context->dbh;
710     my $sth            = $dbh->prepare("Select biblionumber FROM items WHERE itemnumber = ?");
711
712     $sth->execute($itemnumber);
713     my ($result) = $sth->fetchrow;
714     return ($result);
715 }
716
717 =head2 GetBiblioFromItemNumber
718
719   $item = &GetBiblioFromItemNumber($itemnumber,$barcode);
720
721 Looks up the item with the given itemnumber. if undef, try the barcode.
722
723 C<&itemnodata> returns a reference-to-hash whose keys are the fields
724 from the C<biblio>, C<biblioitems>, and C<items> tables in the Koha
725 database.
726
727 =cut
728
729 #'
730 sub GetBiblioFromItemNumber {
731     my ( $itemnumber, $barcode ) = @_;
732     my $dbh = C4::Context->dbh;
733     my $sth;
734     if ($itemnumber) {
735         $sth = $dbh->prepare(
736             "SELECT * FROM items 
737             LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
738             LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
739              WHERE items.itemnumber = ?"
740         );
741         $sth->execute($itemnumber);
742     } else {
743         $sth = $dbh->prepare(
744             "SELECT * FROM items 
745             LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
746             LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
747              WHERE items.barcode = ?"
748         );
749         $sth->execute($barcode);
750     }
751     my $data = $sth->fetchrow_hashref;
752     $sth->finish;
753     return ($data);
754 }
755
756 =head2 GetISBDView 
757
758   $isbd = &GetISBDView($biblionumber);
759
760 Return the ISBD view which can be included in opac and intranet
761
762 =cut
763
764 sub GetISBDView {
765     my ( $biblionumber, $template ) = @_;
766     my $record   = GetMarcBiblio($biblionumber, 1);
767     return undef unless defined $record;
768     my $itemtype = &GetFrameworkCode($biblionumber);
769     my ( $holdingbrtagf, $holdingbrtagsubf ) = &GetMarcFromKohaField( "items.holdingbranch", $itemtype );
770     my $tagslib = &GetMarcStructure( 1, $itemtype );
771
772     my $ISBD = C4::Context->preference('isbd');
773     my $bloc = $ISBD;
774     my $res;
775     my $blocres;
776
777     foreach my $isbdfield ( split( /#/, $bloc ) ) {
778
779         #         $isbdfield= /(.?.?.?)/;
780         $isbdfield =~ /(\d\d\d)([^\|])?\|(.*)\|(.*)\|(.*)/;
781         my $fieldvalue = $1 || 0;
782         my $subfvalue  = $2 || "";
783         my $textbefore = $3;
784         my $analysestring = $4;
785         my $textafter     = $5;
786
787         #         warn "==> $1 / $2 / $3 / $4";
788         #         my $fieldvalue=substr($isbdfield,0,3);
789         if ( $fieldvalue > 0 ) {
790             my $hasputtextbefore = 0;
791             my @fieldslist       = $record->field($fieldvalue);
792             @fieldslist = sort { $a->subfield($holdingbrtagsubf) cmp $b->subfield($holdingbrtagsubf) } @fieldslist if ( $fieldvalue eq $holdingbrtagf );
793
794             #         warn "ERROR IN ISBD DEFINITION at : $isbdfield" unless $fieldvalue;
795             #             warn "FV : $fieldvalue";
796             if ( $subfvalue ne "" ) {
797                 foreach my $field (@fieldslist) {
798                     foreach my $subfield ( $field->subfield($subfvalue) ) {
799                         my $calculated = $analysestring;
800                         my $tag        = $field->tag();
801                         if ( $tag < 10 ) {
802                         } else {
803                             my $subfieldvalue = GetAuthorisedValueDesc( $tag, $subfvalue, $subfield, '', $tagslib );
804                             my $tagsubf = $tag . $subfvalue;
805                             $calculated =~ s/\{(.?.?.?.?)$tagsubf(.*?)\}/$1$subfieldvalue$2\{$1$tagsubf$2\}/g;
806                             if ( $template eq "opac" ) { $calculated =~ s#/cgi-bin/koha/[^/]+/([^.]*.pl\?.*)$#opac-$1#g; }
807
808                             # field builded, store the result
809                             if ( $calculated && !$hasputtextbefore ) {    # put textbefore if not done
810                                 $blocres .= $textbefore;
811                                 $hasputtextbefore = 1;
812                             }
813
814                             # remove punctuation at start
815                             $calculated =~ s/^( |;|:|\.|-)*//g;
816                             $blocres .= $calculated;
817
818                         }
819                     }
820                 }
821                 $blocres .= $textafter if $hasputtextbefore;
822             } else {
823                 foreach my $field (@fieldslist) {
824                     my $calculated = $analysestring;
825                     my $tag        = $field->tag();
826                     if ( $tag < 10 ) {
827                     } else {
828                         my @subf = $field->subfields;
829                         for my $i ( 0 .. $#subf ) {
830                             my $valuecode     = $subf[$i][1];
831                             my $subfieldcode  = $subf[$i][0];
832                             my $subfieldvalue = GetAuthorisedValueDesc( $tag, $subf[$i][0], $subf[$i][1], '', $tagslib );
833                             my $tagsubf       = $tag . $subfieldcode;
834
835                             $calculated =~ s/                  # replace all {{}} codes by the value code.
836                                   \{\{$tagsubf\}\} # catch the {{actualcode}}
837                                 /
838                                   $valuecode     # replace by the value code
839                                /gx;
840
841                             $calculated =~ s/\{(.?.?.?.?)$tagsubf(.*?)\}/$1$subfieldvalue$2\{$1$tagsubf$2\}/g;
842                             if ( $template eq "opac" ) { $calculated =~ s#/cgi-bin/koha/[^/]+/([^.]*.pl\?.*)$#opac-$1#g; }
843                         }
844
845                         # field builded, store the result
846                         if ( $calculated && !$hasputtextbefore ) {    # put textbefore if not done
847                             $blocres .= $textbefore;
848                             $hasputtextbefore = 1;
849                         }
850
851                         # remove punctuation at start
852                         $calculated =~ s/^( |;|:|\.|-)*//g;
853                         $blocres .= $calculated;
854                     }
855                 }
856                 $blocres .= $textafter if $hasputtextbefore;
857             }
858         } else {
859             $blocres .= $isbdfield;
860         }
861     }
862     $res .= $blocres;
863
864     $res =~ s/\{(.*?)\}//g;
865     $res =~ s/\\n/\n/g;
866     $res =~ s/\n/<br\/>/g;
867
868     # remove empty ()
869     $res =~ s/\(\)//g;
870
871     return $res;
872 }
873
874 =head2 GetBiblio
875
876   ( $count, @results ) = &GetBiblio($biblionumber);
877
878 =cut
879
880 sub GetBiblio {
881     my ($biblionumber) = @_;
882     my $dbh            = C4::Context->dbh;
883     my $sth            = $dbh->prepare("SELECT * FROM biblio WHERE biblionumber = ?");
884     my $count          = 0;
885     my @results;
886     $sth->execute($biblionumber);
887     while ( my $data = $sth->fetchrow_hashref ) {
888         $results[$count] = $data;
889         $count++;
890     }    # while
891     $sth->finish;
892     return ( $count, @results );
893 }    # sub GetBiblio
894
895 =head2 GetBiblioItemInfosOf
896
897   GetBiblioItemInfosOf(@biblioitemnumbers);
898
899 =cut
900
901 sub GetBiblioItemInfosOf {
902     my @biblioitemnumbers = @_;
903
904     my $query = '
905         SELECT biblioitemnumber,
906             publicationyear,
907             itemtype
908         FROM biblioitems
909         WHERE biblioitemnumber IN (' . join( ',', @biblioitemnumbers ) . ')
910     ';
911     return get_infos_of( $query, 'biblioitemnumber' );
912 }
913
914 =head1 FUNCTIONS FOR HANDLING MARC MANAGEMENT
915
916 =head2 GetMarcStructure
917
918   $res = GetMarcStructure($forlibrarian,$frameworkcode);
919
920 Returns a reference to a big hash of hash, with the Marc structure for the given frameworkcode
921 $forlibrarian  :if set to 1, the MARC descriptions are the librarians ones, otherwise it's the public (OPAC) ones
922 $frameworkcode : the framework code to read
923
924 =cut
925
926 # cache for results of GetMarcStructure -- needed
927 # for batch jobs
928 our $marc_structure_cache;
929
930 sub GetMarcStructure {
931     my ( $forlibrarian, $frameworkcode ) = @_;
932     my $dbh = C4::Context->dbh;
933     $frameworkcode = "" unless $frameworkcode;
934
935     if ( defined $marc_structure_cache and exists $marc_structure_cache->{$forlibrarian}->{$frameworkcode} ) {
936         return $marc_structure_cache->{$forlibrarian}->{$frameworkcode};
937     }
938
939     #     my $sth = $dbh->prepare(
940     #         "SELECT COUNT(*) FROM marc_tag_structure WHERE frameworkcode=?");
941     #     $sth->execute($frameworkcode);
942     #     my ($total) = $sth->fetchrow;
943     #     $frameworkcode = "" unless ( $total > 0 );
944     my $sth = $dbh->prepare(
945         "SELECT tagfield,liblibrarian,libopac,mandatory,repeatable 
946         FROM marc_tag_structure 
947         WHERE frameworkcode=? 
948         ORDER BY tagfield"
949     );
950     $sth->execute($frameworkcode);
951     my ( $liblibrarian, $libopac, $tag, $res, $tab, $mandatory, $repeatable );
952
953     while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) = $sth->fetchrow ) {
954         $res->{$tag}->{lib}        = ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
955         $res->{$tag}->{tab}        = "";
956         $res->{$tag}->{mandatory}  = $mandatory;
957         $res->{$tag}->{repeatable} = $repeatable;
958     }
959
960     $sth = $dbh->prepare(
961         "SELECT tagfield,tagsubfield,liblibrarian,libopac,tab,mandatory,repeatable,authorised_value,authtypecode,value_builder,kohafield,seealso,hidden,isurl,link,defaultvalue 
962          FROM   marc_subfield_structure 
963          WHERE  frameworkcode=? 
964          ORDER BY tagfield,tagsubfield
965         "
966     );
967
968     $sth->execute($frameworkcode);
969
970     my $subfield;
971     my $authorised_value;
972     my $authtypecode;
973     my $value_builder;
974     my $kohafield;
975     my $seealso;
976     my $hidden;
977     my $isurl;
978     my $link;
979     my $defaultvalue;
980
981     while (
982         (   $tag,          $subfield,      $liblibrarian, $libopac, $tab,    $mandatory, $repeatable, $authorised_value,
983             $authtypecode, $value_builder, $kohafield,    $seealso, $hidden, $isurl,     $link,       $defaultvalue
984         )
985         = $sth->fetchrow
986       ) {
987         $res->{$tag}->{$subfield}->{lib}              = ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
988         $res->{$tag}->{$subfield}->{tab}              = $tab;
989         $res->{$tag}->{$subfield}->{mandatory}        = $mandatory;
990         $res->{$tag}->{$subfield}->{repeatable}       = $repeatable;
991         $res->{$tag}->{$subfield}->{authorised_value} = $authorised_value;
992         $res->{$tag}->{$subfield}->{authtypecode}     = $authtypecode;
993         $res->{$tag}->{$subfield}->{value_builder}    = $value_builder;
994         $res->{$tag}->{$subfield}->{kohafield}        = $kohafield;
995         $res->{$tag}->{$subfield}->{seealso}          = $seealso;
996         $res->{$tag}->{$subfield}->{hidden}           = $hidden;
997         $res->{$tag}->{$subfield}->{isurl}            = $isurl;
998         $res->{$tag}->{$subfield}->{'link'}           = $link;
999         $res->{$tag}->{$subfield}->{defaultvalue}     = $defaultvalue;
1000     }
1001
1002     $marc_structure_cache->{$forlibrarian}->{$frameworkcode} = $res;
1003
1004     return $res;
1005 }
1006
1007 =head2 GetUsedMarcStructure
1008
1009 The same function as GetMarcStructure except it just takes field
1010 in tab 0-9. (used field)
1011
1012   my $results = GetUsedMarcStructure($frameworkcode);
1013
1014 C<$results> is a ref to an array which each case containts a ref
1015 to a hash which each keys is the columns from marc_subfield_structure
1016
1017 C<$frameworkcode> is the framework code. 
1018
1019 =cut
1020
1021 sub GetUsedMarcStructure($) {
1022     my $frameworkcode = shift || '';
1023     my $query = qq/
1024         SELECT *
1025         FROM   marc_subfield_structure
1026         WHERE   tab > -1 
1027             AND frameworkcode = ?
1028         ORDER BY tagfield, tagsubfield
1029     /;
1030     my $sth = C4::Context->dbh->prepare($query);
1031     $sth->execute($frameworkcode);
1032     return $sth->fetchall_arrayref( {} );
1033 }
1034
1035 =head2 GetMarcFromKohaField
1036
1037   ($MARCfield,$MARCsubfield)=GetMarcFromKohaField($kohafield,$frameworkcode);
1038
1039 Returns the MARC fields & subfields mapped to the koha field 
1040 for the given frameworkcode
1041
1042 =cut
1043
1044 sub GetMarcFromKohaField {
1045     my ( $kohafield, $frameworkcode ) = @_;
1046     return 0, 0 unless $kohafield and defined $frameworkcode;
1047     my $relations = C4::Context->marcfromkohafield;
1048     return ( $relations->{$frameworkcode}->{$kohafield}->[0], $relations->{$frameworkcode}->{$kohafield}->[1] );
1049 }
1050
1051 =head2 GetMarcBiblio
1052
1053   my $record = GetMarcBiblio($biblionumber, [$embeditems]);
1054
1055 Returns MARC::Record representing bib identified by
1056 C<$biblionumber>.  If no bib exists, returns undef.
1057 C<$embeditems>.  If set to true, items data are included.
1058 The MARC record contains biblio data, and items data if $embeditems is set to true.
1059
1060 =cut
1061
1062 sub GetMarcBiblio {
1063     my $biblionumber = shift;
1064     my $embeditems   = shift || 0;
1065     my $dbh          = C4::Context->dbh;
1066     my $sth          = $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
1067     $sth->execute($biblionumber);
1068     my $row     = $sth->fetchrow_hashref;
1069     my $marcxml = StripNonXmlChars( $row->{'marcxml'} );
1070     MARC::File::XML->default_record_format( C4::Context->preference('marcflavour') );
1071     my $record = MARC::Record->new();
1072
1073     if ($marcxml) {
1074         $record = eval { MARC::Record::new_from_xml( $marcxml, "utf8", C4::Context->preference('marcflavour') ) };
1075         if ($@) { warn " problem with :$biblionumber : $@ \n$marcxml"; }
1076         return unless $record;
1077
1078         C4::Biblio::_koha_marc_update_bib_ids($record, '', $biblionumber, $biblionumber);
1079         C4::Biblio::EmbedItemsInMarcBiblio($record, $biblionumber) if ($embeditems);
1080
1081         return $record;
1082     } else {
1083         return undef;
1084     }
1085 }
1086
1087 =head2 GetXmlBiblio
1088
1089   my $marcxml = GetXmlBiblio($biblionumber);
1090
1091 Returns biblioitems.marcxml of the biblionumber passed in parameter.
1092 The XML contains both biblio & item datas
1093
1094 =cut
1095
1096 sub GetXmlBiblio {
1097     my ($biblionumber) = @_;
1098     my $dbh            = C4::Context->dbh;
1099     my $sth            = $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
1100     $sth->execute($biblionumber);
1101     my ($marcxml) = $sth->fetchrow;
1102     return $marcxml;
1103 }
1104
1105 =head2 GetCOinSBiblio
1106
1107   my $coins = GetCOinSBiblio($record);
1108
1109 Returns the COinS (a span) which can be included in a biblio record
1110
1111 =cut
1112
1113 sub GetCOinSBiblio {
1114     my $record = shift;
1115
1116     # get the coin format
1117     if ( ! $record ) {
1118         return;
1119     }
1120     my $pos7 = substr $record->leader(), 7, 1;
1121     my $pos6 = substr $record->leader(), 6, 1;
1122     my $mtx;
1123     my $genre;
1124     my ( $aulast, $aufirst ) = ( '', '' );
1125     my $oauthors  = '';
1126     my $title     = '';
1127     my $subtitle  = '';
1128     my $pubyear   = '';
1129     my $isbn      = '';
1130     my $issn      = '';
1131     my $publisher = '';
1132     my $pages     = '';
1133     my $titletype = 'b';
1134
1135     # For the purposes of generating COinS metadata, LDR/06-07 can be
1136     # considered the same for UNIMARC and MARC21
1137     my $fmts6;
1138     my $fmts7;
1139     %$fmts6 = (
1140                 'a' => 'book',
1141                 'b' => 'manuscript',
1142                 'c' => 'book',
1143                 'd' => 'manuscript',
1144                 'e' => 'map',
1145                 'f' => 'map',
1146                 'g' => 'film',
1147                 'i' => 'audioRecording',
1148                 'j' => 'audioRecording',
1149                 'k' => 'artwork',
1150                 'l' => 'document',
1151                 'm' => 'computerProgram',
1152                 'o' => 'document',
1153                 'r' => 'document',
1154             );
1155     %$fmts7 = (
1156                     'a' => 'journalArticle',
1157                     's' => 'journal',
1158               );
1159
1160     $genre = $fmts6->{$pos6} ? $fmts6->{$pos6} : 'book';
1161
1162     if ( $genre eq 'book' ) {
1163             $genre = $fmts7->{$pos7} if $fmts7->{$pos7};
1164     }
1165
1166     ##### We must transform mtx to a valable mtx and document type ####
1167     if ( $genre eq 'book' ) {
1168             $mtx = 'book';
1169     } elsif ( $genre eq 'journal' ) {
1170             $mtx = 'journal';
1171             $titletype = 'j';
1172     } elsif ( $genre eq 'journalArticle' ) {
1173             $mtx   = 'journal';
1174             $genre = 'article';
1175             $titletype = 'a';
1176     } else {
1177             $mtx = 'dc';
1178     }
1179
1180     $genre = ( $mtx eq 'dc' ) ? "&amp;rft.type=$genre" : "&amp;rft.genre=$genre";
1181
1182     if ( C4::Context->preference("marcflavour") eq "UNIMARC" ) {
1183
1184         # Setting datas
1185         $aulast  = $record->subfield( '700', 'a' ) || '';
1186         $aufirst = $record->subfield( '700', 'b' ) || '';
1187         $oauthors = "&amp;rft.au=$aufirst $aulast";
1188
1189         # others authors
1190         if ( $record->field('200') ) {
1191             for my $au ( $record->field('200')->subfield('g') ) {
1192                 $oauthors .= "&amp;rft.au=$au";
1193             }
1194         }
1195         $title =
1196           ( $mtx eq 'dc' )
1197           ? "&amp;rft.title=" . $record->subfield( '200', 'a' )
1198           : "&amp;rft.title=" . $record->subfield( '200', 'a' ) . "&amp;rft.btitle=" . $record->subfield( '200', 'a' );
1199         $pubyear   = $record->subfield( '210', 'd' ) || '';
1200         $publisher = $record->subfield( '210', 'c' ) || '';
1201         $isbn      = $record->subfield( '010', 'a' ) || '';
1202         $issn      = $record->subfield( '011', 'a' ) || '';
1203     } else {
1204
1205         # MARC21 need some improve
1206
1207         # Setting datas
1208         if ( $record->field('100') ) {
1209             $oauthors .= "&amp;rft.au=" . $record->subfield( '100', 'a' );
1210         }
1211
1212         # others authors
1213         if ( $record->field('700') ) {
1214             for my $au ( $record->field('700')->subfield('a') ) {
1215                 $oauthors .= "&amp;rft.au=$au";
1216             }
1217         }
1218         $title = "&amp;rft." . $titletype . "title=" . $record->subfield( '245', 'a' );
1219         $subtitle = $record->subfield( '245', 'b' ) || '';
1220         $title .= $subtitle;
1221         if ($titletype eq 'a') {
1222             $pubyear   = $record->field('008') || '';
1223             $pubyear   = substr($pubyear->data(), 7, 4) if $pubyear;
1224             $isbn      = $record->subfield( '773', 'z' ) || '';
1225             $issn      = $record->subfield( '773', 'x' ) || '';
1226             if ($mtx eq 'journal') {
1227                 $title    .= "&amp;rft.title=" . (($record->subfield( '773', 't' ) || $record->subfield( '773', 'a')));
1228             } else {
1229                 $title    .= "&amp;rft.btitle=" . (($record->subfield( '773', 't' ) || $record->subfield( '773', 'a')) || '');
1230             }
1231             foreach my $rel ($record->subfield( '773', 'g' )) {
1232                 if ($pages) {
1233                     $pages .= ', ';
1234                 }
1235                 $pages .= $rel;
1236             }
1237         } else {
1238             $pubyear   = $record->subfield( '260', 'c' ) || '';
1239             $publisher = $record->subfield( '260', 'b' ) || '';
1240             $isbn      = $record->subfield( '020', 'a' ) || '';
1241             $issn      = $record->subfield( '022', 'a' ) || '';
1242         }
1243
1244     }
1245     my $coins_value =
1246 "ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3A$mtx$genre$title&amp;rft.isbn=$isbn&amp;rft.issn=$issn&amp;rft.aulast=$aulast&amp;rft.aufirst=$aufirst$oauthors&amp;rft.pub=$publisher&amp;rft.date=$pubyear&amp;rft.pages=$pages";
1247     $coins_value =~ s/(\ |&[^a])/\+/g;
1248     $coins_value =~ s/\"/\&quot\;/g;
1249
1250 #<!-- TMPL_VAR NAME="ocoins_format" -->&amp;rft.au=<!-- TMPL_VAR NAME="author" -->&amp;rft.btitle=<!-- TMPL_VAR NAME="title" -->&amp;rft.date=<!-- TMPL_VAR NAME="publicationyear" -->&amp;rft.pages=<!-- TMPL_VAR NAME="pages" -->&amp;rft.isbn=<!-- TMPL_VAR NAME=amazonisbn -->&amp;rft.aucorp=&amp;rft.place=<!-- TMPL_VAR NAME="place" -->&amp;rft.pub=<!-- TMPL_VAR NAME="publishercode" -->&amp;rft.edition=<!-- TMPL_VAR NAME="edition" -->&amp;rft.series=<!-- TMPL_VAR NAME="series" -->&amp;rft.genre="
1251
1252     return $coins_value;
1253 }
1254
1255
1256 =head2 GetMarcPrice
1257
1258 return the prices in accordance with the Marc format.
1259 =cut
1260
1261 sub GetMarcPrice {
1262     my ( $record, $marcflavour ) = @_;
1263     my @listtags;
1264     my $subfield;
1265     
1266     if ( $marcflavour eq "MARC21" ) {
1267         @listtags = ('345', '020');
1268         $subfield="c";
1269     } elsif ( $marcflavour eq "UNIMARC" ) {
1270         @listtags = ('345', '010');
1271         $subfield="d";
1272     } else {
1273         return;
1274     }
1275     
1276     for my $field ( $record->field(@listtags) ) {
1277         for my $subfield_value  ($field->subfield($subfield)){
1278             #check value
1279             return $subfield_value if ($subfield_value);
1280         }
1281     }
1282     return 0; # no price found
1283 }
1284
1285 =head2 GetMarcQuantity
1286
1287 return the quantity of a book. Used in acquisition only, when importing a file an iso2709 from a bookseller
1288 Warning : this is not really in the marc standard. In Unimarc, Electre (the most widely used bookseller) use the 969$a
1289
1290 =cut
1291
1292 sub GetMarcQuantity {
1293     my ( $record, $marcflavour ) = @_;
1294     my @listtags;
1295     my $subfield;
1296     
1297     if ( $marcflavour eq "MARC21" ) {
1298         return 0
1299     } elsif ( $marcflavour eq "UNIMARC" ) {
1300         @listtags = ('969');
1301         $subfield="a";
1302     } else {
1303         return;
1304     }
1305     
1306     for my $field ( $record->field(@listtags) ) {
1307         for my $subfield_value  ($field->subfield($subfield)){
1308             #check value
1309             if ($subfield_value) {
1310                  # in France, the cents separator is the , but sometimes, ppl use a .
1311                  # in this case, the price will be x100 when unformatted ! Replace the . by a , to get a proper price calculation
1312                 $subfield_value =~ s/\./,/ if C4::Context->preference("CurrencyFormat") eq "FR";
1313                 return $subfield_value;
1314             }
1315         }
1316     }
1317     return 0; # no price found
1318 }
1319
1320
1321 =head2 GetAuthorisedValueDesc
1322
1323   my $subfieldvalue =get_authorised_value_desc(
1324     $tag, $subf[$i][0],$subf[$i][1], '', $taglib, $category, $opac);
1325
1326 Retrieve the complete description for a given authorised value.
1327
1328 Now takes $category and $value pair too.
1329
1330   my $auth_value_desc =GetAuthorisedValueDesc(
1331     '','', 'DVD' ,'','','CCODE');
1332
1333 If the optional $opac parameter is set to a true value, displays OPAC 
1334 descriptions rather than normal ones when they exist.
1335
1336 =cut
1337
1338 sub GetAuthorisedValueDesc {
1339     my ( $tag, $subfield, $value, $framework, $tagslib, $category, $opac ) = @_;
1340     my $dbh = C4::Context->dbh;
1341
1342     if ( !$category ) {
1343
1344         return $value unless defined $tagslib->{$tag}->{$subfield}->{'authorised_value'};
1345
1346         #---- branch
1347         if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "branches" ) {
1348             return C4::Branch::GetBranchName($value);
1349         }
1350
1351         #---- itemtypes
1352         if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "itemtypes" ) {
1353             return getitemtypeinfo($value)->{description};
1354         }
1355
1356         #---- "true" authorized value
1357         $category = $tagslib->{$tag}->{$subfield}->{'authorised_value'};
1358     }
1359
1360     if ( $category ne "" ) {
1361         my $sth = $dbh->prepare( "SELECT lib, lib_opac FROM authorised_values WHERE category = ? AND authorised_value = ?" );
1362         $sth->execute( $category, $value );
1363         my $data = $sth->fetchrow_hashref;
1364         return ( $opac && $data->{'lib_opac'} ) ? $data->{'lib_opac'} : $data->{'lib'};
1365     } else {
1366         return $value;    # if nothing is found return the original value
1367     }
1368 }
1369
1370 =head2 GetMarcControlnumber
1371
1372   $marccontrolnumber = GetMarcControlnumber($record,$marcflavour);
1373
1374 Get the control number / record Identifier from the MARC record and return it.
1375
1376 =cut
1377
1378 sub GetMarcControlnumber {
1379     my ( $record, $marcflavour ) = @_;
1380     my $controlnumber = "";
1381     # Control number or Record identifier are the same field in MARC21 and UNIMARC
1382     # Keep $marcflavour for possible later use
1383     if ($marcflavour eq "MARC21" || $marcflavour eq "UNIMARC") {
1384         my $controlnumberField = $record->field('001');
1385         if ($controlnumberField) {
1386             $controlnumber = $controlnumberField->data();
1387         }
1388     }
1389     return $controlnumber;
1390 }
1391
1392 =head2 GetMarcISBN
1393
1394   $marcisbnsarray = GetMarcISBN( $record, $marcflavour );
1395
1396 Get all ISBNs from the MARC record and returns them in an array.
1397 ISBNs stored in differents places depending on MARC flavour
1398
1399 =cut
1400
1401 sub GetMarcISBN {
1402     my ( $record, $marcflavour ) = @_;
1403     my $scope;
1404     if ( $marcflavour eq "UNIMARC" ) {
1405         $scope = '010';
1406     } else {    # assume marc21 if not unimarc
1407         $scope = '020';
1408     }
1409     my @marcisbns;
1410     my $isbn = "";
1411     my $tag  = "";
1412     my $marcisbn;
1413     foreach my $field ( $record->field($scope) ) {
1414         my $value = $field->as_string();
1415         if ( $isbn ne "" ) {
1416             $marcisbn = { marcisbn => $isbn, };
1417             push @marcisbns, $marcisbn;
1418             $isbn = $value;
1419         }
1420         if ( $isbn ne $value ) {
1421             $isbn = $isbn . " " . $value;
1422         }
1423     }
1424
1425     if ($isbn) {
1426         $marcisbn = { marcisbn => $isbn };
1427         push @marcisbns, $marcisbn;    #load last tag into array
1428     }
1429     return \@marcisbns;
1430 }    # end GetMarcISBN
1431
1432 =head2 GetMarcNotes
1433
1434   $marcnotesarray = GetMarcNotes( $record, $marcflavour );
1435
1436 Get all notes from the MARC record and returns them in an array.
1437 The note are stored in differents places depending on MARC flavour
1438
1439 =cut
1440
1441 sub GetMarcNotes {
1442     my ( $record, $marcflavour ) = @_;
1443     my $scope;
1444     if ( $marcflavour eq "UNIMARC" ) {
1445         $scope = '3..';
1446     } else {    # assume marc21 if not unimarc
1447         $scope = '5..';
1448     }
1449     my @marcnotes;
1450     my $note = "";
1451     my $tag  = "";
1452     my $marcnote;
1453     foreach my $field ( $record->field($scope) ) {
1454         my $value = $field->as_string();
1455         if ( $note ne "" ) {
1456             $marcnote = { marcnote => $note, };
1457             push @marcnotes, $marcnote;
1458             $note = $value;
1459         }
1460         if ( $note ne $value ) {
1461             $note = $note . " " . $value;
1462         }
1463     }
1464
1465     if ($note) {
1466         $marcnote = { marcnote => $note };
1467         push @marcnotes, $marcnote;    #load last tag into array
1468     }
1469     return \@marcnotes;
1470 }    # end GetMarcNotes
1471
1472 =head2 GetMarcSubjects
1473
1474   $marcsubjcts = GetMarcSubjects($record,$marcflavour);
1475
1476 Get all subjects from the MARC record and returns them in an array.
1477 The subjects are stored in differents places depending on MARC flavour
1478
1479 =cut
1480
1481 sub GetMarcSubjects {
1482     my ( $record, $marcflavour ) = @_;
1483     my ( $mintag, $maxtag );
1484     if ( $marcflavour eq "UNIMARC" ) {
1485         $mintag = "600";
1486         $maxtag = "611";
1487     } else {    # assume marc21 if not unimarc
1488         $mintag = "600";
1489         $maxtag = "699";
1490     }
1491
1492     my @marcsubjects;
1493     my $subject  = "";
1494     my $subfield = "";
1495     my $marcsubject;
1496
1497     my $subject_limit = C4::Context->preference("TraceCompleteSubfields") ? 'su,complete-subfield' : 'su';
1498
1499     foreach my $field ( $record->field('6..') ) {
1500         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
1501         my @subfields_loop;
1502         my @subfields = $field->subfields();
1503         my $counter   = 0;
1504         my @link_loop;
1505
1506         # if there is an authority link, build the link with an= subfield9
1507         my $found9 = 0;
1508         for my $subject_subfield (@subfields) {
1509
1510             # don't load unimarc subfields 3,4,5
1511             next if ( ( $marcflavour eq "UNIMARC" ) and ( $subject_subfield->[0] =~ /2|3|4|5/ ) );
1512
1513             # don't load MARC21 subfields 2 (FIXME: any more subfields??)
1514             next if ( ( $marcflavour eq "MARC21" ) and ( $subject_subfield->[0] =~ /2/ ) );
1515             my $code      = $subject_subfield->[0];
1516             my $value     = $subject_subfield->[1];
1517             my $linkvalue = $value;
1518             $linkvalue =~ s/(\(|\))//g;
1519             my $operator;
1520             if ( $counter != 0 ) {
1521                 $operator = ' and ';
1522             }
1523             if ( $code eq 9 ) {
1524                 $found9 = 1;
1525                 @link_loop = ( { 'limit' => 'an', link => "$linkvalue" } );
1526             }
1527             if ( not $found9 ) {
1528                 push @link_loop, { 'limit' => $subject_limit, link => $linkvalue, operator => $operator };
1529             }
1530             my $separator;
1531             if ( $counter != 0 ) {
1532                 $separator = C4::Context->preference('authoritysep');
1533             }
1534
1535             # ignore $9
1536             my @this_link_loop = @link_loop;
1537             push @subfields_loop, { code => $code, value => $value, link_loop => \@this_link_loop, separator => $separator } unless ( $subject_subfield->[0] eq 9 );
1538             $counter++;
1539         }
1540
1541         push @marcsubjects, { MARCSUBJECT_SUBFIELDS_LOOP => \@subfields_loop };
1542
1543     }
1544     return \@marcsubjects;
1545 }    #end getMARCsubjects
1546
1547 =head2 GetMarcAuthors
1548
1549   authors = GetMarcAuthors($record,$marcflavour);
1550
1551 Get all authors from the MARC record and returns them in an array.
1552 The authors are stored in differents places depending on MARC flavour
1553
1554 =cut
1555
1556 sub GetMarcAuthors {
1557     my ( $record, $marcflavour ) = @_;
1558     my ( $mintag, $maxtag );
1559
1560     # tagslib useful for UNIMARC author reponsabilities
1561     my $tagslib =
1562       &GetMarcStructure( 1, '' );    # FIXME : we don't have the framework available, we take the default framework. May be buggy on some setups, will be usually correct.
1563     if ( $marcflavour eq "UNIMARC" ) {
1564         $mintag = "700";
1565         $maxtag = "712";
1566     } elsif ( $marcflavour eq "MARC21" || $marcflavour eq "NORMARC" ) { # assume marc21 or normarc if not unimarc
1567         $mintag = "700";
1568         $maxtag = "720";
1569     } else {
1570         return;
1571     }
1572     my @marcauthors;
1573
1574     foreach my $field ( $record->fields ) {
1575         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
1576         my @subfields_loop;
1577         my @link_loop;
1578         my @subfields  = $field->subfields();
1579         my $count_auth = 0;
1580
1581         # if there is an authority link, build the link with Koha-Auth-Number: subfield9
1582         my $subfield9 = $field->subfield('9');
1583         for my $authors_subfield (@subfields) {
1584
1585             # don't load unimarc subfields 3, 5
1586             next if ( $marcflavour eq 'UNIMARC' and ( $authors_subfield->[0] =~ /3|5/ ) );
1587             my $subfieldcode = $authors_subfield->[0];
1588             my $value        = $authors_subfield->[1];
1589             my $linkvalue    = $value;
1590             $linkvalue =~ s/(\(|\))//g;
1591             my $operator;
1592             if ( $count_auth != 0 ) {
1593                 $operator = ' and ';
1594             }
1595
1596             # if we have an authority link, use that as the link, otherwise use standard searching
1597             if ($subfield9) {
1598                 @link_loop = ( { 'limit' => 'an', link => "$subfield9" } );
1599             } else {
1600
1601                 # reset $linkvalue if UNIMARC author responsibility
1602                 if ( $marcflavour eq 'UNIMARC' and ( $authors_subfield->[0] eq "4" ) ) {
1603                     $linkvalue = "(" . GetAuthorisedValueDesc( $field->tag(), $authors_subfield->[0], $authors_subfield->[1], '', $tagslib ) . ")";
1604                 }
1605                 push @link_loop, { 'limit' => 'au', link => $linkvalue, operator => $operator };
1606             }
1607             $value = GetAuthorisedValueDesc( $field->tag(), $authors_subfield->[0], $authors_subfield->[1], '', $tagslib )
1608               if ( $marcflavour eq 'UNIMARC' and ( $authors_subfield->[0] =~ /4/ ) );
1609             my @this_link_loop = @link_loop;
1610             my $separator;
1611             if ( $count_auth != 0 ) {
1612                 $separator = C4::Context->preference('authoritysep');
1613             }
1614             push @subfields_loop,
1615               { tag       => $field->tag(),
1616                 code      => $subfieldcode,
1617                 value     => $value,
1618                 link_loop => \@this_link_loop,
1619                 separator => $separator
1620               }
1621               unless ( $authors_subfield->[0] eq '9' );
1622             $count_auth++;
1623         }
1624         push @marcauthors, { MARCAUTHOR_SUBFIELDS_LOOP => \@subfields_loop };
1625     }
1626     return \@marcauthors;
1627 }
1628
1629 =head2 GetMarcUrls
1630
1631   $marcurls = GetMarcUrls($record,$marcflavour);
1632
1633 Returns arrayref of URLs from MARC data, suitable to pass to tmpl loop.
1634 Assumes web resources (not uncommon in MARC21 to omit resource type ind) 
1635
1636 =cut
1637
1638 sub GetMarcUrls {
1639     my ( $record, $marcflavour ) = @_;
1640
1641     my @marcurls;
1642     for my $field ( $record->field('856') ) {
1643         my @notes;
1644         for my $note ( $field->subfield('z') ) {
1645             push @notes, { note => $note };
1646         }
1647         my @urls = $field->subfield('u');
1648         foreach my $url (@urls) {
1649             my $marcurl;
1650             if ( $marcflavour eq 'MARC21' ) {
1651                 my $s3   = $field->subfield('3');
1652                 my $link = $field->subfield('y');
1653                 unless ( $url =~ /^\w+:/ ) {
1654                     if ( $field->indicator(1) eq '7' ) {
1655                         $url = $field->subfield('2') . "://" . $url;
1656                     } elsif ( $field->indicator(1) eq '1' ) {
1657                         $url = 'ftp://' . $url;
1658                     } else {
1659
1660                         #  properly, this should be if ind1=4,
1661                         #  however we will assume http protocol since we're building a link.
1662                         $url = 'http://' . $url;
1663                     }
1664                 }
1665
1666                 # TODO handle ind 2 (relationship)
1667                 $marcurl = {
1668                     MARCURL => $url,
1669                     notes   => \@notes,
1670                 };
1671                 $marcurl->{'linktext'} = $link || $s3 || C4::Context->preference('URLLinkText') || $url;
1672                 $marcurl->{'part'} = $s3 if ($link);
1673                 $marcurl->{'toc'} = 1 if ( defined($s3) && $s3 =~ /^[Tt]able/ );
1674             } else {
1675                 $marcurl->{'linktext'} = $field->subfield('2') || C4::Context->preference('URLLinkText') || $url;
1676                 $marcurl->{'MARCURL'} = $url;
1677             }
1678             push @marcurls, $marcurl;
1679         }
1680     }
1681     return \@marcurls;
1682 }
1683
1684 =head2 GetMarcSeries
1685
1686   $marcseriesarray = GetMarcSeries($record,$marcflavour);
1687
1688 Get all series from the MARC record and returns them in an array.
1689 The series are stored in differents places depending on MARC flavour
1690
1691 =cut
1692
1693 sub GetMarcSeries {
1694     my ( $record, $marcflavour ) = @_;
1695     my ( $mintag, $maxtag );
1696     if ( $marcflavour eq "UNIMARC" ) {
1697         $mintag = "600";
1698         $maxtag = "619";
1699     } else {    # assume marc21 if not unimarc
1700         $mintag = "440";
1701         $maxtag = "490";
1702     }
1703
1704     my @marcseries;
1705     my $subjct   = "";
1706     my $subfield = "";
1707     my $marcsubjct;
1708
1709     foreach my $field ( $record->field('440'), $record->field('490') ) {
1710         my @subfields_loop;
1711
1712         #my $value = $field->subfield('a');
1713         #$marcsubjct = {MARCSUBJCT => $value,};
1714         my @subfields = $field->subfields();
1715
1716         #warn "subfields:".join " ", @$subfields;
1717         my $counter = 0;
1718         my @link_loop;
1719         for my $series_subfield (@subfields) {
1720             my $volume_number;
1721             undef $volume_number;
1722
1723             # see if this is an instance of a volume
1724             if ( $series_subfield->[0] eq 'v' ) {
1725                 $volume_number = 1;
1726             }
1727
1728             my $code      = $series_subfield->[0];
1729             my $value     = $series_subfield->[1];
1730             my $linkvalue = $value;
1731             $linkvalue =~ s/(\(|\))//g;
1732             if ( $counter != 0 ) {
1733                 push @link_loop, { link => $linkvalue, operator => ' and ', };
1734             } else {
1735                 push @link_loop, { link => $linkvalue, operator => undef, };
1736             }
1737             my $separator;
1738             if ( $counter != 0 ) {
1739                 $separator = C4::Context->preference('authoritysep');
1740             }
1741             if ($volume_number) {
1742                 push @subfields_loop, { volumenum => $value };
1743             } else {
1744                 if ( $series_subfield->[0] ne '9' ) {
1745                     push @subfields_loop, {
1746                         code      => $code,
1747                         value     => $value,
1748                         link_loop => \@link_loop,
1749                         separator => $separator,
1750                         volumenum => $volume_number,
1751                     };
1752                 }
1753             }
1754             $counter++;
1755         }
1756         push @marcseries, { MARCSERIES_SUBFIELDS_LOOP => \@subfields_loop };
1757
1758         #$marcsubjct = {MARCSUBJCT => $field->as_string(),};
1759         #push @marcsubjcts, $marcsubjct;
1760         #$subjct = $value;
1761
1762     }
1763     my $marcseriessarray = \@marcseries;
1764     return $marcseriessarray;
1765 }    #end getMARCseriess
1766
1767 =head2 GetMarcHosts
1768
1769   $marchostsarray = GetMarcHosts($record,$marcflavour);
1770
1771 Get all host records (773s MARC21, 461 UNIMARC) from the MARC record and returns them in an array.
1772
1773 =cut
1774
1775 sub GetMarcHosts {
1776     my ( $record, $marcflavour ) = @_;
1777     my ( $tag,$title_subf,$bibnumber_subf,$itemnumber_subf);
1778     $marcflavour ||="MARC21";
1779     if ( $marcflavour eq "MARC21" || $marcflavour eq "NORMARC" ) {
1780         $tag = "773";
1781         $title_subf = "t";
1782         $bibnumber_subf ="0";
1783         $itemnumber_subf='9';
1784     }
1785     elsif ($marcflavour eq "UNIMARC") {
1786         $tag = "461";
1787         $title_subf = "t";
1788         $bibnumber_subf ="0";
1789         $itemnumber_subf='9';
1790     };
1791
1792     my @marchosts;
1793
1794     foreach my $field ( $record->field($tag)) {
1795
1796         my @fields_loop;
1797
1798         my $hostbiblionumber = $field->subfield("$bibnumber_subf");
1799         my $hosttitle = $field->subfield($title_subf);
1800         my $hostitemnumber=$field->subfield($itemnumber_subf);
1801         push @fields_loop, { hostbiblionumber => $hostbiblionumber, hosttitle => $hosttitle, hostitemnumber => $hostitemnumber};
1802         push @marchosts, { MARCHOSTS_FIELDS_LOOP => \@fields_loop };
1803
1804         }
1805     my $marchostsarray = \@marchosts;
1806     return $marchostsarray;
1807 }
1808
1809 =head2 GetFrameworkCode
1810
1811   $frameworkcode = GetFrameworkCode( $biblionumber )
1812
1813 =cut
1814
1815 sub GetFrameworkCode {
1816     my ($biblionumber) = @_;
1817     my $dbh            = C4::Context->dbh;
1818     my $sth            = $dbh->prepare("SELECT frameworkcode FROM biblio WHERE biblionumber=?");
1819     $sth->execute($biblionumber);
1820     my ($frameworkcode) = $sth->fetchrow;
1821     return $frameworkcode;
1822 }
1823
1824 =head2 TransformKohaToMarc
1825
1826     $record = TransformKohaToMarc( $hash )
1827
1828 This function builds partial MARC::Record from a hash
1829 Hash entries can be from biblio or biblioitems.
1830
1831 This function is called in acquisition module, to create a basic catalogue
1832 entry from user entry
1833
1834 =cut
1835
1836
1837 sub TransformKohaToMarc {
1838     my $hash = shift;
1839     my $record = MARC::Record->new();
1840     SetMarcUnicodeFlag( $record, C4::Context->preference("marcflavour") );
1841     my $db_to_marc = C4::Context->marcfromkohafield;
1842     while ( my ($name, $value) = each %$hash ) {
1843         next unless my $dtm = $db_to_marc->{''}->{$name};
1844         my ($tag, $letter) = @$dtm;
1845         foreach my $value ( split(/\s?\|\s?/, $value, -1) ) {
1846             if ( my $field = $record->field($tag) ) {
1847                 $field->add_subfields( $letter => $value );
1848             }
1849             else {
1850                 $record->insert_fields_ordered( MARC::Field->new(
1851                     $tag, " ", " ", $letter => $value ) );
1852             }
1853         }
1854
1855     }
1856     return $record;
1857 }
1858
1859 =head2 PrepHostMarcField
1860
1861     $hostfield = PrepHostMarcField ( $hostbiblionumber,$hostitemnumber,$marcflavour )
1862
1863 This function returns a host field populated with data from the host record, the field can then be added to an analytical record
1864
1865 =cut
1866
1867 sub PrepHostMarcField {
1868     my ($hostbiblionumber,$hostitemnumber, $marcflavour) = @_;
1869     $marcflavour ||="MARC21";
1870     
1871     my $hostrecord = GetMarcBiblio($hostbiblionumber);
1872         my $item = C4::Items::GetItem($hostitemnumber);
1873         
1874         my $hostmarcfield;
1875     if ( $marcflavour eq "MARC21" || $marcflavour eq "NORMARC" ) {
1876         
1877         #main entry
1878         my $mainentry;
1879         if ($hostrecord->subfield('100','a')){
1880             $mainentry = $hostrecord->subfield('100','a');
1881         } elsif ($hostrecord->subfield('110','a')){
1882             $mainentry = $hostrecord->subfield('110','a');
1883         } else {
1884             $mainentry = $hostrecord->subfield('111','a');
1885         }
1886         
1887         # qualification info
1888         my $qualinfo;
1889         if (my $field260 = $hostrecord->field('260')){
1890             $qualinfo =  $field260->as_string( 'abc' );
1891         }
1892         
1893
1894         #other fields
1895         my $ed = $hostrecord->subfield('250','a');
1896         my $barcode = $item->{'barcode'};
1897         my $title = $hostrecord->subfield('245','a');
1898
1899         # record control number, 001 with 003 and prefix
1900         my $recctrlno;
1901         if ($hostrecord->field('001')){
1902             $recctrlno = $hostrecord->field('001')->data();
1903             if ($hostrecord->field('003')){
1904                 $recctrlno = '('.$hostrecord->field('003')->data().')'.$recctrlno;
1905             }
1906         }
1907
1908         # issn/isbn
1909         my $issn = $hostrecord->subfield('022','a');
1910         my $isbn = $hostrecord->subfield('020','a');
1911
1912
1913         $hostmarcfield = MARC::Field->new(
1914                 773, '0', '',
1915                 '0' => $hostbiblionumber,
1916                 '9' => $hostitemnumber,
1917                 'a' => $mainentry,
1918                 'b' => $ed,
1919                 'd' => $qualinfo,
1920                 'o' => $barcode,
1921                 't' => $title,
1922                 'w' => $recctrlno,
1923                 'x' => $issn,
1924                 'z' => $isbn
1925                 );
1926     } elsif ($marcflavour eq "UNIMARC") {
1927         $hostmarcfield = MARC::Field->new(
1928             461, '', '',
1929             '0' => $hostbiblionumber,
1930             't' => $hostrecord->subfield('200','a'), 
1931             '9' => $hostitemnumber
1932         );      
1933     };
1934
1935     return $hostmarcfield;
1936 }
1937
1938 =head2 TransformHtmlToXml
1939
1940   $xml = TransformHtmlToXml( $tags, $subfields, $values, $indicator, 
1941                              $ind_tag, $auth_type )
1942
1943 $auth_type contains :
1944
1945 =over
1946
1947 =item - nothing : rebuild a biblio. In UNIMARC the encoding is in 100$a pos 26/27
1948
1949 =item - UNIMARCAUTH : rebuild an authority. In UNIMARC, the encoding is in 100$a pos 13/14
1950
1951 =item - ITEM : rebuild an item : in UNIMARC, 100$a, it's in the biblio ! (otherwise, we would get 2 100 fields !)
1952
1953 =back
1954
1955 =cut
1956
1957 sub TransformHtmlToXml {
1958     my ( $tags, $subfields, $values, $indicator, $ind_tag, $auth_type ) = @_;
1959     my $xml = MARC::File::XML::header('UTF-8');
1960     $xml .= "<record>\n";
1961     $auth_type = C4::Context->preference('marcflavour') unless $auth_type;
1962     MARC::File::XML->default_record_format($auth_type);
1963
1964     # in UNIMARC, field 100 contains the encoding
1965     # check that there is one, otherwise the
1966     # MARC::Record->new_from_xml will fail (and Koha will die)
1967     my $unimarc_and_100_exist = 0;
1968     $unimarc_and_100_exist = 1 if $auth_type eq 'ITEM';    # if we rebuild an item, no need of a 100 field
1969     my $prevvalue;
1970     my $prevtag = -1;
1971     my $first   = 1;
1972     my $j       = -1;
1973     for ( my $i = 0 ; $i < @$tags ; $i++ ) {
1974
1975         if ( C4::Context->preference('marcflavour') eq 'UNIMARC' and @$tags[$i] eq "100" and @$subfields[$i] eq "a" ) {
1976
1977             # if we have a 100 field and it's values are not correct, skip them.
1978             # if we don't have any valid 100 field, we will create a default one at the end
1979             my $enc = substr( @$values[$i], 26, 2 );
1980             if ( $enc eq '01' or $enc eq '50' or $enc eq '03' ) {
1981                 $unimarc_and_100_exist = 1;
1982             } else {
1983                 next;
1984             }
1985         }
1986         @$values[$i] =~ s/&/&amp;/g;
1987         @$values[$i] =~ s/</&lt;/g;
1988         @$values[$i] =~ s/>/&gt;/g;
1989         @$values[$i] =~ s/"/&quot;/g;
1990         @$values[$i] =~ s/'/&apos;/g;
1991
1992         #         if ( !utf8::is_utf8( @$values[$i] ) ) {
1993         #             utf8::decode( @$values[$i] );
1994         #         }
1995         if ( ( @$tags[$i] ne $prevtag ) ) {
1996             $j++ unless ( @$tags[$i] eq "" );
1997             my $indicator1 = eval { substr( @$indicator[$j], 0, 1 ) };
1998             my $indicator2 = eval { substr( @$indicator[$j], 1, 1 ) };
1999             my $ind1       = _default_ind_to_space($indicator1);
2000             my $ind2;
2001             if ( @$indicator[$j] ) {
2002                 $ind2 = _default_ind_to_space($indicator2);
2003             } else {
2004                 warn "Indicator in @$tags[$i] is empty";
2005                 $ind2 = " ";
2006             }
2007             if ( !$first ) {
2008                 $xml .= "</datafield>\n";
2009                 if (   ( @$tags[$i] && @$tags[$i] > 10 )
2010                     && ( @$values[$i] ne "" ) ) {
2011                     $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
2012                     $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
2013                     $first = 0;
2014                 } else {
2015                     $first = 1;
2016                 }
2017             } else {
2018                 if ( @$values[$i] ne "" ) {
2019
2020                     # leader
2021                     if ( @$tags[$i] eq "000" ) {
2022                         $xml .= "<leader>@$values[$i]</leader>\n";
2023                         $first = 1;
2024
2025                         # rest of the fixed fields
2026                     } elsif ( @$tags[$i] < 10 ) {
2027                         $xml .= "<controlfield tag=\"@$tags[$i]\">@$values[$i]</controlfield>\n";
2028                         $first = 1;
2029                     } else {
2030                         $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
2031                         $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
2032                         $first = 0;
2033                     }
2034                 }
2035             }
2036         } else {    # @$tags[$i] eq $prevtag
2037             my $indicator1 = eval { substr( @$indicator[$j], 0, 1 ) };
2038             my $indicator2 = eval { substr( @$indicator[$j], 1, 1 ) };
2039             my $ind1       = _default_ind_to_space($indicator1);
2040             my $ind2;
2041             if ( @$indicator[$j] ) {
2042                 $ind2 = _default_ind_to_space($indicator2);
2043             } else {
2044                 warn "Indicator in @$tags[$i] is empty";
2045                 $ind2 = " ";
2046             }
2047             if ( @$values[$i] eq "" ) {
2048             } else {
2049                 if ($first) {
2050                     $xml .= "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
2051                     $first = 0;
2052                 }
2053                 $xml .= "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
2054             }
2055         }
2056         $prevtag = @$tags[$i];
2057     }
2058     $xml .= "</datafield>\n" if $xml =~ m/<datafield/;
2059     if ( C4::Context->preference('marcflavour') eq 'UNIMARC' and !$unimarc_and_100_exist ) {
2060
2061         #     warn "SETTING 100 for $auth_type";
2062         my $string = strftime( "%Y%m%d", localtime(time) );
2063
2064         # set 50 to position 26 is biblios, 13 if authorities
2065         my $pos = 26;
2066         $pos = 13 if $auth_type eq 'UNIMARCAUTH';
2067         $string = sprintf( "%-*s", 35, $string );
2068         substr( $string, $pos, 6, "50" );
2069         $xml .= "<datafield tag=\"100\" ind1=\"\" ind2=\"\">\n";
2070         $xml .= "<subfield code=\"a\">$string</subfield>\n";
2071         $xml .= "</datafield>\n";
2072     }
2073     $xml .= "</record>\n";
2074     $xml .= MARC::File::XML::footer();
2075     return $xml;
2076 }
2077
2078 =head2 _default_ind_to_space
2079
2080 Passed what should be an indicator returns a space
2081 if its undefined or zero length
2082
2083 =cut
2084
2085 sub _default_ind_to_space {
2086     my $s = shift;
2087     if ( !defined $s || $s eq q{} ) {
2088         return ' ';
2089     }
2090     return $s;
2091 }
2092
2093 =head2 TransformHtmlToMarc
2094
2095     L<$record> = TransformHtmlToMarc(L<$cgi>)
2096     L<$cgi> is the CGI object which containts the values for subfields
2097     {
2098         'tag_010_indicator1_531951' ,
2099         'tag_010_indicator2_531951' ,
2100         'tag_010_code_a_531951_145735' ,
2101         'tag_010_subfield_a_531951_145735' ,
2102         'tag_200_indicator1_873510' ,
2103         'tag_200_indicator2_873510' ,
2104         'tag_200_code_a_873510_673465' ,
2105         'tag_200_subfield_a_873510_673465' ,
2106         'tag_200_code_b_873510_704318' ,
2107         'tag_200_subfield_b_873510_704318' ,
2108         'tag_200_code_e_873510_280822' ,
2109         'tag_200_subfield_e_873510_280822' ,
2110         'tag_200_code_f_873510_110730' ,
2111         'tag_200_subfield_f_873510_110730' ,
2112     }
2113     L<$record> is the MARC::Record object.
2114
2115 =cut
2116
2117 sub TransformHtmlToMarc {
2118     my $cgi    = shift;
2119
2120     my @params = $cgi->param();
2121
2122     # explicitly turn on the UTF-8 flag for all
2123     # 'tag_' parameters to avoid incorrect character
2124     # conversion later on
2125     my $cgi_params = $cgi->Vars;
2126     foreach my $param_name ( keys %$cgi_params ) {
2127         if ( $param_name =~ /^tag_/ ) {
2128             my $param_value = $cgi_params->{$param_name};
2129             if ( utf8::decode($param_value) ) {
2130                 $cgi_params->{$param_name} = $param_value;
2131             }
2132
2133             # FIXME - need to do something if string is not valid UTF-8
2134         }
2135     }
2136
2137     # creating a new record
2138     my $record = MARC::Record->new();
2139     my $i      = 0;
2140     my @fields;
2141     while ( $params[$i] ) {    # browse all CGI params
2142         my $param    = $params[$i];
2143         my $newfield = 0;
2144
2145         # if we are on biblionumber, store it in the MARC::Record (it may not be in the edited fields)
2146         if ( $param eq 'biblionumber' ) {
2147             my ( $biblionumbertagfield, $biblionumbertagsubfield ) = &GetMarcFromKohaField( "biblio.biblionumber", '' );
2148             if ( $biblionumbertagfield < 10 ) {
2149                 $newfield = MARC::Field->new( $biblionumbertagfield, $cgi->param($param), );
2150             } else {
2151                 $newfield = MARC::Field->new( $biblionumbertagfield, '', '', "$biblionumbertagsubfield" => $cgi->param($param), );
2152             }
2153             push @fields, $newfield if ($newfield);
2154         } elsif ( $param =~ /^tag_(\d*)_indicator1_/ ) {    # new field start when having 'input name="..._indicator1_..."
2155             my $tag = $1;
2156
2157             my $ind1 = _default_ind_to_space( substr( $cgi->param($param), 0, 1 ) );
2158             my $ind2 = _default_ind_to_space( substr( $cgi->param( $params[ $i + 1 ] ), 0, 1 ) );
2159             $newfield = 0;
2160             my $j = $i + 2;
2161
2162             if ( $tag < 10 ) {                              # no code for theses fields
2163                                                             # in MARC editor, 000 contains the leader.
2164                 if ( $tag eq '000' ) {
2165                     # Force a fake leader even if not provided to avoid crashing
2166                     # during decoding MARC record containing UTF-8 characters
2167                     $record->leader(
2168                         length( $cgi->param($params[$j+1]) ) == 24
2169                         ? $cgi->param( $params[ $j + 1 ] )
2170                         : '     nam a22        4500'
2171                         )
2172                     ;
2173                     # between 001 and 009 (included)
2174                 } elsif ( $cgi->param( $params[ $j + 1 ] ) ne '' ) {
2175                     $newfield = MARC::Field->new( $tag, $cgi->param( $params[ $j + 1 ] ), );
2176                 }
2177
2178                 # > 009, deal with subfields
2179             } else {
2180                 while ( defined $params[$j] && $params[$j] =~ /_code_/ ) {    # browse all it's subfield
2181                     my $inner_param = $params[$j];
2182                     if ($newfield) {
2183                         if ( $cgi->param( $params[ $j + 1 ] ) ne '' ) {         # only if there is a value (code => value)
2184                             $newfield->add_subfields( $cgi->param($inner_param) => $cgi->param( $params[ $j + 1 ] ) );
2185                         }
2186                     } else {
2187                         if ( $cgi->param( $params[ $j + 1 ] ) ne '' ) {         # creating only if there is a value (code => value)
2188                             $newfield = MARC::Field->new( $tag, $ind1, $ind2, $cgi->param($inner_param) => $cgi->param( $params[ $j + 1 ] ), );
2189                         }
2190                     }
2191                     $j += 2;
2192                 }
2193             }
2194             push @fields, $newfield if ($newfield);
2195         }
2196         $i++;
2197     }
2198
2199     $record->append_fields(@fields);
2200     return $record;
2201 }
2202
2203 # cache inverted MARC field map
2204 our $inverted_field_map;
2205
2206 =head2 TransformMarcToKoha
2207
2208   $result = TransformMarcToKoha( $dbh, $record, $frameworkcode )
2209
2210 Extract data from a MARC bib record into a hashref representing
2211 Koha biblio, biblioitems, and items fields. 
2212
2213 =cut
2214
2215 sub TransformMarcToKoha {
2216     my ( $dbh, $record, $frameworkcode, $limit_table ) = @_;
2217
2218     my $result;
2219     $limit_table = $limit_table || 0;
2220     $frameworkcode = '' unless defined $frameworkcode;
2221
2222     unless ( defined $inverted_field_map ) {
2223         $inverted_field_map = _get_inverted_marc_field_map();
2224     }
2225
2226     my %tables = ();
2227     if ( defined $limit_table && $limit_table eq 'items' ) {
2228         $tables{'items'} = 1;
2229     } else {
2230         $tables{'items'}       = 1;
2231         $tables{'biblio'}      = 1;
2232         $tables{'biblioitems'} = 1;
2233     }
2234
2235     # traverse through record
2236   MARCFIELD: foreach my $field ( $record->fields() ) {
2237         my $tag = $field->tag();
2238         next MARCFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag};
2239         if ( $field->is_control_field() ) {
2240             my $kohafields = $inverted_field_map->{$frameworkcode}->{$tag}->{list};
2241           ENTRY: foreach my $entry ( @{$kohafields} ) {
2242                 my ( $subfield, $table, $column ) = @{$entry};
2243                 next ENTRY unless exists $tables{$table};
2244                 my $key = _disambiguate( $table, $column );
2245                 if ( $result->{$key} ) {
2246                     unless ( ( $key eq "biblionumber" or $key eq "biblioitemnumber" ) and ( $field->data() eq "" ) ) {
2247                         $result->{$key} .= " | " . $field->data();
2248                     }
2249                 } else {
2250                     $result->{$key} = $field->data();
2251                 }
2252             }
2253         } else {
2254
2255             # deal with subfields
2256           MARCSUBFIELD: foreach my $sf ( $field->subfields() ) {
2257                 my $code = $sf->[0];
2258                 next MARCSUBFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code};
2259                 my $value = $sf->[1];
2260               SFENTRY: foreach my $entry ( @{ $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code} } ) {
2261                     my ( $table, $column ) = @{$entry};
2262                     next SFENTRY unless exists $tables{$table};
2263                     my $key = _disambiguate( $table, $column );
2264                     if ( $result->{$key} ) {
2265                         unless ( ( $key eq "biblionumber" or $key eq "biblioitemnumber" ) and ( $value eq "" ) ) {
2266                             $result->{$key} .= " | " . $value;
2267                         }
2268                     } else {
2269                         $result->{$key} = $value;
2270                     }
2271                 }
2272             }
2273         }
2274     }
2275
2276     # modify copyrightdate to keep only the 1st year found
2277     if ( exists $result->{'copyrightdate'} ) {
2278         my $temp = $result->{'copyrightdate'};
2279         $temp =~ m/c(\d\d\d\d)/;
2280         if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) {    # search cYYYY first
2281             $result->{'copyrightdate'} = $1;
2282         } else {                                       # if no cYYYY, get the 1st date.
2283             $temp =~ m/(\d\d\d\d)/;
2284             $result->{'copyrightdate'} = $1;
2285         }
2286     }
2287
2288     # modify publicationyear to keep only the 1st year found
2289     if ( exists $result->{'publicationyear'} ) {
2290         my $temp = $result->{'publicationyear'};
2291         if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) {    # search cYYYY first
2292             $result->{'publicationyear'} = $1;
2293         } else {                                       # if no cYYYY, get the 1st date.
2294             $temp =~ m/(\d\d\d\d)/;
2295             $result->{'publicationyear'} = $1;
2296         }
2297     }
2298
2299     return $result;
2300 }
2301
2302 sub _get_inverted_marc_field_map {
2303     my $field_map = {};
2304     my $relations = C4::Context->marcfromkohafield;
2305
2306     foreach my $frameworkcode ( keys %{$relations} ) {
2307         foreach my $kohafield ( keys %{ $relations->{$frameworkcode} } ) {
2308             next unless @{ $relations->{$frameworkcode}->{$kohafield} };    # not all columns are mapped to MARC tag & subfield
2309             my $tag      = $relations->{$frameworkcode}->{$kohafield}->[0];
2310             my $subfield = $relations->{$frameworkcode}->{$kohafield}->[1];
2311             my ( $table, $column ) = split /[.]/, $kohafield, 2;
2312             push @{ $field_map->{$frameworkcode}->{$tag}->{list} }, [ $subfield, $table, $column ];
2313             push @{ $field_map->{$frameworkcode}->{$tag}->{sfs}->{$subfield} }, [ $table, $column ];
2314         }
2315     }
2316     return $field_map;
2317 }
2318
2319 =head2 _disambiguate
2320
2321   $newkey = _disambiguate($table, $field);
2322
2323 This is a temporary hack to distinguish between the
2324 following sets of columns when using TransformMarcToKoha.
2325
2326   items.cn_source & biblioitems.cn_source
2327   items.cn_sort & biblioitems.cn_sort
2328
2329 Columns that are currently NOT distinguished (FIXME
2330 due to lack of time to fully test) are:
2331
2332   biblio.notes and biblioitems.notes
2333   biblionumber
2334   timestamp
2335   biblioitemnumber
2336
2337 FIXME - this is necessary because prefixing each column
2338 name with the table name would require changing lots
2339 of code and templates, and exposing more of the DB
2340 structure than is good to the UI templates, particularly
2341 since biblio and bibloitems may well merge in a future
2342 version.  In the future, it would also be good to 
2343 separate DB access and UI presentation field names
2344 more.
2345
2346 =cut
2347
2348 sub CountItemsIssued {
2349     my ($biblionumber) = @_;
2350     my $dbh            = C4::Context->dbh;
2351     my $sth            = $dbh->prepare('SELECT COUNT(*) as issuedCount FROM items, issues WHERE items.itemnumber = issues.itemnumber AND items.biblionumber = ?');
2352     $sth->execute($biblionumber);
2353     my $row = $sth->fetchrow_hashref();
2354     return $row->{'issuedCount'};
2355 }
2356
2357 sub _disambiguate {
2358     my ( $table, $column ) = @_;
2359     if ( $column eq "cn_sort" or $column eq "cn_source" ) {
2360         return $table . '.' . $column;
2361     } else {
2362         return $column;
2363     }
2364
2365 }
2366
2367 =head2 get_koha_field_from_marc
2368
2369   $result->{_disambiguate($table, $field)} = 
2370      get_koha_field_from_marc($table,$field,$record,$frameworkcode);
2371
2372 Internal function to map data from the MARC record to a specific non-MARC field.
2373 FIXME: this is meant to replace TransformMarcToKohaOneField after more testing.
2374
2375 =cut
2376
2377 sub get_koha_field_from_marc {
2378     my ( $koha_table, $koha_column, $record, $frameworkcode ) = @_;
2379     my ( $tagfield, $subfield ) = GetMarcFromKohaField( $koha_table . '.' . $koha_column, $frameworkcode );
2380     my $kohafield;
2381     foreach my $field ( $record->field($tagfield) ) {
2382         if ( $field->tag() < 10 ) {
2383             if ($kohafield) {
2384                 $kohafield .= " | " . $field->data();
2385             } else {
2386                 $kohafield = $field->data();
2387             }
2388         } else {
2389             if ( $field->subfields ) {
2390                 my @subfields = $field->subfields();
2391                 foreach my $subfieldcount ( 0 .. $#subfields ) {
2392                     if ( $subfields[$subfieldcount][0] eq $subfield ) {
2393                         if ($kohafield) {
2394                             $kohafield .= " | " . $subfields[$subfieldcount][1];
2395                         } else {
2396                             $kohafield = $subfields[$subfieldcount][1];
2397                         }
2398                     }
2399                 }
2400             }
2401         }
2402     }
2403     return $kohafield;
2404 }
2405
2406 =head2 TransformMarcToKohaOneField
2407
2408   $result = TransformMarcToKohaOneField( $kohatable, $kohafield, $record, $result, $frameworkcode )
2409
2410 =cut
2411
2412 sub TransformMarcToKohaOneField {
2413
2414     # FIXME ? if a field has a repeatable subfield that is used in old-db,
2415     # only the 1st will be retrieved...
2416     my ( $kohatable, $kohafield, $record, $result, $frameworkcode ) = @_;
2417     my $res = "";
2418     my ( $tagfield, $subfield ) = GetMarcFromKohaField( $kohatable . "." . $kohafield, $frameworkcode );
2419     foreach my $field ( $record->field($tagfield) ) {
2420         if ( $field->tag() < 10 ) {
2421             if ( $result->{$kohafield} ) {
2422                 $result->{$kohafield} .= " | " . $field->data();
2423             } else {
2424                 $result->{$kohafield} = $field->data();
2425             }
2426         } else {
2427             if ( $field->subfields ) {
2428                 my @subfields = $field->subfields();
2429                 foreach my $subfieldcount ( 0 .. $#subfields ) {
2430                     if ( $subfields[$subfieldcount][0] eq $subfield ) {
2431                         if ( $result->{$kohafield} ) {
2432                             $result->{$kohafield} .= " | " . $subfields[$subfieldcount][1];
2433                         } else {
2434                             $result->{$kohafield} = $subfields[$subfieldcount][1];
2435                         }
2436                     }
2437                 }
2438             }
2439         }
2440     }
2441     return $result;
2442 }
2443
2444 =head1  OTHER FUNCTIONS
2445
2446
2447 =head2 PrepareItemrecordDisplay
2448
2449   PrepareItemrecordDisplay($itemrecord,$bibnum,$itemumber,$frameworkcode);
2450
2451 Returns a hash with all the fields for Display a given item data in a template
2452
2453 The $frameworkcode returns the item for the given frameworkcode, ONLY if bibnum is not provided
2454
2455 =cut
2456
2457 sub PrepareItemrecordDisplay {
2458
2459     my ( $bibnum, $itemnum, $defaultvalues, $frameworkcode ) = @_;
2460
2461     my $dbh = C4::Context->dbh;
2462     $frameworkcode = &GetFrameworkCode($bibnum) if $bibnum;
2463     my ( $itemtagfield, $itemtagsubfield ) = &GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
2464     my $tagslib = &GetMarcStructure( 1, $frameworkcode );
2465
2466     # return nothing if we don't have found an existing framework.
2467     return q{} unless $tagslib;
2468     my $itemrecord;
2469     if ($itemnum) {
2470         $itemrecord = C4::Items::GetMarcItem( $bibnum, $itemnum );
2471     }
2472     my @loop_data;
2473     my $authorised_values_sth = $dbh->prepare( "SELECT authorised_value,lib FROM authorised_values WHERE category=? ORDER BY lib" );
2474     foreach my $tag ( sort keys %{$tagslib} ) {
2475         my $previous_tag = '';
2476         if ( $tag ne '' ) {
2477
2478             # loop through each subfield
2479             my $cntsubf;
2480             foreach my $subfield ( sort keys %{ $tagslib->{$tag} } ) {
2481                 next if ( subfield_is_koha_internal_p($subfield) );
2482                 next if ( $tagslib->{$tag}->{$subfield}->{'tab'} ne "10" );
2483                 my %subfield_data;
2484                 $subfield_data{tag}           = $tag;
2485                 $subfield_data{subfield}      = $subfield;
2486                 $subfield_data{countsubfield} = $cntsubf++;
2487                 $subfield_data{kohafield}     = $tagslib->{$tag}->{$subfield}->{'kohafield'};
2488
2489                 #        $subfield_data{marc_lib}=$tagslib->{$tag}->{$subfield}->{lib};
2490                 $subfield_data{marc_lib}   = $tagslib->{$tag}->{$subfield}->{lib};
2491                 $subfield_data{mandatory}  = $tagslib->{$tag}->{$subfield}->{mandatory};
2492                 $subfield_data{repeatable} = $tagslib->{$tag}->{$subfield}->{repeatable};
2493                 $subfield_data{hidden}     = "display:none"
2494                   if $tagslib->{$tag}->{$subfield}->{hidden};
2495                 my ( $x, $defaultvalue );
2496                 if ($itemrecord) {
2497                     ( $x, $defaultvalue ) = _find_value( $tag, $subfield, $itemrecord );
2498                 }
2499                 $defaultvalue = $tagslib->{$tag}->{$subfield}->{defaultvalue} unless $defaultvalue;
2500                 if ( !defined $defaultvalue ) {
2501                     $defaultvalue = q||;
2502                 }
2503                 $defaultvalue =~ s/"/&quot;/g;
2504
2505                 # search for itemcallnumber if applicable
2506                 if ( $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.itemcallnumber'
2507                     && C4::Context->preference('itemcallnumber') ) {
2508                     my $CNtag      = substr( C4::Context->preference('itemcallnumber'), 0, 3 );
2509                     my $CNsubfield = substr( C4::Context->preference('itemcallnumber'), 3, 1 );
2510                     if ($itemrecord) {
2511                         my $temp = $itemrecord->field($CNtag);
2512                         if ($temp) {
2513                             $defaultvalue = $temp->subfield($CNsubfield);
2514                         }
2515                     }
2516                 }
2517                 if (   $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.itemcallnumber'
2518                     && $defaultvalues
2519                     && $defaultvalues->{'callnumber'} ) {
2520                     my $temp;
2521                     if ($itemrecord) {
2522                         $temp = $itemrecord->field($subfield);
2523                     }
2524                     unless ($temp) {
2525                         $defaultvalue = $defaultvalues->{'callnumber'} if $defaultvalues;
2526                     }
2527                 }
2528                 if (   ( $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.holdingbranch' || $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.homebranch' )
2529                     && $defaultvalues
2530                     && $defaultvalues->{'branchcode'} ) {
2531                     my $temp;
2532                     if ($itemrecord) {
2533                         $temp = $itemrecord->field($subfield);
2534                     }
2535                     unless ($temp) {
2536                         $defaultvalue = $defaultvalues->{branchcode} if $defaultvalues;
2537                     }
2538                 }
2539                 if (   ( $tagslib->{$tag}->{$subfield}->{kohafield} eq 'items.location' )
2540                     && $defaultvalues
2541                     && $defaultvalues->{'location'} ) {
2542                     my $temp = $itemrecord->field($subfield) if ($itemrecord);
2543                     unless ($temp) {
2544                         $defaultvalue = $defaultvalues->{location} if $defaultvalues;
2545                     }
2546                 }
2547                 if ( $tagslib->{$tag}->{$subfield}->{authorised_value} ) {
2548                     my @authorised_values;
2549                     my %authorised_lib;
2550
2551                     # builds list, depending on authorised value...
2552                     #---- branch
2553                     if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "branches" ) {
2554                         if (   ( C4::Context->preference("IndependantBranches") )
2555                             && ( C4::Context->userenv->{flags} % 2 != 1 ) ) {
2556                             my $sth = $dbh->prepare( "SELECT branchcode,branchname FROM branches WHERE branchcode = ? ORDER BY branchname" );
2557                             $sth->execute( C4::Context->userenv->{branch} );
2558                             push @authorised_values, ""
2559                               unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
2560                             while ( my ( $branchcode, $branchname ) = $sth->fetchrow_array ) {
2561                                 push @authorised_values, $branchcode;
2562                                 $authorised_lib{$branchcode} = $branchname;
2563                             }
2564                         } else {
2565                             my $sth = $dbh->prepare( "SELECT branchcode,branchname FROM branches ORDER BY branchname" );
2566                             $sth->execute;
2567                             push @authorised_values, ""
2568                               unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
2569                             while ( my ( $branchcode, $branchname ) = $sth->fetchrow_array ) {
2570                                 push @authorised_values, $branchcode;
2571                                 $authorised_lib{$branchcode} = $branchname;
2572                             }
2573                         }
2574
2575                         #----- itemtypes
2576                     } elsif ( $tagslib->{$tag}->{$subfield}->{authorised_value} eq "itemtypes" ) {
2577                         my $sth = $dbh->prepare( "SELECT itemtype,description FROM itemtypes ORDER BY description" );
2578                         $sth->execute;
2579                         push @authorised_values, ""
2580                           unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
2581                         while ( my ( $itemtype, $description ) = $sth->fetchrow_array ) {
2582                             push @authorised_values, $itemtype;
2583                             $authorised_lib{$itemtype} = $description;
2584                         }
2585                         #---- class_sources
2586                     } elsif ( $tagslib->{$tag}->{$subfield}->{authorised_value} eq "cn_source" ) {
2587                         push @authorised_values, "" unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
2588
2589                         my $class_sources = GetClassSources();
2590                         my $default_source = C4::Context->preference("DefaultClassificationSource");
2591
2592                         foreach my $class_source (sort keys %$class_sources) {
2593                             next unless $class_sources->{$class_source}->{'used'} or
2594                                         ($class_source eq $default_source);
2595                             push @authorised_values, $class_source;
2596                             $authorised_lib{$class_source} = $class_sources->{$class_source}->{'description'};
2597                         }
2598
2599                         #---- "true" authorised value
2600                     } else {
2601                         $authorised_values_sth->execute( $tagslib->{$tag}->{$subfield}->{authorised_value} );
2602                         push @authorised_values, ""
2603                           unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
2604                         while ( my ( $value, $lib ) = $authorised_values_sth->fetchrow_array ) {
2605                             push @authorised_values, $value;
2606                             $authorised_lib{$value} = $lib;
2607                         }
2608                     }
2609                     $subfield_data{marc_value} = CGI::scrolling_list(
2610                         -name     => 'field_value',
2611                         -values   => \@authorised_values,
2612                         -default  => "$defaultvalue",
2613                         -labels   => \%authorised_lib,
2614                         -size     => 1,
2615                         -tabindex => '',
2616                         -multiple => 0,
2617                     );
2618                 } elsif ( $tagslib->{$tag}->{$subfield}->{value_builder} ) {
2619                         # opening plugin
2620                         my $plugin = C4::Context->intranetdir . "/cataloguing/value_builder/" . $tagslib->{$tag}->{$subfield}->{'value_builder'};
2621                         if (do $plugin) {
2622                             my $temp;
2623                             my $extended_param = plugin_parameters( $dbh, $temp, $tagslib, $subfield_data{id}, undef );
2624                             my ( $function_name, $javascript ) = plugin_javascript( $dbh, $temp, $tagslib, $subfield_data{id}, undef );
2625                             $subfield_data{random}     = int(rand(1000000));    # why do we need 2 different randoms?
2626                             my $index_subfield = int(rand(1000000));
2627                             $subfield_data{id} = "tag_".$tag."_subfield_".$subfield."_".$index_subfield;
2628                             $subfield_data{marc_value} = qq[<input tabindex="1" id="$subfield_data{id}" name="field_value" class="input_marceditor" size="67" maxlength="255"
2629                                 onfocus="Focus$function_name($subfield_data{random}, '$subfield_data{id}');"
2630                                  onblur=" Blur$function_name($subfield_data{random}, '$subfield_data{id}');" />
2631                                 <a href="#" class="buttonDot" onclick="Clic$function_name('$subfield_data{id}'); return false;" title="Tag Editor">...</a>
2632                                 $javascript];
2633                         } else {
2634                             warn "Plugin Failed: $plugin";
2635                             $subfield_data{marc_value} = qq(<input tabindex="1" id="$subfield_data{id}" name="field_value" class="input_marceditor" size="67" maxlength="255" />); # supply default input form
2636                         }
2637                 }
2638                 elsif ( $tag eq '' ) {       # it's an hidden field
2639                     $subfield_data{marc_value} = qq(<input type="hidden" tabindex="1" id="$subfield_data{id}" name="field_value" class="input_marceditor" size="67" maxlength="255" value="$defaultvalue" />);
2640                 }
2641                 elsif ( $tagslib->{$tag}->{$subfield}->{'hidden'} ) {   # FIXME: shouldn't input type be "hidden" ?
2642                     $subfield_data{marc_value} = qq(<input type="text" tabindex="1" id="$subfield_data{id}" name="field_value" class="input_marceditor" size="67" maxlength="255" value="$defaultvalue" />);
2643                 }
2644                 elsif ( length($defaultvalue) > 100
2645                             or (C4::Context->preference("marcflavour") eq "UNIMARC" and
2646                                   300 <= $tag && $tag < 400 && $subfield eq 'a' )
2647                             or (C4::Context->preference("marcflavour") eq "MARC21"  and
2648                                   500 <= $tag && $tag < 600                     )
2649                           ) {
2650                     # oversize field (textarea)
2651                     $subfield_data{marc_value} = qq(<textarea tabindex="1" id="$subfield_data{id}" name="field_value" class="input_marceditor" size="67" maxlength="255">$defaultvalue</textarea>\n");
2652                 } else {
2653                     $subfield_data{marc_value} = "<input type=\"text\" name=\"field_value\" value=\"$defaultvalue\" size=\"50\" maxlength=\"255\" />";
2654                 }
2655                 push( @loop_data, \%subfield_data );
2656             }
2657         }
2658     }
2659     my $itemnumber;
2660     if ( $itemrecord && $itemrecord->field($itemtagfield) ) {
2661         $itemnumber = $itemrecord->subfield( $itemtagfield, $itemtagsubfield );
2662     }
2663     return {
2664         'itemtagfield'    => $itemtagfield,
2665         'itemtagsubfield' => $itemtagsubfield,
2666         'itemnumber'      => $itemnumber,
2667         'iteminformation' => \@loop_data
2668     };
2669 }
2670
2671 #"
2672
2673 #
2674 # true ModZebra commented until indexdata fixes zebraDB crashes (it seems they occur on multiple updates
2675 # at the same time
2676 # replaced by a zebraqueue table, that is filled with ModZebra to run.
2677 # the table is emptied by misc/cronjobs/zebraqueue_start.pl script
2678 # =head2 ModZebrafiles
2679 #
2680 # &ModZebrafiles( $dbh, $biblionumber, $record, $folder, $server );
2681 #
2682 # =cut
2683 #
2684 # sub ModZebrafiles {
2685 #
2686 #     my ( $dbh, $biblionumber, $record, $folder, $server ) = @_;
2687 #
2688 #     my $op;
2689 #     my $zebradir =
2690 #       C4::Context->zebraconfig($server)->{directory} . "/" . $folder . "/";
2691 #     unless ( opendir( DIR, "$zebradir" ) ) {
2692 #         warn "$zebradir not found";
2693 #         return;
2694 #     }
2695 #     closedir DIR;
2696 #     my $filename = $zebradir . $biblionumber;
2697 #
2698 #     if ($record) {
2699 #         open( OUTPUT, ">", $filename . ".xml" );
2700 #         print OUTPUT $record;
2701 #         close OUTPUT;
2702 #     }
2703 # }
2704
2705 =head2 ModZebra
2706
2707   ModZebra( $biblionumber, $op, $server, $oldRecord, $newRecord );
2708
2709 $biblionumber is the biblionumber we want to index
2710
2711 $op is specialUpdate or delete, and is used to know what we want to do
2712
2713 $server is the server that we want to update
2714
2715 $oldRecord is the MARC::Record containing the previous version of the record.  This is used only when 
2716 NoZebra=1, as NoZebra indexing needs to know the previous version of a record in order to
2717 do an update.
2718
2719 $newRecord is the MARC::Record containing the new record. It is usefull only when NoZebra=1, and is used to know what to add to the nozebra database. (the record in mySQL being, if it exist, the previous record, the one just before the modif. We need both : the previous and the new one.
2720
2721 =cut
2722
2723 sub ModZebra {
2724 ###Accepts a $server variable thus we can use it for biblios authorities or other zebra dbs
2725     my ( $biblionumber, $op, $server, $oldRecord, $newRecord ) = @_;
2726     my $dbh = C4::Context->dbh;
2727
2728     # true ModZebra commented until indexdata fixes zebraDB crashes (it seems they occur on multiple updates
2729     # at the same time
2730     # replaced by a zebraqueue table, that is filled with ModZebra to run.
2731     # the table is emptied by misc/cronjobs/zebraqueue_start.pl script
2732
2733     if ( C4::Context->preference("NoZebra") ) {
2734
2735         # lock the nozebra table : we will read index lines, update them in Perl process
2736         # and write everything in 1 transaction.
2737         # lock the table to avoid someone else overwriting what we are doing
2738         $dbh->do('LOCK TABLES nozebra WRITE,biblio WRITE,biblioitems WRITE, systempreferences WRITE, auth_types WRITE, auth_header WRITE, auth_subfield_structure READ');
2739         my %result;    # the result hash that will be built by deletion / add, and written on mySQL at the end, to improve speed
2740         if ( $op eq 'specialUpdate' ) {
2741
2742             # OK, we have to add or update the record
2743             # 1st delete (virtually, in indexes), if record actually exists
2744             if ($oldRecord) {
2745                 %result = _DelBiblioNoZebra( $biblionumber, $oldRecord, $server );
2746             }
2747
2748             # ... add the record
2749             %result = _AddBiblioNoZebra( $biblionumber, $newRecord, $server, %result );
2750         } else {
2751
2752             # it's a deletion, delete the record...
2753             # warn "DELETE the record $biblionumber on $server".$record->as_formatted;
2754             %result = _DelBiblioNoZebra( $biblionumber, $oldRecord, $server );
2755         }
2756
2757         # ok, now update the database...
2758         my $sth = $dbh->prepare("UPDATE nozebra SET biblionumbers=? WHERE server=? AND indexname=? AND value=?");
2759         foreach my $key ( keys %result ) {
2760             foreach my $index ( keys %{ $result{$key} } ) {
2761                 $sth->execute( $result{$key}->{$index}, $server, $key, $index );
2762             }
2763         }
2764         $dbh->do('UNLOCK TABLES');
2765     } else {
2766
2767         #
2768         # we use zebra, just fill zebraqueue table
2769         #
2770         my $check_sql = "SELECT COUNT(*) FROM zebraqueue 
2771                          WHERE server = ?
2772                          AND   biblio_auth_number = ?
2773                          AND   operation = ?
2774                          AND   done = 0";
2775         my $check_sth = $dbh->prepare_cached($check_sql);
2776         $check_sth->execute( $server, $biblionumber, $op );
2777         my ($count) = $check_sth->fetchrow_array;
2778         $check_sth->finish();
2779         if ( $count == 0 ) {
2780             my $sth = $dbh->prepare("INSERT INTO zebraqueue  (biblio_auth_number,server,operation) VALUES(?,?,?)");
2781             $sth->execute( $biblionumber, $server, $op );
2782             $sth->finish;
2783         }
2784     }
2785 }
2786
2787 =head2 GetNoZebraIndexes
2788
2789   %indexes = GetNoZebraIndexes;
2790
2791 return the data from NoZebraIndexes syspref.
2792
2793 =cut
2794
2795 sub GetNoZebraIndexes {
2796     my $no_zebra_indexes = C4::Context->preference('NoZebraIndexes');
2797     my %indexes;
2798   INDEX: foreach my $line ( split /['"],[\n\r]*/, $no_zebra_indexes ) {
2799         $line =~ /(.*)=>(.*)/;
2800         my $index  = $1;    # initial ' or " is removed afterwards
2801         my $fields = $2;
2802         $index  =~ s/'|"|\s//g;
2803         $fields =~ s/'|"|\s//g;
2804         $indexes{$index} = $fields;
2805     }
2806     return %indexes;
2807 }
2808
2809 =head2 EmbedItemsInMarcBiblio
2810
2811     EmbedItemsInMarcBiblio($marc, $biblionumber);
2812
2813 Given a MARC::Record object containing a bib record,
2814 modify it to include the items attached to it as 9XX
2815 per the bib's MARC framework.
2816
2817 =cut
2818
2819 sub EmbedItemsInMarcBiblio {
2820     my ($marc, $biblionumber) = @_;
2821     croak "No MARC record" unless $marc;
2822
2823     my $frameworkcode = GetFrameworkCode($biblionumber);
2824     _strip_item_fields($marc, $frameworkcode);
2825
2826     # ... and embed the current items
2827     my $dbh = C4::Context->dbh;
2828     my $sth = $dbh->prepare("SELECT itemnumber FROM items WHERE biblionumber = ?");
2829     $sth->execute($biblionumber);
2830     my @item_fields;
2831     my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
2832     while (my ($itemnumber) = $sth->fetchrow_array) {
2833         my $item_marc = C4::Items::GetMarcItem($biblionumber, $itemnumber);
2834         push @item_fields, $item_marc->field($itemtag);
2835     }
2836     $marc->append_fields(@item_fields);
2837 }
2838
2839 =head1 INTERNAL FUNCTIONS
2840
2841 =head2 _DelBiblioNoZebra($biblionumber,$record,$server);
2842
2843 function to delete a biblio in NoZebra indexes
2844 This function does NOT delete anything in database : it reads all the indexes entries
2845 that have to be deleted & delete them in the hash
2846
2847 The SQL part is done either :
2848  - after the Add if we are modifying a biblio (delete + add again)
2849  - immediatly after this sub if we are doing a true deletion.
2850
2851 $server can be 'biblioserver' or 'authorityserver' : it indexes biblios or authorities (in the same table, $server being part of the table itself
2852
2853 =cut
2854
2855 sub _DelBiblioNoZebra {
2856     my ( $biblionumber, $record, $server ) = @_;
2857
2858     # Get the indexes
2859     my $dbh = C4::Context->dbh;
2860
2861     # Get the indexes
2862     my %index;
2863     my $title;
2864     if ( $server eq 'biblioserver' ) {
2865         %index = GetNoZebraIndexes;
2866
2867         # get title of the record (to store the 10 first letters with the index)
2868         my ( $titletag, $titlesubfield ) = GetMarcFromKohaField( 'biblio.title', '' );    # FIXME: should be GetFrameworkCode($biblionumber) ??
2869         $title = lc( $record->subfield( $titletag, $titlesubfield ) );
2870     } else {
2871
2872         # for authorities, the "title" is the $a mainentry
2873         my ( $auth_type_tag, $auth_type_sf ) = C4::AuthoritiesMarc::get_auth_type_location();
2874         my $authref = C4::AuthoritiesMarc::GetAuthType( $record->subfield( $auth_type_tag, $auth_type_sf ) );
2875         warn "ERROR : authtype undefined for " . $record->as_formatted unless $authref;
2876         $title = $record->subfield( $authref->{auth_tag_to_report}, 'a' );
2877         $index{'mainmainentry'} = $authref->{'auth_tag_to_report'} . 'a';
2878         $index{'mainentry'}     = $authref->{'auth_tag_to_report'} . '*';
2879         $index{'auth_type'}     = "${auth_type_tag}${auth_type_sf}";
2880     }
2881
2882     my %result;
2883
2884     # remove blancks comma (that could cause problem when decoding the string for CQL retrieval) and regexp specific values
2885     $title =~ s/ |,|;|\[|\]|\(|\)|\*|-|'|=//g;
2886
2887     # limit to 10 char, should be enough, and limit the DB size
2888     $title = substr( $title, 0, 10 );
2889
2890     #parse each field
2891     my $sth2 = $dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
2892     foreach my $field ( $record->fields() ) {
2893
2894         #parse each subfield
2895         next if $field->tag < 10;
2896         foreach my $subfield ( $field->subfields() ) {
2897             my $tag          = $field->tag();
2898             my $subfieldcode = $subfield->[0];
2899             my $indexed      = 0;
2900
2901             # check each index to see if the subfield is stored somewhere
2902             # otherwise, store it in __RAW__ index
2903             foreach my $key ( keys %index ) {
2904
2905                 #                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
2906                 if ( $index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/ ) {
2907                     $indexed = 1;
2908                     my $line = lc $subfield->[1];
2909
2910                     # remove meaningless value in the field...
2911                     $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
2912
2913                     # ... and split in words
2914                     foreach ( split / /, $line ) {
2915                         next unless $_;    # skip  empty values (multiple spaces)
2916                                            # if the entry is already here, do nothing, the biblionumber has already be removed
2917                         unless ( defined( $result{$key}->{$_} ) && ( $result{$key}->{$_} =~ /$biblionumber,$title\-(\d);/ ) ) {
2918
2919                             # get the index value if it exist in the nozebra table and remove the entry, otherwise, do nothing
2920                             $sth2->execute( $server, $key, $_ );
2921                             my $existing_biblionumbers = $sth2->fetchrow;
2922
2923                             # it exists
2924                             if ($existing_biblionumbers) {
2925
2926                                 #                                 warn " existing for $key $_: $existing_biblionumbers";
2927                                 $result{$key}->{$_} = $existing_biblionumbers;
2928                                 $result{$key}->{$_} =~ s/$biblionumber,$title\-(\d);//;
2929                             }
2930                         }
2931                     }
2932                 }
2933             }
2934
2935             # the subfield is not indexed, store it in __RAW__ index anyway
2936             unless ($indexed) {
2937                 my $line = lc $subfield->[1];
2938                 $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
2939
2940                 # ... and split in words
2941                 foreach ( split / /, $line ) {
2942                     next unless $_;    # skip  empty values (multiple spaces)
2943                                        # if the entry is already here, do nothing, the biblionumber has already be removed
2944                     unless ( $result{'__RAW__'}->{$_} =~ /$biblionumber,$title\-(\d);/ ) {
2945
2946                         # get the index value if it exist in the nozebra table and remove the entry, otherwise, do nothing
2947                         $sth2->execute( $server, '__RAW__', $_ );
2948                         my $existing_biblionumbers = $sth2->fetchrow;
2949
2950                         # it exists
2951                         if ($existing_biblionumbers) {
2952                             $result{'__RAW__'}->{$_} = $existing_biblionumbers;
2953                             $result{'__RAW__'}->{$_} =~ s/$biblionumber,$title\-(\d);//;
2954                         }
2955                     }
2956                 }
2957             }
2958         }
2959     }
2960     return %result;
2961 }
2962
2963 =head2 _AddBiblioNoZebra
2964
2965   _AddBiblioNoZebra($biblionumber, $record, $server, %result);
2966
2967 function to add a biblio in NoZebra indexes
2968
2969 =cut
2970
2971 sub _AddBiblioNoZebra {
2972     my ( $biblionumber, $record, $server, %result ) = @_;
2973     my $dbh = C4::Context->dbh;
2974
2975     # Get the indexes
2976     my %index;
2977     my $title;
2978     if ( $server eq 'biblioserver' ) {
2979         %index = GetNoZebraIndexes;
2980
2981         # get title of the record (to store the 10 first letters with the index)
2982         my ( $titletag, $titlesubfield ) = GetMarcFromKohaField( 'biblio.title', '' );    # FIXME: should be GetFrameworkCode($biblionumber) ??
2983         $title = lc( $record->subfield( $titletag, $titlesubfield ) );
2984     } else {
2985
2986         # warn "server : $server";
2987         # for authorities, the "title" is the $a mainentry
2988         my ( $auth_type_tag, $auth_type_sf ) = C4::AuthoritiesMarc::get_auth_type_location();
2989         my $authref = C4::AuthoritiesMarc::GetAuthType( $record->subfield( $auth_type_tag, $auth_type_sf ) );
2990         warn "ERROR : authtype undefined for " . $record->as_formatted unless $authref;
2991         $title = $record->subfield( $authref->{auth_tag_to_report}, 'a' );
2992         $index{'mainmainentry'} = $authref->{auth_tag_to_report} . 'a';
2993         $index{'mainentry'}     = $authref->{auth_tag_to_report} . '*';
2994         $index{'auth_type'}     = "${auth_type_tag}${auth_type_sf}";
2995     }
2996
2997     # remove blancks comma (that could cause problem when decoding the string for CQL retrieval) and regexp specific values
2998     $title =~ s/ |\.|,|;|\[|\]|\(|\)|\*|-|'|:|=|\r|\n//g;
2999
3000     # limit to 10 char, should be enough, and limit the DB size
3001     $title = substr( $title, 0, 10 );
3002
3003     #parse each field
3004     my $sth2 = $dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
3005     foreach my $field ( $record->fields() ) {
3006
3007         #parse each subfield
3008         ###FIXME: impossible to index a 001-009 value with NoZebra
3009         next if $field->tag < 10;
3010         foreach my $subfield ( $field->subfields() ) {
3011             my $tag          = $field->tag();
3012             my $subfieldcode = $subfield->[0];
3013             my $indexed      = 0;
3014
3015             #             warn "INDEXING :".$subfield->[1];
3016             # check each index to see if the subfield is stored somewhere
3017             # otherwise, store it in __RAW__ index
3018             foreach my $key ( keys %index ) {
3019
3020                 #                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
3021                 if ( $index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/ ) {
3022                     $indexed = 1;
3023                     my $line = lc $subfield->[1];
3024
3025                     # remove meaningless value in the field...
3026                     $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:|\r|\n/ /g;
3027
3028                     # ... and split in words
3029                     foreach ( split / /, $line ) {
3030                         next unless $_;    # skip  empty values (multiple spaces)
3031                                            # if the entry is already here, improve weight
3032
3033                         #                         warn "managing $_";
3034                         if ( exists $result{$key}->{$_} && $result{$key}->{"$_"} =~ /$biblionumber,\Q$title\E\-(\d+);/ ) {
3035                             my $weight = $1 + 1;
3036                             $result{$key}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//g;
3037                             $result{$key}->{"$_"} .= "$biblionumber,$title-$weight;";
3038                         } else {
3039
3040                             # get the value if it exist in the nozebra table, otherwise, create it
3041                             $sth2->execute( $server, $key, $_ );
3042                             my $existing_biblionumbers = $sth2->fetchrow;
3043
3044                             # it exists
3045                             if ($existing_biblionumbers) {
3046                                 $result{$key}->{"$_"} = $existing_biblionumbers;
3047                                 my $weight = defined $1 ? $1 + 1 : 1;
3048                                 $result{$key}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//g;
3049                                 $result{$key}->{"$_"} .= "$biblionumber,$title-$weight;";
3050
3051                                 # create a new ligne for this entry
3052                             } else {
3053
3054                                 #                             warn "INSERT : $server / $key / $_";
3055                                 $dbh->do( 'INSERT INTO nozebra SET server=' . $dbh->quote($server) . ', indexname=' . $dbh->quote($key) . ',value=' . $dbh->quote($_) );
3056                                 $result{$key}->{"$_"} .= "$biblionumber,$title-1;";
3057                             }
3058                         }
3059                     }
3060                 }
3061             }
3062
3063             # the subfield is not indexed, store it in __RAW__ index anyway
3064             unless ($indexed) {
3065                 my $line = lc $subfield->[1];
3066                 $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:|\r|\n/ /g;
3067
3068                 # ... and split in words
3069                 foreach ( split / /, $line ) {
3070                     next unless $_;    # skip  empty values (multiple spaces)
3071                                        # if the entry is already here, improve weight
3072                     my $tmpstr = $result{'__RAW__'}->{"$_"} || "";
3073                     if ( $tmpstr =~ /$biblionumber,\Q$title\E\-(\d+);/ ) {
3074                         my $weight = $1 + 1;
3075                         $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//;
3076                         $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-$weight;";
3077                     } else {
3078
3079                         # get the value if it exist in the nozebra table, otherwise, create it
3080                         $sth2->execute( $server, '__RAW__', $_ );
3081                         my $existing_biblionumbers = $sth2->fetchrow;
3082
3083                         # it exists
3084                         if ($existing_biblionumbers) {
3085                             $result{'__RAW__'}->{"$_"} = $existing_biblionumbers;
3086                             my $weight = ( $1 ? $1 : 0 ) + 1;
3087                             $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//;
3088                             $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-$weight;";
3089
3090                             # create a new ligne for this entry
3091                         } else {
3092                             $dbh->do( 'INSERT INTO nozebra SET server=' . $dbh->quote($server) . ',  indexname="__RAW__",value=' . $dbh->quote($_) );
3093                             $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-1;";
3094                         }
3095                     }
3096                 }
3097             }
3098         }
3099     }
3100     return %result;
3101 }
3102
3103 =head2 _find_value
3104
3105   ($indicators, $value) = _find_value($tag, $subfield, $record,$encoding);
3106
3107 Find the given $subfield in the given $tag in the given
3108 MARC::Record $record.  If the subfield is found, returns
3109 the (indicators, value) pair; otherwise, (undef, undef) is
3110 returned.
3111
3112 PROPOSITION :
3113 Such a function is used in addbiblio AND additem and serial-edit and maybe could be used in Authorities.
3114 I suggest we export it from this module.
3115
3116 =cut
3117
3118 sub _find_value {
3119     my ( $tagfield, $insubfield, $record, $encoding ) = @_;
3120     my @result;
3121     my $indicator;
3122     if ( $tagfield < 10 ) {
3123         if ( $record->field($tagfield) ) {
3124             push @result, $record->field($tagfield)->data();
3125         } else {
3126             push @result, "";
3127         }
3128     } else {
3129         foreach my $field ( $record->field($tagfield) ) {
3130             my @subfields = $field->subfields();
3131             foreach my $subfield (@subfields) {
3132                 if ( @$subfield[0] eq $insubfield ) {
3133                     push @result, @$subfield[1];
3134                     $indicator = $field->indicator(1) . $field->indicator(2);
3135                 }
3136             }
3137         }
3138     }
3139     return ( $indicator, @result );
3140 }
3141
3142 =head2 _koha_marc_update_bib_ids
3143
3144
3145   _koha_marc_update_bib_ids($record, $frameworkcode, $biblionumber, $biblioitemnumber);
3146
3147 Internal function to add or update biblionumber and biblioitemnumber to
3148 the MARC XML.
3149
3150 =cut
3151
3152 sub _koha_marc_update_bib_ids {
3153     my ( $record, $frameworkcode, $biblionumber, $biblioitemnumber ) = @_;
3154
3155     # we must add bibnum and bibitemnum in MARC::Record...
3156     # we build the new field with biblionumber and biblioitemnumber
3157     # we drop the original field
3158     # we add the new builded field.
3159     my ( $biblio_tag,     $biblio_subfield )     = GetMarcFromKohaField( "biblio.biblionumber",          $frameworkcode );
3160     my ( $biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField( "biblioitems.biblioitemnumber", $frameworkcode );
3161
3162     if ( $biblio_tag != $biblioitem_tag ) {
3163
3164         # biblionumber & biblioitemnumber are in different fields
3165
3166         # deal with biblionumber
3167         my ( $new_field, $old_field );
3168         if ( $biblio_tag < 10 ) {
3169             $new_field = MARC::Field->new( $biblio_tag, $biblionumber );
3170         } else {
3171             $new_field = MARC::Field->new( $biblio_tag, '', '', "$biblio_subfield" => $biblionumber );
3172         }
3173
3174         # drop old field and create new one...
3175         $old_field = $record->field($biblio_tag);
3176         $record->delete_field($old_field) if $old_field;
3177         $record->insert_fields_ordered($new_field);
3178
3179         # deal with biblioitemnumber
3180         if ( $biblioitem_tag < 10 ) {
3181             $new_field = MARC::Field->new( $biblioitem_tag, $biblioitemnumber, );
3182         } else {
3183             $new_field = MARC::Field->new( $biblioitem_tag, '', '', "$biblioitem_subfield" => $biblioitemnumber, );
3184         }
3185
3186         # drop old field and create new one...
3187         $old_field = $record->field($biblioitem_tag);
3188         $record->delete_field($old_field) if $old_field;
3189         $record->insert_fields_ordered($new_field);
3190
3191     } else {
3192
3193         # biblionumber & biblioitemnumber are in the same field (can't be <10 as fields <10 have only 1 value)
3194         my $new_field = MARC::Field->new(
3195             $biblio_tag, '', '',
3196             "$biblio_subfield"     => $biblionumber,
3197             "$biblioitem_subfield" => $biblioitemnumber
3198         );
3199
3200         # drop old field and create new one...
3201         my $old_field = $record->field($biblio_tag);
3202         $record->delete_field($old_field) if $old_field;
3203         $record->insert_fields_ordered($new_field);
3204     }
3205 }
3206
3207 =head2 _koha_marc_update_biblioitem_cn_sort
3208
3209   _koha_marc_update_biblioitem_cn_sort($marc, $biblioitem, $frameworkcode);
3210
3211 Given a MARC bib record and the biblioitem hash, update the
3212 subfield that contains a copy of the value of biblioitems.cn_sort.
3213
3214 =cut
3215
3216 sub _koha_marc_update_biblioitem_cn_sort {
3217     my $marc          = shift;
3218     my $biblioitem    = shift;
3219     my $frameworkcode = shift;
3220
3221     my ( $biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField( "biblioitems.cn_sort", $frameworkcode );
3222     return unless $biblioitem_tag;
3223
3224     my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
3225
3226     if ( my $field = $marc->field($biblioitem_tag) ) {
3227         $field->delete_subfield( code => $biblioitem_subfield );
3228         if ( $cn_sort ne '' ) {
3229             $field->add_subfields( $biblioitem_subfield => $cn_sort );
3230         }
3231     } else {
3232
3233         # if we get here, no biblioitem tag is present in the MARC record, so
3234         # we'll create it if $cn_sort is not empty -- this would be
3235         # an odd combination of events, however
3236         if ($cn_sort) {
3237             $marc->insert_grouped_field( MARC::Field->new( $biblioitem_tag, ' ', ' ', $biblioitem_subfield => $cn_sort ) );
3238         }
3239     }
3240 }
3241
3242 =head2 _koha_add_biblio
3243
3244   my ($biblionumber,$error) = _koha_add_biblio($dbh,$biblioitem);
3245
3246 Internal function to add a biblio ($biblio is a hash with the values)
3247
3248 =cut
3249
3250 sub _koha_add_biblio {
3251     my ( $dbh, $biblio, $frameworkcode ) = @_;
3252
3253     my $error;
3254
3255     # set the series flag
3256     unless (defined $biblio->{'serial'}){
3257         $biblio->{'serial'} = 0;
3258         if ( $biblio->{'seriestitle'} ) { $biblio->{'serial'} = 1 }
3259     }
3260
3261     my $query = "INSERT INTO biblio
3262         SET frameworkcode = ?,
3263             author = ?,
3264             title = ?,
3265             unititle =?,
3266             notes = ?,
3267             serial = ?,
3268             seriestitle = ?,
3269             copyrightdate = ?,
3270             datecreated=NOW(),
3271             abstract = ?
3272         ";
3273     my $sth = $dbh->prepare($query);
3274     $sth->execute(
3275         $frameworkcode, $biblio->{'author'},      $biblio->{'title'},         $biblio->{'unititle'}, $biblio->{'notes'},
3276         $biblio->{'serial'},        $biblio->{'seriestitle'}, $biblio->{'copyrightdate'}, $biblio->{'abstract'}
3277     );
3278
3279     my $biblionumber = $dbh->{'mysql_insertid'};
3280     if ( $dbh->errstr ) {
3281         $error .= "ERROR in _koha_add_biblio $query" . $dbh->errstr;
3282         warn $error;
3283     }
3284
3285     $sth->finish();
3286
3287     #warn "LEAVING _koha_add_biblio: ".$biblionumber."\n";
3288     return ( $biblionumber, $error );
3289 }
3290
3291 =head2 _koha_modify_biblio
3292
3293   my ($biblionumber,$error) == _koha_modify_biblio($dbh,$biblio,$frameworkcode);
3294
3295 Internal function for updating the biblio table
3296
3297 =cut
3298
3299 sub _koha_modify_biblio {
3300     my ( $dbh, $biblio, $frameworkcode ) = @_;
3301     my $error;
3302
3303     my $query = "
3304         UPDATE biblio
3305         SET    frameworkcode = ?,
3306                author = ?,
3307                title = ?,
3308                unititle = ?,
3309                notes = ?,
3310                serial = ?,
3311                seriestitle = ?,
3312                copyrightdate = ?,
3313                abstract = ?
3314         WHERE  biblionumber = ?
3315         "
3316       ;
3317     my $sth = $dbh->prepare($query);
3318
3319     $sth->execute(
3320         $frameworkcode,      $biblio->{'author'},      $biblio->{'title'},         $biblio->{'unititle'}, $biblio->{'notes'},
3321         $biblio->{'serial'}, $biblio->{'seriestitle'}, $biblio->{'copyrightdate'}, $biblio->{'abstract'}, $biblio->{'biblionumber'}
3322     ) if $biblio->{'biblionumber'};
3323
3324     if ( $dbh->errstr || !$biblio->{'biblionumber'} ) {
3325         $error .= "ERROR in _koha_modify_biblio $query" . $dbh->errstr;
3326         warn $error;
3327     }
3328     return ( $biblio->{'biblionumber'}, $error );
3329 }
3330
3331 =head2 _koha_modify_biblioitem_nonmarc
3332
3333   my ($biblioitemnumber,$error) = _koha_modify_biblioitem_nonmarc( $dbh, $biblioitem );
3334
3335 Updates biblioitems row except for marc and marcxml, which should be changed
3336 via ModBiblioMarc
3337
3338 =cut
3339
3340 sub _koha_modify_biblioitem_nonmarc {
3341     my ( $dbh, $biblioitem ) = @_;
3342     my $error;
3343
3344     # re-calculate the cn_sort, it may have changed
3345     my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
3346
3347     my $query = "UPDATE biblioitems 
3348     SET biblionumber    = ?,
3349         volume          = ?,
3350         number          = ?,
3351         itemtype        = ?,
3352         isbn            = ?,
3353         issn            = ?,
3354         publicationyear = ?,
3355         publishercode   = ?,
3356         volumedate      = ?,
3357         volumedesc      = ?,
3358         collectiontitle = ?,
3359         collectionissn  = ?,
3360         collectionvolume= ?,
3361         editionstatement= ?,
3362         editionresponsibility = ?,
3363         illus           = ?,
3364         pages           = ?,
3365         notes           = ?,
3366         size            = ?,
3367         place           = ?,
3368         lccn            = ?,
3369         url             = ?,
3370         cn_source       = ?,
3371         cn_class        = ?,
3372         cn_item         = ?,
3373         cn_suffix       = ?,
3374         cn_sort         = ?,
3375         totalissues     = ?
3376         where biblioitemnumber = ?
3377         ";
3378     my $sth = $dbh->prepare($query);
3379     $sth->execute(
3380         $biblioitem->{'biblionumber'},     $biblioitem->{'volume'},           $biblioitem->{'number'},                $biblioitem->{'itemtype'},
3381         $biblioitem->{'isbn'},             $biblioitem->{'issn'},             $biblioitem->{'publicationyear'},       $biblioitem->{'publishercode'},
3382         $biblioitem->{'volumedate'},       $biblioitem->{'volumedesc'},       $biblioitem->{'collectiontitle'},       $biblioitem->{'collectionissn'},
3383         $biblioitem->{'collectionvolume'}, $biblioitem->{'editionstatement'}, $biblioitem->{'editionresponsibility'}, $biblioitem->{'illus'},
3384         $biblioitem->{'pages'},            $biblioitem->{'bnotes'},           $biblioitem->{'size'},                  $biblioitem->{'place'},
3385         $biblioitem->{'lccn'},             $biblioitem->{'url'},              $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'},
3386         $biblioitem->{'cn_item'},          $biblioitem->{'cn_suffix'},        $cn_sort,                               $biblioitem->{'totalissues'},
3387         $biblioitem->{'biblioitemnumber'}
3388     );
3389     if ( $dbh->errstr ) {
3390         $error .= "ERROR in _koha_modify_biblioitem_nonmarc $query" . $dbh->errstr;
3391         warn $error;
3392     }
3393     return ( $biblioitem->{'biblioitemnumber'}, $error );
3394 }
3395
3396 =head2 _koha_add_biblioitem
3397
3398   my ($biblioitemnumber,$error) = _koha_add_biblioitem( $dbh, $biblioitem );
3399
3400 Internal function to add a biblioitem
3401
3402 =cut
3403
3404 sub _koha_add_biblioitem {
3405     my ( $dbh, $biblioitem ) = @_;
3406     my $error;
3407
3408     my ($cn_sort) = GetClassSort( $biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
3409     my $query = "INSERT INTO biblioitems SET
3410         biblionumber    = ?,
3411         volume          = ?,
3412         number          = ?,
3413         itemtype        = ?,
3414         isbn            = ?,
3415         issn            = ?,
3416         publicationyear = ?,
3417         publishercode   = ?,
3418         volumedate      = ?,
3419         volumedesc      = ?,
3420         collectiontitle = ?,
3421         collectionissn  = ?,
3422         collectionvolume= ?,
3423         editionstatement= ?,
3424         editionresponsibility = ?,
3425         illus           = ?,
3426         pages           = ?,
3427         notes           = ?,
3428         size            = ?,
3429         place           = ?,
3430         lccn            = ?,
3431         marc            = ?,
3432         url             = ?,
3433         cn_source       = ?,
3434         cn_class        = ?,
3435         cn_item         = ?,
3436         cn_suffix       = ?,
3437         cn_sort         = ?,
3438         totalissues     = ?
3439         ";
3440     my $sth = $dbh->prepare($query);
3441     $sth->execute(
3442         $biblioitem->{'biblionumber'},     $biblioitem->{'volume'},           $biblioitem->{'number'},                $biblioitem->{'itemtype'},
3443         $biblioitem->{'isbn'},             $biblioitem->{'issn'},             $biblioitem->{'publicationyear'},       $biblioitem->{'publishercode'},
3444         $biblioitem->{'volumedate'},       $biblioitem->{'volumedesc'},       $biblioitem->{'collectiontitle'},       $biblioitem->{'collectionissn'},
3445         $biblioitem->{'collectionvolume'}, $biblioitem->{'editionstatement'}, $biblioitem->{'editionresponsibility'}, $biblioitem->{'illus'},
3446         $biblioitem->{'pages'},            $biblioitem->{'bnotes'},           $biblioitem->{'size'},                  $biblioitem->{'place'},
3447         $biblioitem->{'lccn'},             $biblioitem->{'marc'},             $biblioitem->{'url'},                   $biblioitem->{'biblioitems.cn_source'},
3448         $biblioitem->{'cn_class'},         $biblioitem->{'cn_item'},          $biblioitem->{'cn_suffix'},             $cn_sort,
3449         $biblioitem->{'totalissues'}
3450     );
3451     my $bibitemnum = $dbh->{'mysql_insertid'};
3452
3453     if ( $dbh->errstr ) {
3454         $error .= "ERROR in _koha_add_biblioitem $query" . $dbh->errstr;
3455         warn $error;
3456     }
3457     $sth->finish();
3458     return ( $bibitemnum, $error );
3459 }
3460
3461 =head2 _koha_delete_biblio
3462
3463   $error = _koha_delete_biblio($dbh,$biblionumber);
3464
3465 Internal sub for deleting from biblio table -- also saves to deletedbiblio
3466
3467 C<$dbh> - the database handle
3468
3469 C<$biblionumber> - the biblionumber of the biblio to be deleted
3470
3471 =cut
3472
3473 # FIXME: add error handling
3474
3475 sub _koha_delete_biblio {
3476     my ( $dbh, $biblionumber ) = @_;
3477
3478     # get all the data for this biblio
3479     my $sth = $dbh->prepare("SELECT * FROM biblio WHERE biblionumber=?");
3480     $sth->execute($biblionumber);
3481
3482     if ( my $data = $sth->fetchrow_hashref ) {
3483
3484         # save the record in deletedbiblio
3485         # find the fields to save
3486         my $query = "INSERT INTO deletedbiblio SET ";
3487         my @bind  = ();
3488         foreach my $temp ( keys %$data ) {
3489             $query .= "$temp = ?,";
3490             push( @bind, $data->{$temp} );
3491         }
3492
3493         # replace the last , by ",?)"
3494         $query =~ s/\,$//;
3495         my $bkup_sth = $dbh->prepare($query);
3496         $bkup_sth->execute(@bind);
3497         $bkup_sth->finish;
3498
3499         # delete the biblio
3500         my $sth2 = $dbh->prepare("DELETE FROM biblio WHERE biblionumber=?");
3501         $sth2->execute($biblionumber);
3502         # update the timestamp (Bugzilla 7146)
3503         $sth2= $dbh->prepare("UPDATE deletedbiblio SET timestamp=NOW() WHERE biblionumber=?");
3504         $sth2->execute($biblionumber);
3505         $sth2->finish;
3506     }
3507     $sth->finish;
3508     return undef;
3509 }
3510
3511 =head2 _koha_delete_biblioitems
3512
3513   $error = _koha_delete_biblioitems($dbh,$biblioitemnumber);
3514
3515 Internal sub for deleting from biblioitems table -- also saves to deletedbiblioitems
3516
3517 C<$dbh> - the database handle
3518 C<$biblionumber> - the biblioitemnumber of the biblioitem to be deleted
3519
3520 =cut
3521
3522 # FIXME: add error handling
3523
3524 sub _koha_delete_biblioitems {
3525     my ( $dbh, $biblioitemnumber ) = @_;
3526
3527     # get all the data for this biblioitem
3528     my $sth = $dbh->prepare("SELECT * FROM biblioitems WHERE biblioitemnumber=?");
3529     $sth->execute($biblioitemnumber);
3530
3531     if ( my $data = $sth->fetchrow_hashref ) {
3532
3533         # save the record in deletedbiblioitems
3534         # find the fields to save
3535         my $query = "INSERT INTO deletedbiblioitems SET ";
3536         my @bind  = ();
3537         foreach my $temp ( keys %$data ) {
3538             $query .= "$temp = ?,";
3539             push( @bind, $data->{$temp} );
3540         }
3541
3542   &n