Bug 27673: Fix encoding issues
[koha.git] / acqui / addorderiso2709.pl
1 #!/usr/bin/perl
2
3 #A script that lets the user populate a basket from an iso2709 file
4 #the script first displays a list of import batches, then when a batch is selected displays all the biblios in it.
5 #The user can then pick which biblios they want to order
6
7 # Copyright 2008 - 2011 BibLibre SARL
8 #
9 # This file is part of Koha.
10 #
11 # Koha is free software; you can redistribute it and/or modify it
12 # under the terms of the GNU General Public License as published by
13 # the Free Software Foundation; either version 3 of the License, or
14 # (at your option) any later version.
15 #
16 # Koha is distributed in the hope that it will be useful, but
17 # WITHOUT ANY WARRANTY; without even the implied warranty of
18 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
19 # GNU General Public License for more details.
20 #
21 # You should have received a copy of the GNU General Public License
22 # along with Koha; if not, see <http://www.gnu.org/licenses>.
23
24 use Modern::Perl;
25 use CGI qw ( -utf8 );
26 use Carp;
27 use YAML::XS;
28 use List::MoreUtils qw/uniq/;
29 use Encode;
30
31 use C4::Context;
32 use C4::Auth;
33 use C4::Output;
34 use C4::ImportBatch;
35 use C4::Matcher;
36 use C4::Search qw/FindDuplicate/;
37 use C4::Acquisition;
38 use C4::Biblio;
39 use C4::Items;
40 use C4::Koha;
41 use C4::Budgets;
42 use C4::Acquisition;
43 use C4::Suggestions;    # GetSuggestion
44 use C4::Members;
45
46 use Koha::Number::Price;
47 use Koha::Libraries;
48 use Koha::Acquisition::Baskets;
49 use Koha::Acquisition::Currencies;
50 use Koha::Acquisition::Orders;
51 use Koha::Acquisition::Booksellers;
52 use Koha::Patrons;
53
54 my $input = CGI->new;
55 my ($template, $loggedinuser, $cookie, $userflags) = get_template_and_user({
56     template_name => "acqui/addorderiso2709.tt",
57     query => $input,
58     type => "intranet",
59     flagsrequired   => { acquisition => 'order_manage' },
60     debug => 1,
61 });
62
63 my $cgiparams = $input->Vars;
64 my $op = $cgiparams->{'op'} || '';
65 my $booksellerid  = $input->param('booksellerid');
66 my $allmatch = $input->param('allmatch');
67 my $bookseller = Koha::Acquisition::Booksellers->find( $booksellerid );
68
69 $template->param(scriptname => "/cgi-bin/koha/acqui/addorderiso2709.pl",
70                 booksellerid => $booksellerid,
71                 booksellername => $bookseller->name,
72                 );
73
74 if ($cgiparams->{'import_batch_id'} && $op eq ""){
75     $op = "batch_details";
76 }
77
78 #Needed parameters:
79 if (! $cgiparams->{'basketno'}){
80     die "Basketnumber required to order from iso2709 file import";
81 }
82 my $basket = Koha::Acquisition::Baskets->find( $cgiparams->{basketno} );
83
84 #
85 # 1st step = choose the file to import into acquisition
86 #
87 if ($op eq ""){
88     $template->param("basketno" => $cgiparams->{'basketno'});
89 #display batches
90     import_batches_list($template);
91 #
92 # 2nd step = display the content of the chosen file
93 #
94 } elsif ($op eq "batch_details"){
95 #display lines inside the selected batch
96     # get currencies (for change rates calcs if needed)
97     my @currencies = Koha::Acquisition::Currencies->search;
98
99     $template->param("batch_details" => 1,
100                      "basketno"      => $cgiparams->{'basketno'},
101                      currencies => \@currencies,
102                      bookseller => $bookseller,
103                      "allmatch" => $allmatch,
104                      );
105     import_biblios_list($template, $cgiparams->{'import_batch_id'});
106     if ( $basket->effective_create_items eq 'ordering' && !$basket->is_standing ) {
107         # prepare empty item form
108         my $cell = PrepareItemrecordDisplay( '', '', '', 'ACQ' );
109
110         #     warn "==> ".Data::Dumper::Dumper($cell);
111         unless ($cell) {
112             $cell = PrepareItemrecordDisplay( '', '', '', '' );
113             $template->param( 'NoACQframework' => 1 );
114         }
115         my @itemloop;
116         push @itemloop, $cell;
117
118         $template->param( items => \@itemloop );
119     }
120 #
121 # 3rd step = import the records
122 #
123 } elsif ( $op eq 'import_records' ) {
124 #import selected lines
125     $template->param('basketno' => $cgiparams->{'basketno'});
126 # Budget_id is mandatory for adding an order, we just add a default, the user needs to modify this aftewards
127     my $budgets = GetBudgets();
128     if (scalar @$budgets == 0){
129         die "No budgets defined, can't continue";
130     }
131     my $budget_id = @$budgets[0]->{'budget_id'};
132 #get all records from a batch, and check their import status to see if they are checked.
133 #(default values: quantity 1, uncertainprice yes, first budget)
134
135     # retrieve the file you want to import
136     my $import_batch_id = $cgiparams->{'import_batch_id'};
137     my $biblios = GetImportRecordsRange($import_batch_id);
138     my $duplinbatch;
139     my $imported = 0;
140     my @import_record_id_selected = $input->multi_param("import_record_id");
141     my @quantities = $input->multi_param('quantity');
142     my @prices = $input->multi_param('price');
143     my @orderreplacementprices = $input->multi_param('replacementprice');
144     my @budgets_id = $input->multi_param('budget_id');
145     my @discount = $input->multi_param('discount');
146     my @sort1 = $input->multi_param('sort1');
147     my @sort2 = $input->multi_param('sort2');
148     my $matcher_id = $input->param('matcher_id');
149     my $active_currency = Koha::Acquisition::Currencies->get_active;
150     my $biblio_count = 0;
151     for my $biblio (@$biblios){
152         $biblio_count++;
153         my $duplifound = 0;
154         # Check if this import_record_id was selected
155         next if not grep { $_ eq $$biblio{import_record_id} } @import_record_id_selected;
156         my ( $marcblob, $encoding ) = GetImportRecordMarc( $biblio->{'import_record_id'} );
157         my $marcrecord = MARC::Record->new_from_usmarc($marcblob) || die "couldn't translate marc information";
158         my $match = GetImportRecordMatches( $biblio->{'import_record_id'}, 1 );
159         my $biblionumber=$#$match > -1?$match->[0]->{'biblionumber'}:0;
160         my $c_quantity = shift( @quantities ) || GetMarcQuantity($marcrecord, C4::Context->preference('marcflavour') ) || 1;
161         my $c_budget_id = shift( @budgets_id ) || $input->param('all_budget_id') || $budget_id;
162         my $c_discount = shift ( @discount);
163         $c_discount = $c_discount / 100 if $c_discount > 1;
164         my $c_sort1 = shift( @sort1 ) || $input->param('all_sort1') || '';
165         my $c_sort2 = shift( @sort2 ) || $input->param('all_sort2') || '';
166
167         # Insert the biblio, or find it through matcher
168         unless ( $biblionumber ) {
169             if ($matcher_id) {
170                 if ( $matcher_id eq '_TITLE_AUTHOR_' ) {
171                     $duplifound = 1 if FindDuplicate($marcrecord);
172                 }
173                 else {
174                     my $matcher = C4::Matcher->fetch($matcher_id);
175                     my @matches = $matcher->get_matches( $marcrecord, my $max_matches = 1 );
176                     $duplifound = 1 if @matches;
177                 }
178
179                 $duplinbatch = $import_batch_id and next if $duplifound;
180             }
181
182             # add the biblio
183             my $bibitemnum;
184
185             # remove ISBN -
186             my ( $isbnfield, $isbnsubfield ) = GetMarcFromKohaField( 'biblioitems.isbn' );
187             if ( $marcrecord->field($isbnfield) ) {
188                 foreach my $field ( $marcrecord->field($isbnfield) ) {
189                     foreach my $subfield ( $field->subfield($isbnsubfield) ) {
190                         my $newisbn = $field->subfield($isbnsubfield);
191                         $newisbn =~ s/-//g;
192                         $field->update( $isbnsubfield => $newisbn );
193                     }
194                 }
195             }
196             ( $biblionumber, $bibitemnum ) = AddBiblio( $marcrecord, $cgiparams->{'frameworkcode'} || '' );
197             SetImportRecordStatus( $biblio->{'import_record_id'}, 'imported' );
198         } else {
199             SetImportRecordStatus( $biblio->{'import_record_id'}, 'imported' );
200         }
201
202         # Add items from MarcItemFieldsToOrder
203         my @homebranches = $input->multi_param('homebranch_' . $biblio_count);
204         my $count = scalar @homebranches;
205         my @holdingbranches = $input->multi_param('holdingbranch_' . $biblio_count);
206         my @itypes = $input->multi_param('itype_' . $biblio_count);
207         my @nonpublic_notes = $input->multi_param('nonpublic_note_' . $biblio_count);
208         my @public_notes = $input->multi_param('public_note_' . $biblio_count);
209         my @locs = $input->multi_param('loc_' . $biblio_count);
210         my @ccodes = $input->multi_param('ccode_' . $biblio_count);
211         my @notforloans = $input->multi_param('notforloan_' . $biblio_count);
212         my @uris = $input->multi_param('uri_' . $biblio_count);
213         my @copynos = $input->multi_param('copyno_' . $biblio_count);
214         my @budget_codes = $input->multi_param('budget_code_' . $biblio_count);
215         my @itemprices = $input->multi_param('itemprice_' . $biblio_count);
216         my @replacementprices = $input->multi_param('replacementprice_' . $biblio_count);
217         my @itemcallnumbers = $input->multi_param('itemcallnumber_' . $biblio_count);
218         my $itemcreation = 0;
219
220         my @itemnumbers;
221         for (my $i = 0; $i < $count; $i++) {
222             $itemcreation = 1;
223             my $item = Koha::Item->new(
224                 {
225                     biblionumber        => $biblionumber,
226                     homebranch          => $homebranches[$i],
227                     holdingbranch       => $holdingbranches[$i],
228                     itemnotes_nonpublic => $nonpublic_notes[$i],
229                     itemnotes           => $public_notes[$i],
230                     location            => $locs[$i],
231                     ccode               => $ccodes[$i],
232                     itype               => $itypes[$i],
233                     notforloan          => $notforloans[$i],
234                     uri                 => $uris[$i],
235                     copynumber          => $copynos[$i],
236                     price               => $itemprices[$i],
237                     replacementprice    => $replacementprices[$i],
238                     itemcallnumber      => $itemcallnumbers[$i],
239                 }
240             )->store;
241             push( @itemnumbers, $item->itemnumber );
242         }
243         if ($itemcreation == 1) {
244             # Group orderlines from MarcItemFieldsToOrder
245             my $budget_hash;
246             for (my $i = 0; $i < $count; $i++) {
247                 $budget_hash->{$budget_codes[$i]}->{quantity} += 1;
248                 $budget_hash->{$budget_codes[$i]}->{price} = $itemprices[$i];
249                 $budget_hash->{$budget_codes[$i]}->{replacementprice} = $replacementprices[$i];
250                 $budget_hash->{$budget_codes[$i]}->{itemnumbers} //= [];
251                 push @{ $budget_hash->{$budget_codes[$i]}->{itemnumbers} }, $itemnumbers[$i];
252             }
253
254             # Create orderlines from MarcItemFieldsToOrder
255             while(my ($budget_id, $infos) = each %$budget_hash) {
256                 if ($budget_id) {
257                     my %orderinfo = (
258                         biblionumber       => $biblionumber,
259                         basketno           => $cgiparams->{'basketno'},
260                         quantity           => $infos->{quantity},
261                         budget_id          => $budget_id,
262                         currency           => $cgiparams->{'all_currency'},
263                     );
264
265                     my $price = $infos->{price};
266                     if ($price){
267                         # in France, the cents separator is the , but sometimes, ppl use a .
268                         # in this case, the price will be x100 when unformatted ! Replace the . by a , to get a proper price calculation
269                         $price =~ s/\./,/ if C4::Context->preference("CurrencyFormat") eq "FR";
270                         $price = Koha::Number::Price->new($price)->unformat;
271                         $orderinfo{tax_rate} = $bookseller->tax_rate;
272                         my $c = $c_discount ? $c_discount : $bookseller->discount / 100;
273                         $orderinfo{discount} = $c;
274                         if ( $c_discount ) {
275                             $orderinfo{ecost} = $price;
276                             $orderinfo{rrp}   = $orderinfo{ecost} / ( 1 - $c );
277                         } else {
278                             $orderinfo{ecost} = $price * ( 1 - $c );
279                             $orderinfo{rrp}   = $price;
280                         }
281                         $orderinfo{listprice} = $orderinfo{rrp} / $active_currency->rate;
282                         $orderinfo{unitprice} = $orderinfo{ecost};
283                         $orderinfo{total} = $orderinfo{ecost} * $infos->{quantity};
284                     } else {
285                         $orderinfo{listprice} = 0;
286                     }
287                     $orderinfo{replacementprice} = $infos->{replacementprice} || 0;
288
289                     # remove uncertainprice flag if we have found a price in the MARC record
290                     $orderinfo{uncertainprice} = 0 if $orderinfo{listprice};
291
292                     %orderinfo = %{
293                         C4::Acquisition::populate_order_with_prices(
294                             {
295                                 order        => \%orderinfo,
296                                 booksellerid => $booksellerid,
297                                 ordering     => 1,
298                                 receiving    => 1,
299                             }
300                         )
301                     };
302
303                     my $order = Koha::Acquisition::Order->new( \%orderinfo )->store;
304                     $order->add_item( $_ ) for @{ $budget_hash->{$budget_id}->{itemnumbers} };
305                 }
306             }
307         } else {
308             # 3rd add order
309             my $patron = Koha::Patrons->find( $loggedinuser );
310             # get quantity in the MARC record (1 if none)
311             my $quantity = GetMarcQuantity($marcrecord, C4::Context->preference('marcflavour')) || 1;
312             my %orderinfo = (
313                 biblionumber       => $biblionumber,
314                 basketno           => $cgiparams->{'basketno'},
315                 quantity           => $c_quantity,
316                 branchcode         => $patron->branchcode,
317                 budget_id          => $c_budget_id,
318                 uncertainprice     => 1,
319                 sort1              => $c_sort1,
320                 sort2              => $c_sort2,
321                 order_internalnote => $cgiparams->{'all_order_internalnote'},
322                 order_vendornote   => $cgiparams->{'all_order_vendornote'},
323                 currency           => $cgiparams->{'all_currency'},
324                 replacementprice   => shift( @orderreplacementprices ),
325             );
326             # get the price if there is one.
327             my $price= shift( @prices ) || GetMarcPrice($marcrecord, C4::Context->preference('marcflavour'));
328             if ($price){
329                 # in France, the cents separator is the , but sometimes, ppl use a .
330                 # in this case, the price will be x100 when unformatted ! Replace the . by a , to get a proper price calculation
331                 $price =~ s/\./,/ if C4::Context->preference("CurrencyFormat") eq "FR";
332                 $price = Koha::Number::Price->new($price)->unformat;
333                 $orderinfo{tax_rate} = $bookseller->tax_rate;
334                 my $c = $c_discount ? $c_discount : $bookseller->discount / 100;
335                 $orderinfo{discount} = $c;
336                 if ( $c_discount ) {
337                     $orderinfo{ecost} = $price;
338                     $orderinfo{rrp}   = $orderinfo{ecost} / ( 1 - $c );
339                 } else {
340                     $orderinfo{ecost} = $price * ( 1 - $c );
341                     $orderinfo{rrp}   = $price;
342                 }
343                 $orderinfo{listprice} = $orderinfo{rrp} / $active_currency->rate;
344                 $orderinfo{unitprice} = $orderinfo{ecost};
345                 $orderinfo{total} = $orderinfo{ecost} * $c_quantity;
346             } else {
347                 $orderinfo{listprice} = 0;
348             }
349
350         # remove uncertainprice flag if we have found a price in the MARC record
351         $orderinfo{uncertainprice} = 0 if $orderinfo{listprice};
352
353         %orderinfo = %{
354             C4::Acquisition::populate_order_with_prices(
355                 {
356                     order        => \%orderinfo,
357                     booksellerid => $booksellerid,
358                     ordering     => 1,
359                     receiving    => 1,
360                 }
361             )
362         };
363
364         my $order = Koha::Acquisition::Order->new( \%orderinfo )->store;
365
366         # 4th, add items if applicable
367         # parse the item sent by the form, and create an item just for the import_record_id we are dealing with
368         # this is not optimised, but it's working !
369         if ( $basket->effective_create_items eq 'ordering' && !$basket->is_standing ) {
370             my @tags         = $input->multi_param('tag');
371             my @subfields    = $input->multi_param('subfield');
372             my @field_values = $input->multi_param('field_value');
373             my @serials      = $input->multi_param('serial');
374             my @ind_tag   = $input->multi_param('ind_tag');
375             my @indicator = $input->multi_param('indicator');
376             my $item;
377             push @{ $item->{tags} },         $tags[0];
378             push @{ $item->{subfields} },    $subfields[0];
379             push @{ $item->{field_values} }, $field_values[0];
380             push @{ $item->{ind_tag} },      $ind_tag[0];
381             push @{ $item->{indicator} },    $indicator[0];
382             my $xml = TransformHtmlToXml( \@tags, \@subfields, \@field_values, \@indicator, \@ind_tag );
383             my $record = MARC::Record::new_from_xml( $xml, 'UTF-8' );
384             for (my $qtyloop=1;$qtyloop <= $c_quantity;$qtyloop++) {
385                 my ( $biblionumber, $bibitemnum, $itemnumber ) = AddItemFromMarc( $record, $biblionumber );
386                 $order->add_item( $itemnumber );
387                 }
388             } else {
389                 SetImportRecordStatus( $biblio->{'import_record_id'}, 'imported' );
390             }
391         }
392         $imported++;
393     }
394
395     # If all bibliographic records from the batch have been imported we modifying the status of the batch accordingly
396     SetImportBatchStatus( $import_batch_id, 'imported' )
397         if    @{ GetImportRecordsRange( $import_batch_id, undef, undef, 'imported' )}
398            == @{ GetImportRecordsRange( $import_batch_id )};
399
400     # go to basket page
401     if ( $imported ) {
402         print $input->redirect("/cgi-bin/koha/acqui/basket.pl?basketno=".$cgiparams->{'basketno'}."&amp;duplinbatch=$duplinbatch");
403     } else {
404         print $input->redirect("/cgi-bin/koha/acqui/addorderiso2709.pl?import_batch_id=$import_batch_id&amp;basketno=".$cgiparams->{'basketno'}."&amp;booksellerid=$booksellerid&amp;allmatch=1");
405     }
406     exit;
407 }
408
409 my $budgets = GetBudgets();
410 my $budget_id = @$budgets[0]->{'budget_id'};
411 # build bookfund list
412 my $patron = Koha::Patrons->find( $loggedinuser )->unblessed;
413 my $budget = GetBudget($budget_id);
414
415 # build budget list
416 my $budget_loop = [];
417 my $budgets_hierarchy = GetBudgetHierarchy;
418 foreach my $r ( @{$budgets_hierarchy} ) {
419     next unless (CanUserUseBudget($patron, $r, $userflags));
420     push @{$budget_loop},
421       { b_id  => $r->{budget_id},
422         b_txt => $r->{budget_name},
423         b_code => $r->{budget_code},
424         b_sort1_authcat => $r->{'sort1_authcat'},
425         b_sort2_authcat => $r->{'sort2_authcat'},
426         b_active => $r->{budget_period_active},
427         b_sel => ( $r->{budget_id} == $budget_id ) ? 1 : 0,
428       };
429 }
430
431 @{$budget_loop} =
432   sort { uc( $a->{b_txt}) cmp uc( $b->{b_txt}) } @{$budget_loop};
433
434 $template->param( budget_loop    => $budget_loop,);
435
436 output_html_with_http_headers $input, $cookie, $template->output;
437
438
439 sub import_batches_list {
440     my ($template) = @_;
441     my $batches = GetImportBatchRangeDesc();
442
443     my @list = ();
444     foreach my $batch (@$batches) {
445         if ( $batch->{'import_status'} =~ /^staged$|^reverted$/ && $batch->{'record_type'} eq 'biblio') {
446             # check if there is at least 1 line still staged
447             my $stagedList=GetImportRecordsRange($batch->{'import_batch_id'}, undef, 1, $batch->{import_status}, { order_by_direction => 'ASC' });
448             if (scalar @$stagedList) {
449                 push @list, {
450                         import_batch_id => $batch->{'import_batch_id'},
451                         num_records => $batch->{'num_records'},
452                         num_items => $batch->{'num_items'},
453                         staged_date => $batch->{'upload_timestamp'},
454                         import_status => $batch->{'import_status'},
455                         file_name => $batch->{'file_name'},
456                         comments => $batch->{'comments'},
457                 };
458             } else {
459                 # if there are no more line to includes, set the status to imported
460                 # FIXME This should be removed in the future.
461                 SetImportBatchStatus( $batch->{'import_batch_id'}, 'imported' );
462             }
463         }
464     }
465     $template->param(batch_list => \@list); 
466     my $num_batches = GetNumberOfNonZ3950ImportBatches();
467     $template->param(num_results => $num_batches);
468 }
469
470 sub import_biblios_list {
471     my ($template, $import_batch_id) = @_;
472     my $batch = GetImportBatch($import_batch_id,'staged');
473     return () unless $batch and $batch->{import_status} =~ /^staged$|^reverted$/;
474     my $biblios = GetImportRecordsRange($import_batch_id,'','',$batch->{import_status});
475     my @list = ();
476     my $item_error = 0;
477
478     my $ccodes = { map { $_->{authorised_value} => $_->{opac_description} } Koha::AuthorisedValues->get_descriptions_by_koha_field( { frameworkcode => '', kohafield => 'items.ccode' } ) };
479     my $locations = { map { $_->{authorised_value} => $_->{opac_description} } Koha::AuthorisedValues->get_descriptions_by_koha_field( { frameworkcode => '', kohafield => 'items.location' } ) };
480     my $notforloans = { map { $_->{authorised_value} => $_->{lib} } Koha::AuthorisedValues->get_descriptions_by_koha_field( { frameworkcode => '', kohafield => 'items.notforloan' } ) };
481     # location list
482     my @locations;
483     foreach (sort keys %$locations) {
484         push @locations, { code => $_, description => "$_ - " . $locations->{$_} };
485     }
486     my @ccodes;
487     foreach (sort {$ccodes->{$a} cmp $ccodes->{$b}} keys %$ccodes) {
488         push @ccodes, { code => $_, description => $ccodes->{$_} };
489     }
490     my @notforloans;
491     foreach (sort {$notforloans->{$a} cmp $notforloans->{$b}} keys %$notforloans) {
492         push @notforloans, { code => $_, description => $notforloans->{$_} };
493     }
494
495     my $biblio_count = 0;
496     foreach my $biblio (@$biblios) {
497         my $item_id = 1;
498         $biblio_count++;
499         my $citation = $biblio->{'title'};
500         $citation .= " $biblio->{'author'}" if $biblio->{'author'};
501         $citation .= " (" if $biblio->{'issn'} or $biblio->{'isbn'};
502         $citation .= $biblio->{'isbn'} if $biblio->{'isbn'};
503         $citation .= ", " if $biblio->{'issn'} and $biblio->{'isbn'};
504         $citation .= $biblio->{'issn'} if $biblio->{'issn'};
505         $citation .= ")" if $biblio->{'issn'} or $biblio->{'isbn'};
506         my $match = GetImportRecordMatches($biblio->{'import_record_id'}, 1);
507         my %cellrecord = (
508             import_record_id => $biblio->{'import_record_id'},
509             citation => $citation,
510             import  => 1,
511             status => $biblio->{'status'},
512             record_sequence => $biblio->{'record_sequence'},
513             overlay_status => $biblio->{'overlay_status'},
514             match_biblionumber => $#$match > -1 ? $match->[0]->{'biblionumber'} : 0,
515             match_citation     => $#$match > -1 ? $match->[0]->{'title'} || '' . ' ' . $match->[0]->{'author'} || '': '',
516             match_score => $#$match > -1 ? $match->[0]->{'score'} : 0,
517         );
518         my ( $marcblob, $encoding ) = GetImportRecordMarc( $biblio->{'import_record_id'} );
519         my $marcrecord = MARC::Record->new_from_usmarc($marcblob) || die "couldn't translate marc information";
520
521         my $infos = get_infos_syspref('MarcFieldsToOrder', $marcrecord, ['price', 'quantity', 'budget_code', 'discount', 'sort1', 'sort2','replacementprice']);
522         my $price = $infos->{price};
523         my $replacementprice = $infos->{replacementprice};
524         my $quantity = $infos->{quantity};
525         my $budget_code = $infos->{budget_code};
526         my $discount = $infos->{discount};
527         my $sort1 = $infos->{sort1};
528         my $sort2 = $infos->{sort2};
529         my $budget_id;
530         if($budget_code) {
531             my $biblio_budget = GetBudgetByCode($budget_code);
532             if($biblio_budget) {
533                 $budget_id = $biblio_budget->{budget_id};
534             }
535         }
536
537         # Items
538         my @itemlist = ();
539         my $all_items_quantity = 0;
540         my $alliteminfos = get_infos_syspref_on_item('MarcItemFieldsToOrder', $marcrecord, ['homebranch', 'holdingbranch', 'itype', 'nonpublic_note', 'public_note', 'loc', 'ccode', 'notforloan', 'uri', 'copyno', 'price', 'replacementprice', 'itemcallnumber', 'quantity', 'budget_code']);
541         if ($alliteminfos != -1) {
542             foreach my $iteminfos (@$alliteminfos) {
543                 my $item_homebranch = $iteminfos->{homebranch};
544                 my $item_holdingbranch = $iteminfos->{holdingbranch};
545                 my $item_itype = $iteminfos->{itype};
546                 my $item_nonpublic_note = $iteminfos->{nonpublic_note};
547                 my $item_public_note = $iteminfos->{public_note};
548                 my $item_loc = $iteminfos->{loc};
549                 my $item_ccode = $iteminfos->{ccode};
550                 my $item_notforloan = $iteminfos->{notforloan};
551                 my $item_uri = $iteminfos->{uri};
552                 my $item_copyno = $iteminfos->{copyno};
553                 my $item_quantity = $iteminfos->{quantity} || 1;
554                 my $item_budget_code = $iteminfos->{budget_code};
555                 my $item_budget_id;
556                 if ( $iteminfos->{budget_code} ) {
557                     my $item_budget = GetBudgetByCode( $iteminfos->{budget_code} );
558                     if ( $item_budget ) {
559                         $item_budget_id = $item_budget->{budget_id};
560                     }
561                 }
562                 my $item_price = $iteminfos->{price};
563                 my $item_replacement_price = $iteminfos->{replacementprice};
564                 my $item_callnumber = $iteminfos->{itemcallnumber};
565
566                 for (my $i = 0; $i < $item_quantity; $i++) {
567
568                     my %itemrecord = (
569                         'item_id' => $item_id++,
570                         'biblio_count' => $biblio_count,
571                         'homebranch' => $item_homebranch,
572                         'holdingbranch' => $item_holdingbranch,
573                         'itype' => $item_itype,
574                         'nonpublic_note' => $item_nonpublic_note,
575                         'public_note' => $item_public_note,
576                         'loc' => $item_loc,
577                         'ccode' => $item_ccode,
578                         'notforloan' => $item_notforloan,
579                         'uri' => $item_uri,
580                         'copyno' => $item_copyno,
581                         'quantity' => $item_quantity,
582                         'budget_id' => $item_budget_id || $budget_id,
583                         'itemprice' => $item_price || $price,
584                         'replacementprice' => $item_replacement_price || $replacementprice,
585                         'itemcallnumber' => $item_callnumber,
586                     );
587                     $all_items_quantity++;
588                     push @itemlist, \%itemrecord;
589
590                 }
591             }
592
593             $cellrecord{'iteminfos'} = \@itemlist;
594         } else {
595             $cellrecord{'item_error'} = 1;
596         }
597         push @list, \%cellrecord;
598
599         if ($alliteminfos == -1 || scalar(@$alliteminfos) == 0) {
600             $cellrecord{price} = $price || '';
601             $cellrecord{replacementprice} = $replacementprice || '';
602             $cellrecord{quantity} = $quantity || '';
603             $cellrecord{budget_id} = $budget_id || '';
604             $cellrecord{discount} = $discount || '';
605             $cellrecord{sort1} = $sort1 || '';
606             $cellrecord{sort2} = $sort2 || '';
607         } else {
608             $cellrecord{quantity} = $all_items_quantity;
609         }
610
611     }
612     my $num_records = $batch->{'num_records'};
613     my $overlay_action = GetImportBatchOverlayAction($import_batch_id);
614     my $nomatch_action = GetImportBatchNoMatchAction($import_batch_id);
615     my $item_action = GetImportBatchItemAction($import_batch_id);
616     my @itypes = Koha::ItemTypes->search;
617     $template->param(biblio_list => \@list,
618                         num_results => $num_records,
619                         import_batch_id => $import_batch_id,
620                         "overlay_action_${overlay_action}" => 1,
621                         overlay_action => $overlay_action,
622                         "nomatch_action_${nomatch_action}" => 1,
623                         nomatch_action => $nomatch_action,
624                         "item_action_${item_action}" => 1,
625                         item_action => $item_action,
626                         item_error => $item_error,
627                         libraries => scalar Koha::Libraries->search(),
628                         locationloop => \@locations,
629                         itypeloop => \@itypes,
630                         ccodeloop => \@ccodes,
631                         notforloanloop => \@notforloans,
632                     );
633     batch_info($template, $batch);
634 }
635
636 sub batch_info {
637     my ($template, $batch) = @_;
638     $template->param(batch_info => 1,
639                                       file_name => $batch->{'file_name'},
640                                           comments => $batch->{'comments'},
641                                           import_status => $batch->{'import_status'},
642                                           upload_timestamp => $batch->{'upload_timestamp'},
643                                           num_records => $batch->{'num_records'},
644                                           num_items => $batch->{'num_items'});
645     if ($batch->{'num_records'} > 0) {
646         if ($batch->{'import_status'} eq 'staged' or $batch->{'import_status'} eq 'reverted') {
647             $template->param(can_commit => 1);
648         }
649         if ($batch->{'import_status'} eq 'imported') {
650             $template->param(can_revert => 1);
651         }
652     }
653     if (defined $batch->{'matcher_id'}) {
654         my $matcher = C4::Matcher->fetch($batch->{'matcher_id'});
655         if (defined $matcher) {
656             $template->param('current_matcher_id' => $batch->{'matcher_id'},
657                                               'current_matcher_code' => $matcher->code(),
658                                               'current_matcher_description' => $matcher->description());
659         }
660     }
661     add_matcher_list($batch->{'matcher_id'}, $template);
662 }
663
664 sub add_matcher_list {
665     my ($current_matcher_id, $template) = @_;
666     my @matchers = C4::Matcher::GetMatcherList();
667     if (defined $current_matcher_id) {
668         for (my $i = 0; $i <= $#matchers; $i++) {
669             if ($matchers[$i]->{'matcher_id'} == $current_matcher_id) {
670                 $matchers[$i]->{'selected'} = 1;
671             }
672         }
673     }
674     $template->param(available_matchers => \@matchers);
675 }
676
677 sub get_infos_syspref {
678     my ($syspref_name, $record, $field_list) = @_;
679     my $syspref = C4::Context->preference($syspref_name);
680     $syspref = "$syspref\n\n"; # YAML is anal on ending \n. Surplus does not hurt
681     my $yaml = eval {
682         YAML::XS::Load(Encode::encode_utf8($syspref));
683     };
684     if ( $@ ) {
685         warn "Unable to parse $syspref syspref : $@";
686         return ();
687     }
688     my $r;
689     for my $field_name ( @$field_list ) {
690         next unless exists $yaml->{$field_name};
691         my @fields = split /\|/, $yaml->{$field_name};
692         for my $field ( @fields ) {
693             my ( $f, $sf ) = split /\$/, $field;
694             next unless $f and $sf;
695             if ( my $v = $record->subfield( $f, $sf ) ) {
696                 $r->{$field_name} = $v;
697             }
698             last if $yaml->{$field};
699         }
700     }
701     return $r;
702 }
703
704 sub equal_number_of_fields {
705     my ($tags_list, $record) = @_;
706     my $tag_fields_count;
707     for my $tag (@$tags_list) {
708         my @fields = $record->field($tag);
709         $tag_fields_count->{$tag} = scalar @fields;
710     }
711
712     my $tags_count;
713     foreach my $key ( keys %$tag_fields_count ) {
714         if ( $tag_fields_count->{$key} > 0 ) { # Having 0 of a field is ok
715             $tags_count //= $tag_fields_count->{$key}; # Start with the count from the first occurrence
716             return -1 if $tag_fields_count->{$key} != $tags_count; # All counts of various fields should be equal if they exist
717         }
718     }
719
720     return $tags_count;
721 }
722
723 sub get_infos_syspref_on_item {
724     my ($syspref_name, $record, $field_list) = @_;
725     my $syspref = C4::Context->preference($syspref_name);
726     $syspref = "$syspref\n\n"; # YAML is anal on ending \n. Surplus does not hurt
727     my $yaml = eval {
728         YAML::XS::Load(Encode::encode_utf8($syspref));
729     };
730     if ( $@ ) {
731         warn "Unable to parse $syspref syspref : $@";
732         return ();
733     }
734     my @result;
735     my @tags_list;
736
737     # Check tags in syspref definition
738     for my $field_name ( @$field_list ) {
739         next unless exists $yaml->{$field_name};
740         my @fields = split /\|/, $yaml->{$field_name};
741         for my $field ( @fields ) {
742             my ( $f, $sf ) = split /\$/, $field;
743             next unless $f and $sf;
744             push @tags_list, $f;
745         }
746     }
747     @tags_list = List::MoreUtils::uniq(@tags_list);
748
749     my $tags_count = equal_number_of_fields(\@tags_list, $record);
750     # Return if the number of these fields in the record is not the same.
751     return -1 if $tags_count == -1;
752
753     # Gather the fields
754     my $fields_hash;
755     foreach my $tag (@tags_list) {
756         my @tmp_fields;
757         foreach my $field ($record->field($tag)) {
758             push @tmp_fields, $field;
759         }
760         $fields_hash->{$tag} = \@tmp_fields;
761     }
762
763     for (my $i = 0; $i < $tags_count; $i++) {
764         my $r;
765         for my $field_name ( @$field_list ) {
766             next unless exists $yaml->{$field_name};
767             my @fields = split /\|/, $yaml->{$field_name};
768             for my $field ( @fields ) {
769                 my ( $f, $sf ) = split /\$/, $field;
770                 next unless $f and $sf;
771                 my $v = $fields_hash->{$f}[$i] ? $fields_hash->{$f}[$i]->subfield( $sf ) : undef;
772                 $r->{$field_name} = $v if (defined $v);
773                 last if $yaml->{$field};
774             }
775         }
776         push @result, $r;
777     }
778     return \@result;
779 }