Bug 22592: Add index scan emulation to Elasticsearch
[koha.git] / catalogue / search.pl
1 #!/usr/bin/perl
2 # Script to perform searching
3 # For documentation try 'perldoc /path/to/search'
4 #
5 # Copyright 2006 LibLime
6 # Copyright 2010 BibLibre
7 #
8 # This file is part of Koha
9 #
10 # Koha is free software; you can redistribute it and/or modify it
11 # under the terms of the GNU General Public License as published by
12 # the Free Software Foundation; either version 3 of the License, or
13 # (at your option) any later version.
14 #
15 # Koha is distributed in the hope that it will be useful, but
16 # WITHOUT ANY WARRANTY; without even the implied warranty of
17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
18 # GNU General Public License for more details.
19 #
20 # You should have received a copy of the GNU General Public License
21 # along with Koha; if not, see <http://www.gnu.org/licenses>.
22
23 =head1 NAME
24
25 search - a search script for finding records in a Koha system (Version 3)
26
27 =head1 OVERVIEW
28
29 This script utilizes a new search API for Koha 3. It is designed to be 
30 simple to use and configure, yet capable of performing feats like stemming,
31 field weighting, relevance ranking, support for multiple  query language
32 formats (CCL, CQL, PQF), full support for the bib1 attribute set, extended
33 attribute sets defined in Zebra profiles, access to the full range of Z39.50
34 and SRU query options, federated searches on Z39.50/SRU targets, etc.
35
36 The API as represented in this script is mostly sound, even if the individual
37 functions in Search.pm and Koha.pm need to be cleaned up. Of course, you are
38 free to disagree :-)
39
40 I will attempt to describe what is happening at each part of this script.
41 -- Joshua Ferraro <jmf AT liblime DOT com>
42
43 =head2 INTRO
44
45 This script performs two functions:
46
47 =over 
48
49 =item 1. interacts with Koha to retrieve and display the results of a search
50
51 =item 2. loads the advanced search page
52
53 =back
54
55 These two functions share many of the same variables and modules, so the first
56 task is to load what they have in common and determine which template to use.
57 Once determined, proceed to only load the variables and procedures necessary
58 for that function.
59
60 =head2 LOADING ADVANCED SEARCH PAGE
61
62 This is fairly straightforward, and I won't go into detail ;-)
63
64 =head2 PERFORMING A SEARCH
65
66 If we're performing a search, this script  performs three primary
67 operations:
68
69 =over 
70
71 =item 1. builds query strings (yes, plural)
72
73 =item 2. perform the search and return the results array
74
75 =item 3. build the HTML for output to the template
76
77 =back
78
79 There are several additional secondary functions performed that I will
80 not cover in detail.
81
82 =head3 1. Building Query Strings
83
84 There are several types of queries needed in the process of search and retrieve:
85
86 =over
87
88 =item 1 $query - the fully-built query passed to zebra
89
90 This is the most complex query that needs to be built. The original design goal 
91 was to use a custom CCL2PQF query parser to translate an incoming CCL query into
92 a multi-leaf query to pass to Zebra. It needs to be multi-leaf to allow field 
93 weighting, koha-specific relevance ranking, and stemming. When I have a chance 
94 I'll try to flesh out this section to better explain.
95
96 This query incorporates query profiles that aren't compatible with most non-Zebra 
97 Z39.50 targets to accomplish the field weighting and relevance ranking.
98
99 =item 2 $simple_query - a simple query that doesn't contain the field weighting,
100 stemming, etc., suitable to pass off to other search targets
101
102 This query is just the user's query expressed in CCL CQL, or PQF for passing to a 
103 non-zebra Z39.50 target (one that doesn't support the extended profile that Zebra does).
104
105 =item 3 $query_cgi - passed to the template / saved for future refinements of 
106 the query (by user)
107
108 This is a simple string that completely expresses the query as a CGI string that
109 can be used for future refinements of the query or as a part of a history feature.
110
111 =item 4 $query_desc - Human search description - what the user sees in search
112 feedback area
113
114 This is a simple string that is human readable. It will contain '=', ',', etc.
115
116 =back
117
118 =head3 2. Perform the Search
119
120 This section takes the query strings and performs searches on the named servers,
121 including the Koha Zebra server, stores the results in a deeply nested object, 
122 builds 'faceted results', and returns these objects.
123
124 =head3 3. Build HTML
125
126 The final major section of this script takes the objects collected thusfar and 
127 builds the HTML for output to the template and user.
128
129 =head3 Additional Notes
130
131 Not yet completed...
132
133 =cut
134
135 use Modern::Perl;
136
137 ## STEP 1. Load things that are used in both search page and
138 # results page and decide which template to load, operations 
139 # to perform, etc.
140
141 ## load Koha modules
142 use C4::Context;
143 use C4::Output;
144 use C4::Auth qw(:DEFAULT get_session);
145 use C4::Search;
146 use C4::Languages qw(getLanguages);
147 use C4::Koha;
148 use URI::Escape;
149 use POSIX qw(ceil floor);
150 use C4::Search::History;
151
152 use Koha::ItemTypes;
153 use Koha::Library::Groups;
154 use Koha::Patrons;
155 use Koha::SearchEngine::Search;
156 use Koha::SearchEngine::QueryBuilder;
157 use Koha::Virtualshelves;
158 use Koha::SearchFields;
159
160 use URI::Escape;
161
162 my $DisplayMultiPlaceHold = C4::Context->preference("DisplayMultiPlaceHold");
163 # create a new CGI object
164 # FIXME: no_undef_params needs to be tested
165 use CGI qw('-no_undef_params' -utf8 );
166 my $cgi = new CGI;
167
168 # decide which template to use
169 my $template_name;
170 my $template_type;
171 my @params = $cgi->multi_param("limit");
172 if ((@params>=1) || ($cgi->param("q")) || ($cgi->param('multibranchlimit')) || ($cgi->param('limit-yr')) ) {
173     $template_name = 'catalogue/results.tt';
174     $template_type = 'results';
175 }
176 else {
177     $template_name = 'catalogue/advsearch.tt';
178     $template_type = 'advsearch';
179 }
180 # load the template
181 my ($template, $borrowernumber, $cookie) = get_template_and_user({
182     template_name => $template_name,
183     query => $cgi,
184     type => "intranet",
185     authnotrequired => 0,
186     flagsrequired   => { catalogue => 1 },
187     }
188 );
189
190 my $lang = C4::Languages::getlanguage($cgi);
191
192 if (C4::Context->preference("marcflavour") eq "UNIMARC" ) {
193     $template->param('UNIMARC' => 1);
194 }
195
196 if($cgi->cookie("holdfor")){ 
197     my $holdfor_patron = Koha::Patrons->find( $cgi->cookie("holdfor") );
198     $template->param(
199         holdfor => $cgi->cookie("holdfor"),
200         holdfor_surname => $holdfor_patron->surname,
201         holdfor_firstname => $holdfor_patron->firstname,
202         holdfor_cardnumber => $holdfor_patron->cardnumber,
203     );
204 }
205
206 if($cgi->cookie("holdforclub")){
207     my $holdfor_club = Koha::Clubs->find( $cgi->cookie("holdforclub") );
208     $template->param(
209         holdforclub => $cgi->cookie("holdforclub"),
210         holdforclub_name => $holdfor_club->name,
211     );
212 }
213
214 # get biblionumbers stored in the cart
215 my @cart_list;
216
217 if($cgi->cookie("intranet_bib_list")){
218     my $cart_list = $cgi->cookie("intranet_bib_list");
219     @cart_list = split(/\//, $cart_list);
220 }
221
222 my @search_groups =
223   Koha::Library::Groups->get_search_groups( { interface => 'staff' } );
224 @search_groups = sort { $a->title cmp $b->title } @search_groups;
225
226 $template->param(
227     selected_branchcode => ( C4::Context->IsSuperLibrarian ? C4::Context->userenv : '' ),
228     search_groups    => \@search_groups,
229 );
230
231 # load the Type stuff
232 my $itemtypes = { map { $_->{itemtype} => $_ } @{ Koha::ItemTypes->search_with_localization->unblessed } };
233 # the index parameter is different for item-level itemtypes
234 my $itype_or_itemtype = (C4::Context->preference("item-level_itypes"))?'itype':'itemtype';
235 my @advancedsearchesloop;
236 my $cnt;
237 my $advanced_search_types = C4::Context->preference("AdvancedSearchTypes") || "itemtypes";
238 my @advanced_search_types = split(/\|/, $advanced_search_types);
239
240 foreach my $advanced_srch_type (@advanced_search_types) {
241     $advanced_srch_type =~ s/^\s*//;
242     $advanced_srch_type =~ s/\s*$//;
243    if ($advanced_srch_type eq 'itemtypes') {
244    # itemtype is a special case, since it's not defined in authorized values
245         my @itypesloop;
246         foreach my $thisitemtype ( sort {$itemtypes->{$a}->{translated_description} cmp $itemtypes->{$b}->{translated_description} } keys %$itemtypes ) {
247             my %row =(  number=>$cnt++,
248                 ccl => "$itype_or_itemtype,phr",
249                 code => $thisitemtype,
250                 description => $itemtypes->{$thisitemtype}->{translated_description},
251                 imageurl=> getitemtypeimagelocation( 'intranet', $itemtypes->{$thisitemtype}->{'imageurl'} ),
252             );
253             push @itypesloop, \%row;
254         }
255         my %search_code = (  advanced_search_type => $advanced_srch_type,
256                              code_loop => \@itypesloop );
257         push @advancedsearchesloop, \%search_code;
258     } else {
259     # covers all the other cases: non-itemtype authorized values
260        my $advsearchtypes = GetAuthorisedValues($advanced_srch_type);
261         my @authvalueloop;
262         for my $thisitemtype (@$advsearchtypes) {
263                 my %row =(
264                                 number=>$cnt++,
265                                 ccl => $advanced_srch_type,
266                 code => $thisitemtype->{authorised_value},
267                 description => $thisitemtype->{'lib'},
268                 imageurl => getitemtypeimagelocation( 'intranet', $thisitemtype->{'imageurl'} ),
269                 );
270                 push @authvalueloop, \%row;
271         }
272         my %search_code = (  advanced_search_type => $advanced_srch_type,
273                              code_loop => \@authvalueloop );
274         push @advancedsearchesloop, \%search_code;
275     }
276 }
277 $template->param(advancedsearchesloop => \@advancedsearchesloop);
278 my $types = C4::Context->preference("AdvancedSearchTypes") || "itemtypes";
279 my $advancedsearchesloop = prepare_adv_search_types($types);
280 $template->param(advancedsearchesloop => $advancedsearchesloop);
281
282 # The following should only be loaded if we're bringing up the advanced search template
283 if ( $template_type eq 'advsearch' ) {
284
285     # load the servers (used for searching -- to do federated searching, etc.)
286     my $primary_servers_loop;# = displayPrimaryServers();
287     $template->param(outer_servers_loop =>  $primary_servers_loop,);
288     
289     my $secondary_servers_loop;
290     $template->param(outer_sup_servers_loop => $secondary_servers_loop,);
291
292     # set the default sorting
293     if (   C4::Context->preference('defaultSortField')
294         && C4::Context->preference('defaultSortOrder') ) {
295         my $default_sort_by =
296             C4::Context->preference('defaultSortField') . '_'
297           . C4::Context->preference('defaultSortOrder');
298         $template->param( sort_by => $default_sort_by  );
299     }
300
301     # determine what to display next to the search boxes (ie, boolean option
302     # shouldn't appear on the first one, scan indexes should, adding a new
303     # box should only appear on the last, etc.
304     my @search_boxes_array;
305     my $search_boxes_count = 3; # begin with 3 boxes
306     # FIXME: all this junk can be done in TMPL using __first__ and __last__
307     for (my $i=1;$i<=$search_boxes_count;$i++) {
308         # if it's the first one, don't display boolean option, but show scan indexes
309         if ($i==1) {
310             push @search_boxes_array, {scan_index => 1};
311         }
312         # if it's the last one, show the 'add field' box
313         elsif ($i==$search_boxes_count) {
314             push @search_boxes_array,
315                 {
316                 boolean => 1,
317                 add_field => 1,
318                 };
319         }
320         else {
321             push @search_boxes_array,
322                 {
323                 boolean => 1,
324                 };
325         }
326
327     }
328     $template->param(uc(C4::Context->preference("marcflavour")) => 1,
329                       search_boxes_loop => \@search_boxes_array);
330
331     # load the language limits (for search)
332     my $languages_limit_loop = getLanguages($lang, 1);
333     $template->param(search_languages_loop => $languages_limit_loop,);
334
335     # Expanded search options in advanced search:
336     # use the global setting by default, but let the user override it
337     {
338         my $expanded = $cgi->param('expanded_options');
339         $expanded = C4::Context->preference("expandedSearchOption") || 0
340             if !defined($expanded) || $expanded !~ /^0|1$/;
341         $template->param( expanded_options => $expanded );
342     }
343
344     $template->param(virtualshelves => C4::Context->preference("virtualshelves"));
345
346     output_html_with_http_headers $cgi, $cookie, $template->output;
347     exit;
348 }
349
350 ### OK, if we're this far, we're performing a search, not just loading the advanced search page
351
352 # Fetch the paramater list as a hash in scalar context:
353 #  * returns paramater list as tied hash ref
354 #  * we can edit the values by changing the key
355 #  * multivalued CGI paramaters are returned as a packaged string separated by "\0" (null)
356 my $params = $cgi->Vars;
357 # Params that can have more than one value
358 # sort by is used to sort the query
359 # in theory can have more than one but generally there's just one
360 my @sort_by;
361 my $default_sort_by;
362 if (   C4::Context->preference('defaultSortField')
363     && C4::Context->preference('defaultSortOrder') ) {
364     $default_sort_by =
365         C4::Context->preference('defaultSortField') . '_'
366       . C4::Context->preference('defaultSortOrder');
367 }
368
369 @sort_by = $cgi->multi_param('sort_by');
370 $sort_by[0] = $default_sort_by unless $sort_by[0];
371 foreach my $sort (@sort_by) {
372     $template->param($sort => 1) if $sort;
373 }
374 $template->param('sort_by' => $sort_by[0]);
375
376 # Use the servers defined, or just search our local catalog(default)
377 my @servers = $cgi->multi_param('server');
378 unless (@servers) {
379     #FIXME: this should be handled using Context.pm
380     @servers = ("biblioserver");
381     # @servers = C4::Context->config("biblioserver");
382 }
383 # operators include boolean and proximity operators and are used
384 # to evaluate multiple operands
385 my @operators = map uri_unescape($_), $cgi->multi_param('op');
386
387 # indexes are query qualifiers, like 'title', 'author', etc. They
388 # can be single or multiple parameters separated by comma: kw,right-Truncation 
389 my @indexes = map uri_unescape($_), $cgi->multi_param('idx');
390
391 # if a simple index (only one)  display the index used in the top search box
392 if ($indexes[0] && (!$indexes[1] || $params->{'scan'})) {
393     my $idx = "ms_".$indexes[0];
394     $idx =~ s/\,/comma/g;  # template toolkit doesn't like variables with a , in it
395     $idx =~ s/-/dash/g;  # template toolkit doesn't like variables with a dash in it
396     $template->param($idx => 1);
397 }
398
399 # an operand can be a single term, a phrase, or a complete ccl query
400 my @operands = map uri_unescape($_), $cgi->multi_param('q');
401
402 # if a simple search, display the value in the search box
403 if ($operands[0] && !$operands[1]) {
404     my $ms_query = $operands[0];
405     $ms_query =~ s/ #\S+//;
406     $template->param(ms_value => $ms_query);
407 }
408
409 # limits are use to limit to results to a pre-defined category such as branch or language
410 my @limits = map uri_unescape($_), $cgi->multi_param('limit');
411 my @nolimits = map uri_unescape($_), $cgi->multi_param('nolimit');
412 my %is_nolimit = map { $_ => 1 } @nolimits;
413 @limits = grep { not $is_nolimit{$_} } @limits;
414
415 if($params->{'multibranchlimit'}) {
416     my $search_group = Koha::Library::Groups->find( $params->{multibranchlimit} );
417     my @libraries = $search_group->all_libraries;
418     my $multibranch = '('.join( " or ", map { 'branch: ' . $_->branchcode } @libraries ) .')';
419     push @limits, $multibranch if ($multibranch ne  '()');
420 }
421
422 my $available;
423 foreach my $limit(@limits) {
424     if ($limit =~/available/) {
425         $available = 1;
426     }
427 }
428 $template->param(available => $available);
429
430 # append year limits if they exist
431 my $limit_yr;
432 my $limit_yr_value;
433 if ($params->{'limit-yr'}) {
434     if ($params->{'limit-yr'} =~ /\d{4}/) {
435         $limit_yr = "yr,st-numeric=$params->{'limit-yr'}";
436         $limit_yr_value = $params->{'limit-yr'};
437     }
438     push @limits,$limit_yr;
439     #FIXME: Should return a error to the user, incorect date format specified
440 }
441
442 # convert indexes and operands to corresponding parameter names for the z3950 search
443 # $ %z3950p will be a hash ref if the indexes are present (advacned search), otherwise undef
444 my $z3950par;
445 my $indexes2z3950 = {
446     kw=>'title', au=>'author', 'au,phr'=>'author', nb=>'isbn', ns=>'issn',
447     'lcn,phr'=>'dewey', su=>'subject', 'su,phr'=>'subject',
448     ti=>'title', 'ti,phr'=>'title', se=>'title'
449 };
450 for (my $ii = 0; $ii < @operands; ++$ii)
451 {
452     my $name = $indexes2z3950->{$indexes[$ii] || 'kw'};
453     if (defined $name && defined $operands[$ii])
454     {
455         $z3950par ||= {};
456         $z3950par->{$name} = $operands[$ii] if !exists $z3950par->{$name};
457     }
458 }
459
460
461 # Params that can only have one value
462 my $scan = $params->{'scan'};
463 my $count = C4::Context->preference('numSearchResults') || 20;
464 my $results_per_page = $params->{'count'} || $count;
465 my $offset = $params->{'offset'} || 0;
466 my $whole_record = $params->{'whole_record'} || 0;
467 $offset = 0 if $offset < 0;
468 my $page = $cgi->param('page') || 1;
469 #my $offset = ($page-1)*$results_per_page;
470
471 # Define some global variables
472 my ( $error,$query,$simple_query,$query_cgi,$query_desc,$limit,$limit_cgi,$limit_desc,$query_type);
473
474 my $builder = Koha::SearchEngine::QueryBuilder->new(
475     { index => $Koha::SearchEngine::BIBLIOS_INDEX } );
476 my $searcher = Koha::SearchEngine::Search->new(
477     { index => $Koha::SearchEngine::BIBLIOS_INDEX } );
478
479 ## I. BUILD THE QUERY
480 (
481     $error,             $query, $simple_query, $query_cgi,
482     $query_desc,        $limit, $limit_cgi,    $limit_desc,
483     $query_type
484   )
485   = $builder->build_query_compat( \@operators, \@operands, \@indexes, \@limits,
486     \@sort_by, $scan, $lang, { weighted_fields => !$cgi->param('advsearch'), whole_record => $whole_record });
487
488 ## parse the query_cgi string and put it into a form suitable for <input>s
489 my @query_inputs;
490 my $scan_index_to_use;
491 my $scan_search_term_to_use;
492
493 if ($query_cgi) {
494     for my $this_cgi ( split('&', $query_cgi) ) {
495         next unless $this_cgi;
496         $this_cgi =~ m/(.*?)=(.*)/;
497         my $input_name = $1;
498         my $input_value = $2;
499         push @query_inputs, { input_name => $input_name, input_value => Encode::decode_utf8( uri_unescape( $input_value ) ) };
500         if ($input_name eq 'idx') {
501             # The form contains multiple fields, so take the first value as the scan index
502             $scan_index_to_use = $input_value unless $scan_index_to_use;
503         }
504         if (!defined $scan_search_term_to_use && $input_name eq 'q') {
505             $scan_search_term_to_use = Encode::decode_utf8( uri_unescape( $input_value ));
506         }
507     }
508 }
509
510 $template->param ( QUERY_INPUTS => \@query_inputs,
511                    scan_index_to_use => $scan_index_to_use,
512                    scan_search_term_to_use => $scan_search_term_to_use );
513
514 ## parse the limit_cgi string and put it into a form suitable for <input>s
515 my @limit_inputs;
516 if ($limit_cgi) {
517     for my $this_cgi ( split('&', $limit_cgi) ) {
518         next unless $this_cgi;
519         # handle special case limit-yr
520         if ($this_cgi =~ /yr,st-numeric/) {
521             push @limit_inputs, { input_name => 'limit-yr', input_value => $limit_yr_value };
522             next;
523         }
524         $this_cgi =~ m/(.*=)(.*)/;
525         my $input_name = $1;
526         my $input_value = $2;
527         $input_name =~ s/=$//;
528         push @limit_inputs, { input_name => $input_name, input_value => Encode::decode_utf8( uri_unescape($input_value) ) };
529     }
530 }
531 $template->param ( LIMIT_INPUTS => \@limit_inputs );
532
533 ## II. DO THE SEARCH AND GET THE RESULTS
534 my $total = 0; # the total results for the whole set
535 my $facets; # this object stores the faceted results that display on the left-hand of the results page
536 my $results_hashref;
537
538 eval {
539     my $itemtypes = { map { $_->{itemtype} => $_ } @{ Koha::ItemTypes->search_with_localization->unblessed } };
540     ( $error, $results_hashref, $facets ) = $searcher->search_compat(
541         $query,            $simple_query, \@sort_by,       \@servers,
542         $results_per_page, $offset,       undef,           $itemtypes,
543         $query_type,       $scan
544     );
545 };
546
547 if ($@ || $error) {
548     $template->param(query_error => $error.$@);
549     output_html_with_http_headers $cgi, $cookie, $template->output;
550     exit;
551 }
552
553 # At this point, each server has given us a result set
554 # now we build that set for template display
555 my @sup_results_array;
556 for (my $i=0;$i<@servers;$i++) {
557     my $server = $servers[$i];
558     if ($server =~/biblioserver/) { # this is the local bibliographic server
559         my $hits = $results_hashref->{$server}->{"hits"} // 0;
560         my $page = $cgi->param('page') || 0;
561         my @newresults = searchResults({ 'interface' => 'intranet' }, $query_desc, $hits, $results_per_page, $offset, $scan,
562                                        $results_hashref->{$server}->{"RECORDS"});
563         $total = $total + $hits;
564
565         # Search history
566         if (C4::Context->preference('EnableSearchHistory')) {
567             unless ( $offset ) {
568                 my $path_info = $cgi->url(-path_info=>1);
569                 my $query_cgi_history = $cgi->url(-query=>1);
570                 $query_cgi_history =~ s/^$path_info\?//;
571                 $query_cgi_history =~ s/;/&/g;
572                 my $query_desc_history = $query_desc;
573                 $query_desc_history .= ", $limit_desc"
574                     if $limit_desc;
575
576                 C4::Search::History::add({
577                     userid => $borrowernumber,
578                     sessionid => $cgi->cookie("CGISESSID"),
579                     query_desc => $query_desc_history,
580                     query_cgi => $query_cgi_history,
581                     total => $total,
582                     type => "biblio",
583                 });
584             }
585             $template->param( EnableSearchHistory => 1 );
586         }
587
588         ## If there's just one result, redirect to the detail page unless doing an index scan
589         if ($total == 1 && !$scan) {
590             my $biblionumber = $newresults[0]->{biblionumber};
591             my $defaultview = C4::Context->preference('IntranetBiblioDefaultView');
592             my $views = { C4::Search::enabled_staff_search_views };
593             if ($defaultview eq 'isbd' && $views->{can_view_ISBD}) {
594                 print $cgi->redirect("/cgi-bin/koha/catalogue/ISBDdetail.pl?biblionumber=$biblionumber");
595             } elsif  ($defaultview eq 'marc' && $views->{can_view_MARC}) {
596                 print $cgi->redirect("/cgi-bin/koha/catalogue/MARCdetail.pl?biblionumber=$biblionumber");
597             } elsif  ($defaultview eq 'labeled_marc' && $views->{can_view_labeledMARC}) {
598                 print $cgi->redirect("/cgi-bin/koha/catalogue/labeledMARCdetail.pl?biblionumber=$biblionumber");
599             } else {
600                 print $cgi->redirect("/cgi-bin/koha/catalogue/detail.pl?biblionumber=$biblionumber");
601             } 
602             exit;
603         }
604
605         # set up parameters if user wishes to re-run the search
606         # as a Z39.50 search
607         $template->param (z3950_search_params => C4::Search::z3950_search_args($z3950par || $query_desc));
608
609         if ($hits) {
610             $template->param(total => $hits);
611             if ($limit_cgi) {
612                 my $limit_cgi_not_availablity = $limit_cgi;
613                 $limit_cgi_not_availablity =~ s/&limit=available//g;
614                 $template->param(limit_cgi_not_availablity => $limit_cgi_not_availablity);
615             }
616             $template->param(limit_cgi => $limit_cgi);
617             $template->param(query_cgi => $query_cgi);
618             $template->param(query_desc => $query_desc);
619             $template->param(limit_desc => $limit_desc);
620             $template->param(offset     => $offset);
621             $template->param(DisplayMultiPlaceHold => $DisplayMultiPlaceHold);
622             if ($query_desc || $limit_desc) {
623                 $template->param(searchdesc => 1);
624             }
625             $template->param(results_per_page =>  $results_per_page);
626             # must define a value for size if not present in DB
627             # in order to avoid problems generated by the default size value in TT
628             foreach my $line (@newresults) {
629                 if ( not exists $line->{'size'} ) { $line->{'size'} = "" }
630                 # while we're checking each line, see if item is in the cart
631                 if ( grep {$_ eq $line->{'biblionumber'}} @cart_list) {
632                     $line->{'incart'} = 1;
633                 }
634             }
635             $template->param(SEARCH_RESULTS => \@newresults);
636             ## FIXME: add a global function for this, it's better than the current global one
637             ## Build the page numbers on the bottom of the page
638             my @page_numbers;
639             my $max_result_window = $searcher->max_result_window;
640             my $hits_to_paginate = ($max_result_window && $max_result_window < $hits) ? $max_result_window : $hits;
641             $template->param( hits_to_paginate => $hits_to_paginate );
642             # total number of pages there will be
643             my $pages = ceil($hits_to_paginate / $results_per_page);
644             my $last_page_offset = ( $pages -1 ) * $results_per_page;
645             # default page number
646             my $current_page_number = 1;
647             $current_page_number = ($offset / $results_per_page + 1) if $offset;
648             my $previous_page_offset;
649             if ( $offset >= $results_per_page ) {
650                 $previous_page_offset = $offset - $results_per_page;
651             }
652             my $next_page_offset = $offset + $results_per_page;
653             # If we're within the first 10 pages, keep it simple
654             #warn "current page:".$current_page_number;
655             if ($current_page_number < 10) {
656                 # just show the first 10 pages
657                 # Loop through the pages
658                 my $pages_to_show = 10;
659                 $pages_to_show = $pages if $pages<10;
660                 for (my $i=1; $i<=$pages_to_show;$i++) {
661                     # the offset for this page
662                     my $this_offset = (($i*$results_per_page)-$results_per_page);
663                     # the page number for this page
664                     my $this_page_number = $i;
665                     # put it in the array
666                     push @page_numbers,
667                       { offset    => $this_offset,
668                         pg        => $this_page_number,
669                         # it should only be highlighted if it's the current page
670                         highlight => $this_page_number == $current_page_number,
671                         sort_by   => join ' ', @sort_by
672                       };
673                                 
674                 }
675                         
676             }
677
678             # now, show twenty pages, with the current one smack in the middle
679             else {
680                 for (my $i=$current_page_number; $i<=($current_page_number + 20 );$i++) {
681                     my $this_offset = ((($i-9)*$results_per_page)-$results_per_page);
682                     my $this_page_number = $i-9;
683                     if ( $this_page_number <= $pages ) {
684                         push @page_numbers,
685                           { offset    => $this_offset,
686                             pg        => $this_page_number,
687                             highlight => $this_page_number == $current_page_number,
688                             sort_by   => join ' ', @sort_by
689                           };
690                     }
691                 }
692             }
693             # FIXME: no previous_page_offset when pages < 2
694             $template->param(   PAGE_NUMBERS => \@page_numbers,
695                                 last_page_offset => $last_page_offset,
696                                 previous_page_offset => $previous_page_offset) unless $pages < 2;
697             $template->param(   next_page_offset => $next_page_offset) unless $pages eq $current_page_number;
698         }
699
700
701         # no hits
702         else {
703             $template->param(searchdesc => 1,query_desc => $query_desc,limit_desc => $limit_desc);
704         }
705
706     } # end of the if local
707
708     # asynchronously search the authority server
709     elsif ($server =~/authorityserver/) { # this is the local authority server
710         my @inner_sup_results_array;
711         for my $sup_record ( @{$results_hashref->{$server}->{"RECORDS"}} ) {
712             my $marc_record_object = C4::Search::new_record_from_zebra(
713                 'authorityserver',
714                 $sup_record
715             );
716             # warn "Authority Found: ".$marc_record_object->as_formatted();
717             push @inner_sup_results_array, {
718                 'title' => $marc_record_object->field(100)->subfield('a'),
719                 'link' => "&amp;idx=an&amp;q=".$marc_record_object->field('001')->as_string(),
720             };
721         }
722         push @sup_results_array, {  servername => $server, 
723                                     inner_sup_results_loop => \@inner_sup_results_array} if @inner_sup_results_array;
724     }
725     # FIXME: can add support for other targets as needed here
726     $template->param(           outer_sup_results_loop => \@sup_results_array);
727 } #/end of the for loop
728 #$template->param(FEDERATED_RESULTS => \@results_array);
729
730 $template->{'VARS'}->{'searchid'} = $cgi->param('searchid');
731
732 my $gotonumber = $cgi->param('gotoNumber');
733 if ( $gotonumber && ( $gotonumber eq 'last' || $gotonumber eq 'first' ) ) {
734     $template->{'VARS'}->{'gotoNumber'} = $gotonumber;
735 }
736 $template->{'VARS'}->{'gotoPage'}   = 'detail.pl';
737 my $gotopage = $cgi->param('gotoPage');
738 $template->{'VARS'}->{'gotoPage'} = $gotopage
739   if $gotopage && $gotopage =~ m/^(ISBD|labeledMARC|MARC|more)?detail.pl$/;
740
741 for my $facet ( @$facets ) {
742     for my $entry ( @{ $facet->{facets} } ) {
743         my $index = $entry->{type_link_value};
744         my $value = $entry->{facet_link_value};
745         $entry->{active} = grep { $_->{input_value} eq qq{$index:$value} } @limit_inputs;
746     }
747 }
748
749 $template->param(
750             #classlist => $classlist,
751             total => $total,
752             opacfacets => 1,
753             facets_loop => $facets,
754             displayFacetCount=> C4::Context->preference('displayFacetCount')||0,
755             scan => $scan,
756             search_error => $error,
757 );
758
759 if ($query_desc || $limit_desc) {
760     $template->param(searchdesc => 1);
761 }
762
763 # VI. BUILD THE TEMPLATE
764
765 my $some_private_shelves = Koha::Virtualshelves->get_some_shelves(
766     {
767         borrowernumber => $borrowernumber,
768         add_allowed    => 1,
769         category       => 1,
770     }
771 );
772 my $some_public_shelves = Koha::Virtualshelves->get_some_shelves(
773     {
774         borrowernumber => $borrowernumber,
775         add_allowed    => 1,
776         category       => 2,
777     }
778 );
779
780
781 $template->param(
782     add_to_some_private_shelves => $some_private_shelves,
783     add_to_some_public_shelves  => $some_public_shelves,
784 );
785
786 output_html_with_http_headers $cgi, $cookie, $template->output;
787
788
789 =head2 prepare_adv_search_types
790
791     my $type = C4::Context->preference("AdvancedSearchTypes") || "itemtypes";
792     my @advanced_search_types = prepare_adv_search_types($type);
793
794 Different types can be searched for in the advanced search. This takes the
795 system preference that defines these types and parses it into an arrayref for
796 the template.
797
798 "itemtypes" is handled specially, as itemtypes aren't an authorised value.
799 It also accounts for the "item-level_itypes" system preference.
800
801 =cut
802
803 sub prepare_adv_search_types {
804     my ($types) = @_;
805
806     my @advanced_search_types = split( /\|/, $types );
807
808     # the index parameter is different for item-level itemtypes
809     my $itype_or_itemtype =
810       ( C4::Context->preference("item-level_itypes") ) ? 'itype' : 'itemtype';
811     my $itemtypes = { map { $_->{itemtype} => $_ } @{ Koha::ItemTypes->search_with_localization->unblessed } };
812
813     my ( $cnt, @result );
814     foreach my $advanced_srch_type (@advanced_search_types) {
815         $advanced_srch_type =~ s/^\s*//;
816         $advanced_srch_type =~ s/\s*$//;
817         if ( $advanced_srch_type eq 'itemtypes' ) {
818
819        # itemtype is a special case, since it's not defined in authorized values
820             my @itypesloop;
821             foreach my $thisitemtype (
822                 sort {
823                     $itemtypes->{$a}->{'translated_description'}
824                       cmp $itemtypes->{$b}->{'translated_description'}
825                 } keys %$itemtypes
826               )
827             {
828                 my %row = (
829                     number      => $cnt++,
830                     ccl         => "$itype_or_itemtype,phr",
831                     code        => $thisitemtype,
832                     description => $itemtypes->{$thisitemtype}->{'translated_description'},
833                     imageurl    => getitemtypeimagelocation(
834                         'intranet', $itemtypes->{$thisitemtype}->{'imageurl'}
835                     ),
836                 );
837                 push @itypesloop, \%row;
838             }
839             my %search_code = (
840                 advanced_search_type => $advanced_srch_type,
841                 code_loop            => \@itypesloop
842             );
843             push @result, \%search_code;
844         }
845         else {
846             # covers all the other cases: non-itemtype authorized values
847             my $advsearchtypes = GetAuthorisedValues($advanced_srch_type);
848             my @authvalueloop;
849             for my $thisitemtype (@$advsearchtypes) {
850                 my %row = (
851                     number      => $cnt++,
852                     ccl         => $advanced_srch_type,
853                     code        => $thisitemtype->{authorised_value},
854                     description => $thisitemtype->{'lib'},
855                     imageurl    => getitemtypeimagelocation(
856                         'intranet', $thisitemtype->{'imageurl'}
857                     ),
858                 );
859                 push @authvalueloop, \%row;
860             }
861             my %search_code = (
862                 advanced_search_type => $advanced_srch_type,
863                 code_loop            => \@authvalueloop
864             );
865             push @result, \%search_code;
866         }
867     }
868     return \@result;
869 }