reverting to more mature page numbering system
[koha.git] / catalogue / search.pl
1 #!/usr/bin/perl
2 # Script to perform searching
3 # For documentation try 'perldoc /path/to/search'
4 #
5 # $Header$
6 #
7 # Copyright 2006 LibLime
8 #
9 # This file is part of Koha
10 #
11 # Koha is free software; you can redistribute it and/or modify it under the
12 # terms of the GNU General Public License as published by the Free Software
13 # Foundation; either version 2 of the License, or (at your option) any later
14 # version.
15 #
16 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
17 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
18 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
19 #
20 # You should have received a copy of the GNU General Public License along with
21 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
22 # Suite 330, Boston, MA  02111-1307 USA
23
24 =head1 NAME
25
26 search - a search script for finding records in a Koha system (Version 3.0)
27
28 =head1 OVERVIEW
29
30 This script contains a new search API for Koha 3.0. It is designed to be 
31 simple to use and configure, yet capable of performing feats like stemming,
32 field weighting, relevance ranking, support for multiple  query language
33 formats (CCL, CQL, PQF), full or nearly full support for the
34 bib1 attribute set, extended attribute sets defined in Zebra profiles, access
35 to the full range of Z39.50 query options, federated searches on Z39.50
36 targets, etc.
37
38 I believe the API as represented in this script is mostly sound, even if the
39 individual functions in Search.pm and Koha.pm need to be cleaned up. Of course,
40 you are free to disagree :-)
41
42 I will attempt to describe what is happening at each part of this script.
43 -- JF
44
45 =head2 INTRO
46
47 This script performs two functions:
48
49 =over 
50
51 =item 1. interacts with Koha to retrieve and display the results of a search
52
53 =item 2. loads the advanced search page
54
55 =back
56
57 These two functions share many of the same variables and modules, so the first
58 task is to load what they have in common and determine which template to use.
59 Once determined, proceed to only load the variables and procedures necessary
60 for that function.
61
62 =head2 THE ADVANCED SEARCH PAGE
63
64 If we're loading the advanced search page this script will call a number of
65 display* routines which populate objects that are sent to the template for 
66 display of things like search indexes, languages, search limits, branches,
67 etc. These are not stored in the template for two reasons:
68
69 =over
70
71 =item 1. Efficiency - we have more control over objects inside the script, 
72 and it's possible to not duplicate things like indexes (if the search indexes 
73 were stored in the template they would need to be repeated)
74
75 =item 2. Customization - if these elements were moved to the sql database it 
76 would allow a simple librarian to determine which fields to display on the page 
77 without editing any html (also how the fields should behave when being searched).
78
79 =back
80
81 However, they create one problem : the strings aren't translated. I have an idea
82 for how to do this that I will purusue soon.
83
84 =head2 PERFORMING A SEARCH
85
86 If we're performing a search, this script  performs three primary
87 operations:
88
89 =over 
90
91 =item 1. builds query strings (yes, plural)
92
93 =item 2. perform the search and return the results array
94
95 =item 3. build the HTML for output to the template
96
97 =back
98
99 There are several additional secondary functions performed that I will
100 not cover in detail.
101
102 =head3 1. Building Query Strings
103     
104 There are several types of queries needed in the process of search and retrieve:
105
106 =over
107
108 =item 1 Koha query - the query that is passed to Zebra
109
110 This is the most complex query that needs to be built. The original design goal 
111 was to use a custom CCL2PQF query parser to translate an incoming CCL query into
112 a multi-leaf query to pass to Zebra. It needs to be multi-leaf to allow field 
113 weighting, koha-specific relevance ranking, and stemming. When I have a chance 
114 I'll try to flesh out this section to better explain.
115
116 This query incorporates query profiles that aren't compatible with non-Zebra 
117 Z39.50 targets to acomplish the field weighting and relevance ranking.
118
119 =item 2 Federated query - the query that is passed to other Z39.50 targets
120
121 This query is just the user's query expressed in CCL CQL, or PQF for passing to a 
122 non-zebra Z39.50 target (one that doesn't support the extended profile that Zebra does).
123
124 =item 3 Search description - passed to the template / saved for future refinements of 
125 the query (by user)
126
127 This is a simple string that completely expresses the query in a way that can be parsed 
128 by Koha for future refinements of the query or as a part of a history feature. It differs
129 from the human search description:
130
131 1. it does not contain commas or = signs
132
133 =item 4 Human search description - what the user sees in the search_desc area
134
135 This is a simple string nearly identical to the Search description, but more human 
136 readable. It will contain = signs or commas, etc.
137
138 =back
139
140 =head3 2. Perform the Search
141
142 This section takes the query strings and performs searches on the named servers, including
143 the Koha Zebra server, stores the results in a deeply nested object, builds 'faceted results',
144 and returns these objects.
145
146 =head3 3. Build HTML
147
148 The final major section of this script takes the objects collected thusfar and builds the
149 HTML for output to the template and user.
150
151 =head3 Additional Notes
152
153 Not yet completed...
154
155 =cut
156
157 use strict;            # always use
158
159 ## STEP 1. Load things that are used in both search page and
160 # results page and decide which template to load, operations 
161 # to perform, etc.
162 ## load Koha modules
163 use C4::Context;
164 use C4::Output;
165 use C4::Auth;
166 use C4::Search;
167 use C4::Languages; # getAllLanguages
168 use C4::Koha;
169 use POSIX qw(ceil floor);
170 use C4::Branch; # GetBranches
171 # create a new CGI object
172 # not sure undef_params option is working, need to test
173 use CGI qw('-no_undef_params');
174 my $cgi = new CGI;
175
176 my ($template,$borrowernumber,$cookie);
177
178 # decide which template to use
179 my $template_name;
180 my $template_type;
181 my @params = $cgi->param("limit");
182 if ((@params>=1) || ($cgi->param("q")) || ($cgi->param('multibranchlimit')) || ($cgi->param('limit-yr')) ) {
183     $template_name = 'catalogue/results.tmpl';
184 }
185 else {
186     $template_name = 'catalogue/advsearch.tmpl';
187         $template_type = 'advsearch';
188 }
189 # load the template
190 ($template, $borrowernumber, $cookie) = get_template_and_user({
191     template_name => $template_name,
192     query => $cgi,
193     type => "intranet",
194     authnotrequired => 0,
195     flagsrequired   => { catalogue => 1 },
196     }
197 );
198 if (C4::Context->preference("marcflavour") eq "UNIMARC" ) {
199         $template->param('UNIMARC' => 1);
200 }
201
202 =head1 BUGS and FIXMEs
203
204 There are many, most are documented in the code. The one that
205 isn't fully documented, but referred to is the need for a full
206 query parser.
207
208 =cut
209
210 ## URI Re-Writing
211 # Deprecated, but preserved because it's interesting :-)
212 #my $rewrite_flag;
213 #my $uri = $cgi->url(-base => 1);
214 #my $relative_url = $cgi->url(-relative=>1);
215 #$uri.="/".$relative_url."?";
216 #warn "URI:$uri";
217 #my @cgi_params_list = $cgi->param();
218 #my $url_params = $cgi->Vars;
219 #
220 #for my $each_param_set (@cgi_params_list) {
221 #    $uri.= join "",  map "\&$each_param_set=".$_, split("\0",$url_params->{$each_param_set}) if $url_params->{$each_param_set};
222 #}
223 #warn "New URI:$uri";
224 # Only re-write a URI if there are params or if it already hasn't been re-written
225 #unless (($cgi->param('r')) || (!$cgi->param()) ) {
226 #    print $cgi->redirect(     -uri=>$uri."&r=1",
227 #                            -cookie => $cookie);
228 #    exit;
229 #}
230
231 # load the branches
232 my $branches = GetBranches();
233 my @branch_loop;
234 #push @branch_loop, {value => "", branchname => "All Branches", };
235 for my $branch_hash (sort keys %$branches) {
236     push @branch_loop, {value => "$branch_hash" , branchname => $branches->{$branch_hash}->{'branchname'}, };
237 }
238
239 my $categories = GetBranchCategories(undef,'searchdomain');
240
241 $template->param(branchloop => \@branch_loop, searchdomainloop => $categories);
242
243 # load the itemtypes
244 my $itemtypes = GetItemTypes;
245 my @itemtypesloop;
246 my $selected=1;
247 my $cnt;
248 my $imgdir = getitemtypeimagesrc();
249 foreach my $thisitemtype ( sort {$itemtypes->{$a}->{'description'} cmp $itemtypes->{$b}->{'description'} } keys %$itemtypes ) {
250     my %row =(  number=>$cnt++,
251                 imageurl=> $itemtypes->{$thisitemtype}->{'imageurl'}?($imgdir."/".$itemtypes->{$thisitemtype}->{'imageurl'}):"",
252                 code => $thisitemtype,
253                 selected => $selected,
254                 description => $itemtypes->{$thisitemtype}->{'description'},
255                 count5 => $cnt % 4,
256             );
257     $selected = 0 if ($selected) ;
258     push @itemtypesloop, \%row;
259 }
260 $template->param(itemtypeloop => \@itemtypesloop);
261
262 # # load the itypes (Called item types in the template -- just authorized values for searching)
263 # my ($itypecount,@itype_loop) = GetCcodes();
264 # $template->param(itypeloop=>\@itype_loop,);
265
266 # load the languages ( for switching from one template to another )
267 $template->param(languages_loop => getTranslatedLanguages('intranet','prog'));
268
269 # The following should only be loaded if we're bringing up the advanced search template
270 if ( $template_type eq 'advsearch' ) {
271     # load the servers (used for searching -- to do federated searching, etc.)
272     my $primary_servers_loop;# = displayPrimaryServers();
273     $template->param(outer_servers_loop =>  $primary_servers_loop,);
274     
275     my $secondary_servers_loop;# = displaySecondaryServers();
276     $template->param(outer_sup_servers_loop => $secondary_servers_loop,);
277     
278     # determine what to display next to the search boxes (ie, boolean option
279     # shouldn't appear on the first one, scan indexes should, adding a new
280     # box should only appear on the last, etc.
281     my @search_boxes_array;
282     my $search_boxes_count = C4::Context->preference("OPACAdvSearchInputCount") | 3; # FIXME: should be a syspref
283     for (my $i=1;$i<=$search_boxes_count;$i++) {
284                 # if it's the first one, don't display boolean option, but show scan indexes
285         if ($i==1) {
286             push @search_boxes_array,
287                 {
288                 scan_index => 1,
289                 };
290         
291         }
292                 # if it's the last one, show the 'add field' box
293         elsif ($i==$search_boxes_count) {
294             push @search_boxes_array,
295                 {
296                                 boolean => 1,
297                 add_field => 1,
298                                 };
299         }
300                 else {
301                         push @search_boxes_array,
302                                 {
303                                 boolean => 1,
304                                 };
305                 }
306
307     }
308     $template->param(uc(C4::Context->preference("marcflavour")) => 1,
309                       search_boxes_loop => \@search_boxes_array);
310
311     # load the language limits (for search)
312     my $languages_limit_loop = getAllLanguages();
313     $template->param(search_languages_loop => $languages_limit_loop,);
314
315         # use the global setting by default
316         if ( C4::Context->preference("expandedSearchOption") == 1) {
317                 $template->param( expanded_options => C4::Context->preference("expandedSearchOption") );
318         }
319         # but let the user override it
320         if ( ($cgi->param('expanded_options') == 0) || ($cgi->param('expanded_options') == 1 ) ) {
321         $template->param( expanded_options => $cgi->param('expanded_options'));
322         }
323
324     output_html_with_http_headers $cgi, $cookie, $template->output;
325     exit;
326 }
327
328 ### OK, if we're this far, we're performing an actual search
329
330 # Fetch the paramater list as a hash in scalar context:
331 #  * returns paramater list as tied hash ref
332 #  * we can edit the values by changing the key
333 #  * multivalued CGI paramaters are returned as a packaged string separated by "\0" (null)
334 my $params = $cgi->Vars;
335
336 # Params that can have more than one value
337 # sort by is used to sort the query
338 my @sort_by;
339 @sort_by = split("\0",$params->{'sort_by'}) if $params->{'sort_by'};
340
341 # FIXME: this is a quick hack
342 foreach my $sort (@sort_by) {
343         $template->param($sort => 1);
344 }
345
346 # Use the servers defined, or just search our local catalog(default)
347 my @servers;
348 @servers = split("\0",$params->{'server'}) if $params->{'server'};
349 unless (@servers) {
350     #FIXME: this should be handled using Context.pm
351     @servers = ("biblioserver");
352     # @servers = C4::Context->config("biblioserver");
353 }
354
355 # operators include boolean and proximity operators and are used
356 # to evaluate multiple operands
357 my @operators;
358 @operators = split("\0",$params->{'op'}) if $params->{'op'};
359
360 # indexes are query qualifiers, like 'title', 'author', etc. They
361 # can be single or multiple parameters separated by comma: kw,right-Truncation 
362 my @indexes;
363 @indexes = split("\0",$params->{'idx'});
364
365 # an operand can be a single term, a phrase, or a complete ccl query
366 my @operands;
367 @operands = split("\0",$params->{'q'}) if $params->{'q'};
368
369 # limits are use to limit to results to a pre-defined category such as branch or language
370 my @limits;
371 @limits = split("\0",$params->{'limit'}) if $params->{'limit'};
372
373 if($params->{'multibranchlimit'}) {
374 push @limits, join(" or ", map { "branch: $_ "}  @{GetBranchesInCategory($params->{'multibranchlimit'})}) ;
375 }
376
377 my $available;
378 foreach my $limit(@limits) {
379     if ($limit =~/available/) {
380         $available = 1;
381     }
382 }
383 $template->param(available => $available);
384
385 # append year limits if they exist
386 push @limits, map "yr:".$_, split("\0",$params->{'limit-yr'}) if $params->{'limit-yr'};
387
388 # Params that can only have one value
389 my $scan = $params->{'scan'};
390 my $results_per_page = $params->{'count'} || 20;
391 my $offset = $params->{'offset'} || 0;
392 my $page = $cgi->param('page') || 1;
393 #my $offset = ($page-1)*$results_per_page;
394 my $hits;
395 my $expanded_facet = $params->{'expand'};
396
397 # Define some global variables
398 my ( $error,$query,$simple_query,$query_cgi,$query_search_desc,$limit,$limit_cgi,$limit_desc,$query_type);
399
400 my @results;
401
402 ## I. BUILD THE QUERY
403 ( $error,$query,$simple_query,$query_cgi,$query_search_desc,$limit,$limit_cgi,$limit_desc,$query_type) = buildQuery(\@operators,\@operands,\@indexes,\@limits,\@sort_by);
404
405 ## II. DO THE SEARCH AND GET THE RESULTS
406 my $total; # the total results for the whole set
407 my $facets; # this object stores the faceted results that display on the left-hand of the results page
408 my @results_array;
409 my $results_hashref;
410
411 if (C4::Context->preference('NoZebra')) {
412     eval {
413         ($error, $results_hashref, $facets) = NZgetRecords($query,$simple_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
414     };
415 } else {
416     eval {
417         ($error, $results_hashref, $facets) = getRecords($query,$simple_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
418     };
419 }
420 if ($@ || $error) {
421     $template->param(query_error => $error.$@);
422
423     output_html_with_http_headers $cgi, $cookie, $template->output;
424     exit;
425 }
426
427 # FIXME: This belongs in tools/ not in the primary search results page
428 my $op=$cgi->param("operation");
429 if ($op eq "bulkedit"){
430         my ($countchanged,$listunchanged)=
431         ModBiblios($results_hashref->{'biblioserver'}->{"RECORDS"},
432                       $params->{"tagsubfield"},
433                       $params->{"inputvalue"},
434                       $params->{"targetvalue"},
435                       $params->{"test"}
436                       );
437         $template->param(bulkeditresults=>1,
438                       tagsubfield=>$params->{"tagsubfield"},
439                       inputvalue=>$params->{"inputvalue"},
440                       targetvalue=>$params->{"targetvalue"},
441                       countchanged=>$countchanged,
442                       countunchanged=>scalar(@$listunchanged),
443                       listunchanged=>$listunchanged);
444
445         if (C4::Context->userenv->{'flags'}==1 ||(C4::Context->userenv->{'flags'} & ( 2**9 ) )){
446         #Edit Catalogue Permissions
447                 $template->param(bulkedit => 1);
448                 $template->param(tagsubfields=>GetManagedTagSubfields());
449         }
450 }
451 # At this point, each server has given us a result set
452 # now we build that set for template display
453 my @sup_results_array;
454 for (my $i=0;$i<=@servers;$i++) {
455     my $server = $servers[$i];
456     if ($server =~/biblioserver/) { # this is the local bibliographic server
457         $hits = $results_hashref->{$server}->{"hits"};
458         my $page = $cgi->param('page') || 0;
459         my @newresults = searchResults( $query_search_desc,$hits,$results_per_page,$offset,@{$results_hashref->{$server}->{"RECORDS"}});
460         $total = $total + $results_hashref->{$server}->{"hits"};
461         if ($hits) {
462             $template->param(total => $hits);
463                         $template->param(limit_cgi => $limit_cgi);
464             $template->param(searchdesc => ($query_type?"$query_type=":"")."$query_search_desc" );
465             $template->param(results_per_page =>  $results_per_page);
466             $template->param(SEARCH_RESULTS => \@newresults);
467                         ## Build the page numbers on the bottom of the page
468                         my @page_numbers;
469                         # total number of pages there will be
470                         my $pages = ceil($hits / $results_per_page);
471                         # default page number
472                         my $current_page_number = 1;
473                         $current_page_number = ($offset / $results_per_page + 1) if $offset;
474                         my $previous_page_offset = $offset - $results_per_page unless ($offset - $results_per_page <0);
475                         my $next_page_offset = $offset + $results_per_page;
476                         # If we're within the first 10 pages, keep it simple
477                         #warn "current page:".$current_page_number;
478                         if ($current_page_number < 10) {
479                                 # just show the first 10 pages
480                                 # Loop through the pages
481                                 my $pages_to_show = 10;
482                                 $pages_to_show = $pages if $pages<10;
483                                 for ($i=1; $i<=$pages_to_show;$i++) {
484                                         # the offset for this page
485                                         my $this_offset = (($i*$results_per_page)-$results_per_page);
486                                         # the page number for this page
487                                         my $this_page_number = $i;
488                                         # it should only be highlighted if it's the current page
489                                         my $highlight = 1 if ($this_page_number == $current_page_number);
490                                         # put it in the array
491                                         push @page_numbers, { offset => $this_offset, pg => $this_page_number, highlight => $highlight, sort_by => join " ",@sort_by };
492                                 
493                                 }
494                         
495                         }
496                         # now, show twenty pages, with the current one smack in the middle
497                         else {
498                                 for ($i=$current_page_number; $i<=($current_page_number + 20 );$i++) {
499                     my $this_offset = ((($i-9)*$results_per_page)-$results_per_page);
500                     my $this_page_number = $i-9;
501                     my $highlight = 1 if ($this_page_number == $current_page_number);
502                                         if ($this_page_number <= $pages) {
503                         push @page_numbers, { offset => $this_offset, pg => $this_page_number, highlight => $highlight, sort_by => join " ",@sort_by };
504                                         }
505                 }
506                         
507                         }
508                         $template->param(       PAGE_NUMBERS => \@page_numbers,
509                                                                 previous_page_offset => $previous_page_offset) unless $pages < 2;
510                         $template->param(next_page_offset => $next_page_offset) unless $pages eq $current_page_number;
511          }
512     } # end of the if local
513     else {
514         # check if it's a z3950 or opensearch source
515         my $zed3950 = 0;  # FIXME :: Hardcoded value.
516         if ($zed3950) {
517             my @inner_sup_results_array;
518             for my $sup_record ( @{$results_hashref->{$server}->{"RECORDS"}} ) {
519                 my $marc_record_object = MARC::Record->new_from_usmarc($sup_record);
520                 my $control_number = $marc_record_object->field('010')->subfield('a') if $marc_record_object->field('010');
521                 $control_number =~ s/^ //g;
522                 my $link = "http://catalog.loc.gov/cgi-bin/Pwebrecon.cgi?SAB1=".$control_number."&BOOL1=all+of+these&FLD1=LC+Control+Number+LCCN+%28K010%29+%28K010%29&GRP1=AND+with+next+set&SAB2=&BOOL2=all+of+these&FLD2=Keyword+Anywhere+%28GKEY%29+%28GKEY%29&PID=6211&SEQ=20060816121838&CNT=25&HIST=1";
523                 my $title = $marc_record_object->title();
524                 push @inner_sup_results_array, {
525                     'title' => $title,
526                     'link' => $link,
527                 };
528             }
529             my $servername = $server;
530             push @sup_results_array, { servername => $servername, inner_sup_results_loop => \@inner_sup_results_array};
531             $template->param(outer_sup_results_loop => \@sup_results_array);
532         }
533     }
534
535 } #/end of the for loop
536 #$template->param(FEDERATED_RESULTS => \@results_array);
537
538
539 $template->param(
540             #classlist => $classlist,
541             total => $total,
542             searchdesc => ($query_type?"$query_type=":"")."$query_search_desc",
543             opacfacets => 1,
544             facets_loop => $facets,
545             scan => $scan,
546             search_error => $error,
547 );
548 ## Now let's find out if we have any supplemental data to show the user
549 #  and in the meantime, save the current query for statistical purposes, etc.
550 my $koha_spsuggest; # a flag to tell if we've got suggestions coming from Koha
551 my @koha_spsuggest; # place we store the suggestions to be returned to the template as LOOP
552 my $phrases = $query_search_desc;
553 my $ipaddress;
554
555 if ( C4::Context->preference("kohaspsuggest") ) {
556                 my ($suggest_host, $suggest_dbname, $suggest_user, $suggest_pwd) = split(':', C4::Context->preference("kohaspsuggest"));
557         eval {
558             my $koha_spsuggest_dbh;
559             # FIXME: this needs to be moved to Context.pm
560             eval {
561                 $koha_spsuggest_dbh=DBI->connect("DBI:mysql:$suggest_dbname:$suggest_host","$suggest_user","$suggest_pwd");
562             };
563             if ($@) { 
564                 warn "can't connect to spsuggest db";
565             }
566             else {
567                 my $koha_spsuggest_insert = "INSERT INTO phrase_log(phr_phrase,phr_resultcount,phr_ip) VALUES(?,?,?)";
568                 my $koha_spsuggest_query = "SELECT display FROM distincts WHERE strcmp(soundex(suggestion), soundex(?)) = 0 order by soundex(suggestion) limit 0,5";
569                 my $koha_spsuggest_sth = $koha_spsuggest_dbh->prepare($koha_spsuggest_query);
570                 $koha_spsuggest_sth->execute($phrases);
571                 while (my $spsuggestion = $koha_spsuggest_sth->fetchrow_array) {
572                     $spsuggestion =~ s/(:|\/)//g;
573                     my %line;
574                     $line{spsuggestion} = $spsuggestion;
575                     push @koha_spsuggest,\%line;
576                     $koha_spsuggest = 1;
577                 }
578
579                 # Now save the current query
580                 $koha_spsuggest_sth=$koha_spsuggest_dbh->prepare($koha_spsuggest_insert);
581                 #$koha_spsuggest_sth->execute($phrases,$results_per_page,$ipaddress);
582                 $koha_spsuggest_sth->finish;
583
584                 $template->param( koha_spsuggest => $koha_spsuggest ) unless $hits;
585                 $template->param( SPELL_SUGGEST => \@koha_spsuggest,
586                 );
587             }
588     };
589     if ($@) {
590             warn "Kohaspsuggest failure:".$@;
591     }
592 }
593
594 # VI. BUILD THE TEMPLATE
595 output_html_with_http_headers $cgi, $cookie, $template->output;