fixing help feature with new template structure
[koha.git] / opac / opac-search.pl
1 #!/usr/bin/perl
2
3 # Script to perform searching
4 # For documentation try 'perldoc /path/to/search'
5 #
6 # $Header$
7 #
8 # Copyright 2006 LibLime
9 #
10 # This file is part of Koha
11 #
12 # Koha is free software; you can redistribute it and/or modify it under the
13 # terms of the GNU General Public License as published by the Free Software
14 # Foundation; either version 2 of the License, or (at your option) any later
15 # version.
16 #
17 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
18 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
19 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
20 #
21 # You should have received a copy of the GNU General Public License along with
22 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
23 # Suite 330, Boston, MA  02111-1307 USA
24
25 =head1 NAME
26
27 search - a search script for finding records in a Koha system (Version 2.4)
28
29 =head1 OVERVIEW
30
31 This script contains a demonstration of a new search API for Koha 2.4. It is
32 designed to be simple to use and configure, yet capable of performing feats
33 like stemming, field weighting, relevance ranking, support for multiple 
34 query language formats (CCL, CQL, PQF), full or nearly full support for the
35 bib1 attribute set, extended attribute sets defined in Zebra profiles, access
36 to the full range of Z39.50 query options, federated searches on Z39.50
37 targets, etc.
38
39 I believe the API as represented in this script is mostly sound, even if the
40 individual functions in Search.pm and Koha.pm need to be cleaned up. Of course,
41 you are free to disagree :-)
42
43 I will attempt to describe what is happening at each part of this script.
44 -- JF
45
46 =head2 INTRO
47
48 This script performs two functions:
49
50 =over 
51
52 =item 1. interacts with Koha to retrieve and display the results of a search
53
54 =item 2. loads the advanced search page
55
56 =back
57
58 These two functions share many of the same variables and modules, so the first
59 task is to load what they have in common and determine which template to use.
60 Once determined, proceed to only load the variables and procedures necessary
61 for that function.
62
63 =head2 THE ADVANCED SEARCH PAGE
64
65 If we're loading the advanced search page this script will call a number of
66 display* routines which populate objects that are sent to the template for 
67 display of things like search indexes, languages, search limits, branches,
68 etc. These are not stored in the template for two reasons:
69
70 =over
71
72 =item 1. Efficiency - we have more control over objects inside the script, and it's possible to not duplicate things like indexes (if the search indexes were stored in the template they would need to be repeated)
73
74 =item 2. Customization - if these elements were moved to the sql database it would allow a simple librarian to determine which fields to display on the page without editing any html (also how the fields should behave when being searched).
75
76 =back
77
78 However, they create one problem : the strings aren't translated. I have an idea
79 for how to do this that I will purusue soon.
80
81 =head2 PERFORMING A SEARCH
82
83 If we're performing a search, this script  performs three primary
84 operations:
85
86 =over 
87
88 =item 1. builds query strings (yes, plural)
89
90 =item 2. perform the search and return the results array
91
92 =item 3. build the HTML for output to the template
93
94 =back
95
96 There are several additional secondary functions performed that I will
97 not cover in detail.
98
99 =head3 1. Building Query Strings
100     
101 There are several types of queries needed in the process of search and retrieve:
102
103 =over
104
105 =item 1 Koha query - the query that is passed to Zebra
106
107 This is the most complex query that needs to be built.The original design goal was to use a custom CCL2PQF query parser to translate an incoming CCL query into a multi-leaf query to pass to Zebra. It needs to be multi-leaf to allow field weighting, koha-specific relevance ranking, and stemming. When I have a chance I'll try to flesh out this section to better explain.
108
109 This query incorporates query profiles that aren't compatible with non-Zebra Z39.50 targets to acomplish the field weighting and relevance ranking.
110
111 =item 2 Federated query - the query that is passed to other Z39.50 targets
112
113 This query is just the user's query expressed in CCL CQL, or PQF for passing to a non-zebra Z39.50 target (one that doesn't support the extended profile that Zebra does).
114
115 =item 3 Search description - passed to the template / saved for future refinements of the query (by user)
116
117 This is a simple string that completely expresses the query in a way that can be parsed by Koha for future refinements of the query or as a part of a history feature. It differs from the human search description in several ways:
118
119 1. it does not contain commas or = signs
120 2. 
121
122 =item 4 Human search description - what the user sees in the search_desc area
123
124 This is a simple string nearly identical to the Search description, but more human readable. It will contain = signs or commas, etc.
125
126 =back
127
128 =head3 2. Perform the Search
129
130 This section takes the query strings and performs searches on the named servers, including the Koha Zebra server, stores the results in a deeply nested object, builds 'faceted results', and returns these objects.
131
132 =head3 3. Build HTML
133
134 The final major section of this script takes the objects collected thusfar and builds the HTML for output to the template and user.
135
136 =head3 Additional Notes
137
138 Not yet completed...
139
140 =cut
141
142 use strict;    # always use
143
144 #use warnings;        # use only for development
145
146 ## STEP 1. Load things that are used in both search page and
147 # results page and decide which template to load, operations
148 # to perform, etc.
149 ## load Koha modules
150 use C4::Context;
151 use C4::Output;
152 use C4::Auth;
153 use C4::Search;
154 use C4::Languages; # getAllLanguages
155 use C4::Koha;
156 use C4::Branch; # GetBranches
157 use POSIX qw(ceil floor);
158
159 # create a new CGI object
160 # not sure undef_params option is working, need to test
161 use CGI qw('-no_undef_params');
162 my $cgi = new CGI;
163
164 my ( $template, $borrowernumber, $cookie );
165
166 # decide which template to use
167 my $template_name;
168 my @params = $cgi->param("limit");
169 if ( ( @params > 1 ) || ( $cgi->param("q") ) ) {
170
171     $template_name = 'opac-results.tmpl';
172 }
173 else {
174
175     $template_name = 'opac-advsearch.tmpl';
176 }
177
178 # load the template
179 ( $template, $borrowernumber, $cookie ) = get_template_and_user(
180     {
181         template_name   => $template_name,
182         query           => $cgi,
183         type            => "opac",
184         authnotrequired => 1,
185     }
186 );
187
188 =head1 BUGS and FIXMEs
189
190 There are many, most are documented in the code. The one that
191 isn't fully documented, but referred to is the need for a full
192 query parser.
193
194 =cut
195
196 ## URI Re-Writing
197 # FIXME: URI re-writing should be tested more carefully and may better
198 # handled by mod_rewrite or something else. The code below almost works,
199 # but doesn't quite handle limits correctly when they are the only
200 # param passed -- I'll work on this soon -- JF
201 #my $rewrite_flag;
202 #my $uri = $cgi->url(-base => 1);
203 #my $relative_url = $cgi->url(-relative=>1);
204 #$uri.="/".$relative_url."?";
205 #warn "URI:$uri";
206 #my @cgi_params_list = $cgi->param();
207 #my $url_params = $cgi->Vars;
208
209 #for my $each_param_set (@cgi_params_list) {
210 #    $uri.= join "",  map "\&$each_param_set=".$_, split("\0",$url_params->{$each_param_set}) if $url_params->{$each_param_set};
211 #}
212 #warn "New URI:$uri";
213 # Only re-write a URI if there are params or if it already hasn't been re-written
214 #unless (($cgi->param('r')) || (!$cgi->param()) ) {
215 #    print $cgi->redirect(     -uri=>$uri."&r=1",
216 #                            -cookie => $cookie);
217 #    exit;
218 #}
219
220 # load the branches
221 my $branches = GetBranches();
222 my @branch_loop;
223 for my $branch_hash ( keys %$branches ) {
224     my $selected=(C4::Context->userenv && ($branch_hash eq C4::Context->userenv->{branch})) if (C4::Context->preference('SearchMyLibraryFirst'));
225     push @branch_loop,
226       {
227         value      => "branch: $branch_hash",
228         branchname => $branches->{$branch_hash}->{'branchname'},
229         selected => $selected
230       };
231 }
232 $template->param( branchloop => \@branch_loop, "mylibraryfirst"=>C4::Context->preference("SearchMyLibraryFirst"));
233
234 # load the itemtypes (Called Collection Codes in the template -- used for circ rules )
235 my $itemtypes = GetItemTypes;
236 my @itemtypesloop;
237 my $selected = 1;
238 my $cnt;
239 my $imgdir = getitemtypeimagesrc();
240 foreach my $thisitemtype ( sort {$itemtypes->{$a}->{'description'} cmp $itemtypes->{$b}->{'description'} } keys %$itemtypes ) {
241     my %row = (
242         number   => $cnt++,
243         imageurl => $imgdir . "/" . $itemtypes->{$thisitemtype}->{'imageurl'},
244         code     => $thisitemtype,
245         selected => $selected,
246         description => $itemtypes->{$thisitemtype}->{'description'},
247         count5      => $cnt % 4,
248     );
249     $selected = 0 if ($selected);
250     push @itemtypesloop, \%row;
251 }
252 $template->param( itemtypeloop => \@itemtypesloop );
253
254 # # load the itypes (Called item types in the template -- just authorized values for searching)
255 # my ($itypecount,@itype_loop) = GetCcodes();
256 # $template->param(itypeloop=>\@itype_loop,);
257
258 # load the languages ( for switching from one template to another )
259 # my @languages_options = displayLanguages($cgi);
260 # my $languages_count = @languages_options;
261 # if($languages_count > 1){
262 #         $template->param(languages => \@languages_options);
263 # }
264
265 # The following should only be loaded if we're bringing up the advanced search template
266 if ( $template_name eq "opac-advsearch.tmpl" ) {
267
268     # load the servers (used for searching -- to do federated searching, etc.)
269     my $primary_servers_loop;    # = displayPrimaryServers();
270     $template->param( outer_servers_loop => $primary_servers_loop, );
271
272     my $secondary_servers_loop;    # = displaySecondaryServers();
273     $template->param( outer_sup_servers_loop => $secondary_servers_loop, );
274
275     # load the limit types (icon-based limits in advanced search page)
276     my $outer_limit_types_loop = displayLimitTypes();
277     $template->param( outer_limit_types_loop => $outer_limit_types_loop, );
278
279     # load the search indexes (what a user can choose to search by)
280     my $indexes = displayIndexes();
281
282     # determine what to display next to the search boxes (ie, boolean option
283     # shouldn't appear on the first one, scan indexes should, adding a new
284     # box should only appear on the last, etc.
285     # FIXME: this stuff should be cleaned up a bit and the html should be turned
286     # into flags for the template -- I'll work on that soon -- JF
287     my @search_boxes_array;
288     my $search_boxes_count = 1;    # should be a syspref
289     for ( my $i = 0 ; $i <= $search_boxes_count ; $i++ ) {
290         my $this_index = [@$indexes];   # clone the data, not just the reference
291              #@$this_index[$i]->{selected} = "selected";
292         if ( $i == 0 ) {
293             push @search_boxes_array,
294               {
295                 indexes            => $this_index,
296                 search_boxes_label => "<span class='labels'>Search for:</span>",
297                 scan_index         => 1,
298               };
299
300         }
301         elsif ( $i == $search_boxes_count ) {
302             push @search_boxes_array,
303               {
304                 indexes      => $indexes,
305                 left_content =>
306 " <select name='op'><option value='and' selected='selected'>and</option><option value='or'>or</option><option value='not'>not</option></select>",
307                 add_field => "1"
308               };
309         }
310         else {
311             push @search_boxes_array,
312               {
313                 indexes      => $indexes,
314                 left_content =>
315 " <select name='op'><option value='and' selected='selected'>and</option><option value='or'>or</option><option value='not'>not</option></select>",
316               };
317         }
318     }
319     $template->param(
320         uc( C4::Context->preference("marcflavour") ) => 1,
321         search_boxes_loop                            => \@search_boxes_array
322     );
323
324     # load the language limits (for search)
325     my $languages_limit_loop = getAllLanguages();
326     $template->param( search_languages_loop => $languages_limit_loop, );
327
328     # load the subtype limits
329     my $outer_subtype_limits_loop = displaySubtypesLimit();
330     $template->param( outer_subtype_limits_loop => $outer_subtype_limits_loop,
331     );
332
333     my $expanded_options;
334     if ( C4::Context->preference("expandedSearchOption") ) {
335         $expanded_options = C4::Context->preference("expandedSearchOption");
336     }
337     else {
338         $expanded_options = $cgi->param('expanded_options');
339     }
340
341     $template->param( expanded_options => $expanded_options );
342
343     # load the sort_by options for the template
344     my $sort_by      = $cgi->param('sort_by');
345     $sort_by=$1.($2 eq "lt"?'d':'a') if ($sort_by=~/1=(\d+) \&([a-z]+)\;/);
346     $template->param( sort_by => $sort_by);
347
348     output_html_with_http_headers $cgi, $cookie, $template->output;
349     exit;
350 }
351
352 ### OK, if we're this far, we're performing an actual search
353
354 # Fetch the paramater list as a hash in scalar context:
355 #  * returns paramater list as tied hash ref
356 #  * we can edit the values by changing the key
357 #  * multivalued CGI paramaters are returned as a packaged string separated by "\0" (null)
358 my $params = $cgi->Vars;
359
360 # Params that can have more than one value
361 # sort by is used to sort the query
362 my @sort_by;
363 @sort_by = split( "\0", $params->{'sort_by'} ) if $params->{'sort_by'};
364
365 # load the sort_by options for the template
366 my $sort_by      = $params->{'sort_by'};
367 $sort_by=~$1.($2 eq "lt"?'d':'a') if ($sort_by=~/1=(\d+) \&([a-z]+)\;/);
368 $template->param( sort_by => $sort_by);
369
370 #
371 # Use the servers defined, or just search our local catalog(default)
372 my @servers;
373 @servers = split( "\0", $params->{'server'} ) if $params->{'server'};
374 unless (@servers) {
375
376     #FIXME: this should be handled using Context.pm
377     @servers = ("biblioserver");
378
379     # @servers = C4::Context->config("biblioserver");
380 }
381
382 # operators include boolean and proximity operators and are used
383 # to evaluate multiple operands
384 my @operators;
385 @operators = split( "\0", $params->{'op'} ) if $params->{'op'};
386
387 # indexes are query qualifiers, like 'title', 'author', etc. They
388 # can be simple or complex
389 my @indexes;
390 @indexes = split( "\0", $params->{'idx'} ) if $params->{'idx'};
391
392 # an operand can be a single term, a phrase, or a complete ccl query
393 my @operands;
394 @operands = split( "\0", $params->{'q'} ) if $params->{'q'};
395
396 # limits are use to limit to results to a pre-defined category such as branch or language
397 my @limits;
398 @limits = split( "\0", $params->{'limit'} ) if $params->{'limit'};
399
400 my $available;
401 foreach my $limit (@limits) {
402     if ( $limit =~ /available/ ) {
403         $available = 1;
404     }
405 }
406 $template->param( available => $available );
407 push @limits, map "yr:" . $_, split( "\0", $params->{'limit-yr'} )
408   if $params->{'limit-yr'};
409
410 # Params that can only have one value
411 my $query            = $params->{'q'};
412 my $scan             = $params->{'scan'};
413 my $results_per_page = $params->{'count'} || 20;
414 my $offset           = $params->{'offset'} || 0;
415 my $hits;
416 my $expanded_facet = $params->{'expand'};
417
418 # Define some global variables
419 my $error;          # used for error handling
420 my $search_desc;    # the query expressed in terms that humans understand
421 my $koha_query; # the query expressed in terms that zoom understands with field weighting and stemming
422 my $federated_query;
423 my $query_type; # usually not needed, but can be used to trigger ccl, cql, or pqf queries if set
424 my @results;
425
426 ## I. BUILD THE QUERY
427 ( $error, $search_desc, $koha_query, $federated_query, $query_type ) =
428   buildQuery( $query, \@operators, \@operands, \@indexes, \@limits );
429
430 # warn "query : $koha_query";
431 ## II. DO THE SEARCH AND GET THE RESULTS
432 my $total;    # the total results for the whole set
433 my $facets; # this object stores the faceted results that display on the left-hand of the results page
434 my @results_array;
435 my $results_hashref;
436
437 if (C4::Context->preference('NoZebra')) {
438     eval {
439         ($error, $results_hashref, $facets) = NZgetRecords($koha_query,$federated_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
440     };
441 } else {
442     eval {
443         ($error, $results_hashref, $facets) = getRecords($koha_query,$federated_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
444     };
445 }
446 if ( $@ || $error ) {
447     $template->param( query_error => $error . $@ );
448
449     #     warn "error: ".$error.$@;
450     output_html_with_http_headers $cgi, $cookie, $template->output;
451     exit;
452 }
453
454 # At this point, each server has given us a result set
455 # now we build that set for template display
456 my @sup_results_array;
457 for ( my $i = 0 ; $i <= @servers ; $i++ ) {
458     my $server = $servers[$i];
459     if ( $server =~ /biblioserver/ ) {  # this is the local bibliographic server
460         $hits = $results_hashref->{$server}->{"hits"};
461         my @newresults =
462           searchResults( $search_desc, $hits, $results_per_page, $offset,
463             @{ $results_hashref->{$server}->{"RECORDS"} } );
464         $total = $total + $results_hashref->{$server}->{"hits"};
465         if ($hits) {
466             $template->param( total            => $hits );
467             $template->param( searchdesc       => $search_desc );
468             $template->param( results_per_page => $results_per_page );
469             $template->param( SEARCH_RESULTS   => \@newresults );
470
471             my @page_numbers;
472             my $pages               = ceil( $hits / $results_per_page );
473             my $current_page_number = 1;
474             $current_page_number = ( $offset / $results_per_page + 1 )
475               if $offset;
476             my $previous_page_offset = $offset - $results_per_page
477               unless ( $offset - $results_per_page < 0 );
478             my $next_page_offset = $offset + $results_per_page;
479             for ( $i = 1 ; $i <= $pages ; $i++ ) {
480                 my $this_offset =
481                   ( ( $i * $results_per_page ) - $results_per_page );
482                 my $this_page_number = $i;
483                 my $highlight        = 1
484                   if ( $this_page_number == $current_page_number );
485                 if ($this_page_number <= $pages) {
486                 push @page_numbers,
487                   {
488                     offset    => $this_offset,
489                     pg        => $this_page_number,
490                     highlight => $highlight,
491                     sort_by   => join " ",
492                     @sort_by
493                   };
494                 }
495             }
496             $template->param(
497                 PAGE_NUMBERS         => \@page_numbers,
498                 previous_page_offset => $previous_page_offset,
499                 next_page_offset     => $next_page_offset
500             ) unless $pages < 2;
501         }
502     }    # end of the if local
503     else {
504
505         # check if it's a z3950 or opensearch source
506         my $zed3950 = 0;    # FIXME :: Hardcoded value.
507         if ($zed3950) {
508             my @inner_sup_results_array;
509             for my $sup_record ( @{ $results_hashref->{$server}->{"RECORDS"} } )
510             {
511                 my $marc_record_object =
512                   MARC::Record->new_from_usmarc($sup_record);
513                 my $control_number =
514                   $marc_record_object->field('010')->subfield('a')
515                   if $marc_record_object->field('010');
516                 $control_number =~ s/^ //g;
517                 my $link =
518                     "http://catalog.loc.gov/cgi-bin/Pwebrecon.cgi?SAB1="
519                   . $control_number
520                   . "&BOOL1=all+of+these&FLD1=LC+Control+Number+LCCN+%28K010%29+%28K010%29&GRP1=AND+with+next+set&SAB2=&BOOL2=all+of+these&FLD2=Keyword+Anywhere+%28GKEY%29+%28GKEY%29&PID=6211&SEQ=20060816121838&CNT=25&HIST=1";
521                 my $title = $marc_record_object->title();
522                 push @inner_sup_results_array,
523                   {
524                     'title' => $title,
525                     'link'  => $link,
526                   };
527             }
528             my $servername = $server;
529             push @sup_results_array,
530               {
531                 servername             => $servername,
532                 inner_sup_results_loop => \@inner_sup_results_array
533               };
534             $template->param( outer_sup_results_loop => \@sup_results_array );
535         }
536     }
537
538 }    #/end of the for loop
539
540 #$template->param(FEDERATED_RESULTS => \@results_array);
541 # adding the $RequestOnOpac param
542 my $RequestOnOpac;
543 if (C4::Context->preference("RequestOnOpac")) {
544         $RequestOnOpac = 1;
545 }
546 # get site URL (for RSS link)
547 $cgi->url() =~ /(.*)\/(.*)/;
548 my $site_url = $1;
549
550 $template->param(
551
552     #classlist => $classlist,
553     total                => $total,
554     searchdesc           => $search_desc,
555     opacfacets           => 1,
556     facets_loop          => $facets,
557     "BiblioDefaultView" . C4::Context->preference("BiblioDefaultView") => 1,
558     scan_use     => $scan,
559     search_error => $error,
560     RequestOnOpac        => $RequestOnOpac,
561     RSS=> 1,
562     site_url => $site_url,
563 );
564 ## Now let's find out if we have any supplemental data to show the user
565 #  and in the meantime, save the current query for statistical purposes, etc.
566 my $koha_spsuggest;   # a flag to tell if we've got suggestions coming from Koha
567 my @koha_spsuggest
568   ;    # place we store the suggestions to be returned to the template as LOOP
569 my $phrases = $search_desc;
570 my $ipaddress;
571
572 if ( C4::Context->preference("kohaspsuggest") ) {
573     eval {
574         my $koha_spsuggest_dbh;
575
576         # FIXME: this needs to be moved to Context.pm
577         eval {
578             $koha_spsuggest_dbh =
579               DBI->connect( "DBI:mysql:suggest:66.213.78.76",
580                 "auth", "Free2cirC" );
581         };
582         if ($@) {
583             warn "can't connect to spsuggest db";
584         }
585         else {
586             my $koha_spsuggest_insert =
587 "INSERT INTO phrase_log(phr_phrase,phr_resultcount,phr_ip) VALUES(?,?,?)";
588             my $koha_spsuggest_query =
589 "SELECT display FROM distincts WHERE strcmp(soundex(suggestion), soundex(?)) = 0 order by soundex(suggestion) limit 0,5";
590             my $koha_spsuggest_sth =
591               $koha_spsuggest_dbh->prepare($koha_spsuggest_query);
592             $koha_spsuggest_sth->execute($phrases);
593             while ( my $spsuggestion = $koha_spsuggest_sth->fetchrow_array ) {
594                 $spsuggestion =~ s/(:|\/)//g;
595                 my %line;
596                 $line{spsuggestion} = $spsuggestion;
597                 push @koha_spsuggest, \%line;
598                 $koha_spsuggest = 1;
599             }
600
601             # Now save the current query
602             $koha_spsuggest_sth =
603               $koha_spsuggest_dbh->prepare($koha_spsuggest_insert);
604
605            #$koha_spsuggest_sth->execute($phrases,$results_per_page,$ipaddress);
606             $koha_spsuggest_sth->finish;
607             $template->param( koha_spsuggest => $koha_spsuggest ) unless $hits;
608             $template->param( SPELL_SUGGEST => \@koha_spsuggest, );
609         }
610     };
611     if ($@) {
612         warn "Kohaspsuggest failure:" . $@;
613     }
614 }
615
616 # VI. BUILD THE TEMPLATE
617 output_html_with_http_headers $cgi, $cookie, $template->output;