writing charset explicitly.
[koha.git] / catalogue / search.pl
1 #!/usr/bin/perl
2 # Script to perform searching
3 # For documentation try 'perldoc /path/to/search'
4 #
5 # $Header$
6 #
7 # Copyright 2006 LibLime
8 #
9 # This file is part of Koha
10 #
11 # Koha is free software; you can redistribute it and/or modify it under the
12 # terms of the GNU General Public License as published by the Free Software
13 # Foundation; either version 2 of the License, or (at your option) any later
14 # version.
15 #
16 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
17 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
18 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
19 #
20 # You should have received a copy of the GNU General Public License along with
21 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
22 # Suite 330, Boston, MA  02111-1307 USA
23
24 =head1 NAME
25
26 search - a search script for finding records in a Koha system (Version 2.4)
27
28 =head1 OVERVIEW
29
30 This script contains a demonstration of a new search API for Koha 2.4. It is
31 designed to be simple to use and configure, yet capable of performing feats
32 like stemming, field weighting, relevance ranking, support for multiple 
33 query language formats (CCL, CQL, PQF), full or nearly full support for the
34 bib1 attribute set, extended attribute sets defined in Zebra profiles, access
35 to the full range of Z39.50 query options, federated searches on Z39.50
36 targets, etc.
37
38 I believe the API as represented in this script is mostly sound, even if the
39 individual functions in Search.pm and Koha.pm need to be cleaned up. Of course,
40 you are free to disagree :-)
41
42 I will attempt to describe what is happening at each part of this script.
43 -- JF
44
45 =head2 INTRO
46
47 This script performs two functions:
48
49 =over 
50
51 =item 1. interacts with Koha to retrieve and display the results of a search
52
53 =item 2. loads the advanced search page
54
55 =back
56
57 These two functions share many of the same variables and modules, so the first
58 task is to load what they have in common and determine which template to use.
59 Once determined, proceed to only load the variables and procedures necessary
60 for that function.
61
62 =head2 THE ADVANCED SEARCH PAGE
63
64 If we're loading the advanced search page this script will call a number of
65 display* routines which populate objects that are sent to the template for 
66 display of things like search indexes, languages, search limits, branches,
67 etc. These are not stored in the template for two reasons:
68
69 =over
70
71 =item 1. Efficiency - we have more control over objects inside the script, and it's possible to not duplicate things like indexes (if the search indexes were stored in the template they would need to be repeated)
72
73 =item 2. Customization - if these elements were moved to the sql database it would allow a simple librarian to determine which fields to display on the page without editing any html (also how the fields should behave when being searched).
74
75 =back
76
77 However, they create one problem : the strings aren't translated. I have an idea
78 for how to do this that I will purusue soon.
79
80 =head2 PERFORMING A SEARCH
81
82 If we're performing a search, this script  performs three primary
83 operations:
84
85 =over 
86
87 =item 1. builds query strings (yes, plural)
88
89 =item 2. perform the search and return the results array
90
91 =item 3. build the HTML for output to the template
92
93 =back
94
95 There are several additional secondary functions performed that I will
96 not cover in detail.
97
98 =head3 1. Building Query Strings
99     
100 There are several types of queries needed in the process of search and retrieve:
101
102 =over
103
104 =item 1 Koha query - the query that is passed to Zebra
105
106 This is the most complex query that needs to be built.The original design goal was to use a custom CCL2PQF query parser to translate an incoming CCL query into a multi-leaf query to pass to Zebra. It needs to be multi-leaf to allow field weighting, koha-specific relevance ranking, and stemming. When I have a chance I'll try to flesh out this section to better explain.
107
108 This query incorporates query profiles that aren't compatible with non-Zebra Z39.50 targets to acomplish the field weighting and relevance ranking.
109
110 =item 2 Federated query - the query that is passed to other Z39.50 targets
111
112 This query is just the user's query expressed in CCL CQL, or PQF for passing to a non-zebra Z39.50 target (one that doesn't support the extended profile that Zebra does).
113
114 =item 3 Search description - passed to the template / saved for future refinements of the query (by user)
115
116 This is a simple string that completely expresses the query in a way that can be parsed by Koha for future refinements of the query or as a part of a history feature. It differs from the human search description in several ways:
117
118 1. it does not contain commas or = signs
119 2. 
120
121 =item 4 Human search description - what the user sees in the search_desc area
122
123 This is a simple string nearly identical to the Search description, but more human readable. It will contain = signs or commas, etc.
124
125 =back
126
127 =head3 2. Perform the Search
128
129 This section takes the query strings and performs searches on the named servers, including the Koha Zebra server, stores the results in a deeply nested object, builds 'faceted results', and returns these objects.
130
131 =head3 3. Build HTML
132
133 The final major section of this script takes the objects collected thusfar and builds the HTML for output to the template and user.
134
135 =head3 Additional Notes
136
137 Not yet completed...
138
139 =cut
140
141 use strict;            # always use
142
143 ## STEP 1. Load things that are used in both search page and
144 # results page and decide which template to load, operations 
145 # to perform, etc.
146 ## load Koha modules
147 use C4::Context;
148 use C4::Output;
149 use C4::Auth;
150 use C4::Search;
151 use C4::Languages; # getAllLanguages
152 use C4::Koha;
153 use POSIX qw(ceil floor);
154 use C4::Branch; # GetBranches
155 # create a new CGI object
156 # not sure undef_params option is working, need to test
157 use CGI qw('-no_undef_params');
158 my $cgi = new CGI;
159
160 my ($template,$borrowernumber,$cookie);
161
162 # decide which template to use
163 my $template_name;
164 my @params = $cgi->param("limit");
165 if ((@params>1) || ($cgi->param("q")) ) {
166     $template_name = 'catalogue/results.tmpl';
167 }
168 else {
169     $template_name = 'catalogue/advsearch.tmpl';
170 }
171
172 # load the template
173 ($template, $borrowernumber, $cookie) = get_template_and_user({
174     template_name => $template_name,
175     query => $cgi,
176     type => "intranet",
177     authnotrequired => 0,
178     flagsrequired   => { catalogue => 1 },
179     }
180 );
181
182 =head1 BUGS and FIXMEs
183
184 There are many, most are documented in the code. The one that
185 isn't fully documented, but referred to is the need for a full
186 query parser.
187
188 =cut
189
190 ## URI Re-Writing
191 # FIXME: URI re-writing should be tested more carefully and may better
192 # handled by mod_rewrite or something else. The code below almost works,
193 # but doesn't quite handle limits correctly when they are the only
194 # param passed -- I'll work on this soon -- JF
195 #my $rewrite_flag;
196 #my $uri = $cgi->url(-base => 1);
197 #my $relative_url = $cgi->url(-relative=>1);
198 #$uri.="/".$relative_url."?";
199 #warn "URI:$uri";
200 #my @cgi_params_list = $cgi->param();
201 #my $url_params = $cgi->Vars;
202
203 #for my $each_param_set (@cgi_params_list) {
204 #    $uri.= join "",  map "\&$each_param_set=".$_, split("\0",$url_params->{$each_param_set}) if $url_params->{$each_param_set};
205 #}
206 #warn "New URI:$uri";
207 # Only re-write a URI if there are params or if it already hasn't been re-written
208 #unless (($cgi->param('r')) || (!$cgi->param()) ) {
209 #    print $cgi->redirect(     -uri=>$uri."&r=1",
210 #                            -cookie => $cookie);
211 #    exit;
212 #}
213
214 # load the branches
215 my $branches = GetBranches();
216 my @branch_loop;
217 push @branch_loop, {value => "", branchname => "All Branches", };
218 for my $branch_hash (keys %$branches) {
219     push @branch_loop, {value => "branch: $branch_hash", branchname => $branches->{$branch_hash}->{'branchname'}, };
220 }
221 $template->param(branchloop => \@branch_loop,);
222
223 # load the itemtypes (Called Collection Codes in the template -- used for circ rules )
224 my $itemtypes = GetItemTypes;
225 my @itemtypesloop;
226 my $selected=1;
227 my $cnt;
228 my $imgdir = getitemtypeimagesrc();
229 foreach my $thisitemtype ( sort {$itemtypes->{$a}->{'description'} cmp $itemtypes->{$b}->{'description'} } keys %$itemtypes ) {
230     my %row =(  number=>$cnt++,
231                 imageurl=> $itemtypes->{$thisitemtype}->{'imageurl'}?($imgdir."/".$itemtypes->{$thisitemtype}->{'imageurl'}):"",
232                 code => $thisitemtype,
233                 selected => $selected,
234                 description => $itemtypes->{$thisitemtype}->{'description'},
235                 count5 => $cnt % 4,
236             );
237     $selected = 0 if ($selected) ;
238     push @itemtypesloop, \%row;
239 }
240 $template->param(itemtypeloop => \@itemtypesloop);
241
242 # # load the itypes (Called item types in the template -- just authorized values for searching)
243 # my ($itypecount,@itype_loop) = GetCcodes();
244 # $template->param(itypeloop=>\@itype_loop,);
245
246 # load the languages ( for switching from one template to another )
247 # my @languages_options = displayLanguages($cgi);
248 # my $languages_count = @languages_options;
249 # if($languages_count > 1){
250 #         $template->param(languages => \@languages_options);
251 # }
252
253 # The following should only be loaded if we're bringing up the advanced search template
254 if ( $template_name eq "catalogue/advsearch.tmpl" ) {
255     # load the servers (used for searching -- to do federated searching, etc.)
256     my $primary_servers_loop;# = displayPrimaryServers();
257     $template->param(outer_servers_loop =>  $primary_servers_loop,);
258     
259     my $secondary_servers_loop;# = displaySecondaryServers();
260     $template->param(outer_sup_servers_loop => $secondary_servers_loop,);
261     
262     # load the limit types (icon-based limits in advanced search page)
263     my $outer_limit_types_loop = displayLimitTypes();
264     $template->param(outer_limit_types_loop =>  $outer_limit_types_loop,);
265     
266     # load the search indexes (what a user can choose to search by)
267     my $indexes = displayIndexes();
268     
269     # determine what to display next to the search boxes (ie, boolean option
270     # shouldn't appear on the first one, scan indexes should, adding a new
271     # box should only appear on the last, etc.
272     # FIXME: this stuff should be cleaned up a bit and the html should be turned
273     # into flags for the template -- I'll work on that soon -- JF
274     my @search_boxes_array;
275     my $search_boxes_count = 1; # should be a syspref
276     for (my $i=0;$i<=$search_boxes_count;$i++) {
277         my $this_index =[@$indexes]; # clone the data, not just the reference
278         #@$this_index[$i]->{selected} = "selected";
279         if ($i==0) {
280             push @search_boxes_array,
281                 {indexes => $this_index,
282                 search_boxes_label => 1,
283                 scan_index => 1,
284                 };
285         
286         }
287         elsif ($i==$search_boxes_count) {
288             push @search_boxes_array,
289                 {indexes => $indexes,
290                 add_field => "1",};
291         }
292         else {
293             push @search_boxes_array,
294                 {indexes => $indexes,};
295         }
296     }
297     $template->param(uc(C4::Context->preference("marcflavour")) => 1,
298                       search_boxes_loop => \@search_boxes_array);
299
300     # load the language limits (for search)
301     my $languages_limit_loop = getAllLanguages();
302     $template->param(search_languages_loop => $languages_limit_loop,);
303     
304     # load the subtype limits
305     my $outer_subtype_limits_loop = displaySubtypesLimit();
306     $template->param(outer_subtype_limits_loop => $outer_subtype_limits_loop,);
307     
308     my $expanded_options;
309     if (not defined $cgi->param('expanded_options')){
310         $expanded_options = C4::Context->preference("expandedSearchOption");
311     }
312     else {
313         $expanded_options = $cgi->param('expanded_options');
314     }
315     $template->param(expanded_options => $expanded_options);
316
317     # load the sort_by options for the template
318     my $sort_by = $cgi->param('sort_by');
319     my $sort_by_loop = displaySortby($sort_by);
320     $template->param(sort_by_loop => $sort_by_loop);
321
322     output_html_with_http_headers $cgi, $cookie, $template->output;
323     exit;
324 }
325
326 ### OK, if we're this far, we're performing an actual search
327
328 # Fetch the paramater list as a hash in scalar context:
329 #  * returns paramater list as tied hash ref
330 #  * we can edit the values by changing the key
331 #  * multivalued CGI paramaters are returned as a packaged string separated by "\0" (null)
332 my $params = $cgi->Vars;
333
334 # Params that can have more than one value
335 # sort by is used to sort the query
336 my @sort_by;
337 @sort_by = split("\0",$params->{'sort_by'}) if $params->{'sort_by'};
338 # load the sort_by options for the template
339 my $sort_by = $params->{'sort_by'};
340 my $sort_by_loop = displaySortby($sort_by);
341 $template->param(sort_by_loop => $sort_by_loop);
342 #
343 # Use the servers defined, or just search our local catalog(default)
344 my @servers;
345 @servers = split("\0",$params->{'server'}) if $params->{'server'};
346 unless (@servers) {
347     #FIXME: this should be handled using Context.pm
348     @servers = ("biblioserver");
349     # @servers = C4::Context->config("biblioserver");
350 }
351
352 # operators include boolean and proximity operators and are used
353 # to evaluate multiple operands
354 my @operators;
355 @operators = split("\0",$params->{'op'}) if $params->{'op'};
356
357 # indexes are query qualifiers, like 'title', 'author', etc. They
358 # can be simple or complex
359 my @indexes;
360 @indexes = split("\0",$params->{'idx'}) if $params->{'idx'};
361
362 # an operand can be a single term, a phrase, or a complete ccl query
363 my @operands;
364 @operands = split("\0",$params->{'q'}) if $params->{'q'};
365
366 # limits are use to limit to results to a pre-defined category such as branch or language
367 my @limits;
368 @limits = split("\0",$params->{'limit'}) if $params->{'limit'};
369
370 my $available;
371 foreach my $limit(@limits) {
372     if ($limit =~/available/) {
373         $available = 1;
374     }
375 }
376 $template->param(available => $available);
377 push @limits, map "yr:".$_, split("\0",$params->{'limit-yr'}) if $params->{'limit-yr'};
378
379 # Params that can only have one value
380 my $query = $params->{'q'};
381 my $scan = $params->{'scan'};
382 my $results_per_page = $params->{'count'} || 20;
383 my $offset = $params->{'offset'} || 0;
384 my $hits;
385 my $expanded_facet = $params->{'expand'};
386
387 # Define some global variables
388 my $error; # used for error handling
389 my $search_desc; # the query expressed in terms that humans understand
390 my $koha_query; # the query expressed in terms that zoom understands with field weighting and stemming
391 my $federated_query;
392 my $query_type; # usually not needed, but can be used to trigger ccl, cql, or pqf queries if set
393 my @results;
394 ## I. BUILD THE QUERY
395 ($error,$search_desc,$koha_query,$federated_query,$query_type) = buildQuery($query,\@operators,\@operands,\@indexes,\@limits);
396
397 ## II. DO THE SEARCH AND GET THE RESULTS
398 my $total; # the total results for the whole set
399 my $facets; # this object stores the faceted results that display on the left-hand of the results page
400 my @results_array;
401 my $results_hashref;
402
403 if (C4::Context->preference('NoZebra')) {
404     eval {
405         ($error, $results_hashref, $facets) = NZgetRecords($koha_query,$federated_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
406     };
407 } else {
408     eval {
409         ($error, $results_hashref, $facets) = getRecords($koha_query,$federated_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
410     };
411 }
412 if ($@ || $error) {
413     $template->param(query_error => $error.$@);
414
415     output_html_with_http_headers $cgi, $cookie, $template->output;
416     exit;
417 }
418 my $op=$cgi->param("operation");
419 if ($op eq "bulkedit"){
420         my ($countchanged,$listunchanged)=
421           EditBiblios($results_hashref->{'biblioserver'}->{"RECORDS"},
422                       $params->{"tagsubfield"},
423                       $params->{"inputvalue"},
424                       $params->{"targetvalue"},
425                       $params->{"test"}
426                       );
427         $template->param(bulkeditresults=>1,
428                       tagsubfield=>$params->{"tagsubfield"},
429                       inputvalue=>$params->{"inputvalue"},
430                       targetvalue=>$params->{"targetvalue"},
431                       countchanged=>$countchanged,
432                       countunchanged=>scalar(@$listunchanged),
433                       listunchanged=>$listunchanged);
434 }
435
436 if (C4::Context->userenv->{'flags'}==1 ||(C4::Context->userenv->{'flags'} & ( 2**9 ) )){
437 #Edit Catalogue Permissions
438   $template->param(bulkedit => 1);
439   $template->param(tagsubfields=>GetManagedTagSubfields());
440 }
441 # At this point, each server has given us a result set
442 # now we build that set for template display
443 my @sup_results_array;
444 for (my $i=0;$i<=@servers;$i++) {
445     my $server = $servers[$i];
446     if ($server =~/biblioserver/) { # this is the local bibliographic server
447         $hits = $results_hashref->{$server}->{"hits"};
448         my @newresults = searchResults( $search_desc,$hits,$results_per_page,$offset,@{$results_hashref->{$server}->{"RECORDS"}});
449         $total = $total + $results_hashref->{$server}->{"hits"};
450         if ($hits) {
451             $template->param(total => $hits);
452             $template->param(searchdesc => ($query_type?"$query_type=":"")."$search_desc" );
453             $template->param(results_per_page =>  $results_per_page);
454             $template->param(SEARCH_RESULTS => \@newresults);
455
456             my @page_numbers;
457             my $pages = ceil($hits / $results_per_page);
458             my $current_page_number = 1;
459             $current_page_number = ($offset / $results_per_page + 1) if $offset;
460             my $previous_page_offset = $offset - $results_per_page unless ($offset - $results_per_page <0);
461             my $next_page_offset = $offset + $results_per_page;
462             for (my $j=1; $j<=$pages;$j++) {
463                 my $this_offset = (($j*$results_per_page)-$results_per_page);
464                 my $this_page_number = $j;
465                 my $highlight = 1 if ($this_page_number == $current_page_number);
466                 if ($this_page_number <= $pages) {
467                 push @page_numbers, { offset => $this_offset, pg => $this_page_number, highlight => $highlight, sort_by => join " ",@sort_by };
468                 }
469             }
470             $template->param(PAGE_NUMBERS => \@page_numbers,
471                             previous_page_offset => $previous_page_offset,
472                             next_page_offset => $next_page_offset) unless $pages < 2;
473         }
474     } # end of the if local
475     else {
476         # check if it's a z3950 or opensearch source
477         my $zed3950 = 0;  # FIXME :: Hardcoded value.
478         if ($zed3950) {
479             my @inner_sup_results_array;
480             for my $sup_record ( @{$results_hashref->{$server}->{"RECORDS"}} ) {
481                 my $marc_record_object = MARC::Record->new_from_usmarc($sup_record);
482                 my $control_number = $marc_record_object->field('010')->subfield('a') if $marc_record_object->field('010');
483                 $control_number =~ s/^ //g;
484                 my $link = "http://catalog.loc.gov/cgi-bin/Pwebrecon.cgi?SAB1=".$control_number."&BOOL1=all+of+these&FLD1=LC+Control+Number+LCCN+%28K010%29+%28K010%29&GRP1=AND+with+next+set&SAB2=&BOOL2=all+of+these&FLD2=Keyword+Anywhere+%28GKEY%29+%28GKEY%29&PID=6211&SEQ=20060816121838&CNT=25&HIST=1";
485                 my $title = $marc_record_object->title();
486                 push @inner_sup_results_array, {
487                     'title' => $title,
488                     'link' => $link,
489                 };
490             }
491             my $servername = $server;
492             push @sup_results_array, { servername => $servername, inner_sup_results_loop => \@inner_sup_results_array};
493             $template->param(outer_sup_results_loop => \@sup_results_array);
494         }
495     }
496
497 } #/end of the for loop
498 #$template->param(FEDERATED_RESULTS => \@results_array);
499
500
501 $template->param(
502             #classlist => $classlist,
503             total => $total,
504             searchdesc => ($query_type?"$query_type=":"")."$search_desc",
505             opacfacets => 1,
506             facets_loop => $facets,
507             suggestion => C4::Context->preference("suggestion"),
508             virtualshelves => C4::Context->preference("virtualshelves"),
509             LibraryName => C4::Context->preference("LibraryName"),
510             OpacNav => C4::Context->preference("OpacNav"),
511             opaccredits => C4::Context->preference("opaccredits"),
512             AmazonContent => C4::Context->preference("AmazonContent"),
513             opacsmallimage => C4::Context->preference("opacsmallimage"),
514             opaclayoutstylesheet => C4::Context->preference("opaclayoutstylesheet"),
515             opaccolorstylesheet => C4::Context->preference("opaccolorstylesheet"),
516             "BiblioDefaultView".C4::Context->preference("BiblioDefaultView") => 1,
517             scan_use => $scan,
518             search_error => $error,
519 );
520 ## Now let's find out if we have any supplemental data to show the user
521 #  and in the meantime, save the current query for statistical purposes, etc.
522 my $koha_spsuggest; # a flag to tell if we've got suggestions coming from Koha
523 my @koha_spsuggest; # place we store the suggestions to be returned to the template as LOOP
524 my $phrases = $search_desc;
525 my $ipaddress;
526
527 if ( C4::Context->preference("kohaspsuggest") ) {
528         eval {
529             my $koha_spsuggest_dbh;
530             # FIXME: this needs to be moved to Context.pm
531             eval {
532                 $koha_spsuggest_dbh=DBI->connect("DBI:mysql:suggest:66.213.78.76","auth","Free2cirC");
533             };
534             if ($@) { 
535                 warn "can't connect to spsuggest db";
536             }
537             else {
538                 my $koha_spsuggest_insert = "INSERT INTO phrase_log(phr_phrase,phr_resultcount,phr_ip) VALUES(?,?,?)";
539                 my $koha_spsuggest_query = "SELECT display FROM distincts WHERE strcmp(soundex(suggestion), soundex(?)) = 0 order by soundex(suggestion) limit 0,5";
540                 my $koha_spsuggest_sth = $koha_spsuggest_dbh->prepare($koha_spsuggest_query);
541                 $koha_spsuggest_sth->execute($phrases);
542                 while (my $spsuggestion = $koha_spsuggest_sth->fetchrow_array) {
543                     $spsuggestion =~ s/(:|\/)//g;
544                     my %line;
545                     $line{spsuggestion} = $spsuggestion;
546                     push @koha_spsuggest,\%line;
547                     $koha_spsuggest = 1;
548                 }
549
550                 # Now save the current query
551                 $koha_spsuggest_sth=$koha_spsuggest_dbh->prepare($koha_spsuggest_insert);
552                 #$koha_spsuggest_sth->execute($phrases,$results_per_page,$ipaddress);
553                 $koha_spsuggest_sth->finish;
554
555                 $template->param( koha_spsuggest => $koha_spsuggest ) unless $hits;
556                 $template->param( SPELL_SUGGEST => \@koha_spsuggest,
557                 );
558             }
559     };
560     if ($@) {
561             warn "Kohaspsuggest failure:".$@;
562     }
563 }
564
565 # VI. BUILD THE TEMPLATE
566 output_html_with_http_headers $cgi, $cookie, $template->output;