catalogue/search.pl

   1 #!/usr/bin/perl
   2 # Script to perform searching
   3 # For documentation try 'perldoc /path/to/search'
   4 #
   5 # $Header$
   6 #
   7 # Copyright 2006 LibLime
   8 #
   9 # This file is part of Koha
  10 #
  11 # Koha is free software; you can redistribute it and/or modify it under the
  12 # terms of the GNU General Public License as published by the Free Software
  13 # Foundation; either version 2 of the License, or (at your option) any later
  14 # version.
  15 #
  16 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  17 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  18 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  19 #
  20 # You should have received a copy of the GNU General Public License along with
  21 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
  22 # Suite 330, Boston, MA  02111-1307 USA
  23
  24 =head1 NAME
  25
  26 search - a search script for finding records in a Koha system (Version 3.0)
  27
  28 =head1 OVERVIEW
  29
  30 This script contains a new search API for Koha 3.0. It is designed to be
  31 simple to use and configure, yet capable of performing feats like stemming,
  32 field weighting, relevance ranking, support for multiple  query language
  33 formats (CCL, CQL, PQF), full or nearly full support for the
  34 bib1 attribute set, extended attribute sets defined in Zebra profiles, access
  35 to the full range of Z39.50 query options, federated searches on Z39.50
  36 targets, etc.
  37
  38 I believe the API as represented in this script is mostly sound, even if the
  39 individual functions in Search.pm and Koha.pm need to be cleaned up. Of course,
  40 you are free to disagree :-)
  41
  42 I will attempt to describe what is happening at each part of this script.
  43 -- JF
  44
  45 =head2 INTRO
  46
  47 This script performs two functions:
  48
  49 =over
  50
  51 =item 1. interacts with Koha to retrieve and display the results of a search
  52
  53 =item 2. loads the advanced search page
  54
  55 =back
  56
  57 These two functions share many of the same variables and modules, so the first
  58 task is to load what they have in common and determine which template to use.
  59 Once determined, proceed to only load the variables and procedures necessary
  60 for that function.
  61
  62 =head2 THE ADVANCED SEARCH PAGE
  63
  64 If we're loading the advanced search page this script will call a number of
  65 display* routines which populate objects that are sent to the template for
  66 display of things like search indexes, languages, search limits, branches,
  67 etc. These are not stored in the template for two reasons:
  68
  69 =over
  70
  71 =item 1. Efficiency - we have more control over objects inside the script,
  72 and it's possible to not duplicate things like indexes (if the search indexes
  73 were stored in the template they would need to be repeated)
  74
  75 =item 2. Customization - if these elements were moved to the sql database it
  76 would allow a simple librarian to determine which fields to display on the page
  77 without editing any html (also how the fields should behave when being searched).
  78
  79 =back
  80
  81 However, they create one problem : the strings aren't translated. I have an idea
  82 for how to do this that I will purusue soon.
  83
  84 =head2 PERFORMING A SEARCH
  85
  86 If we're performing a search, this script  performs three primary
  87 operations:
  88
  89 =over
  90
  91 =item 1. builds query strings (yes, plural)
  92
  93 =item 2. perform the search and return the results array
  94
  95 =item 3. build the HTML for output to the template
  96
  97 =back
  98
  99 There are several additional secondary functions performed that I will
 100 not cover in detail.
 101
 102 =head3 1. Building Query Strings
 103
 104 There are several types of queries needed in the process of search and retrieve:
 105
 106 =over
 107
 108 =item 1 Koha query - the query that is passed to Zebra
 109
 110 This is the most complex query that needs to be built. The original design goal
 111 was to use a custom CCL2PQF query parser to translate an incoming CCL query into
 112 a multi-leaf query to pass to Zebra. It needs to be multi-leaf to allow field
 113 weighting, koha-specific relevance ranking, and stemming. When I have a chance
 114 I'll try to flesh out this section to better explain.
 115
 116 This query incorporates query profiles that aren't compatible with non-Zebra
 117 Z39.50 targets to acomplish the field weighting and relevance ranking.
 118
 119 =item 2 Federated query - the query that is passed to other Z39.50 targets
 120
 121 This query is just the user's query expressed in CCL CQL, or PQF for passing to a
 122 non-zebra Z39.50 target (one that doesn't support the extended profile that Zebra does).
 123
 124 =item 3 Search description - passed to the template / saved for future refinements of
 125 the query (by user)
 126
 127 This is a simple string that completely expresses the query in a way that can be parsed
 128 by Koha for future refinements of the query or as a part of a history feature. It differs
 129 from the human search description:
 130
 131 1. it does not contain commas or = signs
 132
 133 =item 4 Human search description - what the user sees in the search_desc area
 134
 135 This is a simple string nearly identical to the Search description, but more human
 136 readable. It will contain = signs or commas, etc.
 137
 138 =back
 139
 140 =head3 2. Perform the Search
 141
 142 This section takes the query strings and performs searches on the named servers, including
 143 the Koha Zebra server, stores the results in a deeply nested object, builds 'faceted results',
 144 and returns these objects.
 145
 146 =head3 3. Build HTML
 147
 148 The final major section of this script takes the objects collected thusfar and builds the
 149 HTML for output to the template and user.
 150
 151 =head3 Additional Notes
 152
 153 Not yet completed...
 154
 155 =cut
 156
 157 use strict;            # always use
 158
 159 ## STEP 1. Load things that are used in both search page and
 160 # results page and decide which template to load, operations
 161 # to perform, etc.
 162 ## load Koha modules
 163 use C4::Context;
 164 use C4::Output;
 165 use C4::Auth;
 166 use C4::Search;
 167 use C4::Languages; # getAllLanguages
 168 use C4::Koha;
 169 use POSIX qw(ceil floor);
 170 use C4::Branch; # GetBranches
 171 # create a new CGI object
 172 # not sure undef_params option is working, need to test
 173 use CGI qw('-no_undef_params');
 174 my $cgi = new CGI;
 175
 176 my ($template,$borrowernumber,$cookie);
 177
 178 # decide which template to use
 179 my $template_name;
 180 my $template_type;
 181 my @params = $cgi->param("limit");
 182 if ((@params>=1) || ($cgi->param("q")) || ($cgi->param('multibranchlimit')) || ($cgi->param('limit-yr')) ) {
 183     $template_name = 'catalogue/results.tmpl';
 184 }
 185 else {
 186         # use a UNIMARC-specific template if UNIMARC
 187         if (C4::Context->preference("marcflavour") eq "UNIMARC" ) {
 188         $template_name = 'catalogue/advsearch_unimarc.tmpl';
 189         }
 190         else {
 191     $template_name = 'catalogue/advsearch.tmpl';
 192         }
 193         $template_type = 'advsearch';
 194 }
 195 # load the template
 196 ($template, $borrowernumber, $cookie) = get_template_and_user({
 197     template_name => $template_name,
 198     query => $cgi,
 199     type => "intranet",
 200     authnotrequired => 0,
 201     flagsrequired   => { catalogue => 1 },
 202     }
 203 );
 204
 205 =head1 BUGS and FIXMEs
 206
 207 There are many, most are documented in the code. The one that
 208 isn't fully documented, but referred to is the need for a full
 209 query parser.
 210
 211 =cut
 212
 213 ## URI Re-Writing
 214 # Deprecated, but preserved because it's interesting :-)
 215 #my $rewrite_flag;
 216 #my $uri = $cgi->url(-base => 1);
 217 #my $relative_url = $cgi->url(-relative=>1);
 218 #$uri.="/".$relative_url."?";
 219 #warn "URI:$uri";
 220 #my @cgi_params_list = $cgi->param();
 221 #my $url_params = $cgi->Vars;
 222 #
 223 #for my $each_param_set (@cgi_params_list) {
 224 #    $uri.= join "",  map "\&$each_param_set=".$_, split("\0",$url_params->{$each_param_set}) if $url_params->{$each_param_set};
 225 #}
 226 #warn "New URI:$uri";
 227 # Only re-write a URI if there are params or if it already hasn't been re-written
 228 #unless (($cgi->param('r')) || (!$cgi->param()) ) {
 229 #    print $cgi->redirect(     -uri=>$uri."&r=1",
 230 #                            -cookie => $cookie);
 231 #    exit;
 232 #}
 233
 234 # load the branches
 235 my $branches = GetBranches();
 236 my @branch_loop;
 237 #push @branch_loop, {value => "", branchname => "All Branches", };
 238 for my $branch_hash (sort keys %$branches) {
 239     push @branch_loop, {value => "$branch_hash" , branchname => $branches->{$branch_hash}->{'branchname'}, };
 240 }
 241
 242 my $categories = GetBranchCategories(undef,'searchdomain');
 243
 244 $template->param(branchloop => \@branch_loop, searchdomainloop => $categories);
 245
 246 # load the itemtypes
 247 my $itemtypes = GetItemTypes;
 248 my @itemtypesloop;
 249 my $selected=1;
 250 my $cnt;
 251 my $imgdir = getitemtypeimagesrc();
 252 foreach my $thisitemtype ( sort {$itemtypes->{$a}->{'description'} cmp $itemtypes->{$b}->{'description'} } keys %$itemtypes ) {
 253     my %row =(  number=>$cnt++,
 254                 imageurl=> $itemtypes->{$thisitemtype}->{'imageurl'}?($imgdir."/".$itemtypes->{$thisitemtype}->{'imageurl'}):"",
 255                 code => $thisitemtype,
 256                 selected => $selected,
 257                 description => $itemtypes->{$thisitemtype}->{'description'},
 258                 count5 => $cnt % 4,
 259             );
 260     $selected = 0 if ($selected) ;
 261     push @itemtypesloop, \%row;
 262 }
 263 $template->param(itemtypeloop => \@itemtypesloop);
 264
 265 # # load the itypes (Called item types in the template -- just authorized values for searching)
 266 # my ($itypecount,@itype_loop) = GetCcodes();
 267 # $template->param(itypeloop=>\@itype_loop,);
 268
 269 # load the languages ( for switching from one template to another )
 270 $template->param(languages_loop => getTranslatedLanguages('intranet','prog'));
 271
 272 # The following should only be loaded if we're bringing up the advanced search template
 273 if ( $template_type eq 'advsearch' ) {
 274     # load the servers (used for searching -- to do federated searching, etc.)
 275     my $primary_servers_loop;# = displayPrimaryServers();
 276     $template->param(outer_servers_loop =>  $primary_servers_loop,);
 277
 278     my $secondary_servers_loop;# = displaySecondaryServers();
 279     $template->param(outer_sup_servers_loop => $secondary_servers_loop,);
 280
 281     # determine what to display next to the search boxes (ie, boolean option
 282     # shouldn't appear on the first one, scan indexes should, adding a new
 283     # box should only appear on the last, etc.
 284     my @search_boxes_array;
 285     my $search_boxes_count = C4::Context->preference("OPACAdvSearchInputCount") | 3; # FIXME: should be a syspref
 286     for (my $i=1;$i<=$search_boxes_count;$i++) {
 287                 # if it's the first one, don't display boolean option, but show scan indexes
 288         if ($i==1) {
 289             push @search_boxes_array,
 290                 {
 291                 scan_index => 1,
 292                 };
 293
 294         }
 295                 # if it's the last one, show the 'add field' box
 296         elsif ($i==$search_boxes_count) {
 297             push @search_boxes_array,
 298                 {
 299                                 boolean => 1,
 300                 add_field => 1,
 301                                 };
 302         }
 303                 else {
 304                         push @search_boxes_array,
 305                                 {
 306                                 boolean => 1,
 307                                 };
 308                 }
 309
 310     }
 311     $template->param(uc(C4::Context->preference("marcflavour")) => 1,
 312                       search_boxes_loop => \@search_boxes_array);
 313
 314     # load the language limits (for search)
 315     my $languages_limit_loop = getAllLanguages();
 316     $template->param(search_languages_loop => $languages_limit_loop,);
 317
 318         # use the global setting by default
 319         if ( C4::Context->preference("expandedSearchOption") == 1) {
 320                 $template->param( expanded_options => C4::Context->preference("expandedSearchOption") );
 321         }
 322         # but let the user override it
 323         if ( ($cgi->param('expanded_options') == 0) || ($cgi->param('expanded_options') == 1 ) ) {
 324         $template->param( expanded_options => $cgi->param('expanded_options'));
 325         }
 326
 327     # load the sort_by options for the template
 328     my $sort_by = $cgi->param('sort_by');
 329
 330     output_html_with_http_headers $cgi, $cookie, $template->output;
 331     exit;
 332 }
 333
 334 ### OK, if we're this far, we're performing an actual search
 335
 336 # Fetch the paramater list as a hash in scalar context:
 337 #  * returns paramater list as tied hash ref
 338 #  * we can edit the values by changing the key
 339 #  * multivalued CGI paramaters are returned as a packaged string separated by "\0" (null)
 340 my $params = $cgi->Vars;
 341
 342 # Params that can have more than one value
 343 # sort by is used to sort the query
 344 my @sort_by;
 345 @sort_by = split("\0",$params->{'sort_by'}) if $params->{'sort_by'};
 346
 347 # FIXME: this is a quick hack
 348 foreach my $sort (@sort_by) {
 349         $template->param($sort => 1);
 350 }
 351
 352 # Use the servers defined, or just search our local catalog(default)
 353 my @servers;
 354 @servers = split("\0",$params->{'server'}) if $params->{'server'};
 355 unless (@servers) {
 356     #FIXME: this should be handled using Context.pm
 357     @servers = ("biblioserver");
 358     # @servers = C4::Context->config("biblioserver");
 359 }
 360
 361 # operators include boolean and proximity operators and are used
 362 # to evaluate multiple operands
 363 my @operators;
 364 @operators = split("\0",$params->{'op'}) if $params->{'op'};
 365
 366 # indexes are query qualifiers, like 'title', 'author', etc. They
 367 # can be simple or complex
 368 my @indexes;
 369 @indexes = split("\0",$params->{'idx'});
 370
 371 # an operand can be a single term, a phrase, or a complete ccl query
 372 my @operands;
 373 @operands = split("\0",$params->{'q'}) if $params->{'q'};
 374
 375 # limits are use to limit to results to a pre-defined category such as branch or language
 376 my @limits;
 377 @limits = split("\0",$params->{'limit'}) if $params->{'limit'};
 378
 379 if($params->{'multibranchlimit'}) {
 380 push @limits, join(" or ", map { "homebranch: $_ "}  @{GetBranchesInCategory($params->{'multibranchlimit'})}) ;
 381 }
 382
 383 my $available;
 384 foreach my $limit(@limits) {
 385     if ($limit =~/available/) {
 386         $available = 1;
 387     }
 388 }
 389 $template->param(available => $available);
 390 push @limits, map "yr:".$_, split("\0",$params->{'limit-yr'}) if $params->{'limit-yr'};
 391
 392 # Params that can only have one value
 393 my $query = $params->{'q'};
 394 my $scan = $params->{'scan'};
 395 my $results_per_page = $params->{'count'} || 20;
 396 my $page = $cgi->param('page') || 1;
 397 my $offset = ($page-1)*$results_per_page;
 398 my $hits;
 399 my $expanded_facet = $params->{'expand'};
 400
 401 # Define some global variables
 402 my $error; # used for error handling
 403 my $search_desc; # the query expressed in terms that humans understand
 404 my $koha_query; # the query expressed in terms that zoom understands with field weighting and stemming
 405 my $federated_query;
 406 my $query_type; # usually not needed, but can be used to trigger ccl, cql, or pqf queries if set
 407 my @results;
 408 ## I. BUILD THE QUERY
 409 ($error,$search_desc,$koha_query,$federated_query,$query_type) = buildQuery($query,\@operators,\@operands,\@indexes,\@limits);
 410
 411 ## II. DO THE SEARCH AND GET THE RESULTS
 412 my $total; # the total results for the whole set
 413 my $facets; # this object stores the faceted results that display on the left-hand of the results page
 414 my @results_array;
 415 my $results_hashref;
 416
 417 if (C4::Context->preference('NoZebra')) {
 418     eval {
 419         ($error, $results_hashref, $facets) = NZgetRecords($koha_query,$federated_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
 420     };
 421 } else {
 422     eval {
 423         ($error, $results_hashref, $facets) = getRecords($koha_query,$federated_query,\@sort_by,\@servers,$results_per_page,$offset,$expanded_facet,$branches,$query_type,$scan);
 424     };
 425 }
 426 if ($@ || $error) {
 427     $template->param(query_error => $error.$@);
 428
 429     output_html_with_http_headers $cgi, $cookie, $template->output;
 430     exit;
 431 }
 432
 433 # FIXME: This belongs in tools/ not in the primary search results page
 434 my $op=$cgi->param("operation");
 435 if ($op eq "bulkedit"){
 436         my ($countchanged,$listunchanged)=
 437         ModBiblios($results_hashref->{'biblioserver'}->{"RECORDS"},
 438                       $params->{"tagsubfield"},
 439                       $params->{"inputvalue"},
 440                       $params->{"targetvalue"},
 441                       $params->{"test"}
 442                       );
 443         $template->param(bulkeditresults=>1,
 444                       tagsubfield=>$params->{"tagsubfield"},
 445                       inputvalue=>$params->{"inputvalue"},
 446                       targetvalue=>$params->{"targetvalue"},
 447                       countchanged=>$countchanged,
 448                       countunchanged=>scalar(@$listunchanged),
 449                       listunchanged=>$listunchanged);
 450
 451         if (C4::Context->userenv->{'flags'}==1 ||(C4::Context->userenv->{'flags'} & ( 2**9 ) )){
 452         #Edit Catalogue Permissions
 453                 $template->param(bulkedit => 1);
 454                 $template->param(tagsubfields=>GetManagedTagSubfields());
 455         }
 456 }
 457 # At this point, each server has given us a result set
 458 # now we build that set for template display
 459 my @sup_results_array;
 460 for (my $i=0;$i<=@servers;$i++) {
 461     my $server = $servers[$i];
 462     if ($server =~/biblioserver/) { # this is the local bibliographic server
 463         $hits = $results_hashref->{$server}->{"hits"};
 464         my $page = $cgi->param('page') || 0;
 465         my @newresults = searchResults( $search_desc,$hits,$results_per_page,$offset,@{$results_hashref->{$server}->{"RECORDS"}});
 466         $total = $total + $results_hashref->{$server}->{"hits"};
 467         if ($hits) {
 468             $template->param(total => $hits);
 469             $template->param(searchdesc => ($query_type?"$query_type=":"")."$search_desc" );
 470             $template->param(results_per_page =>  $results_per_page);
 471             $template->param(SEARCH_RESULTS => \@newresults);
 472
 473 #             my @page_numbers;
 474 #             my $pages = ceil($hits / $results_per_page);
 475 #             my $previous_page_offset = $offset - $results_per_page unless ($offset - $results_per_page <0);
 476 #             my $next_page_offset = $offset + $results_per_page;
 477 #             for (my $j=1; $j<=$pages;$j++) {
 478 #                 my $this_offset = (($j*$results_per_page)-$results_per_page);
 479 #                 my $this_page_number = $j;
 480 #                 my $highlight = 1 if ($this_page_number == $current_page_number);
 481 #                 if ($this_page_number <= $pages) {
 482 #                 push @page_numbers, { offset => $this_offset, pg => $this_page_number, highlight => $highlight, sort_by => join " ",@sort_by };
 483 #                 }
 484 #             }
 485 #             $template->param(PAGE_NUMBERS => \@page_numbers,
 486 #                             previous_page_offset => $previous_page_offset,
 487 #                             next_page_offset => $next_page_offset) unless $pages < 2;
 488       my $link="/cgi-bin/koha/catalogue/search.pl?q=$search_desc&";
 489       foreach my $sort (@sort_by){
 490         $link.="&sort_by=".$sort."&";
 491       }
 492                         $template->param(
 493                                 pagination_bar => pagination_bar(
 494                         $link,
 495                         getnbpages($hits, $results_per_page),
 496                         $page,
 497                         'page'
 498                                 ),
 499                         );
 500          }
 501     } # end of the if local
 502     else {
 503         # check if it's a z3950 or opensearch source
 504         my $zed3950 = 0;  # FIXME :: Hardcoded value.
 505         if ($zed3950) {
 506             my @inner_sup_results_array;
 507             for my $sup_record ( @{$results_hashref->{$server}->{"RECORDS"}} ) {
 508                 my $marc_record_object = MARC::Record->new_from_usmarc($sup_record);
 509                 my $control_number = $marc_record_object->field('010')->subfield('a') if $marc_record_object->field('010');
 510                 $control_number =~ s/^ //g;
 511                 my $link = "http://catalog.loc.gov/cgi-bin/Pwebrecon.cgi?SAB1=".$control_number."&BOOL1=all+of+these&FLD1=LC+Control+Number+LCCN+%28K010%29+%28K010%29&GRP1=AND+with+next+set&SAB2=&BOOL2=all+of+these&FLD2=Keyword+Anywhere+%28GKEY%29+%28GKEY%29&PID=6211&SEQ=20060816121838&CNT=25&HIST=1";
 512                 my $title = $marc_record_object->title();
 513                 push @inner_sup_results_array, {
 514                     'title' => $title,
 515                     'link' => $link,
 516                 };
 517             }
 518             my $servername = $server;
 519             push @sup_results_array, { servername => $servername, inner_sup_results_loop => \@inner_sup_results_array};
 520             $template->param(outer_sup_results_loop => \@sup_results_array);
 521         }
 522     }
 523
 524 } #/end of the for loop
 525 #$template->param(FEDERATED_RESULTS => \@results_array);
 526
 527
 528 $template->param(
 529             #classlist => $classlist,
 530             total => $total,
 531             searchdesc => ($query_type?"$query_type=":"")."$search_desc",
 532             opacfacets => 1,
 533             facets_loop => $facets,
 534             scan_use => $scan,
 535             search_error => $error,
 536 );
 537 ## Now let's find out if we have any supplemental data to show the user
 538 #  and in the meantime, save the current query for statistical purposes, etc.
 539 my $koha_spsuggest; # a flag to tell if we've got suggestions coming from Koha
 540 my @koha_spsuggest; # place we store the suggestions to be returned to the template as LOOP
 541 my $phrases = $search_desc;
 542 my $ipaddress;
 543
 544 if ( C4::Context->preference("kohaspsuggest") ) {
 545                 my ($suggest_host, $suggest_dbname, $suggest_user, $suggest_pwd) = split(':', C4::Context->preference("kohaspsuggest"));
 546         eval {
 547             my $koha_spsuggest_dbh;
 548             # FIXME: this needs to be moved to Context.pm
 549             eval {
 550                 $koha_spsuggest_dbh=DBI->connect("DBI:mysql:$suggest_dbname:$suggest_host","$suggest_user","$suggest_pwd");
 551             };
 552             if ($@) {
 553                 warn "can't connect to spsuggest db";
 554             }
 555             else {
 556                 my $koha_spsuggest_insert = "INSERT INTO phrase_log(phr_phrase,phr_resultcount,phr_ip) VALUES(?,?,?)";
 557                 my $koha_spsuggest_query = "SELECT display FROM distincts WHERE strcmp(soundex(suggestion), soundex(?)) = 0 order by soundex(suggestion) limit 0,5";
 558                 my $koha_spsuggest_sth = $koha_spsuggest_dbh->prepare($koha_spsuggest_query);
 559                 $koha_spsuggest_sth->execute($phrases);
 560                 while (my $spsuggestion = $koha_spsuggest_sth->fetchrow_array) {
 561                     $spsuggestion =~ s/(:|\/)//g;
 562                     my %line;
 563                     $line{spsuggestion} = $spsuggestion;
 564                     push @koha_spsuggest,\%line;
 565                     $koha_spsuggest = 1;
 566                 }
 567
 568                 # Now save the current query
 569                 $koha_spsuggest_sth=$koha_spsuggest_dbh->prepare($koha_spsuggest_insert);
 570                 #$koha_spsuggest_sth->execute($phrases,$results_per_page,$ipaddress);
 571                 $koha_spsuggest_sth->finish;
 572
 573                 $template->param( koha_spsuggest => $koha_spsuggest ) unless $hits;
 574                 $template->param( SPELL_SUGGEST => \@koha_spsuggest,
 575                 );
 576             }
 577     };
 578     if ($@) {
 579             warn "Kohaspsuggest failure:".$@;
 580     }
 581 }
 582
 583 # VI. BUILD THE TEMPLATE
 584 output_html_with_http_headers $cgi, $cookie, $template->output;