Koha/SearchEngine/Elasticsearch/Search.pm

   1 package Koha::SearchEngine::Elasticsearch::Search;
   2
   3 # Copyright 2014 Catalyst IT
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it under the
   8 # terms of the GNU General Public License as published by the Free Software
   9 # Foundation; either version 3 of the License, or (at your option) any later
  10 # version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  13 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  14 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License along
  17 # with Koha; if not, write to the Free Software Foundation, Inc.,
  18 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  19
  20 =head1 NAME
  21
  22 Koha::SearchEngine::ElasticSearch::Search - search functions for Elasticsearch
  23
  24 =head1 SYNOPSIS
  25
  26     my $searcher = Koha::SearchEngine::ElasticSearch::Search->new();
  27     my $builder = Koha::SearchEngine::Elasticsearch::QueryBuilder->new();
  28     my $query = $builder->build_query('perl');
  29     my $results = $searcher->search($query);
  30     print "There were " . $results->total . " results.\n";
  31     $results->each(sub {
  32         push @hits, @_[0];
  33     });
  34
  35 =head1 METHODS
  36
  37 =cut
  38
  39 use base qw(Koha::ElasticSearch);
  40 use Koha::ItemTypes;
  41
  42 use Catmandu::Store::ElasticSearch;
  43
  44 use Data::Dumper; #TODO remove
  45 use Carp qw(cluck);
  46
  47 Koha::SearchEngine::Elasticsearch::Search->mk_accessors(qw( store ));
  48
  49 =head2 search
  50
  51     my $results = $searcher->search($query, $page, $count, %options);
  52
  53 Run a search using the query. It'll return C<$count> results, starting at page
  54 C<$page> (C<$page> counts from 1, anything less that, or C<undef> becomes 1.)
  55 C<$count> is also the number of entries on a page.
  56
  57 C<%options> is a hash containing extra options:
  58
  59 =over 4
  60
  61 =item offset
  62
  63 If provided, this overrides the C<$page> value, and specifies the record as
  64 an offset (i.e. the number of the record to start with), rather than a page.
  65
  66 =back
  67
  68 Returns
  69
  70 =cut
  71
  72 sub search {
  73     my ($self, $query, $page, $count, %options) = @_;
  74
  75     my $params = $self->get_elasticsearch_params();
  76     my %paging;
  77     # 20 is the default number of results per page
  78     $paging{limit} = $count || 20;
  79     # ES/Catmandu doesn't want pages, it wants a record to start from.
  80     if (exists $options{offset}) {
  81         $paging{start} = $options{offset};
  82     } else {
  83         $page = (!defined($page) || ($page <= 0)) ? 0 : $page - 1;
  84         $paging{start} = $page * $paging{limit};
  85     }
  86     $self->store(
  87         Catmandu::Store::ElasticSearch->new(
  88             %$params,
  89             trace_calls => 1,
  90         )
  91     );
  92     my $results = $self->store->bag->search( %$query, %paging );
  93     return $results;
  94 }
  95
  96 =head2 search_compat
  97
  98     my ( $error, $results, $facets ) = $search->search_compat(
  99         $query,            $simple_query, \@sort_by,       \@servers,
 100         $results_per_page, $offset,       $expanded_facet, $branches,
 101         $query_type,       $scan
 102       )
 103
 104 A search interface somewhat compatible with L<C4::Search->getRecords>. Anything
 105 that is returned in the query created by build_query_compat will probably
 106 get ignored here.
 107
 108 =cut
 109
 110 sub search_compat {
 111     my (
 112         $self,     $query,            $simple_query, $sort_by,
 113         $servers,  $results_per_page, $offset,       $expanded_facet,
 114         $branches, $query_type,       $scan
 115     ) = @_;
 116
 117     my %options;
 118     $options{offset} = $offset;
 119     my $results = $self->search($query, undef, $results_per_page, %options);
 120
 121     # Convert each result into a MARC::Record
 122     my (@records, $index);
 123     $index = $offset; # opac-search expects results to be put in the
 124         # right place in the array, according to $offset
 125     $results->each(sub {
 126             # The results come in an array for some reason
 127             my $marc_json = @_[0]->{record};
 128             my $marc = $self->json2marc($marc_json);
 129             $records[$index++] = $marc;
 130         });
 131     # consumers of this expect a name-spaced result, we provide the default
 132     # configuration.
 133     my %result;
 134     $result{biblioserver}{hits} = $results->total;
 135     $result{biblioserver}{RECORDS} = \@records;
 136     return (undef, \%result, $self->_convert_facets($results->{facets}));
 137 }
 138
 139 =head2 search_auth_compat
 140
 141     my ( $results, $total ) =
 142       $searcher->search_auth_compat( $query, $page, $count, %options );
 143
 144 This has a similar calling convention to L<search>, however it returns its
 145 results in a form the same as L<C4::AuthoritiesMarc::SearchAuthorities>.
 146
 147 =cut
 148
 149 sub search_auth_compat {
 150     my $self = shift;
 151
 152     my $database = Koha::Database->new();
 153     my $schema = $database->schema();
 154     my $res = $self->search(@_);
 155     my @records;
 156     $res->each(sub {
 157             my %result;
 158             my $record = @_[0];
 159             my $marc_json = $record->{record};
 160             # I wonder if these should be real values defined in the mapping
 161             # rather than hard-coded conversions.
 162             $result{authid} = $record{Local-Number};
 163             # TODO put all this info into the record at index time so we
 164             # don't have to go and sort it all out now.
 165             my $rs = $schema->resultset('auth_types')->search({ authtypecode => $authtypecode });
 166             my $authtype = $rs->first;
 167             my $authtypecode = $record{authtype};
 168             my $marc = $self->json2marc($marc_json);
 169             die Dumper(\@_);
 170             push @records, $marc;
 171         });
 172     return (\@records, $res->total);
 173 }
 174
 175 =head2 json2marc
 176
 177     my $marc = $self->json2marc($marc_json);
 178
 179 Converts the form of marc (based on its JSON, but as a Perl structure) that
 180 Catmandu stores into a MARC::Record object.
 181
 182 =cut
 183
 184 sub json2marc {
 185     my ( $self, $marcjson ) = @_;
 186
 187     my $marc = MARC::Record->new();
 188     $marc->encoding('UTF-8');
 189
 190     # fields are like:
 191     # [ '245', '1', '2', 'a' => 'Title', 'b' => 'Subtitle' ]
 192     # conveniently, this is the form that MARC::Field->new() likes
 193     foreach $field (@$marcjson) {
 194         next if @$field < 5;    # Shouldn't be possible, but...
 195         if ( $field->[0] eq 'LDR' ) {
 196             $marc->leader( $field->[4] );
 197         }
 198         else {
 199             my $marc_field = MARC::Field->new(@$field);
 200             $marc->append_fields($marc_field);
 201         }
 202     }
 203     return $marc;
 204 }
 205
 206 =head2 _convert_facets
 207
 208     my $koha_facets = _convert_facets($es_facets);
 209
 210 Converts elasticsearch facets types to the form that Koha expects.
 211 It expects the ES facet name to match the Koha type, for example C<itype>,
 212 C<au>, C<su-to>, etc.
 213
 214 =cut
 215
 216 sub _convert_facets {
 217     my ( $self, $es ) = @_;
 218
 219     return undef if !$es;
 220
 221     # These should correspond to the ES field names, as opposed to the CCL
 222     # things that zebra uses.
 223     my %type_to_label = (
 224         author   => 'Authors',
 225         location => 'Location',
 226         itype    => 'ItemTypes',
 227         se       => 'Series',
 228         subject  => 'Topics',
 229         'su-geo' => 'Places',
 230     );
 231
 232     # We also have some special cases, e.g. itypes that need to show the
 233     # value rather than the code.
 234     my $itypes = Koha::ItemTypes->new();
 235     my %special = ( itype => sub { $itypes->get_description_for_code(@_) }, );
 236     my @res;
 237     while ( ( $type, $data ) = each %$es ) {
 238         next if !exists( $type_to_label{$type} );
 239         my $facet = {
 240             type_id => $type . '_id',
 241             expand  => $type,
 242             expandable => 1,    # TODO figure how that's supposed to work
 243             "type_label_$type_to_label{$type}" => 1,
 244             type_link_value                    => $type,
 245         };
 246         foreach my $term ( @{ $data->{terms} } ) {
 247             my $t = $term->{term};
 248             my $c = $term->{count};
 249             if ( exists( $special{$type} ) ) {
 250                 $label = $special{$type}->($t);
 251             }
 252             else {
 253                 $label = $t;
 254             }
 255             push @{ $facet->{facets} }, {
 256                 facet_count       => $c,
 257                 facet_link_value  => $t,
 258                 facet_title_value => $t . " ($c)",
 259                 facet_label_value => $label,    # TODO either truncate this,
 260                      # or make the template do it like it should anyway
 261                 type_link_value => $type,
 262             };
 263         }
 264         push @res, $facet if exists $facet->{facets};
 265     }
 266     return \@res;
 267 }
 268
 269
 270 1;