Koha/Cache.pm

   1 package Koha::Cache;
   2
   3 # Copyright 2009 Chris Cormack and The Koha Dev Team
   4 # Parts copyright 2012-2013 C & P Bibliography Services
   5 #
   6 # This file is part of Koha.
   7 #
   8 # Koha is free software; you can redistribute it and/or modify it
   9 # under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation; either version 3 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # Koha is distributed in the hope that it will be useful, but
  14 # WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  16 # GNU General Public License for more details.
  17 #
  18 # You should have received a copy of the GNU General Public License
  19 # along with Koha; if not, see <http://www.gnu.org/licenses>.
  20
  21 =head1 NAME
  22
  23 Koha::Cache - Handling caching of html and Objects for Koha
  24
  25 =head1 SYNOPSIS
  26
  27   use Koha::Cache;
  28   my $cache = Koha::Cache->new({cache_type => $cache_type, %params});
  29
  30 =head1 DESCRIPTION
  31
  32 Koha caching routines. This class provides two interfaces for cache access.
  33 The first, traditional OO interface provides the following functions:
  34
  35 =head1 FUNCTIONS
  36
  37 =cut
  38 use strict;
  39 use warnings;
  40 use Carp;
  41 use Clone qw( clone );
  42 use Module::Load::Conditional qw(can_load);
  43 use Koha::Cache::Object;
  44
  45 use base qw(Class::Accessor);
  46
  47 __PACKAGE__->mk_ro_accessors(
  48     qw( cache memcached_cache fastmmap_cache memory_cache ));
  49
  50 our %L1_cache;
  51
  52 =head2 get_instance
  53
  54     my $cache = Koha::Cache->get_instance();
  55
  56 This gets a shared instance of the cache, set up in a very default way. This is
  57 the recommended way to fetch a cache object. If possible, it'll be
  58 persistent across multiple instances.
  59
  60 =cut
  61
  62 our $singleton_cache;
  63 sub get_instance {
  64     my ($class) = @_;
  65     $singleton_cache = $class->new() unless $singleton_cache;
  66     return $singleton_cache;
  67 }
  68
  69 =head2 new
  70
  71 Create a new Koha::Cache object. This is required for all cache-related functionality.
  72
  73 =cut
  74
  75 sub new {
  76     my ( $class, $self ) = @_;
  77     $self->{'default_type'} =
  78          $self->{cache_type}
  79       || $ENV{CACHING_SYSTEM}
  80       || 'memcached';
  81
  82     $ENV{DEBUG} && carp "Default caching system: $self->{'default_type'}";
  83
  84     $self->{'timeout'}   ||= 0;
  85     $self->{'namespace'} ||= $ENV{MEMCACHED_NAMESPACE} || 'koha';
  86
  87     if ( $self->{'default_type'} eq 'memcached'
  88         && can_load( modules => { 'Cache::Memcached::Fast' => undef } )
  89         && _initialize_memcached($self)
  90         && defined( $self->{'memcached_cache'} ) )
  91     {
  92         $self->{'cache'} = $self->{'memcached_cache'};
  93     }
  94
  95     if ( $self->{'default_type'} eq 'fastmmap'
  96       && defined( $ENV{GATEWAY_INTERFACE} )
  97       && can_load( modules => { 'Cache::FastMmap' => undef } )
  98       && _initialize_fastmmap($self)
  99       && defined( $self->{'fastmmap_cache'} ) )
 100     {
 101         $self->{'cache'} = $self->{'fastmmap_cache'};
 102     }
 103
 104     # Unless memcache or fastmmap has already been picked, use memory_cache
 105     unless ( defined( $self->{'cache'} ) ) {
 106         if ( can_load( modules => { 'Cache::Memory' => undef } )
 107             && _initialize_memory($self) )
 108         {
 109                 $self->{'cache'} = $self->{'memory_cache'};
 110         }
 111     }
 112
 113     $ENV{DEBUG} && carp "Selected caching system: " . ($self->{'cache'} // 'none');
 114
 115     return
 116       bless $self,
 117       $class;
 118 }
 119
 120 sub _initialize_memcached {
 121     my ($self) = @_;
 122     my @servers =
 123       split /,/, $self->{'cache_servers'}
 124       ? $self->{'cache_servers'}
 125       : ($ENV{MEMCACHED_SERVERS} || '');
 126     return if !@servers;
 127
 128     $ENV{DEBUG}
 129       && carp "Memcached server settings: "
 130       . join( ', ', @servers )
 131       . " with "
 132       . $self->{'namespace'};
 133     # Cache::Memcached::Fast doesn't allow a default expire time to be set
 134     # so we force it on setting.
 135     my $memcached = Cache::Memcached::Fast->new(
 136         {
 137             servers            => \@servers,
 138             compress_threshold => 10_000,
 139             namespace          => $self->{'namespace'},
 140             utf8               => 1,
 141         }
 142     );
 143     # Ensure we can actually talk to the memcached server
 144     my $ismemcached = $memcached->set('ismemcached','1');
 145     return $self unless $ismemcached;
 146     $self->{'memcached_cache'} = $memcached;
 147     return $self;
 148 }
 149
 150 sub _initialize_fastmmap {
 151     my ($self) = @_;
 152     my ($cache, $share_file);
 153
 154     # Temporary workaround to catch fatal errors when: C4::Context module
 155     # is not loaded beforehand, or Cache::FastMmap init fails for whatever
 156     # other reason (e.g. due to permission issues - see Bug 13431)
 157     eval {
 158         $share_file = join( '-',
 159             "/tmp/sharefile-koha", $self->{'namespace'},
 160             C4::Context->config('hostname'), C4::Context->config('database') );
 161
 162         $cache = Cache::FastMmap->new(
 163             'share_file'  => $share_file,
 164             'expire_time' => $self->{'timeout'},
 165             'unlink_on_exit' => 0,
 166         );
 167     };
 168     if ( $@ ) {
 169         warn "FastMmap cache initialization failed: $@";
 170         return;
 171     }
 172     return unless defined $cache;
 173     $self->{'fastmmap_cache'} = $cache;
 174     return $self;
 175 }
 176
 177 sub _initialize_memory {
 178     my ($self) = @_;
 179
 180     # Default cache time for memory is _always_ short unless it's specially
 181     # defined, to allow it to work reliably in a persistent environment.
 182     my $cache = Cache::Memory->new(
 183         'namespace'       => $self->{'namespace'},
 184         'default_expires' => "$self->{'timeout'} sec" || "10 sec",
 185     );
 186     $self->{'memory_cache'} = $cache;
 187     # Memory cache can't handle complex types for some reason, so we use its
 188     # freeze and thaw functions.
 189     $self->{ref($cache) . '_set'} = sub {
 190         my ($key, $val, $exp) = @_;
 191         # Refer to set_expiry in Cache::Entry for why we do this 'sec' thing.
 192         $exp = "$exp sec" if defined $exp;
 193         # Because we need to use freeze, it must be a reference type.
 194         $cache->freeze($key, [$val], $exp);
 195     };
 196     $self->{ref($cache) . '_get'} = sub {
 197         my $res = $cache->thaw(shift);
 198         return unless defined $res;
 199         return $res->[0];
 200     };
 201     return $self;
 202 }
 203
 204 =head2 is_cache_active
 205
 206 Routine that checks whether or not a default caching method is active on this
 207 object.
 208
 209 =cut
 210
 211 sub is_cache_active {
 212     my $self = shift;
 213     return $self->{'cache'} ? 1 : 0;
 214 }
 215
 216 =head2 set_in_cache
 217
 218     $cache->set_in_cache($key, $value, [$options]);
 219
 220 Save a value to the specified key in the cache. A hashref of options may be
 221 specified.
 222
 223 The possible options are:
 224
 225 =over
 226
 227 =item expiry
 228
 229 Expiry time of this cached entry in seconds.
 230
 231 =item deepcopy
 232
 233 If set, this will perform a deep copy of the item when it's retrieved. This
 234 means that it'll be safe if something later modifies the result of the
 235 function. Will be ignored in situations where the same behaviour comes from
 236 the caching layer anyway.
 237
 238 =item cache
 239
 240 The cache object to use if you want to provide your own. It should be an
 241 instance of C<Cache::*> and follow the same interface as L<Cache::Memcache>.
 242
 243 =back
 244
 245 =cut
 246
 247 sub set_in_cache {
 248     my ( $self, $key, $value, $options, $_cache) = @_;
 249     # This is a bit of a hack to support the old API in case things still use it
 250     if (defined $options && (ref($options) ne 'HASH')) {
 251         my $new_options;
 252         $new_options->{expiry} = $options;
 253         $new_options->{cache} = $_cache if defined $_cache;
 254         $options = $new_options;
 255     }
 256
 257     # the key mustn't contain whitespace (or control characters) for memcache
 258     # but shouldn't be any harm in applying it globally.
 259     $key =~ s/[\x00-\x20]/_/g;
 260
 261     my $cache = $options->{cache} || 'cache';
 262     croak "No key" unless $key;
 263     $ENV{DEBUG} && carp "set_in_cache for $key";
 264
 265     return unless ( $self->{$cache} && ref( $self->{$cache} ) =~ m/^Cache::/ );
 266     my $expiry = $options->{expiry};
 267     $expiry //= $self->{timeout};
 268     my $set_sub = $self->{ref($self->{$cache}) . "_set"};
 269
 270     # Set in L1 cache
 271     $L1_cache{ $key } = $value;
 272
 273     # We consider an expiry of 0 to be inifinite
 274     if ( $expiry ) {
 275         return $set_sub
 276           ? $set_sub->( $key, $value, $expiry )
 277           : $self->{$cache}->set( $key, $value, $expiry );
 278     }
 279     else {
 280         return $set_sub
 281           ? $set_sub->( $key, $value )
 282           : $self->{$cache}->set( $key, $value );
 283     }
 284 }
 285
 286 =head2 get_from_cache
 287
 288     my $value = $cache->get_from_cache($key);
 289
 290 Retrieve the value stored under the specified key in the default cache.
 291
 292 =cut
 293
 294 sub get_from_cache {
 295     my ( $self, $key, $cache ) = @_;
 296     $key =~ s/[\x00-\x20]/_/g;
 297     $cache ||= 'cache';
 298     croak "No key" unless $key;
 299     $ENV{DEBUG} && carp "get_from_cache for $key";
 300     return unless ( $self->{$cache} && ref( $self->{$cache} ) =~ m/^Cache::/ );
 301
 302     # Return L1 cache value if exists
 303     if ( exists $L1_cache{$key} ) {
 304         # No need to deep copy if it's a scalar:
 305         return $L1_cache{$key}
 306             unless ref $L1_cache{$key};
 307         return clone $L1_cache{$key};
 308     }
 309
 310     my $get_sub = $self->{ref($self->{$cache}) . "_get"};
 311     return $get_sub ? $get_sub->($key) : $self->{$cache}->get($key);
 312 }
 313
 314 =head2 clear_from_cache
 315
 316     $cache->clear_from_cache($key);
 317
 318 Remove the value identified by the specified key from the default cache.
 319
 320 =cut
 321
 322 sub clear_from_cache {
 323     my ( $self, $key, $cache ) = @_;
 324     $key =~ s/[\x00-\x20]/_/g;
 325     $cache ||= 'cache';
 326     croak "No key" unless $key;
 327     return unless ( $self->{$cache} && ref( $self->{$cache} ) =~ m/^Cache::/ );
 328
 329     # Clear from L1 cache
 330     delete $L1_cache{$key};
 331
 332     return $self->{$cache}->delete($key)
 333       if ( ref( $self->{$cache} ) =~ m'^Cache::Memcached' );
 334     return $self->{$cache}->remove($key);
 335 }
 336
 337 =head2 flush_all
 338
 339     $cache->flush_all();
 340
 341 Clear the entire default cache.
 342
 343 =cut
 344
 345 sub flush_all {
 346     my ( $self, $cache ) = shift;
 347     $cache ||= 'cache';
 348     return unless ( $self->{$cache} && ref( $self->{$cache} ) =~ m/^Cache::/ );
 349
 350     $self->flush_L1_cache();
 351
 352     return $self->{$cache}->flush_all()
 353       if ( ref( $self->{$cache} ) =~ m'^Cache::Memcached' );
 354     return $self->{$cache}->clear();
 355 }
 356
 357 sub flush_L1_cache {
 358     my( $self ) = @_;
 359     %L1_cache = ();
 360 }
 361
 362 =head1 TIED INTERFACE
 363
 364 Koha::Cache also provides a tied interface which enables users to provide a
 365 constructor closure and (after creation) treat cached data like normal reference
 366 variables and rely on the cache Just Working and getting updated when it
 367 expires, etc.
 368
 369     my $cache = Koha::Cache->new();
 370     my $data = 'whatever';
 371     my $scalar = Koha::Cache->create_scalar(
 372         {
 373             'key'         => 'whatever',
 374             'timeout'     => 2,
 375             'constructor' => sub { return $data; },
 376         }
 377     );
 378     print "$$scalar\n"; # Prints "whatever"
 379     $data = 'somethingelse';
 380     print "$$scalar\n"; # Prints "whatever" because it is cached
 381     sleep 2; # Wait until the cache entry has expired
 382     print "$$scalar\n"; # Prints "somethingelse"
 383
 384     my $hash = Koha::Cache->create_hash(
 385         {
 386             'key'         => 'whatever',
 387             'timeout'     => 2,
 388             'constructor' => sub { return $data; },
 389         }
 390     );
 391     print "$$variable\n"; # Prints "whatever"
 392
 393 The gotcha with this interface, of course, is that the variable returned by
 394 create_scalar and create_hash is a I<reference> to a tied variable and not a
 395 tied variable itself.
 396
 397 The tied variable is configured by means of a hashref passed in to the
 398 create_scalar and create_hash methods. The following parameters are supported:
 399
 400 =over
 401
 402 =item I<key>
 403
 404 Required. The key to use for identifying the variable in the cache.
 405
 406 =item I<constructor>
 407
 408 Required. A closure (or reference to a function) that will return the value that
 409 needs to be stored in the cache.
 410
 411 =item I<preload>
 412
 413 Optional. A closure (or reference to a function) that gets run to initialize
 414 the cache when creating the tied variable.
 415
 416 =item I<arguments>
 417
 418 Optional. Array reference with the arguments that should be passed to the
 419 constructor function.
 420
 421 =item I<timeout>
 422
 423 Optional. The cache timeout in seconds for the variable. Defaults to 600
 424 (ten minutes).
 425
 426 =item I<cache_type>
 427
 428 Optional. Which type of cache to use for the variable. Defaults to whatever is
 429 set in the environment variable CACHING_SYSTEM. If set to 'null', disables
 430 caching for the tied variable.
 431
 432 =item I<allowupdate>
 433
 434 Optional. Boolean flag to allow the variable to be updated directly. When this
 435 is set and the variable is used as an l-value, the cache will be updated
 436 immediately with the new value. Using this is probably a bad idea on a
 437 multi-threaded system. When I<allowupdate> is not set to true, using the
 438 tied variable as an l-value will have no effect.
 439
 440 =item I<destructor>
 441
 442 Optional. A closure (or reference to a function) that should be called when the
 443 tied variable is destroyed.
 444
 445 =item I<unset>
 446
 447 Optional. Boolean flag to tell the object to remove the variable from the cache
 448 when it is destroyed or goes out of scope.
 449
 450 =item I<inprocess>
 451
 452 Optional. Boolean flag to tell the object not to refresh the variable from the
 453 cache every time the value is desired, but rather only when the I<local> copy
 454 of the variable is older than the timeout.
 455
 456 =back
 457
 458 =head2 create_scalar
 459
 460     my $scalar = Koha::Cache->create_scalar(\%params);
 461
 462 Create scalar tied to the cache.
 463
 464 =cut
 465
 466 sub create_scalar {
 467     my ( $self, $args ) = @_;
 468
 469     $self->_set_tied_defaults($args);
 470
 471     tie my $scalar, 'Koha::Cache::Object', $args;
 472     return \$scalar;
 473 }
 474
 475 sub create_hash {
 476     my ( $self, $args ) = @_;
 477
 478     $self->_set_tied_defaults($args);
 479
 480     tie my %hash, 'Koha::Cache::Object', $args;
 481     return \%hash;
 482 }
 483
 484 sub _set_tied_defaults {
 485     my ( $self, $args ) = @_;
 486
 487     $args->{'timeout'}   = '600' unless defined( $args->{'timeout'} );
 488     $args->{'inprocess'} = '0'   unless defined( $args->{'inprocess'} );
 489     unless ( $args->{cache_type} and lc( $args->{cache_type} ) eq 'null' ) {
 490         $args->{'cache'} = $self;
 491         $args->{'cache_type'} ||= $ENV{'CACHING_SYSTEM'};
 492     }
 493
 494     return $args;
 495 }
 496
 497 =head1 EXPORT
 498
 499 None by default.
 500
 501 =head1 SEE ALSO
 502
 503 Koha::Cache::Object
 504
 505 =head1 AUTHOR
 506
 507 Chris Cormack, E<lt>chris@bigballofwax.co.nzE<gt>
 508 Paul Poulain, E<lt>paul.poulain@biblibre.comE<gt>
 509 Jared Camins-Esakov, E<lt>jcamins@cpbibliography.comE<gt>
 510
 511 =cut
 512
 513 1;
 514
 515 __END__