misc/cronjobs/cleanup_database.pl

   1 #!/usr/bin/perl
   2
   3 # Copyright 2009 PTFS, Inc.
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with Koha; if not, see <http://www.gnu.org/licenses>.
  19
  20 use Modern::Perl;
  21
  22 use constant DEFAULT_ZEBRAQ_PURGEDAYS             => 30;
  23 use constant DEFAULT_MAIL_PURGEDAYS               => 30;
  24 use constant DEFAULT_IMPORT_PURGEDAYS             => 60;
  25 use constant DEFAULT_LOGS_PURGEDAYS               => 180;
  26 use constant DEFAULT_SEARCHHISTORY_PURGEDAYS      => 30;
  27 use constant DEFAULT_SHARE_INVITATION_EXPIRY_DAYS => 14;
  28 use constant DEFAULT_DEBARMENTS_PURGEDAYS         => 30;
  29
  30 BEGIN {
  31     # find Koha's Perl modules
  32     # test carefully before changing this
  33     use FindBin;
  34     eval { require "$FindBin::Bin/../kohalib.pl" };
  35 }
  36
  37 use Koha::Script -cron;
  38 use C4::Context;
  39 use C4::Search;
  40 use C4::Search::History;
  41 use Getopt::Long;
  42 use C4::Log;
  43 use C4::Accounts;
  44 use Koha::UploadedFiles;
  45
  46 sub usage {
  47     print STDERR <<USAGE;
  48 Usage: $0 [-h|--help] [--sessions] [--sessdays DAYS] [-v|--verbose] [--zebraqueue DAYS] [-m|--mail] [--merged] [--import DAYS] [--logs DAYS] [--searchhistory DAYS] [--restrictions DAYS] [--all-restrictions] [--fees DAYS] [--temp-uploads] [--temp-uploads-days DAYS] [--uploads-missing 0|1 ] [--statistics DAYS] [--deleted-catalog DAYS] [--deleted-patrons DAYS] [--old-issues DAYS] [--old-reserves DAYS]
  49
  50    -h --help          prints this help message, and exits, ignoring all
  51                       other options
  52    --sessions         purge the sessions table.  If you use this while users
  53                       are logged into Koha, they will have to reconnect.
  54    --sessdays DAYS    purge only sessions older than DAYS days.
  55    -v --verbose       will cause the script to give you a bit more information
  56                       about the run.
  57    --zebraqueue DAYS  purge completed zebraqueue entries older than DAYS days.
  58                       Defaults to 30 days if no days specified.
  59    -m --mail DAYS     purge items from the mail queue that are older than DAYS days.
  60                       Defaults to 30 days if no days specified.
  61    --merged           purged completed entries from need_merge_authorities.
  62    --import DAYS      purge records from import tables older than DAYS days.
  63                       Defaults to 60 days if no days specified.
  64    --z3950            purge records from import tables that are the result
  65                       of Z39.50 searches
  66    --fees DAYS        purge entries accountlines older than DAYS days, where
  67                       amountoutstanding is 0 or NULL.
  68                       In the case of --fees, DAYS must be greater than
  69                       or equal to 1.
  70    --logs DAYS        purge entries from action_logs older than DAYS days.
  71                       Defaults to 180 days if no days specified.
  72    --searchhistory DAYS  purge entries from search_history older than DAYS days.
  73                          Defaults to 30 days if no days specified
  74    --list-invites  DAYS  purge (unaccepted) list share invites older than DAYS
  75                          days.  Defaults to 14 days if no days specified.
  76    --restrictions DAYS   purge patrons restrictions expired since more than DAYS days.
  77                          Defaults to 30 days if no days specified.
  78     --all-restrictions   purge all expired patrons restrictions.
  79    --del-exp-selfreg  Delete expired self registration accounts
  80    --del-unv-selfreg  DAYS  Delete unverified self registrations older than DAYS
  81    --unique-holidays DAYS  Delete all unique holidays older than DAYS
  82    --temp-uploads     Delete temporary uploads.
  83    --temp-uploads-days DAYS Override the corresponding preference value.
  84    --uploads-missing FLAG Delete upload records for missing files when FLAG is true, count them otherwise
  85    --oauth-tokens     Delete expired OAuth2 tokens
  86    --statistics DAYS       Purge entries from statistics older than DAYS days.
  87    --deleted-catalog  DAYS Purge deleted catalog older than DAYS
  88                            in tables deleteditems, deletedbiblioitems, deletedbiblio_metadata and deletedbiblio
  89    --deleted-patrons DAYS  Purge deleted patrons older than DAYS days.
  90    --old-issues DAYS       Purge old issues older than DAYS days.
  91    --old-reserves DAYS     Purge old reserves older than DAYS days.
  92 USAGE
  93     exit $_[0];
  94 }
  95
  96 my $help;
  97 my $sessions;
  98 my $sess_days;
  99 my $verbose;
 100 my $zebraqueue_days;
 101 my $mail;
 102 my $purge_merged;
 103 my $pImport;
 104 my $pLogs;
 105 my $pSearchhistory;
 106 my $pZ3950;
 107 my $pListShareInvites;
 108 my $pDebarments;
 109 my $allDebarments;
 110 my $pExpSelfReg;
 111 my $pUnvSelfReg;
 112 my $fees_days;
 113 my $special_holidays_days;
 114 my $temp_uploads;
 115 my $temp_uploads_days;
 116 my $uploads_missing;
 117 my $oauth_tokens;
 118 my $pStatistics;
 119 my $pDeletedCatalog;
 120 my $pDeletedPatrons;
 121 my $pOldIssues;
 122 my $pOldReserves;
 123
 124 GetOptions(
 125     'h|help'            => \$help,
 126     'sessions'          => \$sessions,
 127     'sessdays:i'        => \$sess_days,
 128     'v|verbose'         => \$verbose,
 129     'm|mail:i'          => \$mail,
 130     'zebraqueue:i'      => \$zebraqueue_days,
 131     'merged'            => \$purge_merged,
 132     'import:i'          => \$pImport,
 133     'z3950'             => \$pZ3950,
 134     'logs:i'            => \$pLogs,
 135     'fees:i'            => \$fees_days,
 136     'searchhistory:i'   => \$pSearchhistory,
 137     'list-invites:i'    => \$pListShareInvites,
 138     'restrictions:i'    => \$pDebarments,
 139     'all-restrictions'  => \$allDebarments,
 140     'del-exp-selfreg'   => \$pExpSelfReg,
 141     'del-unv-selfreg'   => \$pUnvSelfReg,
 142     'unique-holidays:i' => \$special_holidays_days,
 143     'temp-uploads'      => \$temp_uploads,
 144     'temp-uploads-days:i' => \$temp_uploads_days,
 145     'uploads-missing:i' => \$uploads_missing,
 146     'oauth-tokens'      => \$oauth_tokens,
 147     'statistics:i'      => \$pStatistics,
 148     'deleted-catalog:i' => \$pDeletedCatalog,
 149     'deleted-patrons:i' => \$pDeletedPatrons,
 150     'old-issues:i'      => \$pOldIssues,
 151     'old-reserves:i'    => \$pOldReserves,
 152 ) || usage(1);
 153
 154 # Use default values
 155 $sessions          = 1                                    if $sess_days                  && $sess_days > 0;
 156 $pImport           = DEFAULT_IMPORT_PURGEDAYS             if defined($pImport)           && $pImport == 0;
 157 $pLogs             = DEFAULT_LOGS_PURGEDAYS               if defined($pLogs)             && $pLogs == 0;
 158 $zebraqueue_days   = DEFAULT_ZEBRAQ_PURGEDAYS             if defined($zebraqueue_days)   && $zebraqueue_days == 0;
 159 $mail              = DEFAULT_MAIL_PURGEDAYS               if defined($mail)              && $mail == 0;
 160 $pSearchhistory    = DEFAULT_SEARCHHISTORY_PURGEDAYS      if defined($pSearchhistory)    && $pSearchhistory == 0;
 161 $pListShareInvites = DEFAULT_SHARE_INVITATION_EXPIRY_DAYS if defined($pListShareInvites) && $pListShareInvites == 0;
 162 $pDebarments       = DEFAULT_DEBARMENTS_PURGEDAYS         if defined($pDebarments)       && $pDebarments == 0;
 163
 164 if ($help) {
 165     usage(0);
 166 }
 167
 168 unless ( $sessions
 169     || $zebraqueue_days
 170     || $mail
 171     || $purge_merged
 172     || $pImport
 173     || $pLogs
 174     || $fees_days
 175     || $pSearchhistory
 176     || $pZ3950
 177     || $pListShareInvites
 178     || $pDebarments
 179     || $allDebarments
 180     || $pExpSelfReg
 181     || $pUnvSelfReg
 182     || $special_holidays_days
 183     || $temp_uploads
 184     || defined $uploads_missing
 185     || $oauth_tokens
 186     || $pStatistics
 187     || $pDeletedCatalog
 188     || $pDeletedPatrons
 189     || $pOldIssues
 190     || $pOldReserves
 191 ) {
 192     print "You did not specify any cleanup work for the script to do.\n\n";
 193     usage(1);
 194 }
 195
 196 if ($pDebarments && $allDebarments) {
 197     print "You can not specify both --restrictions and --all-restrictions.\n\n";
 198     usage(1);
 199 }
 200
 201 cronlogaction();
 202
 203 my $dbh = C4::Context->dbh();
 204 my $sth;
 205 my $sth2;
 206 my $count;
 207
 208 if ( $sessions && !$sess_days ) {
 209     if ($verbose) {
 210         print "Session purge triggered.\n";
 211         $sth = $dbh->prepare(q{ SELECT COUNT(*) FROM sessions });
 212         $sth->execute() or die $dbh->errstr;
 213         my @count_arr = $sth->fetchrow_array;
 214         print "$count_arr[0] entries will be deleted.\n";
 215     }
 216     $sth = $dbh->prepare(q{ TRUNCATE sessions });
 217     $sth->execute() or die $dbh->errstr;
 218     if ($verbose) {
 219         print "Done with session purge.\n";
 220     }
 221 }
 222 elsif ( $sessions && $sess_days > 0 ) {
 223     print "Session purge triggered with days>$sess_days.\n" if $verbose;
 224     RemoveOldSessions();
 225     print "Done with session purge with days>$sess_days.\n" if $verbose;
 226 }
 227
 228 if ($zebraqueue_days) {
 229     $count = 0;
 230     print "Zebraqueue purge triggered for $zebraqueue_days days.\n" if $verbose;
 231     $sth = $dbh->prepare(
 232         q{
 233             SELECT id,biblio_auth_number,server,time
 234             FROM zebraqueue
 235             WHERE done=1 AND time < date_sub(curdate(), INTERVAL ? DAY)
 236         }
 237     );
 238     $sth->execute($zebraqueue_days) or die $dbh->errstr;
 239     $sth2 = $dbh->prepare(q{ DELETE FROM zebraqueue WHERE id=? });
 240     while ( my $record = $sth->fetchrow_hashref ) {
 241         $sth2->execute( $record->{id} ) or die $dbh->errstr;
 242         $count++;
 243     }
 244     print "$count records were deleted.\nDone with zebraqueue purge.\n" if $verbose;
 245 }
 246
 247 if ($mail) {
 248     print "Mail queue purge triggered for $mail days.\n" if $verbose;
 249     $sth = $dbh->prepare(
 250         q{
 251             DELETE FROM message_queue
 252             WHERE time_queued < date_sub(curdate(), INTERVAL ? DAY)
 253         }
 254     );
 255     $sth->execute($mail) or die $dbh->errstr;
 256     $count = $sth->rows;
 257     $sth->finish;
 258     print "$count messages were deleted from the mail queue.\nDone with message_queue purge.\n" if $verbose;
 259 }
 260
 261 if ($purge_merged) {
 262     print "Purging completed entries from need_merge_authorities.\n" if $verbose;
 263     $sth = $dbh->prepare(q{ DELETE FROM need_merge_authorities WHERE done=1 });
 264     $sth->execute() or die $dbh->errstr;
 265     print "Done with purging need_merge_authorities.\n" if $verbose;
 266 }
 267
 268 if ($pImport) {
 269     print "Purging records from import tables.\n" if $verbose;
 270     PurgeImportTables();
 271     print "Done with purging import tables.\n" if $verbose;
 272 }
 273
 274 if ($pZ3950) {
 275     print "Purging Z39.50 records from import tables.\n" if $verbose;
 276     PurgeZ3950();
 277     print "Done with purging Z39.50 records from import tables.\n" if $verbose;
 278 }
 279
 280 if ($pLogs) {
 281     print "Purging records from action_logs.\n" if $verbose;
 282     $sth = $dbh->prepare(
 283         q{
 284             DELETE FROM action_logs
 285             WHERE timestamp < date_sub(curdate(), INTERVAL ? DAY)
 286         }
 287     );
 288     $sth->execute($pLogs) or die $dbh->errstr;
 289     print "Done with purging action_logs.\n" if $verbose;
 290 }
 291
 292 if ($fees_days) {
 293     print "Purging records from accountlines.\n" if $verbose;
 294     purge_zero_balance_fees( $fees_days );
 295     print "Done purging records from accountlines.\n" if $verbose;
 296 }
 297
 298 if ($pSearchhistory) {
 299     print "Purging records older than $pSearchhistory from search_history.\n" if $verbose;
 300     C4::Search::History::delete({ interval => $pSearchhistory });
 301     print "Done with purging search_history.\n" if $verbose;
 302 }
 303
 304 if ($pListShareInvites) {
 305     print "Purging unaccepted list share invites older than $pListShareInvites days.\n" if $verbose;
 306     $sth = $dbh->prepare(
 307         q{
 308             DELETE FROM virtualshelfshares
 309             WHERE invitekey IS NOT NULL
 310             AND (sharedate + INTERVAL ? DAY) < NOW()
 311         }
 312     );
 313     $sth->execute($pListShareInvites);
 314     print "Done with purging unaccepted list share invites.\n" if $verbose;
 315 }
 316
 317 if ($pDebarments) {
 318     print "Expired patrons restrictions purge triggered for $pDebarments days.\n" if $verbose;
 319     $count = PurgeDebarments($pDebarments);
 320     print "$count restrictions were deleted.\nDone with restrictions purge.\n" if $verbose;
 321 }
 322
 323 if($allDebarments) {
 324     print "All expired patrons restrictions purge triggered.\n" if $verbose;
 325     $count = PurgeDebarments(0);
 326     print "$count restrictions were deleted.\nDone with all restrictions purge.\n" if $verbose;
 327 }
 328
 329 # Handle unsubscribe requests from GDPR consent form, depends on UnsubscribeReflectionDelay preference
 330 Koha::Patrons->search_unsubscribed->lock({ expire => 1, remove => 1, verbose => $verbose });
 331 # Anonymize patron data, depending on PatronAnonymizeDelay
 332 Koha::Patrons->search_anonymize_candidates({ locked => 1 })->anonymize({ verbose => $verbose });
 333 # Remove patron data, depending on PatronRemovalDelay (will raise an exception if problem encountered
 334 eval { Koha::Patrons->search_anonymized->delete({ move => 1, verbose => $verbose }) };
 335 warn $@ if $@;
 336
 337 if( $pExpSelfReg ) {
 338     DeleteExpiredSelfRegs();
 339 }
 340 if( $pUnvSelfReg ) {
 341     DeleteUnverifiedSelfRegs( $pUnvSelfReg );
 342 }
 343
 344 if ($special_holidays_days) {
 345     DeleteSpecialHolidays( abs($special_holidays_days) );
 346 }
 347
 348 if( $temp_uploads ) {
 349     # Delete temporary uploads, governed by a pref (unless you override)
 350     print "Purging temporary uploads.\n" if $verbose;
 351     Koha::UploadedFiles->delete_temporary({
 352         defined($temp_uploads_days)
 353             ? ( override_pref => $temp_uploads_days )
 354             : ()
 355     });
 356     print "Done purging temporary uploads.\n" if $verbose;
 357 }
 358
 359 if( defined $uploads_missing ) {
 360     print "Looking for missing uploads\n" if $verbose;
 361     my $keep = $uploads_missing == 1 ? 0 : 1;
 362     my $count = Koha::UploadedFiles->delete_missing({ keep_record => $keep });
 363     if( $keep ) {
 364         print "Counted $count missing uploaded files\n";
 365     } else {
 366         print "Removed $count records for missing uploads\n";
 367     }
 368 }
 369
 370 if ($oauth_tokens) {
 371     require Koha::OAuthAccessTokens;
 372
 373     my $count = int Koha::OAuthAccessTokens->search({ expires => { '<=', time } })->delete;
 374     say "Removed $count expired OAuth2 tokens" if $verbose;
 375 }
 376
 377 if ($pStatistics) {
 378     print "Purging statistics older than $pStatistics days.\n" if $verbose;
 379     $sth = $dbh->prepare(
 380         q{
 381             DELETE FROM statistics
 382             WHERE datetime < DATE_SUB(CURDATE(), INTERVAL ? DAY)
 383         }
 384     );
 385     $sth->execute($pStatistics);
 386     print "Done with purging statistics.\n" if $verbose;
 387 }
 388
 389 if ($pDeletedCatalog) {
 390     print "Purging deleted catalog older than $pDeletedCatalog days.\n" if $verbose;
 391     my $sth1 = $dbh->prepare(
 392         q{
 393             DELETE FROM deleteditems
 394             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
 395         }
 396     );
 397     my $sth2 = $dbh->prepare(
 398         q{
 399             DELETE FROM deletedbiblioitems
 400             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
 401         }
 402     );
 403     my $sth3 = $dbh->prepare(
 404         q{
 405             DELETE FROM deletedbiblio
 406             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
 407         }
 408     );
 409     # deletedbiblio_metadata is managed by FK with deletedbiblio
 410     $sth1->execute($pDeletedCatalog);
 411     $sth2->execute($pDeletedCatalog);
 412     $sth3->execute($pDeletedCatalog);
 413     print "Done with purging deleted catalog.\n" if $verbose;
 414 }
 415
 416 if ($pDeletedPatrons) {
 417     print "Purging deleted patrons older than $pDeletedPatrons days.\n" if $verbose;
 418     $sth = $dbh->prepare(
 419         q{
 420             DELETE FROM deletedborrowers
 421             WHERE updated_on < DATE_SUB(CURDATE(), INTERVAL ? DAY)
 422         }
 423     );
 424     $sth->execute($pDeletedPatrons);
 425     print "Done with purging deleted patrons.\n" if $verbose;
 426 }
 427
 428 if ($pOldIssues) {
 429     print "Purging old issues older than $pOldIssues days.\n" if $verbose;
 430     $sth = $dbh->prepare(
 431         q{
 432             DELETE FROM old_issues
 433             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
 434         }
 435     );
 436     $sth->execute($pOldIssues);
 437     print "Done with purging old issues.\n" if $verbose;
 438 }
 439
 440 if ($pOldReserves) {
 441     print "Purging old reserves older than $pOldReserves days.\n" if $verbose;
 442     $sth = $dbh->prepare(
 443         q{
 444             DELETE FROM old_reserves
 445             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
 446         }
 447     );
 448     $sth->execute($pOldReserves);
 449     print "Done with purging old reserves.\n" if $verbose;
 450 }
 451
 452 exit(0);
 453
 454 sub RemoveOldSessions {
 455     my ( $id, $a_session, $limit, $lasttime );
 456     $limit = time() - 24 * 3600 * $sess_days;
 457
 458     $sth = $dbh->prepare(q{ SELECT id, a_session FROM sessions });
 459     $sth->execute or die $dbh->errstr;
 460     $sth->bind_columns( \$id, \$a_session );
 461     $sth2  = $dbh->prepare(q{ DELETE FROM sessions WHERE id=? });
 462     $count = 0;
 463
 464     while ( $sth->fetch ) {
 465         $lasttime = 0;
 466         if ( $a_session =~ /lasttime:\s+'?(\d+)/ ) {
 467             $lasttime = $1;
 468         }
 469         elsif ( $a_session =~ /(ATIME|CTIME):\s+'?(\d+)/ ) {
 470             $lasttime = $2;
 471         }
 472         if ( $lasttime && $lasttime < $limit ) {
 473             $sth2->execute($id) or die $dbh->errstr;
 474             $count++;
 475         }
 476     }
 477     if ($verbose) {
 478         print "$count sessions were deleted.\n";
 479     }
 480 }
 481
 482 sub PurgeImportTables {
 483
 484     #First purge import_records
 485     #Delete cascades to import_biblios, import_items and import_record_matches
 486     $sth = $dbh->prepare(
 487         q{
 488             DELETE FROM import_records
 489             WHERE upload_timestamp < date_sub(curdate(), INTERVAL ? DAY)
 490         }
 491     );
 492     $sth->execute($pImport) or die $dbh->errstr;
 493
 494     # Now purge import_batches
 495     # Timestamp cannot be used here without care, because records are added
 496     # continuously to batches without updating timestamp (Z39.50 search).
 497     # So we only delete older empty batches.
 498     # This delete will therefore not have a cascading effect.
 499     $sth = $dbh->prepare(
 500         q{
 501             DELETE ba
 502             FROM import_batches ba
 503             LEFT JOIN import_records re ON re.import_batch_id=ba.import_batch_id
 504             WHERE re.import_record_id IS NULL AND
 505             ba.upload_timestamp < date_sub(curdate(), INTERVAL ? DAY)
 506         }
 507     );
 508     $sth->execute($pImport) or die $dbh->errstr;
 509 }
 510
 511 sub PurgeZ3950 {
 512     $sth = $dbh->prepare(
 513         q{
 514             DELETE FROM import_batches
 515             WHERE batch_type = 'z3950'
 516         }
 517     );
 518     $sth->execute() or die $dbh->errstr;
 519 }
 520
 521 sub PurgeDebarments {
 522     require Koha::Patron::Debarments;
 523     my $days = shift;
 524     $count = 0;
 525     $sth   = $dbh->prepare(
 526         q{
 527             SELECT borrower_debarment_id
 528             FROM borrower_debarments
 529             WHERE expiration < date_sub(curdate(), INTERVAL ? DAY)
 530         }
 531     );
 532     $sth->execute($days) or die $dbh->errstr;
 533     while ( my ($borrower_debarment_id) = $sth->fetchrow_array ) {
 534         Koha::Patron::Debarments::DelDebarment($borrower_debarment_id);
 535         $count++;
 536     }
 537     return $count;
 538 }
 539
 540 sub DeleteExpiredSelfRegs {
 541     my $cnt= C4::Members::DeleteExpiredOpacRegistrations();
 542     print "Removed $cnt expired self-registered borrowers\n" if $verbose;
 543 }
 544
 545 sub DeleteUnverifiedSelfRegs {
 546     my $cnt= C4::Members::DeleteUnverifiedOpacRegistrations( $_[0] );
 547     print "Removed $cnt unverified self-registrations\n" if $verbose;
 548 }
 549
 550 sub DeleteSpecialHolidays {
 551     my ( $days ) = @_;
 552
 553     my $sth = $dbh->prepare(q{
 554         DELETE FROM special_holidays
 555         WHERE DATE( CONCAT( year, '-', month, '-', day ) ) < DATE_SUB( CAST(NOW() AS DATE), INTERVAL ? DAY );
 556     });
 557     my $count = $sth->execute( $days ) + 0;
 558     print "Removed $count unique holidays\n" if $verbose;
 559 }