misc/cronjobs/cleanup_database.pl

   1 #!/usr/bin/perl
   2
   3 # Copyright 2009 PTFS, Inc.
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with Koha; if not, see <http://www.gnu.org/licenses>.
  19
  20 use Modern::Perl;
  21
  22 use constant DEFAULT_ZEBRAQ_PURGEDAYS             => 30;
  23 use constant DEFAULT_MAIL_PURGEDAYS               => 30;
  24 use constant DEFAULT_IMPORT_PURGEDAYS             => 60;
  25 use constant DEFAULT_LOGS_PURGEDAYS               => 180;
  26 use constant DEFAULT_SEARCHHISTORY_PURGEDAYS      => 30;
  27 use constant DEFAULT_SHARE_INVITATION_EXPIRY_DAYS => 14;
  28 use constant DEFAULT_DEBARMENTS_PURGEDAYS         => 30;
  29
  30 BEGIN {
  31     # find Koha's Perl modules
  32     # test carefully before changing this
  33     use FindBin;
  34     eval { require "$FindBin::Bin/../kohalib.pl" };
  35 }
  36
  37 use C4::Context;
  38 use C4::Search;
  39 use C4::Search::History;
  40 use Getopt::Long;
  41 use C4::Log;
  42 use C4::Accounts;
  43 use Koha::UploadedFiles;
  44
  45 sub usage {
  46     print STDERR <<USAGE;
  47 Usage: $0 [-h|--help] [--sessions] [--sessdays DAYS] [-v|--verbose] [--zebraqueue DAYS] [-m|--mail] [--merged] [--import DAYS] [--logs DAYS] [--searchhistory DAYS] [--restrictions DAYS] [--all-restrictions] [--fees DAYS] [--temp-uploads] [--temp-uploads-days DAYS] [--uploads-missing 0|1 ]
  48
  49    -h --help          prints this help message, and exits, ignoring all
  50                       other options
  51    --sessions         purge the sessions table.  If you use this while users
  52                       are logged into Koha, they will have to reconnect.
  53    --sessdays DAYS    purge only sessions older than DAYS days.
  54    -v --verbose       will cause the script to give you a bit more information
  55                       about the run.
  56    --zebraqueue DAYS  purge completed zebraqueue entries older than DAYS days.
  57                       Defaults to 30 days if no days specified.
  58    -m --mail DAYS     purge items from the mail queue that are older than DAYS days.
  59                       Defaults to 30 days if no days specified.
  60    --merged           purged completed entries from need_merge_authorities.
  61    --import DAYS      purge records from import tables older than DAYS days.
  62                       Defaults to 60 days if no days specified.
  63    --z3950            purge records from import tables that are the result
  64                       of Z39.50 searches
  65    --fees DAYS        purge entries accountlines older than DAYS days, where
  66                       amountoutstanding is 0 or NULL.
  67                       In the case of --fees, DAYS must be greater than
  68                       or equal to 1.
  69    --logs DAYS        purge entries from action_logs older than DAYS days.
  70                       Defaults to 180 days if no days specified.
  71    --searchhistory DAYS  purge entries from search_history older than DAYS days.
  72                          Defaults to 30 days if no days specified
  73    --list-invites  DAYS  purge (unaccepted) list share invites older than DAYS
  74                          days.  Defaults to 14 days if no days specified.
  75    --restrictions DAYS   purge patrons restrictions expired since more than DAYS days.
  76                          Defaults to 30 days if no days specified.
  77     --all-restrictions   purge all expired patrons restrictions.
  78    --del-exp-selfreg  Delete expired self registration accounts
  79    --del-unv-selfreg  DAYS  Delete unverified self registrations older than DAYS
  80    --unique-holidays DAYS  Delete all unique holidays older than DAYS
  81    --temp-uploads     Delete temporary uploads.
  82    --temp-uploads-days DAYS Override the corresponding preference value.
  83    --uploads-missing FLAG Delete upload records for missing files when FLAG is true, count them otherwise
  84    --oauth-tokens     Delete expired OAuth2 tokens
  85 USAGE
  86     exit $_[0];
  87 }
  88
  89 my $help;
  90 my $sessions;
  91 my $sess_days;
  92 my $verbose;
  93 my $zebraqueue_days;
  94 my $mail;
  95 my $purge_merged;
  96 my $pImport;
  97 my $pLogs;
  98 my $pSearchhistory;
  99 my $pZ3950;
 100 my $pListShareInvites;
 101 my $pDebarments;
 102 my $allDebarments;
 103 my $pExpSelfReg;
 104 my $pUnvSelfReg;
 105 my $fees_days;
 106 my $special_holidays_days;
 107 my $temp_uploads;
 108 my $temp_uploads_days;
 109 my $uploads_missing;
 110 my $oauth_tokens;
 111
 112 GetOptions(
 113     'h|help'            => \$help,
 114     'sessions'          => \$sessions,
 115     'sessdays:i'        => \$sess_days,
 116     'v|verbose'         => \$verbose,
 117     'm|mail:i'          => \$mail,
 118     'zebraqueue:i'      => \$zebraqueue_days,
 119     'merged'            => \$purge_merged,
 120     'import:i'          => \$pImport,
 121     'z3950'             => \$pZ3950,
 122     'logs:i'            => \$pLogs,
 123     'fees:i'            => \$fees_days,
 124     'searchhistory:i'   => \$pSearchhistory,
 125     'list-invites:i'    => \$pListShareInvites,
 126     'restrictions:i'    => \$pDebarments,
 127     'all-restrictions'  => \$allDebarments,
 128     'del-exp-selfreg'   => \$pExpSelfReg,
 129     'del-unv-selfreg'   => \$pUnvSelfReg,
 130     'unique-holidays:i' => \$special_holidays_days,
 131     'temp-uploads'      => \$temp_uploads,
 132     'temp-uploads-days:i' => \$temp_uploads_days,
 133     'uploads-missing:i' => \$uploads_missing,
 134     'oauth-tokens'      => \$oauth_tokens,
 135 ) || usage(1);
 136
 137 # Use default values
 138 $sessions          = 1                                    if $sess_days                  && $sess_days > 0;
 139 $pImport           = DEFAULT_IMPORT_PURGEDAYS             if defined($pImport)           && $pImport == 0;
 140 $pLogs             = DEFAULT_LOGS_PURGEDAYS               if defined($pLogs)             && $pLogs == 0;
 141 $zebraqueue_days   = DEFAULT_ZEBRAQ_PURGEDAYS             if defined($zebraqueue_days)   && $zebraqueue_days == 0;
 142 $mail              = DEFAULT_MAIL_PURGEDAYS               if defined($mail)              && $mail == 0;
 143 $pSearchhistory    = DEFAULT_SEARCHHISTORY_PURGEDAYS      if defined($pSearchhistory)    && $pSearchhistory == 0;
 144 $pListShareInvites = DEFAULT_SHARE_INVITATION_EXPIRY_DAYS if defined($pListShareInvites) && $pListShareInvites == 0;
 145 $pDebarments       = DEFAULT_DEBARMENTS_PURGEDAYS         if defined($pDebarments)       && $pDebarments == 0;
 146
 147 if ($help) {
 148     usage(0);
 149 }
 150
 151 unless ( $sessions
 152     || $zebraqueue_days
 153     || $mail
 154     || $purge_merged
 155     || $pImport
 156     || $pLogs
 157     || $fees_days
 158     || $pSearchhistory
 159     || $pZ3950
 160     || $pListShareInvites
 161     || $pDebarments
 162     || $allDebarments
 163     || $pExpSelfReg
 164     || $pUnvSelfReg
 165     || $special_holidays_days
 166     || $temp_uploads
 167     || defined $uploads_missing
 168     || $oauth_tokens
 169 ) {
 170     print "You did not specify any cleanup work for the script to do.\n\n";
 171     usage(1);
 172 }
 173
 174 if ($pDebarments && $allDebarments) {
 175     print "You can not specify both --restrictions and --all-restrictions.\n\n";
 176     usage(1);
 177 }
 178
 179 cronlogaction();
 180
 181 my $dbh = C4::Context->dbh();
 182 my $sth;
 183 my $sth2;
 184 my $count;
 185
 186 if ( $sessions && !$sess_days ) {
 187     if ($verbose) {
 188         print "Session purge triggered.\n";
 189         $sth = $dbh->prepare(q{ SELECT COUNT(*) FROM sessions });
 190         $sth->execute() or die $dbh->errstr;
 191         my @count_arr = $sth->fetchrow_array;
 192         print "$count_arr[0] entries will be deleted.\n";
 193     }
 194     $sth = $dbh->prepare(q{ TRUNCATE sessions });
 195     $sth->execute() or die $dbh->errstr;
 196     if ($verbose) {
 197         print "Done with session purge.\n";
 198     }
 199 }
 200 elsif ( $sessions && $sess_days > 0 ) {
 201     print "Session purge triggered with days>$sess_days.\n" if $verbose;
 202     RemoveOldSessions();
 203     print "Done with session purge with days>$sess_days.\n" if $verbose;
 204 }
 205
 206 if ($zebraqueue_days) {
 207     $count = 0;
 208     print "Zebraqueue purge triggered for $zebraqueue_days days.\n" if $verbose;
 209     $sth = $dbh->prepare(
 210         q{
 211             SELECT id,biblio_auth_number,server,time
 212             FROM zebraqueue
 213             WHERE done=1 AND time < date_sub(curdate(), INTERVAL ? DAY)
 214         }
 215     );
 216     $sth->execute($zebraqueue_days) or die $dbh->errstr;
 217     $sth2 = $dbh->prepare(q{ DELETE FROM zebraqueue WHERE id=? });
 218     while ( my $record = $sth->fetchrow_hashref ) {
 219         $sth2->execute( $record->{id} ) or die $dbh->errstr;
 220         $count++;
 221     }
 222     print "$count records were deleted.\nDone with zebraqueue purge.\n" if $verbose;
 223 }
 224
 225 if ($mail) {
 226     print "Mail queue purge triggered for $mail days.\n" if $verbose;
 227     $sth = $dbh->prepare(
 228         q{
 229             DELETE FROM message_queue
 230             WHERE time_queued < date_sub(curdate(), INTERVAL ? DAY)
 231         }
 232     );
 233     $sth->execute($mail) or die $dbh->errstr;
 234     $count = $sth->rows;
 235     $sth->finish;
 236     print "$count messages were deleted from the mail queue.\nDone with message_queue purge.\n" if $verbose;
 237 }
 238
 239 if ($purge_merged) {
 240     print "Purging completed entries from need_merge_authorities.\n" if $verbose;
 241     $sth = $dbh->prepare(q{ DELETE FROM need_merge_authorities WHERE done=1 });
 242     $sth->execute() or die $dbh->errstr;
 243     print "Done with purging need_merge_authorities.\n" if $verbose;
 244 }
 245
 246 if ($pImport) {
 247     print "Purging records from import tables.\n" if $verbose;
 248     PurgeImportTables();
 249     print "Done with purging import tables.\n" if $verbose;
 250 }
 251
 252 if ($pZ3950) {
 253     print "Purging Z39.50 records from import tables.\n" if $verbose;
 254     PurgeZ3950();
 255     print "Done with purging Z39.50 records from import tables.\n" if $verbose;
 256 }
 257
 258 if ($pLogs) {
 259     print "Purging records from action_logs.\n" if $verbose;
 260     $sth = $dbh->prepare(
 261         q{
 262             DELETE FROM action_logs
 263             WHERE timestamp < date_sub(curdate(), INTERVAL ? DAY)
 264         }
 265     );
 266     $sth->execute($pLogs) or die $dbh->errstr;
 267     print "Done with purging action_logs.\n" if $verbose;
 268 }
 269
 270 if ($fees_days) {
 271     print "Purging records from accountlines.\n" if $verbose;
 272     purge_zero_balance_fees( $fees_days );
 273     print "Done purging records from accountlines.\n" if $verbose;
 274 }
 275
 276 if ($pSearchhistory) {
 277     print "Purging records older than $pSearchhistory from search_history.\n" if $verbose;
 278     C4::Search::History::delete({ interval => $pSearchhistory });
 279     print "Done with purging search_history.\n" if $verbose;
 280 }
 281
 282 if ($pListShareInvites) {
 283     print "Purging unaccepted list share invites older than $pListShareInvites days.\n" if $verbose;
 284     $sth = $dbh->prepare(
 285         q{
 286             DELETE FROM virtualshelfshares
 287             WHERE invitekey IS NOT NULL
 288             AND (sharedate + INTERVAL ? DAY) < NOW()
 289         }
 290     );
 291     $sth->execute($pListShareInvites);
 292     print "Done with purging unaccepted list share invites.\n" if $verbose;
 293 }
 294
 295 if ($pDebarments) {
 296     print "Expired patrons restrictions purge triggered for $pDebarments days.\n" if $verbose;
 297     $count = PurgeDebarments($pDebarments);
 298     print "$count restrictions were deleted.\nDone with restrictions purge.\n" if $verbose;
 299 }
 300
 301 if($allDebarments) {
 302     print "All expired patrons restrictions purge triggered.\n" if $verbose;
 303     $count = PurgeDebarments(0);
 304     print "$count restrictions were deleted.\nDone with all restrictions purge.\n" if $verbose;
 305 }
 306
 307 if( $pExpSelfReg ) {
 308     DeleteExpiredSelfRegs();
 309 }
 310 if( $pUnvSelfReg ) {
 311     DeleteUnverifiedSelfRegs( $pUnvSelfReg );
 312 }
 313
 314 if ($special_holidays_days) {
 315     DeleteSpecialHolidays( abs($special_holidays_days) );
 316 }
 317
 318 if( $temp_uploads ) {
 319     # Delete temporary uploads, governed by a pref (unless you override)
 320     print "Purging temporary uploads.\n" if $verbose;
 321     Koha::UploadedFiles->delete_temporary({
 322         defined($temp_uploads_days)
 323             ? ( override_pref => $temp_uploads_days )
 324             : ()
 325     });
 326     print "Done purging temporary uploads.\n" if $verbose;
 327 }
 328
 329 if( defined $uploads_missing ) {
 330     print "Looking for missing uploads\n" if $verbose;
 331     my $keep = $uploads_missing == 1 ? 0 : 1;
 332     my $count = Koha::UploadedFiles->delete_missing({ keep_record => $keep });
 333     if( $keep ) {
 334         print "Counted $count missing uploaded files\n";
 335     } else {
 336         print "Removed $count records for missing uploads\n";
 337     }
 338 }
 339
 340 if ($oauth_tokens) {
 341     require Koha::OAuthAccessTokens;
 342
 343     my $count = int Koha::OAuthAccessTokens->search({ expires => { '<=', time } })->delete;
 344     say "Removed $count expired OAuth2 tokens";
 345 }
 346
 347 exit(0);
 348
 349 sub RemoveOldSessions {
 350     my ( $id, $a_session, $limit, $lasttime );
 351     $limit = time() - 24 * 3600 * $sess_days;
 352
 353     $sth = $dbh->prepare(q{ SELECT id, a_session FROM sessions });
 354     $sth->execute or die $dbh->errstr;
 355     $sth->bind_columns( \$id, \$a_session );
 356     $sth2  = $dbh->prepare(q{ DELETE FROM sessions WHERE id=? });
 357     $count = 0;
 358
 359     while ( $sth->fetch ) {
 360         $lasttime = 0;
 361         if ( $a_session =~ /lasttime:\s+'?(\d+)/ ) {
 362             $lasttime = $1;
 363         }
 364         elsif ( $a_session =~ /(ATIME|CTIME):\s+'?(\d+)/ ) {
 365             $lasttime = $2;
 366         }
 367         if ( $lasttime && $lasttime < $limit ) {
 368             $sth2->execute($id) or die $dbh->errstr;
 369             $count++;
 370         }
 371     }
 372     if ($verbose) {
 373         print "$count sessions were deleted.\n";
 374     }
 375 }
 376
 377 sub PurgeImportTables {
 378
 379     #First purge import_records
 380     #Delete cascades to import_biblios, import_items and import_record_matches
 381     $sth = $dbh->prepare(
 382         q{
 383             DELETE FROM import_records
 384             WHERE upload_timestamp < date_sub(curdate(), INTERVAL ? DAY)
 385         }
 386     );
 387     $sth->execute($pImport) or die $dbh->errstr;
 388
 389     # Now purge import_batches
 390     # Timestamp cannot be used here without care, because records are added
 391     # continuously to batches without updating timestamp (Z39.50 search).
 392     # So we only delete older empty batches.
 393     # This delete will therefore not have a cascading effect.
 394     $sth = $dbh->prepare(
 395         q{
 396             DELETE ba
 397             FROM import_batches ba
 398             LEFT JOIN import_records re ON re.import_batch_id=ba.import_batch_id
 399             WHERE re.import_record_id IS NULL AND
 400             ba.upload_timestamp < date_sub(curdate(), INTERVAL ? DAY)
 401         }
 402     );
 403     $sth->execute($pImport) or die $dbh->errstr;
 404 }
 405
 406 sub PurgeZ3950 {
 407     $sth = $dbh->prepare(
 408         q{
 409             DELETE FROM import_batches
 410             WHERE batch_type = 'z3950'
 411         }
 412     );
 413     $sth->execute() or die $dbh->errstr;
 414 }
 415
 416 sub PurgeDebarments {
 417     require Koha::Patron::Debarments;
 418     my $days = shift;
 419     $count = 0;
 420     $sth   = $dbh->prepare(
 421         q{
 422             SELECT borrower_debarment_id
 423             FROM borrower_debarments
 424             WHERE expiration < date_sub(curdate(), INTERVAL ? DAY)
 425         }
 426     );
 427     $sth->execute($days) or die $dbh->errstr;
 428     while ( my ($borrower_debarment_id) = $sth->fetchrow_array ) {
 429         Koha::Patron::Debarments::DelDebarment($borrower_debarment_id);
 430         $count++;
 431     }
 432     return $count;
 433 }
 434
 435 sub DeleteExpiredSelfRegs {
 436     my $cnt= C4::Members::DeleteExpiredOpacRegistrations();
 437     print "Removed $cnt expired self-registered borrowers\n" if $verbose;
 438 }
 439
 440 sub DeleteUnverifiedSelfRegs {
 441     my $cnt= C4::Members::DeleteUnverifiedOpacRegistrations( $_[0] );
 442     print "Removed $cnt unverified self-registrations\n" if $verbose;
 443 }
 444
 445 sub DeleteSpecialHolidays {
 446     my ( $days ) = @_;
 447
 448     my $sth = $dbh->prepare(q{
 449         DELETE FROM special_holidays
 450         WHERE DATE( CONCAT( year, '-', month, '-', day ) ) < DATE_SUB( CAST(NOW() AS DATE), INTERVAL ? DAY );
 451     });
 452     my $count = $sth->execute( $days ) + 0;
 453     print "Removed $count unique holidays\n" if $verbose;
 454 }