Bug 24159: (QA follow-up) Make terminology consistent
[koha.git] / misc / cronjobs / cleanup_database.pl
1 #!/usr/bin/perl
2
3 # Copyright 2009 PTFS, Inc.
4 #
5 # This file is part of Koha.
6 #
7 # Koha is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by
9 # the Free Software Foundation; either version 3 of the License, or
10 # (at your option) any later version.
11 #
12 # Koha is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
15 # GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with Koha; if not, see <http://www.gnu.org/licenses>.
19
20 use Modern::Perl;
21
22 use constant DEFAULT_ZEBRAQ_PURGEDAYS             => 30;
23 use constant DEFAULT_MAIL_PURGEDAYS               => 30;
24 use constant DEFAULT_IMPORT_PURGEDAYS             => 60;
25 use constant DEFAULT_LOGS_PURGEDAYS               => 180;
26 use constant DEFAULT_SEARCHHISTORY_PURGEDAYS      => 30;
27 use constant DEFAULT_SHARE_INVITATION_EXPIRY_DAYS => 14;
28 use constant DEFAULT_DEBARMENTS_PURGEDAYS         => 30;
29
30 BEGIN {
31     # find Koha's Perl modules
32     # test carefully before changing this
33     use FindBin;
34     eval { require "$FindBin::Bin/../kohalib.pl" };
35 }
36
37 use Koha::Script -cron;
38 use C4::Context;
39 use C4::Search;
40 use C4::Search::History;
41 use Getopt::Long;
42 use C4::Log;
43 use C4::Accounts;
44 use Koha::UploadedFiles;
45
46 sub usage {
47     print STDERR <<USAGE;
48 Usage: $0 [-h|--help] [--sessions] [--sessdays DAYS] [-v|--verbose] [--zebraqueue DAYS] [-m|--mail] [--merged] [--import DAYS] [--logs DAYS] [--searchhistory DAYS] [--restrictions DAYS] [--all-restrictions] [--fees DAYS] [--temp-uploads] [--temp-uploads-days DAYS] [--uploads-missing 0|1 ] [--statistics DAYS] [--deleted-catalog DAYS] [--deleted-patrons DAYS] [--old-issues DAYS] [--old-reserves DAYS] [--transfers DAYS]
49
50    -h --help          prints this help message, and exits, ignoring all
51                       other options
52    --sessions         purge the sessions table.  If you use this while users 
53                       are logged into Koha, they will have to reconnect.
54    --sessdays DAYS    purge only sessions older than DAYS days.
55    -v --verbose       will cause the script to give you a bit more information
56                       about the run.
57    --zebraqueue DAYS  purge completed zebraqueue entries older than DAYS days.
58                       Defaults to 30 days if no days specified.
59    -m --mail DAYS     purge items from the mail queue that are older than DAYS days.
60                       Defaults to 30 days if no days specified.
61    --merged           purged completed entries from need_merge_authorities.
62    --import DAYS      purge records from import tables older than DAYS days.
63                       Defaults to 60 days if no days specified.
64    --z3950            purge records from import tables that are the result
65                       of Z39.50 searches
66    --fees DAYS        purge entries accountlines older than DAYS days, where
67                       amountoutstanding is 0 or NULL.
68                       In the case of --fees, DAYS must be greater than
69                       or equal to 1.
70    --logs DAYS        purge entries from action_logs older than DAYS days.
71                       Defaults to 180 days if no days specified.
72    --searchhistory DAYS  purge entries from search_history older than DAYS days.
73                          Defaults to 30 days if no days specified
74    --list-invites  DAYS  purge (unaccepted) list share invites older than DAYS
75                          days.  Defaults to 14 days if no days specified.
76    --restrictions DAYS   purge patrons restrictions expired since more than DAYS days.
77                          Defaults to 30 days if no days specified.
78     --all-restrictions   purge all expired patrons restrictions.
79    --del-exp-selfreg  Delete expired self registration accounts
80    --del-unv-selfreg  DAYS  Delete unverified self registrations older than DAYS
81    --unique-holidays DAYS  Delete all unique holidays older than DAYS
82    --temp-uploads     Delete temporary uploads.
83    --temp-uploads-days DAYS Override the corresponding preference value.
84    --uploads-missing FLAG Delete upload records for missing files when FLAG is true, count them otherwise
85    --oauth-tokens     Delete expired OAuth2 tokens
86    --statistics DAYS       Purge statistics entries more than DAYS days old.
87    --deleted-catalog  DAYS Purge catalog records deleted more then DAYS days ago
88                            (from tables deleteditems, deletedbiblioitems, deletedbiblio_metadata and deletedbiblio).
89    --deleted-patrons DAYS  Purge patrons deleted more than DAYS days ago.
90    --old-issues DAYS       Purge checkouts (old_issues) returned more than DAYS days ago.
91    --old-reserves DAYS     Purge reserves (old_reserves) more than DAYS old.
92    --transfers DAYS        Purge transfers completed more than DAYS day ago.
93 USAGE
94     exit $_[0];
95 }
96
97 my $help;
98 my $sessions;
99 my $sess_days;
100 my $verbose;
101 my $zebraqueue_days;
102 my $mail;
103 my $purge_merged;
104 my $pImport;
105 my $pLogs;
106 my $pSearchhistory;
107 my $pZ3950;
108 my $pListShareInvites;
109 my $pDebarments;
110 my $allDebarments;
111 my $pExpSelfReg;
112 my $pUnvSelfReg;
113 my $fees_days;
114 my $special_holidays_days;
115 my $temp_uploads;
116 my $temp_uploads_days;
117 my $uploads_missing;
118 my $oauth_tokens;
119 my $pStatistics;
120 my $pDeletedCatalog;
121 my $pDeletedPatrons;
122 my $pOldIssues;
123 my $pOldReserves;
124 my $pTransfers;
125
126 GetOptions(
127     'h|help'            => \$help,
128     'sessions'          => \$sessions,
129     'sessdays:i'        => \$sess_days,
130     'v|verbose'         => \$verbose,
131     'm|mail:i'          => \$mail,
132     'zebraqueue:i'      => \$zebraqueue_days,
133     'merged'            => \$purge_merged,
134     'import:i'          => \$pImport,
135     'z3950'             => \$pZ3950,
136     'logs:i'            => \$pLogs,
137     'fees:i'            => \$fees_days,
138     'searchhistory:i'   => \$pSearchhistory,
139     'list-invites:i'    => \$pListShareInvites,
140     'restrictions:i'    => \$pDebarments,
141     'all-restrictions'  => \$allDebarments,
142     'del-exp-selfreg'   => \$pExpSelfReg,
143     'del-unv-selfreg'   => \$pUnvSelfReg,
144     'unique-holidays:i' => \$special_holidays_days,
145     'temp-uploads'      => \$temp_uploads,
146     'temp-uploads-days:i' => \$temp_uploads_days,
147     'uploads-missing:i' => \$uploads_missing,
148     'oauth-tokens'      => \$oauth_tokens,
149     'statistics:i'      => \$pStatistics,
150     'deleted-catalog:i' => \$pDeletedCatalog,
151     'deleted-patrons:i' => \$pDeletedPatrons,
152     'old-issues:i'      => \$pOldIssues,
153     'old-reserves:i'    => \$pOldReserves,
154     'transfers:i'    => \$pTransfers,
155 ) || usage(1);
156
157 # Use default values
158 $sessions          = 1                                    if $sess_days                  && $sess_days > 0;
159 $pImport           = DEFAULT_IMPORT_PURGEDAYS             if defined($pImport)           && $pImport == 0;
160 $pLogs             = DEFAULT_LOGS_PURGEDAYS               if defined($pLogs)             && $pLogs == 0;
161 $zebraqueue_days   = DEFAULT_ZEBRAQ_PURGEDAYS             if defined($zebraqueue_days)   && $zebraqueue_days == 0;
162 $mail              = DEFAULT_MAIL_PURGEDAYS               if defined($mail)              && $mail == 0;
163 $pSearchhistory    = DEFAULT_SEARCHHISTORY_PURGEDAYS      if defined($pSearchhistory)    && $pSearchhistory == 0;
164 $pListShareInvites = DEFAULT_SHARE_INVITATION_EXPIRY_DAYS if defined($pListShareInvites) && $pListShareInvites == 0;
165 $pDebarments       = DEFAULT_DEBARMENTS_PURGEDAYS         if defined($pDebarments)       && $pDebarments == 0;
166
167 if ($help) {
168     usage(0);
169 }
170
171 unless ( $sessions
172     || $zebraqueue_days
173     || $mail
174     || $purge_merged
175     || $pImport
176     || $pLogs
177     || $fees_days
178     || $pSearchhistory
179     || $pZ3950
180     || $pListShareInvites
181     || $pDebarments
182     || $allDebarments
183     || $pExpSelfReg
184     || $pUnvSelfReg
185     || $special_holidays_days
186     || $temp_uploads
187     || defined $uploads_missing
188     || $oauth_tokens
189     || $pStatistics
190     || $pDeletedCatalog
191     || $pDeletedPatrons
192     || $pOldIssues
193     || $pOldReserves
194     || $pTransfers
195 ) {
196     print "You did not specify any cleanup work for the script to do.\n\n";
197     usage(1);
198 }
199
200 if ($pDebarments && $allDebarments) {
201     print "You can not specify both --restrictions and --all-restrictions.\n\n";
202     usage(1);
203 }
204
205 cronlogaction();
206
207 my $dbh = C4::Context->dbh();
208 my $sth;
209 my $sth2;
210 my $count;
211
212 if ( $sessions && !$sess_days ) {
213     if ($verbose) {
214         print "Session purge triggered.\n";
215         $sth = $dbh->prepare(q{ SELECT COUNT(*) FROM sessions });
216         $sth->execute() or die $dbh->errstr;
217         my @count_arr = $sth->fetchrow_array;
218         print "$count_arr[0] entries will be deleted.\n";
219     }
220     $sth = $dbh->prepare(q{ TRUNCATE sessions });
221     $sth->execute() or die $dbh->errstr;
222     if ($verbose) {
223         print "Done with session purge.\n";
224     }
225 }
226 elsif ( $sessions && $sess_days > 0 ) {
227     print "Session purge triggered with days>$sess_days.\n" if $verbose;
228     RemoveOldSessions();
229     print "Done with session purge with days>$sess_days.\n" if $verbose;
230 }
231
232 if ($zebraqueue_days) {
233     $count = 0;
234     print "Zebraqueue purge triggered for $zebraqueue_days days.\n" if $verbose;
235     $sth = $dbh->prepare(
236         q{
237             SELECT id,biblio_auth_number,server,time
238             FROM zebraqueue
239             WHERE done=1 AND time < date_sub(curdate(), INTERVAL ? DAY)
240         }
241     );
242     $sth->execute($zebraqueue_days) or die $dbh->errstr;
243     $sth2 = $dbh->prepare(q{ DELETE FROM zebraqueue WHERE id=? });
244     while ( my $record = $sth->fetchrow_hashref ) {
245         $sth2->execute( $record->{id} ) or die $dbh->errstr;
246         $count++;
247     }
248     print "$count records were deleted.\nDone with zebraqueue purge.\n" if $verbose;
249 }
250
251 if ($mail) {
252     print "Mail queue purge triggered for $mail days.\n" if $verbose;
253     $sth = $dbh->prepare(
254         q{
255             DELETE FROM message_queue
256             WHERE time_queued < date_sub(curdate(), INTERVAL ? DAY)
257         }
258     );
259     $sth->execute($mail) or die $dbh->errstr;
260     $count = $sth->rows;
261     $sth->finish;
262     print "$count messages were deleted from the mail queue.\nDone with message_queue purge.\n" if $verbose;
263 }
264
265 if ($purge_merged) {
266     print "Purging completed entries from need_merge_authorities.\n" if $verbose;
267     $sth = $dbh->prepare(q{ DELETE FROM need_merge_authorities WHERE done=1 });
268     $sth->execute() or die $dbh->errstr;
269     print "Done with purging need_merge_authorities.\n" if $verbose;
270 }
271
272 if ($pImport) {
273     print "Purging records from import tables.\n" if $verbose;
274     PurgeImportTables();
275     print "Done with purging import tables.\n" if $verbose;
276 }
277
278 if ($pZ3950) {
279     print "Purging Z39.50 records from import tables.\n" if $verbose;
280     PurgeZ3950();
281     print "Done with purging Z39.50 records from import tables.\n" if $verbose;
282 }
283
284 if ($pLogs) {
285     print "Purging records from action_logs.\n" if $verbose;
286     $sth = $dbh->prepare(
287         q{
288             DELETE FROM action_logs
289             WHERE timestamp < date_sub(curdate(), INTERVAL ? DAY)
290         }
291     );
292     $sth->execute($pLogs) or die $dbh->errstr;
293     print "Done with purging action_logs.\n" if $verbose;
294 }
295
296 if ($fees_days) {
297     print "Purging records from accountlines.\n" if $verbose;
298     purge_zero_balance_fees( $fees_days );
299     print "Done purging records from accountlines.\n" if $verbose;
300 }
301
302 if ($pSearchhistory) {
303     print "Purging records older than $pSearchhistory from search_history.\n" if $verbose;
304     C4::Search::History::delete({ interval => $pSearchhistory });
305     print "Done with purging search_history.\n" if $verbose;
306 }
307
308 if ($pListShareInvites) {
309     print "Purging unaccepted list share invites older than $pListShareInvites days.\n" if $verbose;
310     $sth = $dbh->prepare(
311         q{
312             DELETE FROM virtualshelfshares
313             WHERE invitekey IS NOT NULL
314             AND (sharedate + INTERVAL ? DAY) < NOW()
315         }
316     );
317     $sth->execute($pListShareInvites);
318     print "Done with purging unaccepted list share invites.\n" if $verbose;
319 }
320
321 if ($pDebarments) {
322     print "Expired patrons restrictions purge triggered for $pDebarments days.\n" if $verbose;
323     $count = PurgeDebarments($pDebarments);
324     print "$count restrictions were deleted.\nDone with restrictions purge.\n" if $verbose;
325 }
326
327 if($allDebarments) {
328     print "All expired patrons restrictions purge triggered.\n" if $verbose;
329     $count = PurgeDebarments(0);
330     print "$count restrictions were deleted.\nDone with all restrictions purge.\n" if $verbose;
331 }
332
333 # Handle unsubscribe requests from GDPR consent form, depends on UnsubscribeReflectionDelay preference
334 my $unsubscribed_patrons = Koha::Patrons->search_unsubscribed;
335 $count = $unsubscribed_patrons->count;
336 $unsubscribed_patrons->lock( { expire => 1, remove => 1 } );
337 say sprintf "Locked %d patrons", $count if $verbose;
338
339 # Anonymize patron data, depending on PatronAnonymizeDelay
340 my $anonymize_candidates = Koha::Patrons->search_anonymize_candidates( { locked => 1 } );
341 $count = $anonymize_candidates->count;
342 $anonymize_candidates->anonymize;
343 say sprintf "Anonymized %s patrons", $count if $verbose;
344
345 # Remove patron data, depending on PatronRemovalDelay (will raise an exception if problem encountered
346 my $anonymized_patrons = Koha::Patrons->search_anonymized;
347 $count = $anonymized_patrons->count;
348 $anonymized_patrons->delete( { move => 1 } );
349 if ($@) {
350     warn $@;
351 }
352 elsif ($verbose) {
353     say sprintf "Deleted %d patrons", $count;
354 }
355
356 if( $pExpSelfReg ) {
357     DeleteExpiredSelfRegs();
358 }
359 if( $pUnvSelfReg ) {
360     DeleteUnverifiedSelfRegs( $pUnvSelfReg );
361 }
362
363 if ($special_holidays_days) {
364     DeleteSpecialHolidays( abs($special_holidays_days) );
365 }
366
367 if( $temp_uploads ) {
368     # Delete temporary uploads, governed by a pref (unless you override)
369     print "Purging temporary uploads.\n" if $verbose;
370     Koha::UploadedFiles->delete_temporary({
371         defined($temp_uploads_days)
372             ? ( override_pref => $temp_uploads_days )
373             : ()
374     });
375     print "Done purging temporary uploads.\n" if $verbose;
376 }
377
378 if( defined $uploads_missing ) {
379     print "Looking for missing uploads\n" if $verbose;
380     my $keep = $uploads_missing == 1 ? 0 : 1;
381     my $count = Koha::UploadedFiles->delete_missing({ keep_record => $keep });
382     if( $keep ) {
383         print "Counted $count missing uploaded files\n";
384     } else {
385         print "Removed $count records for missing uploads\n";
386     }
387 }
388
389 if ($oauth_tokens) {
390     require Koha::OAuthAccessTokens;
391
392     my $count = int Koha::OAuthAccessTokens->search({ expires => { '<=', time } })->delete;
393     say "Removed $count expired OAuth2 tokens" if $verbose;
394 }
395
396 if ($pStatistics) {
397     print "Purging statistics older than $pStatistics days.\n" if $verbose;
398     $sth = $dbh->prepare(
399         q{
400             DELETE FROM statistics
401             WHERE datetime < DATE_SUB(CURDATE(), INTERVAL ? DAY)
402         }
403     );
404     $sth->execute($pStatistics);
405     print "Done with purging statistics.\n" if $verbose;
406 }
407
408 if ($pDeletedCatalog) {
409     print "Purging deleted catalog older than $pDeletedCatalog days.\n" if $verbose;
410     my $sth1 = $dbh->prepare(
411         q{
412             DELETE FROM deleteditems
413             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
414         }
415     );
416     my $sth2 = $dbh->prepare(
417         q{
418             DELETE FROM deletedbiblioitems
419             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
420         }
421     );
422     my $sth3 = $dbh->prepare(
423         q{
424             DELETE FROM deletedbiblio
425             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
426         }
427     );
428     # deletedbiblio_metadata is managed by FK with deletedbiblio
429     $sth1->execute($pDeletedCatalog);
430     $sth2->execute($pDeletedCatalog);
431     $sth3->execute($pDeletedCatalog);
432     print "Done with purging deleted catalog.\n" if $verbose;
433 }
434
435 if ($pDeletedPatrons) {
436     print "Purging deleted patrons older than $pDeletedPatrons days.\n" if $verbose;
437     $sth = $dbh->prepare(
438         q{
439             DELETE FROM deletedborrowers
440             WHERE updated_on < DATE_SUB(CURDATE(), INTERVAL ? DAY)
441         }
442     );
443     $sth->execute($pDeletedPatrons);
444     print "Done with purging deleted patrons.\n" if $verbose;
445 }
446
447 if ($pOldIssues) {
448     print "Purging old checkouts older than $pOldIssues days.\n" if $verbose;
449     $sth = $dbh->prepare(
450         q{
451             DELETE FROM old_issues
452             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
453         }
454     );
455     $sth->execute($pOldIssues);
456     print "Done with purging old issues.\n" if $verbose;
457 }
458
459 if ($pOldReserves) {
460     print "Purging old reserves older than $pOldReserves days.\n" if $verbose;
461     $sth = $dbh->prepare(
462         q{
463             DELETE FROM old_reserves
464             WHERE timestamp < DATE_SUB(CURDATE(), INTERVAL ? DAY)
465         }
466     );
467     $sth->execute($pOldReserves);
468     print "Done with purging old reserves.\n" if $verbose;
469 }
470
471 if ($pTransfers) {
472     print "Purging arrived item transfers older than $pTransfers days.\n" if $verbose;
473     $sth = $dbh->prepare(
474         q{
475             DELETE FROM branchtransfers
476             WHERE datearrived < DATE_SUB(CURDATE(), INTERVAL ? DAY)
477         }
478     );
479     $sth->execute($pTransfers);
480     print "Done with purging transfers.\n" if $verbose;
481 }
482
483 exit(0);
484
485 sub RemoveOldSessions {
486     my ( $id, $a_session, $limit, $lasttime );
487     $limit = time() - 24 * 3600 * $sess_days;
488
489     $sth = $dbh->prepare(q{ SELECT id, a_session FROM sessions });
490     $sth->execute or die $dbh->errstr;
491     $sth->bind_columns( \$id, \$a_session );
492     $sth2  = $dbh->prepare(q{ DELETE FROM sessions WHERE id=? });
493     $count = 0;
494
495     while ( $sth->fetch ) {
496         $lasttime = 0;
497         if ( $a_session =~ /lasttime:\s+'?(\d+)/ ) {
498             $lasttime = $1;
499         }
500         elsif ( $a_session =~ /(ATIME|CTIME):\s+'?(\d+)/ ) {
501             $lasttime = $2;
502         }
503         if ( $lasttime && $lasttime < $limit ) {
504             $sth2->execute($id) or die $dbh->errstr;
505             $count++;
506         }
507     }
508     if ($verbose) {
509         print "$count sessions were deleted.\n";
510     }
511 }
512
513 sub PurgeImportTables {
514
515     #First purge import_records
516     #Delete cascades to import_biblios, import_items and import_record_matches
517     $sth = $dbh->prepare(
518         q{
519             DELETE FROM import_records
520             WHERE upload_timestamp < date_sub(curdate(), INTERVAL ? DAY)
521         }
522     );
523     $sth->execute($pImport) or die $dbh->errstr;
524
525     # Now purge import_batches
526     # Timestamp cannot be used here without care, because records are added
527     # continuously to batches without updating timestamp (Z39.50 search).
528     # So we only delete older empty batches.
529     # This delete will therefore not have a cascading effect.
530     $sth = $dbh->prepare(
531         q{
532             DELETE ba
533             FROM import_batches ba
534             LEFT JOIN import_records re ON re.import_batch_id=ba.import_batch_id
535             WHERE re.import_record_id IS NULL AND
536             ba.upload_timestamp < date_sub(curdate(), INTERVAL ? DAY)
537         }
538     );
539     $sth->execute($pImport) or die $dbh->errstr;
540 }
541
542 sub PurgeZ3950 {
543     $sth = $dbh->prepare(
544         q{
545             DELETE FROM import_batches
546             WHERE batch_type = 'z3950'
547         }
548     );
549     $sth->execute() or die $dbh->errstr;
550 }
551
552 sub PurgeDebarments {
553     require Koha::Patron::Debarments;
554     my $days = shift;
555     $count = 0;
556     $sth   = $dbh->prepare(
557         q{
558             SELECT borrower_debarment_id
559             FROM borrower_debarments
560             WHERE expiration < date_sub(curdate(), INTERVAL ? DAY)
561         }
562     );
563     $sth->execute($days) or die $dbh->errstr;
564     while ( my ($borrower_debarment_id) = $sth->fetchrow_array ) {
565         Koha::Patron::Debarments::DelDebarment($borrower_debarment_id);
566         $count++;
567     }
568     return $count;
569 }
570
571 sub DeleteExpiredSelfRegs {
572     my $cnt= C4::Members::DeleteExpiredOpacRegistrations();
573     print "Removed $cnt expired self-registered borrowers\n" if $verbose;
574 }
575
576 sub DeleteUnverifiedSelfRegs {
577     my $cnt= C4::Members::DeleteUnverifiedOpacRegistrations( $_[0] );
578     print "Removed $cnt unverified self-registrations\n" if $verbose;
579 }
580
581 sub DeleteSpecialHolidays {
582     my ( $days ) = @_;
583
584     my $sth = $dbh->prepare(q{
585         DELETE FROM special_holidays
586         WHERE DATE( CONCAT( year, '-', month, '-', day ) ) < DATE_SUB( CAST(NOW() AS DATE), INTERVAL ? DAY );
587     });
588     my $count = $sth->execute( $days ) + 0;
589     print "Removed $count unique holidays\n" if $verbose;
590 }