misc/cronjobs/overdue_notices.pl

   1 #!/usr/bin/perl -w
   2
   3 # Copyright 2008 Liblime
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it under the
   8 # terms of the GNU General Public License as published by the Free Software
   9 # Foundation; either version 2 of the License, or (at your option) any later
  10 # version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  13 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  14 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License along with
  17 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
  18 # Suite 330, Boston, MA  02111-1307 USA
  19
  20 use strict;
  21 use warnings;
  22
  23 BEGIN {
  24
  25     # find Koha's Perl modules
  26     # test carefully before changing this
  27     use FindBin;
  28     eval { require "$FindBin::Bin/../kohalib.pl" };
  29 }
  30
  31 use C4::Context;
  32 use C4::Dates qw/format_date/;
  33 use C4::Debug;
  34 use C4::Letters;
  35
  36 use Getopt::Long;
  37 use Pod::Usage;
  38 use Text::CSV_XS;
  39
  40 =head1 NAME
  41
  42 overdue_notices.pl - prepare messages to be sent to patrons for overdue items
  43
  44 =head1 SYNOPSIS
  45
  46 overdue_notices.pl [ -n ] [ -library <branchcode> ] [ -max <number of days> ] [ -csv [ <filename> ] ] [ -itemscontent <field list> ]
  47
  48  Options:
  49    -help                          brief help message
  50    -man                           full documentation
  51    -n                             No email will be sent
  52    -max          <days>           maximum days overdue to deal with
  53    -library      <branchname>     only deal with overdues from this library
  54    -csv          <filename>       populate CSV file
  55    -itemscontent <list of fields> item information in templates
  56
  57 =head1 OPTIONS
  58
  59 =over 8
  60
  61 =item B<-help>
  62
  63 Print a brief help message and exits.
  64
  65 =item B<-man>
  66
  67 Prints the manual page and exits.
  68
  69 =item B<-v>
  70
  71 Verbose. Without this flag set, only fatal errors are reported.
  72
  73 =item B<-n>
  74
  75 Do not send any email. Overdue notices that would have been sent to
  76 the patrons or to the admin are printed to standard out. CSV data (if
  77 the -csv flag is set) is written to standard out or to any csv
  78 filename given.
  79
  80 =item B<-max>
  81
  82 Items older than max days are assumed to be handled somewhere else,
  83 probably the F<longoverdues.pl> script. They are therefore ignored by
  84 this program. No notices are sent for them, and they are not added to
  85 any CSV files. Defaults to 90 to match F<longoverdues.pl>.
  86
  87 =item B<-library>
  88
  89 select overdues for one specific library. Use the value in the
  90 branches.branchcode table.
  91
  92 =item B<-csv>
  93
  94 Produces CSV data. if -n (no mail) flag is set, then this CSV data is
  95 sent to standard out or to a filename if provided. Otherwise, only
  96 overdues that could not be emailed are sent in CSV format to the admin.
  97
  98 =item B<-itemscontent>
  99
 100 comma separated list of fields that get substituted into templates in
 101 places of the E<lt>E<lt>items.contentE<gt>E<gt> placeholder. This
 102 defaults to issuedate,title,barcode,author
 103
 104 Other possible values come from fields in the biblios, items, and
 105 issues tables.
 106
 107 =back
 108
 109 =head1 DESCRIPTION
 110
 111 This script is designed to alert patrons and administrators of overdue
 112 items.
 113
 114 =head2 Configuration
 115
 116 This script pays attention to the overdue notice configuration
 117 performed in the "Overdue notice/status triggers" section of the
 118 "Tools" area of the staff interface to Koha. There, you can choose
 119 which letter templates are sent out after a configurable number of
 120 days to patrons of each library. More information about the use of this
 121 section of Koha is available in the Koha manual.
 122
 123 The templates used to craft the emails are defined in the "Tools:
 124 Notices" section of the staff interface to Koha.
 125
 126 =head2 Outgoing emails
 127
 128 Typically, messages are prepared for each patron with overdue
 129 items. Messages for whom there is no email address on file are
 130 collected and sent as attachments in a single email to each library
 131 administrator, or if that is not set, then to the email address in the
 132 C<KohaAdminEmailAddress> system preference.
 133
 134 These emails are staged in the outgoing message queue, as are messages
 135 produced by other features of Koha. This message queue must be
 136 processed regularly by the
 137 F<misc/cronjobs/process_message_queue.pl> program.
 138
 139 In the event that the C<-n> flag is passed to this program, no emails
 140 are sent. Instead, messages are sent on standard output from this
 141 program. They may be redirected to a file if desired.
 142
 143 =head2 Templates
 144
 145 Templates can contain variables enclosed in double angle brackets like
 146 E<lt>E<lt>thisE<gt>E<gt>. Those variables will be replaced with values
 147 specific to the overdue items or relevant patron. Available variables
 148 are:
 149
 150 =over
 151
 152 =item E<lt>E<lt>bibE<gt>E<gt>
 153
 154 the name of the library
 155
 156 =item E<lt>E<lt>items.contentE<gt>E<gt>
 157
 158 one line for each item, each line containing a tab separated list of
 159 title, author, barcode, issuedate
 160
 161 =item E<lt>E<lt>borrowers.*E<gt>E<gt>
 162
 163 any field from the borrowers table
 164
 165 =item E<lt>E<lt>branches.*E<gt>E<gt>
 166
 167 any field from the branches table
 168
 169 =back
 170
 171 =head2 CSV output
 172
 173 The C<-csv> command line option lets you specify a file to which
 174 overdues data should be output in CSV format.
 175
 176 With the C<-n> flag set, data about all overdues is written to the
 177 file. Without that flag, only information about overdues that were
 178 unable to be sent directly to the patrons will be written. In other
 179 words, this CSV file replaces the data that is typically sent to the
 180 administrator email address.
 181
 182 =head1 USAGE EXAMPLES
 183
 184 C<overdue_notices.pl> - In this most basic usage, with no command line
 185 arguments, all libraries are procesed individually, and notices are
 186 prepared for all patrons with overdue items for whom we have email
 187 addresses. Messages for those patrons for whom we have no email
 188 address are sent in a single attachment to the library administrator's
 189 email address, or to the address in the KohaAdminEmailAddress system
 190 preference.
 191
 192 C<overdue_notices.pl -n -csv /tmp/overdues.csv> - sends no email and
 193 populates F</tmp/overdues.csv> with information about all overdue
 194 items.
 195
 196 C<overdue_notices.pl -library MAIN max 14> - prepare notices of
 197 overdues in the last 2 weeks for the MAIN library.
 198
 199 =head1 SEE ALSO
 200
 201 The F<misc/cronjobs/advance_notices.pl> program allows you to send
 202 messages to patrons in advance of thier items becoming due, or to
 203 alert them of items that have just become due.
 204
 205 =cut
 206
 207 # These variables are set by command line options.
 208 # They are initially set to default values.
 209 my $help    = 0;
 210 my $man     = 0;
 211 my $verbose = 0;
 212 my $nomail  = 0;
 213 my $MAX     = 90;
 214 my $mybranch;
 215 my $csvfilename;
 216 my $itemscontent = join( ',', qw( issuedate title barcode author ) );
 217
 218 GetOptions(
 219     'help|?'         => \$help,
 220     'man'            => \$man,
 221     'v'              => \$verbose,
 222     'n'              => \$nomail,
 223     'max=s'          => \$MAX,
 224     'library=s'      => \$mybranch,
 225     'csv:s'          => \$csvfilename,    # this optional argument gets '' if not supplied.
 226     'itemscontent=s' => \$itemscontent,
 227 ) or pod2usage(2);
 228 pod2usage(1) if $help;
 229 pod2usage( -verbose => 2 ) if $man;
 230
 231 if ( defined $csvfilename && $csvfilename =~ /^-/ ) {
 232     warn qq(using "$csvfilename" as filename, that seems odd);
 233 }
 234
 235 my @branches    = C4::Overdues::GetBranchcodesWithOverdueRules();
 236 my $branchcount = scalar(@branches);
 237 if ($branchcount) {
 238     my $branch_word = scalar @branches > 1 ? 'branches' : 'branch';
 239     $verbose and warn "Found $branchcount $branch_word with first message enabled: " . join( ', ', map { "'$_'" } @branches ), "\n";
 240 } else {
 241     die 'No branches with active overduerules';
 242 }
 243
 244 if ($mybranch) {
 245     $verbose and warn "Branch $mybranch selected\n";
 246     if ( scalar grep { $mybranch eq $_ } @branches ) {
 247         @branches = ($mybranch);
 248     } else {
 249         $verbose and warn "No active overduerules for branch '$mybranch'\n";
 250         ( scalar grep { '' eq $_ } @branches )
 251           or die "No active overduerules for DEFAULT either!";
 252         $verbose and warn "Falling back on default rules for $mybranch\n";
 253         @branches = ('');
 254     }
 255 }
 256
 257 # these are the fields that will be substituted into <<item.content>>
 258 my @item_content_fields = split( /,/, $itemscontent );
 259
 260 my $dbh = C4::Context->dbh();
 261
 262 our $csv;       # the Text::CSV_XS object
 263 our $csv_fh;    # the filehandle to the CSV file.
 264 if ( defined $csvfilename ) {
 265     $csv = Text::CSV_XS->new( { binary => 1 } );
 266     if ( $csvfilename eq '' ) {
 267         $csv_fh = *STDOUT;
 268     } else {
 269         open $csv_fh, ">", $csvfilename or die "unable to open $csvfilename: $!";
 270     }
 271     if ( $csv->combine(qw(name surname address1 address2 zipcode city email itemcount itemsinfo)) ) {
 272         print $csv_fh $csv->string, "\n";
 273     } else {
 274         $verbose and warn 'combine failed on argument: ' . $csv->error_input;
 275     }
 276 }
 277
 278 foreach my $branchcode (@branches) {
 279
 280     my $branch_details = C4::Branch::GetBranchDetail($branchcode);
 281     my $admin_email_address = $branch_details->{'branchemail'} || C4::Context->preference('KohaAdminEmailAddress');
 282     my @output_chunks;    # may be sent to mail or stdout or csv file.
 283
 284     $verbose and warn sprintf "branchcode : '%s' using %s\n", $branchcode, $admin_email_address;
 285
 286     my $sth2 = $dbh->prepare( <<'END_SQL' );
 287 SELECT biblio.*, items.*, issues.*
 288   FROM issues,items,biblio
 289   WHERE items.itemnumber=issues.itemnumber
 290     AND biblio.biblionumber   = items.biblionumber
 291     AND issues.borrowernumber = ?
 292     AND TO_DAYS(NOW())-TO_DAYS(date_due) BETWEEN ? and ?
 293 END_SQL
 294
 295     my $rqoverduerules = $dbh->prepare("SELECT * FROM overduerules WHERE delay1 IS NOT NULL AND branchcode = ? ");
 296     $rqoverduerules->execute($branchcode);
 297     my $outfile = 'overdues_' . ( $mybranch || $branchcode || 'default' );
 298     while ( my $overdue_rules = $rqoverduerules->fetchrow_hashref ) {
 299       PERIOD: foreach my $i ( 1 .. 3 ) {
 300
 301             $verbose and warn "branch '$branchcode', pass $i\n";
 302             my $mindays = $overdue_rules->{"delay$i"};    # the notice will be sent after mindays days (grace period)
 303             my $maxdays = (
 304                   $overdue_rules->{ "delay" . ( $i + 1 ) }
 305                 ? $overdue_rules->{ "delay" . ( $i + 1 ) }
 306                 : ($MAX)
 307             );                                            # issues being more than maxdays late are managed somewhere else. (borrower probably suspended)
 308
 309             if ( !$overdue_rules->{"letter$i"} ) {
 310                 $verbose and warn "No letter$i code for branch '$branchcode'";
 311                 next PERIOD;
 312             }
 313
 314             # $letter->{'content'} is the text of the mail that is sent.
 315             # this text contains fields that are replaced by their value. Those fields must be written between brackets
 316             # The following fields are available :
 317             # <date> <itemcount> <firstname> <lastname> <address1> <address2> <address3> <city> <postcode>
 318
 319             my $borrower_sql = <<'END_SQL';
 320 SELECT COUNT(*), issues.borrowernumber, firstname, surname, address, address2, city, zipcode, email, MIN(date_due) as longest_issue
 321 FROM   issues,borrowers,categories
 322 WHERE  issues.borrowernumber=borrowers.borrowernumber
 323 AND    borrowers.categorycode=categories.categorycode
 324 END_SQL
 325             my @borrower_parameters;
 326             if ($branchcode) {
 327                 $borrower_sql .= ' AND issues.branchcode=? ';
 328                 push @borrower_parameters, $branchcode;
 329             }
 330             if ( $overdue_rules->{categorycode} ) {
 331                 $borrower_sql .= ' AND borrowers.categorycode=? ';
 332                 push @borrower_parameters, $overdue_rules->{categorycode};
 333             }
 334             $borrower_sql .= <<'END_SQL';
 335 AND    categories.overduenoticerequired=1
 336 GROUP BY issues.borrowernumber
 337 HAVING TO_DAYS(NOW())-TO_DAYS(longest_issue) BETWEEN ? and ?
 338 END_SQL
 339             push @borrower_parameters, $mindays, $maxdays;
 340             my $sth = $dbh->prepare($borrower_sql);
 341             $sth->execute(@borrower_parameters);
 342             $verbose and warn $borrower_sql . "\n\n ($mindays, $maxdays)\nreturns " . $sth->rows . " rows";
 343
 344             while ( my ( $itemcount, $borrowernumber, $firstname, $lastname, $address1, $address2, $city, $postcode, $email ) = $sth->fetchrow ) {
 345                 warn "borrower $firstname, $lastname ($borrowernumber) has $itemcount items overdue." if $verbose;
 346
 347                 my $letter = C4::Letters::getletter( 'circulation', $overdue_rules->{"letter$i"} );
 348                 unless ($letter) {
 349                     $verbose and warn "Message '$overdue_rules->{letter$i}' content not found";
 350
 351                     # might as well skip while PERIOD, no other borrowers are going to work.
 352                     next PERIOD;
 353                 }
 354
 355                 if ( $overdue_rules->{"debarred$i"} ) {
 356
 357                     #action taken is debarring
 358                     C4::Members::DebarMember($borrowernumber);
 359                     $verbose and warn "debarring $borrowernumber $firstname $lastname\n";
 360                 }
 361
 362                 $sth2->execute( $borrowernumber, $mindays, $maxdays );
 363                 my $titles = "";
 364                 while ( my $item_info = $sth2->fetchrow_hashref() ) {
 365                     my @item_info = map { $_ =~ /date$/ ? format_date( $item_info->{$_} ) : $item_info->{$_} || '' } @item_content_fields;
 366                     $titles .= join("\t", @item_info) . "\n";
 367                 }
 368                 $sth2->finish;
 369
 370                 $letter = parse_letter(
 371                     {   letter         => $letter,
 372                         borrowernumber => $borrowernumber,
 373                         branchcode     => $branchcode,
 374                         substitute     => {
 375                             bib             => $branch_details->{'branchname'},
 376                             'items.content' => $titles
 377                         }
 378                     }
 379                 );
 380
 381                 my @misses = grep { /./ } map { /^([^>]*)[>]+/; ( $1 || '' ); } split /\</, $letter->{'content'};
 382                 if (@misses) {
 383                     $verbose and warn "The following terms were not matched and replaced: \n\t" . join "\n\t", @misses;
 384                 }
 385                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # Now that we've warned about them, remove them.
 386                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # 2nd pass for the double nesting.
 387
 388                 if ($nomail) {
 389
 390                     push @output_chunks,
 391                       prepare_letter_for_printing(
 392                         {   letter         => $letter,
 393                             borrowernumber => $borrowernumber,
 394                             firstname      => $firstname,
 395                             lastname       => $lastname,
 396                             address1       => $address1,
 397                             address2       => $address2,
 398                             city           => $city,
 399                             postcode       => $postcode,
 400                             email          => $email,
 401                             itemcount      => $itemcount,
 402                             titles         => $titles,
 403                             outputformat   => defined $csvfilename ? 'csv' : '',
 404                         }
 405                       );
 406                 } else {
 407                     if ($email) {
 408                         C4::Letters::EnqueueLetter(
 409                             {   letter                 => $letter,
 410                                 borrowernumber         => $borrowernumber,
 411                                 message_transport_type => 'email',
 412                                 from_address           => $admin_email_address,
 413                             }
 414                         );
 415                     } else {
 416
 417                         # If we don't have an email address for this patron, send it to the admin to deal with.
 418                         push @output_chunks,
 419                           prepare_letter_for_printing(
 420                             {   letter         => $letter,
 421                                 borrowernumber => $borrowernumber,
 422                                 firstname      => $firstname,
 423                                 lastname       => $lastname,
 424                                 address1       => $address1,
 425                                 address2       => $address2,
 426                                 city           => $city,
 427                                 postcode       => $postcode,
 428                                 email          => $email,
 429                                 itemcount      => $itemcount,
 430                                 titles         => $titles,
 431                                 outputformat   => defined $csvfilename ? 'csv' : '',
 432                             }
 433                           );
 434                     }
 435                 }
 436
 437             }
 438             $sth->finish;
 439         }
 440     }
 441
 442     if (@output_chunks) {
 443         if ($nomail) {
 444             if ( defined $csvfilename ) {
 445                 print $csv_fh @output_chunks;
 446             } else {
 447                 local $, = "\f";    # pagebreak
 448                 print @output_chunks;
 449             }
 450         } else {
 451             my $attachment = {
 452                 filename => defined $csvfilename ? 'attachment.csv' : 'attachment.txt',
 453                 type => 'text/plain',
 454                 content => join( "\n", @output_chunks )
 455             };
 456
 457             my $letter = {
 458                 title   => 'Overdue Notices',
 459                 content => 'These messages were not sent directly to the patrons.',
 460             };
 461             C4::Letters::EnqueueLetter(
 462                 {   letter                 => $letter,
 463                     borrowernumber         => undef,
 464                     message_transport_type => 'email',
 465                     attachments            => [$attachment],
 466                     to_address             => $admin_email_address,
 467                 }
 468             );
 469         }
 470     }
 471
 472 }
 473 if ($csvfilename) {
 474
 475     # note that we're not testing on $csv_fh to prevent closing
 476     # STDOUT.
 477     close $csv_fh;
 478 }
 479
 480 =head1 INTERNAL METHODS
 481
 482 These methods are internal to the operation of overdue_notices.pl.
 483
 484 =head2 parse_letter
 485
 486 parses the letter template, replacing the placeholders with data
 487 specific to this patron, biblio, or item
 488
 489 named parameters:
 490   letter - required hashref
 491   borrowernumber - required integer
 492   substitute - optional hashref of other key/value pairs that should
 493     be substituted in the letter content
 494
 495 returns the C<letter> hashref, with the content updated to reflect the
 496 substituted keys and values.
 497
 498
 499 =cut
 500
 501 sub parse_letter {
 502     my $params = shift;
 503     foreach my $required (qw( letter borrowernumber )) {
 504         return unless exists $params->{$required};
 505     }
 506
 507     if ( $params->{'substitute'} ) {
 508         while ( my ( $key, $replacedby ) = each %{ $params->{'substitute'} } ) {
 509             my $replacefield = "<<$key>>";
 510
 511             $params->{'letter'}->{title}   =~ s/$replacefield/$replacedby/g;
 512             $params->{'letter'}->{content} =~ s/$replacefield/$replacedby/g;
 513         }
 514     }
 515
 516     C4::Letters::parseletter( $params->{'letter'}, 'borrowers', $params->{'borrowernumber'} );
 517
 518     if ( $params->{'branchcode'} ) {
 519         C4::Letters::parseletter( $params->{'letter'}, 'branches', $params->{'branchcode'} );
 520     }
 521
 522     if ( $params->{'biblionumber'} ) {
 523         C4::Letters::parseletter( $params->{'letter'}, 'biblio',      $params->{'biblionumber'} );
 524         C4::Letters::parseletter( $params->{'letter'}, 'biblioitems', $params->{'biblionumber'} );
 525     }
 526
 527     return $params->{'letter'};
 528 }
 529
 530 =head2 prepare_letter_for_printing
 531
 532 returns a string of text appropriate for printing in the event that an
 533 overdue notice will not be sent to the patron's email
 534 address. Depending on the desired output format, this may be a CSV
 535 string, or a human-readable representation of the notice.
 536
 537 required parameters:
 538   letter
 539   borrowernumber
 540
 541 optional parameters:
 542   outputformat
 543
 544 =cut
 545
 546 sub prepare_letter_for_printing {
 547     my $params = shift;
 548
 549     return unless ref $params eq 'HASH';
 550
 551     foreach my $required_parameter (qw( letter borrowernumber )) {
 552         return unless defined $params->{$required_parameter};
 553     }
 554
 555     my $return;
 556     if ( exists $params->{'outputformat'} && $params->{'outputformat'} eq 'csv' ) {
 557         if ($csv->combine(
 558                 $params->{'firstname'}, $params->{'lastname'}, $params->{'address1'},  $params->{'address2'}, $params->{'postcode'},
 559                 $params->{'city'},      $params->{'email'},    $params->{'itemcount'}, $params->{'items.content'}
 560             )
 561           ) {
 562             return $csv->string, "\n";
 563         } else {
 564             $verbose and warn 'combine failed on argument: ' . $csv->error_input;
 565         }
 566     } else {
 567         $return .= "$params->{'letter'}->{'content'}\n";
 568
 569         # $return .= Data::Dumper->Dump( [ $params->{'borrowernumber'}, $params->{'letter'} ], [qw( borrowernumber letter )] );
 570     }
 571     return $return;
 572 }
 573