Bug 13109: Serial failure for received and general viewing.
[koha.git] / misc / cronjobs / overdue_notices.pl
1 #!/usr/bin/perl
2
3 # Copyright 2008 Liblime
4 # Copyright 2010 BibLibre
5 #
6 # This file is part of Koha.
7 #
8 # Koha is free software; you can redistribute it and/or modify it
9 # under the terms of the GNU General Public License as published by
10 # the Free Software Foundation; either version 3 of the License, or
11 # (at your option) any later version.
12 #
13 # Koha is distributed in the hope that it will be useful, but
14 # WITHOUT ANY WARRANTY; without even the implied warranty of
15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 # GNU General Public License for more details.
17 #
18 # You should have received a copy of the GNU General Public License
19 # along with Koha; if not, see <http://www.gnu.org/licenses>.
20
21 use strict;
22 use warnings;
23
24 BEGIN {
25
26     # find Koha's Perl modules
27     # test carefully before changing this
28     use FindBin;
29     eval { require "$FindBin::Bin/../kohalib.pl" };
30 }
31
32 use Getopt::Long;
33 use Pod::Usage;
34 use Text::CSV_XS;
35 use Locale::Currency::Format 1.28;
36 use Encode;
37 use DateTime;
38 use DateTime::Duration;
39
40 use C4::Context;
41 use C4::Dates qw/format_date/;
42 use C4::Debug;
43 use C4::Letters;
44 use C4::Overdues qw(GetFine GetOverdueMessageTransportTypes);
45 use C4::Budgets qw(GetCurrency);
46 use Koha::DateUtils;
47
48 use Koha::Borrower::Debarments qw(AddUniqueDebarment);
49 use Koha::DateUtils;
50 use Koha::Calendar;
51
52 =head1 NAME
53
54 overdue_notices.pl - prepare messages to be sent to patrons for overdue items
55
56 =head1 SYNOPSIS
57
58 overdue_notices.pl
59   [ -n ][ -library <branchcode> ][ -library <branchcode> ... ]
60   [ -max <number of days> ][ -csv [<filename>] ][ -itemscontent <field list> ]
61   [ -email <email_type> ... ]
62
63  Options:
64    -help                          brief help message
65    -man                           full documentation
66    -n                             No email will be sent
67    -max          <days>           maximum days overdue to deal with
68    -library      <branchname>     only deal with overdues from this library (repeatable : several libraries can be given)
69    -csv          <filename>       populate CSV file
70    -html         <directory>      Output html to a file in the given directory
71    -text         <directory>      Output plain text to a file in the given directory
72    -itemscontent <list of fields> item information in templates
73    -borcat       <categorycode>   category code that must be included
74    -borcatout    <categorycode>   category code that must be excluded
75    -email        <email_type>     type of email that will be used. Can be 'email', 'emailpro' or 'B_email'. Repeatable.
76
77 =head1 OPTIONS
78
79 =over 8
80
81 =item B<-help>
82
83 Print a brief help message and exits.
84
85 =item B<-man>
86
87 Prints the manual page and exits.
88
89 =item B<-v>
90
91 Verbose. Without this flag set, only fatal errors are reported.
92
93 =item B<-n>
94
95 Do not send any email. Overdue notices that would have been sent to
96 the patrons or to the admin are printed to standard out. CSV data (if
97 the -csv flag is set) is written to standard out or to any csv
98 filename given.
99
100 =item B<-max>
101
102 Items older than max days are assumed to be handled somewhere else,
103 probably the F<longoverdues.pl> script. They are therefore ignored by
104 this program. No notices are sent for them, and they are not added to
105 any CSV files. Defaults to 90 to match F<longoverdues.pl>.
106
107 =item B<-library>
108
109 select overdues for one specific library. Use the value in the
110 branches.branchcode table. This option can be repeated in order 
111 to select overdues for a group of libraries.
112
113 =item B<-csv>
114
115 Produces CSV data. if -n (no mail) flag is set, then this CSV data is
116 sent to standard out or to a filename if provided. Otherwise, only
117 overdues that could not be emailed are sent in CSV format to the admin.
118
119 =item B<-html>
120
121 Produces html data. If patron does not have an email address or
122 -n (no mail) flag is set, an HTML file is generated in the specified
123 directory. This can be downloaded or futher processed by library staff.
124 The file will be called notices-YYYY-MM-DD.html and placed in the directory
125 specified.
126
127 =item B<-text>
128
129 Produces plain text data. If patron does not have an email address or
130 -n (no mail) flag is set, a text file is generated in the specified
131 directory. This can be downloaded or futher processed by library staff.
132 The file will be called notices-YYYY-MM-DD.txt and placed in the directory
133 specified.
134
135 =item B<-itemscontent>
136
137 comma separated list of fields that get substituted into templates in
138 places of the E<lt>E<lt>items.contentE<gt>E<gt> placeholder. This
139 defaults to due date,title,barcode,author
140
141 Other possible values come from fields in the biblios, items and
142 issues tables.
143
144 =item B<-borcat>
145
146 Repetable field, that permit to select only few of patrons categories.
147
148 =item B<-borcatout>
149
150 Repetable field, permis to exclude some patrons categories.
151
152 =item B<-t> | B<--triggered>
153
154 This option causes a notice to be generated if and only if 
155 an item is overdue by the number of days defined in a notice trigger.
156
157 By default, a notice is sent each time the script runs, which is suitable for 
158 less frequent run cron script, but requires syncing notice triggers with 
159 the  cron schedule to ensure proper behavior.
160 Add the --triggered option for daily cron, at the risk of no notice 
161 being generated if the cron fails to run on time.
162
163 =item B<-list-all>
164
165 Default items.content lists only those items that fall in the 
166 range of the currently processing notice.
167 Choose list-all to include all overdue items in the list (limited by B<-max> setting).
168
169 =item B<-date>
170
171 use it in order to send overdues on a specific date and not Now. Format: YYYY-MM-DD.
172
173 =item B<-email>
174
175 Allows to specify which type of email will be used. Can be email, emailpro or B_email. Repeatable.
176
177 =back
178
179 =head1 DESCRIPTION
180
181 This script is designed to alert patrons and administrators of overdue
182 items.
183
184 =head2 Configuration
185
186 This script pays attention to the overdue notice configuration
187 performed in the "Overdue notice/status triggers" section of the
188 "Tools" area of the staff interface to Koha. There, you can choose
189 which letter templates are sent out after a configurable number of
190 days to patrons of each library. More information about the use of this
191 section of Koha is available in the Koha manual.
192
193 The templates used to craft the emails are defined in the "Tools:
194 Notices" section of the staff interface to Koha.
195
196 =head2 Outgoing emails
197
198 Typically, messages are prepared for each patron with overdue
199 items. Messages for whom there is no email address on file are
200 collected and sent as attachments in a single email to each library
201 administrator, or if that is not set, then to the email address in the
202 C<KohaAdminEmailAddress> system preference.
203
204 These emails are staged in the outgoing message queue, as are messages
205 produced by other features of Koha. This message queue must be
206 processed regularly by the
207 F<misc/cronjobs/process_message_queue.pl> program.
208
209 In the event that the C<-n> flag is passed to this program, no emails
210 are sent. Instead, messages are sent on standard output from this
211 program. They may be redirected to a file if desired.
212
213 =head2 Templates
214
215 Templates can contain variables enclosed in double angle brackets like
216 E<lt>E<lt>thisE<gt>E<gt>. Those variables will be replaced with values
217 specific to the overdue items or relevant patron. Available variables
218 are:
219
220 =over
221
222 =item E<lt>E<lt>bibE<gt>E<gt>
223
224 the name of the library
225
226 =item E<lt>E<lt>items.contentE<gt>E<gt>
227
228 one line for each item, each line containing a tab separated list of
229 title, author, barcode, issuedate
230
231 =item E<lt>E<lt>borrowers.*E<gt>E<gt>
232
233 any field from the borrowers table
234
235 =item E<lt>E<lt>branches.*E<gt>E<gt>
236
237 any field from the branches table
238
239 =back
240
241 =head2 CSV output
242
243 The C<-csv> command line option lets you specify a file to which
244 overdues data should be output in CSV format.
245
246 With the C<-n> flag set, data about all overdues is written to the
247 file. Without that flag, only information about overdues that were
248 unable to be sent directly to the patrons will be written. In other
249 words, this CSV file replaces the data that is typically sent to the
250 administrator email address.
251
252 =head1 USAGE EXAMPLES
253
254 C<overdue_notices.pl> - In this most basic usage, with no command line
255 arguments, all libraries are procesed individually, and notices are
256 prepared for all patrons with overdue items for whom we have email
257 addresses. Messages for those patrons for whom we have no email
258 address are sent in a single attachment to the library administrator's
259 email address, or to the address in the KohaAdminEmailAddress system
260 preference.
261
262 C<overdue_notices.pl -n -csv /tmp/overdues.csv> - sends no email and
263 populates F</tmp/overdues.csv> with information about all overdue
264 items.
265
266 C<overdue_notices.pl -library MAIN max 14> - prepare notices of
267 overdues in the last 2 weeks for the MAIN library.
268
269 =head1 SEE ALSO
270
271 The F<misc/cronjobs/advance_notices.pl> program allows you to send
272 messages to patrons in advance of thier items becoming due, or to
273 alert them of items that have just become due.
274
275 =cut
276
277 # These variables are set by command line options.
278 # They are initially set to default values.
279 my $dbh = C4::Context->dbh();
280 my $help    = 0;
281 my $man     = 0;
282 my $verbose = 0;
283 my $nomail  = 0;
284 my $MAX     = 90;
285 my @branchcodes; # Branch(es) passed as parameter
286 my @emails_to_use;    # Emails to use for messaging
287 my @emails;           # Emails given in command-line parameters
288 my $csvfilename;
289 my $htmlfilename;
290 my $text_filename;
291 my $triggered = 0;
292 my $listall = 0;
293 my $itemscontent = join( ',', qw( date_due title barcode author itemnumber ) );
294 my @myborcat;
295 my @myborcatout;
296 my ( $date_input, $today );
297
298 GetOptions(
299     'help|?'         => \$help,
300     'man'            => \$man,
301     'v'              => \$verbose,
302     'n'              => \$nomail,
303     'max=s'          => \$MAX,
304     'library=s'      => \@branchcodes,
305     'csv:s'          => \$csvfilename,    # this optional argument gets '' if not supplied.
306     'html:s'         => \$htmlfilename,    # this optional argument gets '' if not supplied.
307     'text:s'         => \$text_filename,    # this optional argument gets '' if not supplied.
308     'itemscontent=s' => \$itemscontent,
309     'list-all'       => \$listall,
310     't|triggered'    => \$triggered,
311     'date=s'         => \$date_input,
312     'borcat=s'       => \@myborcat,
313     'borcatout=s'    => \@myborcatout,
314     'email=s'        => \@emails,
315 ) or pod2usage(2);
316 pod2usage(1) if $help;
317 pod2usage( -verbose => 2 ) if $man;
318
319 if ( defined $csvfilename && $csvfilename =~ /^-/ ) {
320     warn qq(using "$csvfilename" as filename, that seems odd);
321 }
322
323 my @overduebranches    = C4::Overdues::GetBranchcodesWithOverdueRules();        # Branches with overdue rules
324 my @branches;                                                                   # Branches passed as parameter with overdue rules
325 my $branchcount = scalar(@overduebranches);
326
327 my $overduebranch_word = scalar @overduebranches > 1 ? 'branches' : 'branch';
328 my $branchcodes_word = scalar @branchcodes > 1 ? 'branches' : 'branch';
329
330 my $PrintNoticesMaxLines = C4::Context->preference('PrintNoticesMaxLines');
331
332 if ($branchcount) {
333     $verbose and warn "Found $branchcount $overduebranch_word with first message enabled: " . join( ', ', map { "'$_'" } @overduebranches ), "\n";
334 } else {
335     die 'No branches with active overduerules';
336 }
337
338 if (@branchcodes) {
339     $verbose and warn "$branchcodes_word @branchcodes passed on parameter\n";
340     
341     # Getting libraries which have overdue rules
342     my %seen = map { $_ => 1 } @branchcodes;
343     @branches = grep { $seen{$_} } @overduebranches;
344     
345     
346     if (@branches) {
347
348         my $branch_word = scalar @branches > 1 ? 'branches' : 'branch';
349         $verbose and warn "$branch_word @branches have overdue rules\n";
350
351     } else {
352     
353         $verbose and warn "No active overduerules for $branchcodes_word  '@branchcodes'\n";
354         ( scalar grep { '' eq $_ } @branches )
355           or die "No active overduerules for DEFAULT either!";
356         $verbose and warn "Falling back on default rules for @branchcodes\n";
357         @branches = ('');
358     }
359 }
360 my $date_to_run;
361 my $date;
362 if ( $date_input ){
363     eval {
364         $date_to_run = dt_from_string( $date_input, 'iso' );
365     };
366     die "$date_input is not a valid date, aborting! Use a date in format YYYY-MM-DD."
367         if $@ or not $date_to_run;
368
369     # It's certainly useless to escape $date_input
370     # dt_from_string should not return something if $date_input is not correctly set.
371     $date = $dbh->quote( $date_input );
372 }
373 else {
374     $date="NOW()";
375     $date_to_run = dt_from_string();
376 }
377
378 # these are the fields that will be substituted into <<item.content>>
379 my @item_content_fields = split( /,/, $itemscontent );
380
381 binmode( STDOUT, ':encoding(UTF-8)' );
382
383
384 our $csv;       # the Text::CSV_XS object
385 our $csv_fh;    # the filehandle to the CSV file.
386 if ( defined $csvfilename ) {
387     my $sep_char = C4::Context->preference('delimiter') || ';';
388     $sep_char = "\t" if ($sep_char eq 'tabulation');
389     $csv = Text::CSV_XS->new( { binary => 1 , sep_char => $sep_char } );
390     if ( $csvfilename eq '' ) {
391         $csv_fh = *STDOUT;
392     } else {
393         open $csv_fh, ">", $csvfilename or die "unable to open $csvfilename: $!";
394     }
395     if ( $csv->combine(qw(name surname address1 address2 zipcode city country email phone cardnumber itemcount itemsinfo branchname letternumber)) ) {
396         print $csv_fh $csv->string, "\n";
397     } else {
398         $verbose and warn 'combine failed on argument: ' . $csv->error_input;
399     }
400 }
401
402 @branches = @overduebranches unless @branches;
403 our $fh;
404 if ( defined $htmlfilename ) {
405   if ( $htmlfilename eq '' ) {
406     $fh = *STDOUT;
407   } else {
408     my $today = DateTime->now(time_zone => C4::Context->tz );
409     open $fh, ">:encoding(UTF-8)",File::Spec->catdir ($htmlfilename,"notices-".$today->ymd().".html");
410   }
411   
412   print $fh "<html>\n";
413   print $fh "<head>\n";
414   print $fh "<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n";
415   print $fh "<style type='text/css'>\n";
416   print $fh "pre {page-break-after: always;}\n";
417   print $fh "pre {white-space: pre-wrap;}\n";
418   print $fh "pre {white-space: -moz-pre-wrap;}\n";
419   print $fh "pre {white-space: -o-pre-wrap;}\n";
420   print $fh "pre {word-wrap: break-work;}\n";
421   print $fh "</style>\n";
422   print $fh "</head>\n";
423   print $fh "<body>\n";
424 }
425 elsif ( defined $text_filename ) {
426   if ( $text_filename eq '' ) {
427     $fh = *STDOUT;
428   } else {
429     my $today = DateTime->now(time_zone => C4::Context->tz );
430     open $fh, ">",File::Spec->catdir ($text_filename,"notices-".$today->ymd().".txt");
431   }
432 }
433
434 foreach my $branchcode (@branches) {
435     if ( C4::Context->preference('OverdueNoticeCalendar') ) {
436         my $calendar = Koha::Calendar->new( branchcode => $branchcode );
437         if ( $calendar->is_holiday($date_to_run) ) {
438             next;
439         }
440     }
441
442     my $branch_details      = C4::Branch::GetBranchDetail($branchcode);
443     my $admin_email_address = $branch_details->{'branchemail'}
444       || C4::Context->preference('KohaAdminEmailAddress');
445     my @output_chunks;    # may be sent to mail or stdout or csv file.
446
447     $verbose and warn sprintf "branchcode : '%s' using %s\n", $branchcode, $admin_email_address;
448
449     my $sth2 = $dbh->prepare( <<"END_SQL" );
450 SELECT biblio.*, items.*, issues.*, biblioitems.itemtype, TO_DAYS($date)-TO_DAYS(date_due) AS days_overdue, branchname
451   FROM issues,items,biblio, biblioitems, branches b
452   WHERE items.itemnumber=issues.itemnumber
453     AND biblio.biblionumber   = items.biblionumber
454     AND b.branchcode = items.homebranch
455     AND biblio.biblionumber   = biblioitems.biblionumber
456     AND issues.borrowernumber = ?
457 END_SQL
458
459     my $query = "SELECT * FROM overduerules WHERE delay1 IS NOT NULL AND branchcode = ? ";
460     $query .= " AND categorycode IN (".join( ',' , ('?') x @myborcat ).") " if (@myborcat);
461     $query .= " AND categorycode NOT IN (".join( ',' , ('?') x @myborcatout ).") " if (@myborcatout);
462     
463     my $rqoverduerules =  $dbh->prepare($query);
464     $rqoverduerules->execute($branchcode, @myborcat, @myborcatout);
465     
466     # We get default rules is there is no rule for this branch
467     if($rqoverduerules->rows == 0){
468         $query = "SELECT * FROM overduerules WHERE delay1 IS NOT NULL AND branchcode = '' ";
469         $query .= " AND categorycode IN (".join( ',' , ('?') x @myborcat ).") " if (@myborcat);
470         $query .= " AND categorycode NOT IN (".join( ',' , ('?') x @myborcatout ).") " if (@myborcatout);
471         
472         $rqoverduerules = $dbh->prepare($query);
473         $rqoverduerules->execute(@myborcat, @myborcatout);
474     }
475
476     # my $outfile = 'overdues_' . ( $mybranch || $branchcode || 'default' );
477     while ( my $overdue_rules = $rqoverduerules->fetchrow_hashref ) {
478       PERIOD: foreach my $i ( 1 .. 3 ) {
479
480             $verbose and warn "branch '$branchcode', categorycode = $overdue_rules->{categorycode} pass $i\n";
481
482             my $mindays = $overdue_rules->{"delay$i"};    # the notice will be sent after mindays days (grace period)
483             my $maxdays = (
484                   $overdue_rules->{ "delay" . ( $i + 1 ) }
485                 ? $overdue_rules->{ "delay" . ( $i + 1 ) } - 1
486                 : ($MAX)
487             );                                            # issues being more than maxdays late are managed somewhere else. (borrower probably suspended)
488
489             next unless defined $mindays;
490
491             if ( !$overdue_rules->{"letter$i"} ) {
492                 $verbose and warn "No letter$i code for branch '$branchcode'";
493                 next PERIOD;
494             }
495
496             # $letter->{'content'} is the text of the mail that is sent.
497             # this text contains fields that are replaced by their value. Those fields must be written between brackets
498             # The following fields are available :
499             # itemcount is interpreted here as the number of items in the overdue range defined by the current notice or all overdues < max if(-list-all).
500             # <date> <itemcount> <firstname> <lastname> <address1> <address2> <address3> <city> <postcode> <country>
501
502             my $borrower_sql = <<'END_SQL';
503 SELECT issues.borrowernumber, firstname, surname, address, address2, city, zipcode, country, email, emailpro, B_email, smsalertnumber, phone, cardnumber,
504 TO_DAYS(?)-TO_DAYS(date_due) as difference, date_due
505 FROM   issues,borrowers,categories
506 WHERE  issues.borrowernumber=borrowers.borrowernumber
507 AND    borrowers.categorycode=categories.categorycode
508 END_SQL
509             my @borrower_parameters;
510             push @borrower_parameters, $date_to_run->datetime();
511             if ($branchcode) {
512                 $borrower_sql .= ' AND issues.branchcode=? ';
513                 push @borrower_parameters, $branchcode;
514             }
515             if ( $overdue_rules->{categorycode} ) {
516                 $borrower_sql .= ' AND borrowers.categorycode=? ';
517                 push @borrower_parameters, $overdue_rules->{categorycode};
518             }
519             $borrower_sql .= '  AND categories.overduenoticerequired=1 ORDER BY issues.borrowernumber';
520
521             # $sth gets borrower info iff at least one overdue item has triggered the overdue action.
522                 my $sth = $dbh->prepare($borrower_sql);
523             $sth->execute(@borrower_parameters);
524
525             $verbose and warn $borrower_sql . "\n $branchcode | " . $overdue_rules->{'categorycode'} . "\n ($mindays, $maxdays, ".  $date_to_run->datetime() .")\nreturns " . $sth->rows . " rows";
526             my $borrowernumber;
527             while ( my $data = $sth->fetchrow_hashref ) {
528
529                 next unless ( DateTime->compare( $date_to_run,  dt_from_string($data->{date_due})) ) == 1;
530
531                 # check the borrower has at least one item that matches
532                 my $days_between;
533                 if ( C4::Context->preference('OverdueNoticeCalendar') )
534                 {
535                     my $calendar =
536                       Koha::Calendar->new( branchcode => $branchcode );
537                     $days_between =
538                       $calendar->days_between(  dt_from_string($data->{date_due}),
539                         $date_to_run );
540                 }
541                 else {
542                     $days_between =
543                       $date_to_run->delta_days(  dt_from_string($data->{date_due}) );
544                 }
545                 $days_between = $days_between->in_units('days');
546                 if ($triggered) {
547                     if ( $mindays != $days_between ) {
548                         next;
549                     }
550                 }
551                 else {
552                     unless (   $days_between >= $mindays
553                         && $days_between <= $maxdays )
554                     {
555                         next;
556                     }
557                 }
558                 if ($borrowernumber eq $data->{'borrowernumber'}){
559 # we have already dealt with this borrower
560                     $verbose and warn "already dealt with this borrower $borrowernumber";
561                     next;
562                 }
563                 $borrowernumber = $data->{'borrowernumber'};
564                 my $borr =
565                     $data->{'firstname'} . ', '
566                   . $data->{'surname'} . ' ('
567                   . $borrowernumber . ')';
568                 $verbose
569                   and warn "borrower $borr has items triggering level $i.";
570
571                 @emails_to_use = ();
572                 my $notice_email =
573                     C4::Members::GetNoticeEmailAddress($borrowernumber);
574                 unless ($nomail) {
575                     if (@emails) {
576                         foreach (@emails) {
577                             push @emails_to_use, $data->{$_} if ( $data->{$_} );
578                         }
579                     }
580                     else {
581                         push @emails_to_use, $notice_email if ($notice_email);
582                     }
583                 }
584
585                 my $letter = C4::Letters::getletter( 'circulation', $overdue_rules->{"letter$i"}, $branchcode );
586
587                 unless ($letter) {
588                     $verbose and warn qq|Message '$overdue_rules->{"letter$i"}' content not found|;
589
590                     # might as well skip while PERIOD, no other borrowers are going to work.
591                     # FIXME : Does this mean a letter must be defined in order to trigger a debar ?
592                     next PERIOD;
593                 }
594     
595                 if ( $overdue_rules->{"debarred$i"} ) {
596     
597                     #action taken is debarring
598                     AddUniqueDebarment(
599                         {
600                             borrowernumber => $borrowernumber,
601                             type           => 'OVERDUES',
602                             comment => "Restriction added by overdues process "
603                               . output_pref( dt_from_string() ),
604                         }
605                     );
606                     $verbose and warn "debarring $borr\n";
607                 }
608                 my @params = ($borrowernumber);
609                 $verbose and warn "STH2 PARAMS: borrowernumber = $borrowernumber";
610
611                 $sth2->execute(@params);
612                 my $itemcount = 0;
613                 my $titles = "";
614                 my @items = ();
615                 
616                 my $j = 0;
617                 my $exceededPrintNoticesMaxLines = 0;
618                 while ( my $item_info = $sth2->fetchrow_hashref() ) {
619                     next unless ( DateTime->compare( $date_to_run,  dt_from_string($item_info->{date_due})) ) == 1;
620
621                     if ( C4::Context->preference('OverdueNoticeCalendar') ) {
622                         my $calendar =
623                           Koha::Calendar->new( branchcode => $branchcode );
624                         $days_between =
625                           $calendar->days_between(
626                             dt_from_string( $item_info->{date_due} ), $date_to_run );
627                     }
628                     else {
629                         $days_between =
630                           $date_to_run->delta_days(
631                             dt_from_string( $item_info->{date_due} ) );
632                     }
633                     $days_between = $days_between->in_units('days');
634                     if ($listall){
635                         unless ($days_between >= 1 and $days_between <= $MAX){
636                             next;
637                         }
638                     }
639                     else {
640                         if ($triggered) {
641                             if ( $mindays != $days_between ) {
642                                 next;
643                             }
644                         }
645                         else {
646                             unless ( $days_between >= $mindays
647                                 && $days_between <= $maxdays )
648                             {
649                                 next;
650                             }
651                         }
652                     }
653
654                     if ( ( scalar(@emails_to_use) == 0 || $nomail ) && $PrintNoticesMaxLines && $j >= $PrintNoticesMaxLines ) {
655                       $exceededPrintNoticesMaxLines = 1;
656                       last;
657                     }
658                     $j++;
659                     my @item_info = map { $_ =~ /^date|date$/ ? format_date( $item_info->{$_} ) : $item_info->{$_} || '' } @item_content_fields;
660                     $titles .= join("\t", @item_info) . "\n";
661                     $itemcount++;
662                     push @items, $item_info;
663                 }
664                 $sth2->finish;
665
666                 my @message_transport_types = @{ GetOverdueMessageTransportTypes( $branchcode, $overdue_rules->{categorycode}, $i) };
667                 @message_transport_types = @{ GetOverdueMessageTransportTypes( q{}, $overdue_rules->{categorycode}, $i) }
668                     unless @message_transport_types;
669
670
671                 my $print_sent = 0; # A print notice is not yet sent for this patron
672                 for my $mtt ( @message_transport_types ) {
673
674                     my $letter = parse_letter(
675                         {   letter_code     => $overdue_rules->{"letter$i"},
676                             borrowernumber  => $borrowernumber,
677                             branchcode      => $branchcode,
678                             items           => \@items,
679                             substitute      => {    # this appears to be a hack to overcome incomplete features in this code.
680                                                 bib             => $branch_details->{'branchname'}, # maybe 'bib' is a typo for 'lib<rary>'?
681                                                 'items.content' => $titles,
682                                                 'count'         => $itemcount,
683                                                },
684                             message_transport_type => $mtt,
685                         }
686                     );
687                     unless ($letter) {
688                         $verbose and warn qq|Message '$overdue_rules->{"letter$i"}' content not found|;
689                         # this transport doesn't have a configured notice, so try another
690                         next;
691                     }
692
693                     if ( $exceededPrintNoticesMaxLines ) {
694                       $letter->{'content'} .= "List too long for form; please check your account online for a complete list of your overdue items.";
695                     }
696
697                     my @misses = grep { /./ } map { /^([^>]*)[>]+/; ( $1 || '' ); } split /\</, $letter->{'content'};
698                     if (@misses) {
699                         $verbose and warn "The following terms were not matched and replaced: \n\t" . join "\n\t", @misses;
700                     }
701
702                     if ($nomail) {
703                         push @output_chunks,
704                           prepare_letter_for_printing(
705                           {   letter         => $letter,
706                               borrowernumber => $borrowernumber,
707                               firstname      => $data->{'firstname'},
708                               lastname       => $data->{'surname'},
709                               address1       => $data->{'address'},
710                               address2       => $data->{'address2'},
711                               city           => $data->{'city'},
712                               phone          => $data->{'phone'},
713                               cardnumber     => $data->{'cardnumber'},
714                               branchname     => $branch_details->{'branchname'},
715                               letternumber   => $i,
716                               postcode       => $data->{'zipcode'},
717                               country        => $data->{'country'},
718                               email          => $notice_email,
719                               itemcount      => $itemcount,
720                               titles         => $titles,
721                               outputformat   => defined $csvfilename ? 'csv' : defined $htmlfilename ? 'html' : defined $text_filename ? 'text' : '',
722                             }
723                           );
724                     } else {
725                         if ( ($mtt eq 'email' and not scalar @emails_to_use) or ($mtt eq 'sms' and not $data->{smsalertnumber}) ) {
726                             # email or sms is requested but not exist, do a print.
727                             $mtt = 'print';
728                             push @output_chunks,
729                               prepare_letter_for_printing(
730                               {   letter         => $letter,
731                                   borrowernumber => $borrowernumber,
732                                   firstname      => $data->{'firstname'},
733                                   lastname       => $data->{'surname'},
734                                   address1       => $data->{'address'},
735                                   address2       => $data->{'address2'},
736                                   city           => $data->{'city'},
737                                   postcode       => $data->{'zipcode'},
738                                   country        => $data->{'country'},
739                                   email          => $notice_email,
740                                   itemcount      => $itemcount,
741                                   titles         => $titles,
742                                   outputformat   => defined $csvfilename ? 'csv' : defined $htmlfilename ? 'html' : defined $text_filename ? 'text' : '',
743                                 }
744                               );
745                         }
746                         unless ( $mtt eq 'print' and $print_sent == 1 ) {
747                             # Just sent a print if not already done.
748                             C4::Letters::EnqueueLetter(
749                                 {   letter                 => $letter,
750                                     borrowernumber         => $borrowernumber,
751                                     message_transport_type => $mtt,
752                                     from_address           => $admin_email_address,
753                                     to_address             => join(',', @emails_to_use),
754                                 }
755                             );
756                             # A print notice should be sent only once per overdue level.
757                             # Without this check, a print could be sent twice or more if the library checks sms and email and print and the patron has no email or sms number.
758                             $print_sent = 1 if $mtt eq 'print';
759                         }
760                     }
761                 }
762             }
763             $sth->finish;
764         }
765     }
766
767     if (@output_chunks) {
768         if ( defined $csvfilename ) {
769             print $csv_fh @output_chunks;        
770         }
771         elsif ( defined $htmlfilename ) {
772             print $fh @output_chunks;        
773         }
774         elsif ( defined $text_filename ) {
775             print $fh @output_chunks;        
776         }
777         elsif ($nomail){
778                 local $, = "\f";    # pagebreak
779                 print @output_chunks;
780         }
781         # Generate the content of the csv with headers
782         my $content;
783         if ( defined $csvfilename ) {
784             my $delimiter = C4::Context->preference('delimiter') || ';';
785             $content = join($delimiter, qw(title name surname address1 address2 zipcode city country email itemcount itemsinfo due_date issue_date)) . "\n";
786         }
787         else {
788             $content = "";
789         }
790         $content .= join( "\n", @output_chunks );
791
792         my $attachment = {
793             filename => defined $csvfilename ? 'attachment.csv' : 'attachment.txt',
794             type => 'text/plain',
795             content => $content, 
796         };
797
798         my $letter = {
799             title   => 'Overdue Notices',
800             content => 'These messages were not sent directly to the patrons.',
801         };
802         C4::Letters::EnqueueLetter(
803             {   letter                 => $letter,
804                 borrowernumber         => undef,
805                 message_transport_type => 'email',
806                 attachments            => [$attachment],
807                 to_address             => $admin_email_address,
808             }
809         );
810     }
811
812 }
813 if ($csvfilename) {
814     # note that we're not testing on $csv_fh to prevent closing
815     # STDOUT.
816     close $csv_fh;
817 }
818
819 if ( defined $htmlfilename ) {
820   print $fh "</body>\n";
821   print $fh "</html>\n";
822   close $fh;
823 } elsif ( defined $text_filename ) {
824   close $fh;
825 }
826
827 =head1 INTERNAL METHODS
828
829 These methods are internal to the operation of overdue_notices.pl.
830
831 =head2 parse_letter
832
833 parses the letter template, replacing the placeholders with data
834 specific to this patron, biblio, or item
835
836 named parameters:
837   letter - required hashref
838   borrowernumber - required integer
839   substitute - optional hashref of other key/value pairs that should
840     be substituted in the letter content
841
842 returns the C<letter> hashref, with the content updated to reflect the
843 substituted keys and values.
844
845
846 =cut
847
848 sub parse_letter {
849     my $params = shift;
850     foreach my $required (qw( letter_code borrowernumber )) {
851         return unless ( exists $params->{$required} && $params->{$required} );
852     }
853
854     my $substitute = $params->{'substitute'} || {};
855     $substitute->{today} ||= C4::Dates->new()->output("syspref");
856
857     my %tables = ( 'borrowers' => $params->{'borrowernumber'} );
858     if ( my $p = $params->{'branchcode'} ) {
859         $tables{'branches'} = $p;
860     }
861
862     my $currencies = GetCurrency();
863     my $currency_format;
864     $currency_format = $currencies->{currency} if defined($currencies);
865
866     my @item_tables;
867     if ( my $i = $params->{'items'} ) {
868         my $item_format = '';
869         foreach my $item (@$i) {
870             my $fine = GetFine($item->{'itemnumber'}, $params->{'borrowernumber'});
871             if ( !$item_format and defined $params->{'letter'}->{'content'} ) {
872                 $params->{'letter'}->{'content'} =~ m/(<item>.*<\/item>)/;
873                 $item_format = $1;
874             }
875
876             $item->{'fine'} = currency_format($currency_format, "$fine", FMT_SYMBOL);
877             # if active currency isn't correct ISO code fallback to sprintf
878             $item->{'fine'} = sprintf('%.2f', $fine) unless $item->{'fine'};
879
880             push @item_tables, {
881                 'biblio' => $item->{'biblionumber'},
882                 'biblioitems' => $item->{'biblionumber'},
883                 'items' => $item,
884                 'issues' => $item->{'itemnumber'},
885             };
886         }
887     }
888
889     return C4::Letters::GetPreparedLetter (
890         module => 'circulation',
891         letter_code => $params->{'letter_code'},
892         branchcode => $params->{'branchcode'},
893         tables => \%tables,
894         substitute => $substitute,
895         repeat => { item => \@item_tables },
896         message_transport_type => $params->{message_transport_type},
897     );
898 }
899
900 =head2 prepare_letter_for_printing
901
902 returns a string of text appropriate for printing in the event that an
903 overdue notice will not be sent to the patron's email
904 address. Depending on the desired output format, this may be a CSV
905 string, or a human-readable representation of the notice.
906
907 required parameters:
908   letter
909   borrowernumber
910
911 optional parameters:
912   outputformat
913
914 =cut
915
916 sub prepare_letter_for_printing {
917     my $params = shift;
918
919     return unless ref $params eq 'HASH';
920
921     foreach my $required_parameter (qw( letter borrowernumber )) {
922         return unless defined $params->{$required_parameter};
923     }
924
925     my $return;
926     chomp $params->{titles};
927     if ( exists $params->{'outputformat'} && $params->{'outputformat'} eq 'csv' ) {
928         if ($csv->combine(
929                 $params->{'firstname'}, $params->{'lastname'}, $params->{'address1'},  $params->{'address2'}, $params->{'postcode'},
930                 $params->{'city'}, $params->{'country'}, $params->{'email'}, $params->{'phone'}, $params->{'cardnumber'},
931                 $params->{'itemcount'}, $params->{'titles'}, $params->{'branchname'}, $params->{'letternumber'}
932             )
933           ) {
934             return $csv->string, "\n";
935         } else {
936             $verbose and warn 'combine failed on argument: ' . $csv->error_input;
937         }
938     } elsif ( exists $params->{'outputformat'} && $params->{'outputformat'} eq 'html' ) {
939       $return = "<pre>\n";
940       $return .= "$params->{'letter'}->{'content'}\n";
941       $return .= "\n</pre>\n";
942     } else {
943         $return .= "$params->{'letter'}->{'content'}\n";
944
945         # $return .= Data::Dumper->Dump( [ $params->{'borrowernumber'}, $params->{'letter'} ], [qw( borrowernumber letter )] );
946     }
947     return $return;
948 }
949