Bug 28959: Add virtualshelves.public as a boolean
[koha.git] / reports / issues_stats.pl
1 #!/usr/bin/perl
2
3 # Copyright 2000-2002 Katipo Communications
4 #
5 # This file is part of Koha.
6 #
7 # Koha is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by
9 # the Free Software Foundation; either version 3 of the License, or
10 # (at your option) any later version.
11 #
12 # Koha is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
15 # GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with Koha; if not, see <http://www.gnu.org/licenses>.
19
20 use Modern::Perl;
21
22 use CGI qw ( -utf8 );
23
24 use C4::Auth qw( get_template_and_user );
25 use C4::Context;
26 use C4::Koha qw( GetAuthorisedValues );
27 use C4::Output qw( output_html_with_http_headers );
28 use C4::Reports qw( GetDelimiterChoices );
29
30 use Koha::AuthorisedValues;
31 use Koha::DateUtils qw( dt_from_string output_pref );
32 use Koha::ItemTypes;
33 use Koha::Patron::Attribute::Types;
34
35 =head1 NAME
36
37 reports/issues_stats.pl
38
39 =head1 DESCRIPTION
40
41 Plugin that shows circulation stats
42
43 =cut
44
45 my $input = CGI->new;
46 my $fullreportname = "reports/issues_stats.tt";
47 my $do_it    = $input->param('do_it');
48 my $line     = $input->param("Line");
49 my $column   = $input->param("Column");
50 my @filters  = $input->multi_param("Filter");
51 $filters[0] = eval { output_pref( { dt => dt_from_string( $filters[0]), dateonly => 1, dateformat => 'iso' } ); }
52     if ( $filters[0] );
53 $filters[1] = eval { output_pref( { dt => dt_from_string( $filters[1]), dateonly => 1, dateformat => 'iso' } ); }
54     if ( $filters[1] );
55 my $podsp    = $input->param("DisplayBy");
56 my $type     = $input->param("PeriodTypeSel");
57 my $daysel   = $input->param("PeriodDaySel");
58 my $monthsel = $input->param("PeriodMonthSel");
59 my $calc     = $input->param("Cellvalue");
60 my $output   = $input->param("output");
61 my $basename = $input->param("basename");
62
63 my $attribute_filters;
64 my $vars = $input->Vars;
65 foreach(keys %$vars) {
66     if(/^Filter_borrower_attributes\.(.*)/) {
67         $attribute_filters->{$1} = $vars->{$_};
68     }
69 }
70
71
72 my ($template, $borrowernumber, $cookie) = get_template_and_user({
73         template_name => $fullreportname,
74         query => $input,
75         type => "intranet",
76         flagsrequired => {reports => '*'},
77 });
78 our $sep     = $input->param("sep") // ';';
79 $sep = "\t" if ($sep eq 'tabulation');
80 $template->param(do_it => $do_it,
81 );
82
83 our $itemtypes = Koha::ItemTypes->search_with_localization->unblessed;
84
85 our @patron_categories = Koha::Patron::Categories->search_with_library_limits({}, {order_by => ['description']});
86
87 our $locations = { map { ( $_->{authorised_value} => $_->{lib} ) } Koha::AuthorisedValues->get_descriptions_by_koha_field( { frameworkcode => '', kohafield => 'items.location' }, { order_by => ['description'] } ) };
88 our $ccodes = { map { ( $_->{authorised_value} => $_->{lib} ) } Koha::AuthorisedValues->get_descriptions_by_koha_field( { frameworkcode => '', kohafield => 'items.ccode' }, { order_by => ['description'] } ) };
89
90 our $Bsort1 = GetAuthorisedValues("Bsort1");
91 our $Bsort2 = GetAuthorisedValues("Bsort2");
92 my ($hassort1,$hassort2);
93 $hassort1=1 if $Bsort1;
94 $hassort2=1 if $Bsort2;
95
96 if ($do_it) {
97     # Displaying results
98     my $results = calculate( $line, $column, $podsp, $type, $daysel, $monthsel, $calc, \@filters, $attribute_filters);
99     if ( $output eq "screen" ) {
100
101         # Printing results to screen
102         $template->param( mainloop => $results );
103         output_html_with_http_headers $input, $cookie, $template->output;
104     } else {
105
106         # Printing to a csv file
107         print $input->header(
108             -type       => 'application/vnd.sun.xml.calc',
109             -encoding   => 'utf-8',
110             -attachment => "$basename.csv",
111             -filename   => "$basename.csv"
112         );
113         my $cols  = @$results[0]->{loopcol};
114         my $lines = @$results[0]->{looprow};
115
116         # header top-right
117         print @$results[0]->{line} . "/" . @$results[0]->{column} . $sep;
118
119         # Other header
120         foreach my $col (@$cols) {
121             print $col->{coltitle} . $sep;
122         }
123         print "Total\n";
124
125         # Table
126         foreach my $line (@$lines) {
127             my $x = $line->{loopcell};
128             print $line->{rowtitle} . $sep;
129             print map { $_->{value} . $sep } @$x;
130             print $line->{totalrow}, "\n";
131         }
132
133         # footer
134         print "TOTAL";
135         $cols = @$results[0]->{loopfooter};
136         print map {$sep.$_->{totalcol}} @$cols;
137         print $sep.@$results[0]->{total};
138     }
139     exit;
140 }
141
142
143 my $dbh = C4::Context->dbh;
144
145     # location list
146 my @locations;
147 foreach (sort keys %$locations) {
148         push @locations, { code => $_, description => "$_ - " . $locations->{$_} };
149 }
150     
151 my @ccodes;
152 foreach (sort {$ccodes->{$a} cmp $ccodes->{$b}} keys %$ccodes) {
153         push @ccodes, { code => $_, description => $ccodes->{$_} };
154 }
155
156 my $CGIextChoice = ( 'CSV' ); # FIXME translation
157 my $CGIsepChoice=GetDelimiterChoices;
158
159 my $library_id = C4::Context->userenv ? C4::Context->userenv->{'branch'} : undef;
160 my $attribute_types = Koha::Patron::Attribute::Types->search_with_library_limits({}, {}, $library_id);
161 my %attribute_types_by_class;
162 while ( my ( $attribute_type ) = $attribute_types->next ) {
163     $attribute_type = $attribute_type->unblessed;
164     if ($attribute_type->{authorised_value_category}) {
165         my $authorised_values = C4::Koha::GetAuthorisedValues(
166             $attribute_type->{authorised_value_category});
167
168         foreach my $authorised_value (@$authorised_values) {
169             push @{ $attribute_type->{authorised_values} }, $authorised_value;
170         }
171     }
172     push @{ $attribute_types_by_class{$attribute_type->{class}} }, $attribute_type;
173 }
174
175 $template->param(
176     categoryloop => \@patron_categories,
177     itemtypes    => $itemtypes,
178     locationloop => \@locations,
179     ccodeloop    => \@ccodes,
180     hassort1     => $hassort1,
181     hassort2     => $hassort2,
182     Bsort1       => $Bsort1,
183     Bsort2       => $Bsort2,
184     CGIextChoice => $CGIextChoice,
185     CGIsepChoice => $CGIsepChoice,
186     attribute_types_by_class => \%attribute_types_by_class,
187 );
188 output_html_with_http_headers $input, $cookie, $template->output;
189
190 sub calculate {
191     my ( $line, $column, $dsp, $type, $daysel, $monthsel, $process, $filters, $attribute_filters ) = @_;
192     my @loopfooter;
193     my @loopcol;
194     my @loopline;
195     my @looprow;
196     my %globalline;
197     my $grantotal = 0;
198
199     # extract parameters
200     my $dbh = C4::Context->dbh;
201
202     my ($line_attribute_type, $column_attribute_type);
203     if($line =~ /^borrower_attributes\.(.*)/) {
204         $line_attribute_type = $1;
205         $line = "borrower_attributes.attribute";
206     }
207     if($column =~ /^borrower_attributes\.(.*)/) {
208         $column_attribute_type = $1;
209         $column = "borrower_attributes.attribute";
210     }
211
212     # Filters
213     # Checking filters
214     #
215     my @loopfilter;
216     for ( my $i = 0 ; $i <= @$filters ; $i++ ) {
217         my %cell;
218         ( @$filters[$i] ) or next;
219         if ( ( $i == 1 ) and ( @$filters[ $i - 1 ] ) ) {
220             $cell{err} = 1 if ( @$filters[$i] < @$filters[ $i - 1 ] );
221         }
222             # format the dates filters, otherwise just fill as is
223         if ($i>=2) {
224             $cell{filter} = @$filters[$i];
225         } else {
226             $cell{filter} = eval { output_pref( { dt => dt_from_string( @$filters[$i] ), dateonly => 1 }); }
227               if ( @$filters[$i] );
228         }
229         $cell{crit} = $i;
230
231         push @loopfilter, \%cell;
232     }
233     foreach (keys %$attribute_filters) {
234         next unless $attribute_filters->{$_};
235         push @loopfilter, { crit => "$_ =", filter => $attribute_filters->{$_} };
236     }
237     push @loopfilter, { crit => "Event",        filter => $type };
238     push @loopfilter, { crit => "Display by",   filter => $dsp } if ($dsp);
239     push @loopfilter, { crit => "Select Day",   filter => $daysel } if ($daysel);
240     push @loopfilter, { crit => "Select Month", filter => $monthsel } if ($monthsel);
241
242     my @linefilter;
243     my ( $colsource, $linesource ) = ('', '');
244     $linefilter[1] = @$filters[1] if ( $line =~ /datetime/ );
245     $linefilter[0] =
246         ( $line =~ /datetime/ )     ? @$filters[0]
247       : ( $line =~ /category/ )     ? @$filters[2]
248       : ( $line =~ /itemtype/ )     ? @$filters[3]
249       : ( $line =~ /^branch/ )      ? @$filters[4]
250       : ( $line =~ /ccode/ )        ? @$filters[5]
251       : ( $line =~ /location/ )     ? @$filters[6]
252       : ( $line =~ /sort1/ )        ? @$filters[9]
253       : ( $line =~ /sort2/ )        ? @$filters[10]
254       : ( $line =~ /homebranch/)    ? @$filters[11]
255       : ( $line =~ /holdingbranch/) ? @$filters[12]
256       : ( $line =~ /borrowers.branchcode/ ) ? @$filters[13]
257       : ( $line_attribute_type )    ? $attribute_filters->{$line_attribute_type}
258       :                               undef;
259
260     if ( $line =~ /ccode/ or $line =~ /location/ or $line =~ /homebranch/ or $line =~ /holdingbranch/ ) {
261                 $linesource = 'items';
262         }
263
264         my @colfilter;
265         $colfilter[1] = @$filters[1] if ($column =~ /datetime/);
266         $colfilter[0] = 
267         ( $column =~ /datetime/ ) ? @$filters[0]
268       : ( $column =~ /category/ ) ? @$filters[2]
269       : ( $column =~ /itemtype/ ) ? @$filters[3]
270       : ( $column =~ /^branch/ )   ? @$filters[4]
271       : ( $column =~ /ccode/ )    ? @$filters[5]
272       : ( $column =~ /location/ ) ? @$filters[6]
273       : ( $column =~ /sort1/ )    ? @$filters[9]
274       : ( $column =~ /sort1/ )    ? @$filters[10]
275       : ( $column =~ /homebranch/)    ? @$filters[11]
276       : ( $column =~ /holdingbranch/) ? @$filters[12]
277       : ( $column =~ /borrowers.branchcode/ ) ? @$filters[13]
278       : ( $column_attribute_type )    ? $attribute_filters->{$column_attribute_type}
279       :                                 undef;
280
281     if ( $column =~ /ccode/ or $column =~ /location/ or $column =~ /homebranch/ or $column =~ /holdingbranch/ ) {
282         $colsource = 'items';
283     }
284
285     # 1st, loop rows.
286     my $linefield;
287     if ( $line =~ /datetime/ ) {
288
289         # by Day, Month, Year or Hour (1,2,3,4 respectively)
290         $linefield =
291             ( $dsp == 1 ) ? "  dayname($line)"
292           : ( $dsp == 2 ) ? "monthname($line)"
293           : ( $dsp == 3 ) ? "     Year($line)"
294           : ( $dsp == 4 ) ? "extract(hour from $line)"
295           :                 'date_format(`datetime`,"%Y-%m-%d")';    # Probably should be left alone or passed through Koha::Dates
296     } else {
297         $linefield = $line;
298     }
299     my $lineorder =
300         ( $linefield =~ /dayname/ ) ? "weekday($line)"
301       : ( $linefield =~ /^month/ )  ? "  month($line)"
302       :                               $linefield;
303
304     my $strsth;
305     if($line_attribute_type) {
306         $strsth = "SELECT attribute FROM borrower_attributes WHERE code = '$line_attribute_type' ";
307     } else {
308         $strsth = "SELECT distinctrow $linefield FROM statistics ";
309
310         # get stats on items if ccode or location, otherwise borrowers.
311         $strsth .=
312           ( $linesource eq 'items' )
313           ? " LEFT JOIN items ON (statistics.itemnumber = items.itemnumber) "
314           : " LEFT JOIN borrowers ON (statistics.borrowernumber = borrowers.borrowernumber) ";
315         $strsth .= " WHERE $line is not null AND $line != '' ";
316     }
317
318     if ( $line =~ /datetime/ ) {
319         if ( $linefilter[1] and ( $linefilter[0] ) ) {
320             $strsth .= " AND $line between ? AND ? ";
321         } elsif ( $linefilter[1] ) {
322             $strsth .= " AND $line <= ? ";
323         } elsif ( $linefilter[0] ) {
324             $strsth .= " AND $line >= ? ";
325         }
326         $strsth .= " AND type ='" . $type . "' "                    if $type;
327         $strsth .= " AND   dayname(datetime) ='" . $daysel . "' "   if $daysel;
328         $strsth .= " AND monthname(datetime) ='" . $monthsel . "' " if $monthsel;
329     } elsif ( $linefilter[0] ) {
330         $linefilter[0] =~ s/\*/%/g;
331         $strsth .= " AND $line LIKE ? ";
332     }
333     $strsth .= " group by $linefield order by $lineorder ";
334     push @loopfilter, { crit => 'SQL =', sql => 1, filter => $strsth };
335     my $sth = $dbh->prepare($strsth);
336     if ( (@linefilter) and ($linefilter[0]) and ($linefilter[1]) ) {
337         $sth->execute( $linefilter[0], $linefilter[1] . " 23:59:59" );
338     } elsif ( $linefilter[1] ) {
339         $sth->execute( $linefilter[1] . " 23:59:59" );
340     } elsif ( $linefilter[0] ) {
341         $sth->execute( $linefilter[0] );
342     } else {
343         $sth->execute;
344     }
345
346     my $itemtypes_map = { map { $_->{itemtype} => $_ } @{ $itemtypes } };
347     while ( my ($celvalue) = $sth->fetchrow ) {
348         my %cell = ( rowtitle => $celvalue, totalrow => 0 );    # we leave 'rowtitle' as hash key (used when filling the table), and add coltitle_display
349         $cell{rowtitle_display} =
350             ( $line =~ /ccode/ )    ? $ccodes->{$celvalue}
351           : ( $line =~ /location/ ) ? $locations->{$celvalue}
352           : ( $line =~ /itemtype/ ) ? $itemtypes_map->{$celvalue}->{translated_description}
353           :                           $celvalue;                               # default fallback
354         if ( $line =~ /sort1/ ) {
355             foreach (@$Bsort1) {
356                 ( $celvalue eq $_->{authorised_value} ) or next;
357                 $cell{rowtitle_display} = $_->{lib} and last;
358             }
359         } elsif ( $line =~ /sort2/ ) {
360             foreach (@$Bsort2) {
361                 ( $celvalue eq $_->{authorised_value} ) or next;
362                 $cell{rowtitle_display} = $_->{lib} and last;
363             }
364         } elsif ($line =~ /category/) {
365             foreach my $patron_category ( @patron_categories ) {
366                 ($celvalue eq $patron_category->categorycode) or next;
367                 $cell{rowtitle_display} = $patron_category->description and last;
368             }
369         }
370         push @loopline, \%cell;
371     }
372
373     # 2nd, loop cols.
374     my $colfield;
375     my $colorder;
376     if ( $column =~ /datetime/ ) {
377
378         #Display by Day, Month or Year (1,2,3 respectively)
379         $colfield =
380             ( $dsp == 1 ) ? "  dayname($column)"
381           : ( $dsp == 2 ) ? "monthname($column)"
382           : ( $dsp == 3 ) ? "     Year($column)"
383           : ( $dsp == 4 ) ? "extract(hour from $column)"
384           :                 'date_format(`datetime`,"%Y-%m-%d")';    # Probably should be left alone or passed through Koha::Dates
385     } else {
386         $colfield = $column;
387     }
388     $colorder =
389         ( $colfield =~ /dayname/ ) ? "weekday($column)"
390       : ( $colfield =~ /^month/ )  ? "  month($column)"
391       :                              $colfield;
392     my $strsth2;
393     if($column_attribute_type) {
394         $strsth2 = "SELECT attribute FROM borrower_attributes WHERE code = '$column_attribute_type' ";
395     } else {
396         $strsth2 = "SELECT distinctrow $colfield FROM statistics ";
397
398         # get stats on items if ccode or location, otherwise borrowers.
399         $strsth2 .=
400           ( $colsource eq 'items' )
401           ? "LEFT JOIN items ON (statistics.itemnumber = items.itemnumber) "
402           : "LEFT JOIN borrowers ON (statistics.borrowernumber = borrowers.borrowernumber) ";
403         $strsth2 .= " WHERE $column IS NOT NULL AND $column != '' ";
404     }
405
406     if ( $column =~ /datetime/ ) {
407         if ( ( $colfilter[1] ) and ( $colfilter[0] ) ) {
408             $strsth2 .= " AND $column BETWEEN ? AND ? ";
409         } elsif ( $colfilter[1] ) {
410             $strsth2 .= " AND $column <= ? ";
411         } elsif ( $colfilter[0] ) {
412             $strsth2 .= " AND $column >= ? ";
413         }
414         $strsth2 .= " AND                type ='". $type     ."' " if $type;
415         $strsth2 .= " AND   dayname(datetime) ='". $daysel   ."' " if $daysel;
416         $strsth2 .= " AND monthname(datetime) ='". $monthsel ."' " if $monthsel;
417     } elsif ($colfilter[0]) {
418         $colfilter[0] =~ s/\*/%/g;
419         $strsth2 .= " AND $column LIKE ? " ;
420     }
421
422     $strsth2 .= " group by $colfield order by $colorder ";
423     push @loopfilter, { crit => 'SQL =', sql => 1, filter => $strsth2 };
424     my $sth2 = $dbh->prepare($strsth2);
425     if ( (@colfilter) and ($colfilter[0]) and ($colfilter[1]) ) {
426         $sth2->execute( $colfilter[0], $colfilter[1] . " 23:59:59" );
427     } elsif ( $colfilter[1] ) {
428         $sth2->execute( $colfilter[1] . " 23:59:59" );
429     } elsif ( $colfilter[0] ) {
430         $sth2->execute( $colfilter[0] );
431     } else {
432         $sth2->execute;
433     }
434
435     while ( my ($celvalue) = $sth2->fetchrow ) {
436         my %cell = ( coltitle => $celvalue );    # we leave 'coltitle' as hash key (used when filling the table), and add coltitle_display
437         $cell{coltitle_display} =
438             ( $column =~ /ccode/ )    ? $ccodes->{$celvalue}
439           : ( $column =~ /location/ ) ? $locations->{$celvalue}
440           : ( $column =~ /itemtype/ ) ? $itemtypes_map->{$celvalue}->{translated_description}
441           :                             $celvalue;                               # default fallback
442         if ( $column =~ /sort1/ ) {
443             foreach (@$Bsort1) {
444                 ( $celvalue eq $_->{authorised_value} ) or next;
445                 $cell{coltitle_display} = $_->{lib} and last;
446             }
447         } elsif ( $column =~ /sort2/ ) {
448             foreach (@$Bsort2) {
449                 ( $celvalue eq $_->{authorised_value} ) or next;
450                 $cell{coltitle_display} = $_->{lib} and last;
451             }
452         } elsif ($column =~ /category/) {
453             foreach my $patron_category ( @patron_categories ) {
454                 ($celvalue eq $patron_category->categorycode) or next;
455                 $cell{coltitle_display} = $patron_category->description and last;
456             }
457         }
458         push @loopcol, \%cell;
459     }
460
461     #Initialization of cell values.....
462     my %table;
463     foreach my $row (@loopline) {
464         foreach my $col (@loopcol) {
465             table_set(\%table, $row->{rowtitle}, $col->{coltitle}, 0);
466         }
467         table_set(\%table, $row->{rowtitle}, 'totalrow', 0);
468     }
469
470     # preparing calculation
471     my $strcalc = "SELECT ";
472     if($line_attribute_type) {
473         $strcalc .= "TRIM(attribute_$line_attribute_type.attribute) AS line_attribute, ";
474     } else {
475         $strcalc .= "TRIM($linefield), ";
476     }
477     if($column_attribute_type) {
478         $strcalc .= "TRIM(attribute_$column_attribute_type.attribute) AS column_attribute, ";
479     } else {
480         $strcalc .= "TRIM($colfield), ";
481     }
482     $strcalc .=
483         ( $process == 1 ) ? " COUNT(*) "
484       : ( $process == 2 ) ? "(COUNT(DISTINCT borrowers.borrowernumber))"
485       : ( $process == 3 ) ? "(COUNT(DISTINCT statistics.itemnumber))"
486       : ( $process == 5 ) ? "(COUNT(DISTINCT items.biblionumber))"
487       :                     '';
488     if ( $process == 4 ) {
489         my $rqbookcount = $dbh->prepare("SELECT count(*) FROM items");
490         $rqbookcount->execute;
491         my ($bookcount) = $rqbookcount->fetchrow;
492         $strcalc .= "100*(COUNT(DISTINCT statistics.itemnumber))/ $bookcount ";
493     }
494     $strcalc .= "
495         FROM statistics
496         LEFT JOIN borrowers ON statistics.borrowernumber=borrowers.borrowernumber
497     ";
498     foreach (keys %$attribute_filters) {
499         if(
500             ($line_attribute_type and $line_attribute_type eq $_)
501             or $column_attribute_type and $column_attribute_type eq $_
502             or $attribute_filters->{$_}
503         ) {
504             $strcalc .= " LEFT JOIN borrower_attributes AS attribute_$_ ON (statistics.borrowernumber = attribute_$_.borrowernumber AND attribute_$_.code = '$_') ";
505         }
506     }
507     $strcalc .= "LEFT JOIN items ON statistics.itemnumber=items.itemnumber "
508       if ( $linefield =~ /^items\./
509         or $colfield =~ /^items\./
510         or $process == 5
511         or ( $colsource eq 'items' ) || @$filters[5] || @$filters[6] || @$filters[7] || @$filters[8] || @$filters[9] || @$filters[10] || @$filters[11] || @$filters[12] || @$filters[13] );
512
513     $strcalc .= "WHERE 1=1 ";
514     @$filters = map { my $f = $_; defined($f) and $f =~ s/\*/%/g; $f } @$filters;
515     $strcalc .= " AND statistics.datetime >= '" . @$filters[0] . "'"       if ( @$filters[0] );
516     $strcalc .= " AND statistics.datetime <= '" . @$filters[1] . " 23:59:59'"       if ( @$filters[1] );
517     $strcalc .= " AND borrowers.categorycode LIKE '" . @$filters[2] . "'" if ( @$filters[2] );
518     $strcalc .= " AND statistics.itemtype LIKE '" . @$filters[3] . "'"    if ( @$filters[3] );
519     $strcalc .= " AND statistics.branch LIKE '" . @$filters[4] . "'"      if ( @$filters[4] );
520     $strcalc .= " AND items.ccode LIKE '" . @$filters[5] . "'"            if ( @$filters[5] );
521     $strcalc .= " AND items.location LIKE '" . @$filters[6] . "'"         if ( @$filters[6] );
522     $strcalc .= " AND items.itemcallnumber >='" . @$filters[7] . "'"      if ( @$filters[7] );
523     $strcalc .= " AND items.itemcallnumber <'" . @$filters[8] . "'"       if ( @$filters[8] );
524     $strcalc .= " AND borrowers.sort1 LIKE '" . @$filters[9] . "'"        if ( @$filters[9] );
525     $strcalc .= " AND borrowers.sort2 LIKE '" . @$filters[10] . "'"       if ( @$filters[10] );
526     $strcalc .= " AND items.homebranch LIKE '" . @$filters[11] . "'"      if ( @$filters[11] );
527     $strcalc .= " AND items.holdingbranch LIKE '" . @$filters[12] . "'"   if ( @$filters[12] );
528     $strcalc .= " AND borrowers.branchcode LIKE '" . @$filters[13] . "'"  if ( @$filters[13] );
529     $strcalc .= " AND dayname(datetime) LIKE '" . $daysel . "'"           if ($daysel);
530     $strcalc .= " AND monthname(datetime) LIKE '" . $monthsel . "'"       if ($monthsel);
531     $strcalc .= " AND statistics.type LIKE '" . $type . "'"               if ($type);
532     foreach (keys %$attribute_filters) {
533         if($attribute_filters->{$_}) {
534             $strcalc .= " AND attribute_$_.attribute LIKE '" . $attribute_filters->{$_} . "'";
535         }
536     }
537
538     $strcalc .= " GROUP BY ";
539     if($line_attribute_type) {
540         $strcalc .= " line_attribute, ";
541     } else {
542         $strcalc .= " $linefield, ";
543     }
544     if($column_attribute_type) {
545         $strcalc .= " column_attribute ";
546     } else {
547         $strcalc .= " $colfield ";
548     }
549
550     $strcalc .= " ORDER BY ";
551     if($line_attribute_type) {
552         $strcalc .= " line_attribute, ";
553     } else {
554         $strcalc .= " $lineorder, ";
555     }
556     if($column_attribute_type) {
557         $strcalc .= " column_attribute ";
558     } else {
559         $strcalc .= " $colorder ";
560     }
561
562     my $dbcalc = $dbh->prepare($strcalc);
563     push @loopfilter, { crit => 'SQL =', sql => 1, filter => $strcalc };
564     $dbcalc->execute;
565     my ( $emptycol, $emptyrow );
566     while ( my ( $row, $col, $value ) = $dbcalc->fetchrow ) {
567         unless ( defined $col ) {
568             $emptycol = 1;
569         }
570         unless ( defined $row ) {
571             $emptyrow = 1;
572         }
573         table_inc(\%table, $row, $col, $value);
574         table_inc(\%table, $row, 'totalrow', $value);
575         $grantotal               += $value;
576     }
577     push @loopcol,  { coltitle => "NULL", coltitle_display => 'NULL' } if ($emptycol);
578     push @loopline, { rowtitle => "NULL", rowtitle_display => 'NULL' } if ($emptyrow);
579
580     foreach my $row (@loopline) {
581         my @loopcell;
582
583         #@loopcol ensures the order for columns is common with column titles
584         # and the number matches the number of columns
585         foreach my $col (@loopcol) {
586             my $value = table_get(\%table, $row->{rowtitle}, $col->{coltitle});
587             push @loopcell, { value => $value };
588         }
589         push @looprow,
590           { 'rowtitle_display' => $row->{rowtitle_display},
591             'rowtitle'         => $row->{rowtitle},
592             'loopcell'         => \@loopcell,
593             'totalrow'         => table_get(\%table, $row->{rowtitle}, 'totalrow'),
594           };
595     }
596     for my $col (@loopcol) {
597         my $total = 0;
598         foreach my $row (@looprow) {
599             $total += table_get(\%table, $row->{rowtitle}, $col->{coltitle}) || 0;
600         }
601         push @loopfooter, { 'totalcol' => $total };
602     }
603
604     # the header of the table
605     $globalline{loopfilter} = \@loopfilter;
606
607     # the core of the table
608     $globalline{looprow} = \@looprow;
609     $globalline{loopcol} = \@loopcol;
610
611     #   # the foot (totals by borrower type)
612     $globalline{loopfooter} = \@loopfooter;
613     $globalline{total}      = $grantotal;
614     $globalline{line}       = $line_attribute_type ? $line_attribute_type : $line;
615     $globalline{column}     = $column_attribute_type ? $column_attribute_type : $column;
616     return [ ( \%globalline ) ];
617 }
618
619 sub null_to_zzempty {
620     my $string = shift;
621
622     if (!defined($string) or $string eq '' or uc($string) eq 'NULL') {
623         return 'zzEMPTY';
624     }
625
626     return $string;
627 }
628
629 sub table_set {
630     my ($table, $row, $col, $val) = @_;
631
632     $row = $row // '';
633     $col = $col // '';
634     $table->{ null_to_zzempty($row) }->{ null_to_zzempty($col) } = $val;
635 }
636
637 sub table_get {
638     my ($table, $row, $col) = @_;
639
640     $row = $row // '';
641     $col = $col // '';
642     return $table->{ null_to_zzempty($row) }->{ null_to_zzempty($col) };
643 }
644
645 sub table_inc {
646     my ($table, $row, $col, $inc) = @_;
647
648     $row = $row // '';
649     $col = $col // '';
650     $table->{ null_to_zzempty($row) }->{ null_to_zzempty($col) } += $inc;
651 }
652
653 1;