Bug 14757: Remove obsolete occurrence of is_tt
[koha.git] / tools / export.pl
1 #!/usr/bin/perl
2
3 #
4 # This file is part of Koha.
5 #
6 # Koha is free software; you can redistribute it and/or modify it
7 # under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 3 of the License, or
9 # (at your option) any later version.
10 #
11 # Koha is distributed in the hope that it will be useful, but
12 # WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
14 # GNU General Public License for more details.
15 #
16 # You should have received a copy of the GNU General Public License
17 # along with Koha; if not, see <http://www.gnu.org/licenses>.
18
19 use Modern::Perl;
20 use CGI qw ( -utf8 );
21 use MARC::File::XML;
22 use List::MoreUtils qw(uniq);
23 use C4::Auth;
24 use C4::Branch;             # GetBranches
25 use C4::Csv;
26 use C4::Koha;               # GetItemTypes
27 use C4::Output;
28
29 use Koha::Authority::Types;
30 use Koha::Biblioitems;
31 use Koha::Database;
32 use Koha::DateUtils qw( dt_from_string output_pref );
33 use Koha::Exporter::Record;
34
35 my $query = new CGI;
36
37 my $dont_export_items = $query->param("dont_export_item") || 0;
38 my $record_type       = $query->param("record_type");
39 my $op                = $query->param("op") || '';
40 my $output_format     = $query->param("format") || $query->param("output_format") || 'iso2709';
41 my $backupdir         = C4::Context->config('backupdir');
42 my $filename          = $query->param("filename") || 'koha.mrc';
43 $filename =~ s/(\r|\n)//;
44
45 my $dbh = C4::Context->dbh;
46
47 my @record_ids;
48 # biblionumbers is sent from circulation.pl only
49 if ( $query->param("biblionumbers") ) {
50     $record_type = 'bibs';
51     @record_ids = $query->multi_param("biblionumbers");
52 }
53
54 # Default value for output_format is 'iso2709'
55 $output_format ||= 'iso2709';
56 # Retrocompatibility for the format parameter
57 $output_format = 'iso2709' if $output_format eq 'marc';
58
59 my ( $template, $loggedinuser, $cookie, $flags ) = get_template_and_user(
60     {
61         template_name   => "tools/export.tt",
62         query           => $query,
63         type            => "intranet",
64         authnotrequired => 0,
65         flagsrequired   => { tools => 'export_catalog' },
66         debug           => 1,
67     }
68 );
69
70 my @branch = $query->multi_param("branch");
71 my $only_my_branch;
72 # Limit to local branch if IndependentBranches and not superlibrarian
73 if (
74     (
75           C4::Context->preference('IndependentBranches')
76         && C4::Context->userenv
77         && !C4::Context->IsSuperLibrarian()
78         && C4::Context->userenv->{branch}
79     )
80     # Limit result to local branch strip_nonlocal_items
81     or $query->param('strip_nonlocal_items')
82 ) {
83     $only_my_branch = 1;
84     @branch = ( C4::Context->userenv->{'branch'} );
85 }
86
87 my %branchmap = map { $_ => 1 } @branch; # for quick lookups
88
89 if ( $op eq "export" ) {
90
91     my $export_remove_fields = $query->param("export_remove_fields") || q||;
92     my @biblionumbers      = $query->multi_param("biblionumbers");
93     my @itemnumbers        = $query->multi_param("itemnumbers");
94     my @sql_params;
95     my $sql_query;
96
97     if ( $record_type eq 'bibs' or $record_type eq 'auths' ) {
98         # No need to retrieve the record_ids if we already get them
99         unless ( @record_ids ) {
100             if ( $record_type eq 'bibs' ) {
101                 my $starting_biblionumber = $query->param("StartingBiblionumber");
102                 my $ending_biblionumber   = $query->param("EndingBiblionumber");
103                 my $itemtype             = $query->param("itemtype");
104                 my $start_callnumber     = $query->param("start_callnumber");
105                 my $end_callnumber       = $query->param("end_callnumber");
106                 my $start_accession =
107                   ( $query->param("start_accession") )
108                   ? dt_from_string( scalar $query->param("start_accession") )
109                   : '';
110                 my $end_accession =
111                   ( $query->param("end_accession") )
112                   ? dt_from_string( scalar $query->param("end_accession") )
113                   : '';
114
115
116                 my $conditions = {
117                     ( $starting_biblionumber or $ending_biblionumber )
118                         ? (
119                             "me.biblionumber" => {
120                                 ( $starting_biblionumber ? ( '>=' => $starting_biblionumber ) : () ),
121                                 ( $ending_biblionumber   ? ( '<=' => $ending_biblionumber   ) : () ),
122                             }
123                         )
124                         : (),
125
126                     ( $start_callnumber or $end_callnumber )
127                         ? (
128                             'items.itemcallnumber' => {
129                                 ( $start_callnumber ? ( '>=' => $start_callnumber ) : () ),
130                                 ( $end_callnumber   ? ( '<=' => $end_callnumber   ) : () ),
131                             }
132                         )
133                         : (),
134
135                     ( $start_accession or $end_accession )
136                         ? (
137                             'items.dateaccessioned' => {
138                                 ( $start_accession ? ( '>=' => $start_accession ) : () ),
139                                 ( $end_accession   ? ( '<=' => $end_accession   ) : () ),
140                             }
141                         )
142                         : (),
143                     ( @branch ? ( 'items.homebranch' => { in => \@branch } ) : () ),
144                     ( $itemtype
145                         ?
146                           C4::Context->preference('item-level_itypes')
147                             ? ( 'items.itype' => $itemtype )
148                             : ( 'biblioitems.itemtype' => $itemtype )
149                         : ()
150                     ),
151
152                 };
153                 my $biblioitems = Koha::Biblioitems->search( $conditions, { join => 'items', columns => 'biblionumber' } );
154                 while ( my $biblioitem = $biblioitems->next ) {
155                     push @record_ids, $biblioitem->biblionumber;
156                 }
157             }
158             elsif ( $record_type eq 'auths' ) {
159                 my $starting_authid = $query->param('starting_authid');
160                 my $ending_authid   = $query->param('ending_authid');
161                 my $authtype        = $query->param('authtype');
162
163                 my $conditions = {
164                     ( $starting_authid or $ending_authid )
165                         ? (
166                             authid => {
167                                 ( $starting_authid ? ( '>=' => $starting_authid ) : () ),
168                                 ( $ending_authid   ? ( '<=' => $ending_authid   ) : () ),
169                             }
170                         )
171                         : (),
172                     ( $authtype ? ( authtypecode => $authtype ) : () ),
173                 };
174                 # Koha::MetadataRecord::Authority is not a Koha::Object...
175                 my $authorities = Koha::Database->new->schema->resultset('AuthHeader')->search( $conditions );
176                 @record_ids = map { $_->authid } $authorities->all;
177             }
178         }
179
180         @record_ids = uniq @record_ids;
181         if ( @record_ids and my $filefh = $query->upload("id_list_file") ) {
182             my @filter_record_ids = <$filefh>;
183             @filter_record_ids = map { my $id = $_; $id =~ s/[\r\n]*$//; $id } @filter_record_ids;
184             # intersection
185             my %record_ids = map { $_ => 1 } @record_ids;
186             @record_ids = grep $record_ids{$_}, @filter_record_ids;
187         }
188
189         print CGI->new->header(
190             -type       => 'application/octet-stream',
191             -charset    => 'utf-8',
192             -attachment => $filename,
193         );
194
195         Koha::Exporter::Record::export(
196             {   record_type        => $record_type,
197                 record_ids         => \@record_ids,
198                 format             => $output_format,
199                 filename           => $filename,
200                 itemnumbers        => \@itemnumbers,
201                 dont_export_fields => $export_remove_fields,
202                 csv_profile_id     => ( $query->param('csv_profile_id') || GetCsvProfileId( C4::Context->preference('ExportWithCsvProfile') ) || undef ),
203                 export_items       => (not $dont_export_items),
204             }
205         );
206     }
207     elsif ( $record_type eq 'db' or $record_type eq 'conf' ) {
208         my $successful_export;
209
210         if ( $flags->{superlibrarian}
211             and (
212                     $record_type eq 'db' and C4::Context->config('backup_db_via_tools')
213                  or
214                     $record_type eq 'conf' and C4::Context->config('backup_conf_via_tools')
215             )
216         ) {
217             binmode STDOUT, ':encoding(UTF-8)';
218
219             my $charset  = 'utf-8';
220             my $mimetype = 'application/octet-stream';
221             if ( $filename =~ m/\.gz$/ ) {
222                 $mimetype = 'application/x-gzip';
223                 $charset  = '';
224                 binmode STDOUT;
225             }
226             elsif ( $filename =~ m/\.bz2$/ ) {
227                 $mimetype = 'application/x-bzip2';
228                 binmode STDOUT;
229                 $charset = '';
230             }
231             print $query->header(
232                 -type       => $mimetype,
233                 -charset    => $charset,
234                 -attachment => $filename,
235             );
236
237             my $extension = $record_type eq 'db' ? 'sql' : 'tar';
238
239             $successful_export = download_backup(
240                 {
241                     directory => $backupdir,
242                     extension => $extension,
243                     filename  => $filename,
244                 }
245             );
246             unless ($successful_export) {
247                 my $remotehost = $query->remote_host();
248                 $remotehost =~ s/(\n|\r)//;
249                 warn
250     "A suspicious attempt was made to download the " . ( $record_type eq 'db' ? 'db' : 'configuration' ) . "at '$filename' by someone at "
251                   . $remotehost . "\n";
252             }
253         }
254     }
255
256     exit;
257 }
258
259 else {
260
261     my $itemtypes = GetItemTypes;
262     my @itemtypesloop;
263     foreach my $thisitemtype ( sort keys %$itemtypes ) {
264         my %row = (
265             value       => $thisitemtype,
266             description => $itemtypes->{$thisitemtype}->{translated_description},
267         );
268         push @itemtypesloop, \%row;
269     }
270     my $branches = GetBranches($only_my_branch);
271     my @branchloop;
272     for my $thisbranch (
273         sort { $branches->{$a}->{branchname} cmp $branches->{$b}->{branchname} }
274         keys %{$branches}
275       )
276     {
277         push @branchloop,
278           {
279             value      => $thisbranch,
280             selected   => %branchmap ? $branchmap{$thisbranch} : 1,
281             branchname => $branches->{$thisbranch}->{'branchname'},
282           };
283     }
284
285     my $authority_types = Koha::Authority::Types->search( {}, { order_by => ['authtypecode'] } );
286
287     if (   $flags->{superlibrarian}
288         && C4::Context->config('backup_db_via_tools')
289         && $backupdir
290         && -d $backupdir )
291     {
292         $template->{VARS}->{'allow_db_export'} = 1;
293         $template->{VARS}->{'dbfiles'}         = getbackupfilelist(
294             { directory => "$backupdir", extension => 'sql' } );
295     }
296
297     if (   $flags->{superlibrarian}
298         && C4::Context->config('backup_conf_via_tools')
299         && $backupdir
300         && -d $backupdir )
301     {
302         $template->{VARS}->{'allow_conf_export'} = 1;
303         $template->{VARS}->{'conffiles'}         = getbackupfilelist(
304             { directory => "$backupdir", extension => 'tar' } );
305     }
306
307     $template->param(
308         branchloop               => \@branchloop,
309         itemtypeloop             => \@itemtypesloop,
310         authority_types          => $authority_types,
311         export_remove_fields     => C4::Context->preference("ExportRemoveFields"),
312         csv_profiles             => C4::Csv::GetCsvProfiles('marc'),
313     );
314
315     output_html_with_http_headers $query, $cookie, $template->output;
316 }
317
318 sub getbackupfilelist {
319     my $args      = shift;
320     my $directory = $args->{directory};
321     my $extension = $args->{extension};
322     my @files;
323
324     if ( opendir( my $dir, $directory ) ) {
325         while ( my $file = readdir($dir) ) {
326             next unless ( $file =~ m/\.$extension(\.(gz|bz2|xz))?/ );
327             push @files, $file
328               if ( -f "$directory/$file" && -r "$directory/$file" );
329         }
330         closedir($dir);
331     }
332     return \@files;
333 }
334
335 sub download_backup {
336     my $args      = shift;
337     my $directory = $args->{directory};
338     my $extension = $args->{extension};
339     my $filename  = $args->{filename};
340
341     return unless ( $directory && -d $directory );
342     return unless ( $filename =~ m/\.$extension(\.(gz|bz2|xz))?$/ );
343     return if ( $filename =~ m#/# );
344     $filename = "$directory/$filename";
345     return unless ( -f $filename && -r $filename );
346     return unless ( open( my $dump, '<', $filename ) );
347     binmode $dump;
348
349     while ( read( $dump, my $data, 64 * 1024 ) ) {
350         print $data;
351     }
352     close($dump);
353     return 1;
354 }