Bug 19049: Fix regression on stage-marc-import with to_marc plugin
[koha.git] / misc / export_records.pl
1 #!/usr/bin/perl
2
3 #
4 # This file is part of Koha.
5 #
6 # Koha is free software; you can redistribute it and/or modify it
7 # under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 3 of the License, or
9 # (at your option) any later version.
10 #
11 # Koha is distributed in the hope that it will be useful, but
12 # WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
14 # GNU General Public License for more details.
15 #
16 # You should have received a copy of the GNU General Public License
17 # along with Koha; if not, see <http://www.gnu.org/licenses>.
18
19 use Modern::Perl;
20 use MARC::File::XML;
21 use List::MoreUtils qw(uniq);
22 use Getopt::Long;
23 use Pod::Usage;
24
25 use C4::Auth;
26 use C4::Context;
27 use C4::Record;
28
29 use Koha::Biblioitems;
30 use Koha::Database;
31 use Koha::CsvProfiles;
32 use Koha::Exporter::Record;
33 use Koha::DateUtils qw( dt_from_string output_pref );
34
35 my ( $output_format, $timestamp, $dont_export_items, $csv_profile_id, $deleted_barcodes, $clean, $filename, $record_type, $id_list_file, $starting_authid, $ending_authid, $authtype, $starting_biblionumber, $ending_biblionumber, $itemtype, $starting_callnumber, $ending_callnumber, $start_accession, $end_accession, $help );
36 GetOptions(
37     'format=s'                => \$output_format,
38     'date=s'                  => \$timestamp,
39     'dont_export_items'       => \$dont_export_items,
40     'csv_profile_id=s'        => \$csv_profile_id,
41     'deleted_barcodes'        => \$deleted_barcodes,
42     'clean'                   => \$clean,
43     'filename=s'              => \$filename,
44     'record-type=s'           => \$record_type,
45     'id_list_file=s'          => \$id_list_file,
46     'starting_authid=s'       => \$starting_authid,
47     'ending_authid=s'         => \$ending_authid,
48     'authtype=s'              => \$authtype,
49     'starting_biblionumber=s' => \$starting_biblionumber,
50     'ending_biblionumber=s'   => \$ending_biblionumber,
51     'itemtype=s'              => \$itemtype,
52     'starting_callnumber=s'   => \$starting_callnumber,
53     'ending_callnumber=s'     => \$ending_callnumber,
54     'start_accession=s'       => \$start_accession,
55     'end_accession=s'         => \$end_accession,
56     'h|help|?'                => \$help
57 ) || pod2usage(1);
58
59 if ($help) {
60     pod2usage(1);
61 }
62
63 $filename ||= 'koha.mrc';
64 $output_format ||= 'iso2709';
65 $record_type ||= 'bibs';
66
67 # Retrocompatibility for the format parameter
68 $output_format = 'iso2709' if $output_format eq 'marc';
69
70 if ( $output_format eq 'csv' and $record_type eq 'auths' ) {
71     pod2usage(q|CSV output is only available for biblio records|);
72 }
73
74 if ( $output_format eq 'csv' and not $csv_profile_id ) {
75     pod2usage(q|Define a csv profile to export in CSV|);
76 }
77
78 if ( $timestamp and $record_type ne 'bibs' ) {
79     pod2usage(q|--timestamp can only be used with biblios|);
80 }
81
82 if ( $record_type ne 'bibs' and $record_type ne 'auths' ) {
83     pod2usage(q|--record_type is not valid|);
84 }
85
86 if ( $deleted_barcodes and $record_type ne 'bibs' ) {
87     pod2usage(q|--deleted_barcodes can only be used with biblios|);
88 }
89
90 $start_accession = dt_from_string( $start_accession ) if $start_accession;
91 $end_accession   = dt_from_string( $end_accession )   if $end_accession;
92
93 my $dbh = C4::Context->dbh;
94
95 # Redirect stdout
96 open STDOUT, '>', $filename if $filename;
97
98
99 my @record_ids;
100
101 $timestamp = ($timestamp) ? output_pref({ dt => dt_from_string($timestamp), dateformat => 'iso', dateonly => 0, }): '';
102
103 if ( $record_type eq 'bibs' ) {
104     if ( $timestamp ) {
105         push @record_ids, $_->{biblionumber} for @{
106             $dbh->selectall_arrayref(q| (
107                 SELECT biblionumber
108                 FROM biblioitems
109                   LEFT JOIN items USING(biblionumber)
110                 WHERE biblioitems.timestamp >= ?
111                   OR items.timestamp >= ?
112             ) UNION (
113                 SELECT biblionumber
114                 FROM biblioitems
115                   LEFT JOIN deleteditems USING(biblionumber)
116                 WHERE biblioitems.timestamp >= ?
117                   OR deleteditems.timestamp >= ?
118             ) |, { Slice => {} }, ( $timestamp ) x 4 );
119         };
120     } else {
121         my $conditions = {
122             ( $starting_biblionumber or $ending_biblionumber )
123                 ? (
124                     "me.biblionumber" => {
125                         ( $starting_biblionumber ? ( '>=' => $starting_biblionumber ) : () ),
126                         ( $ending_biblionumber   ? ( '<=' => $ending_biblionumber   ) : () ),
127                     }
128                 )
129                 : (),
130             ( $starting_callnumber or $ending_callnumber )
131                 ? (
132                     callnumber => {
133                         ( $starting_callnumber ? ( '>=' => $starting_callnumber ) : () ),
134                         ( $ending_callnumber   ? ( '<=' => $ending_callnumber   ) : () ),
135                     }
136                 )
137                 : (),
138             ( $start_accession or $end_accession )
139                 ? (
140                     dateaccessioned => {
141                         ( $start_accession ? ( '>=' => $start_accession ) : () ),
142                         ( $end_accession   ? ( '<=' => $end_accession   ) : () ),
143                     }
144                 )
145                 : (),
146             ( $itemtype
147                 ?
148                   C4::Context->preference('item-level_itypes')
149                     ? ( 'items.itype' => $itemtype )
150                     : ( 'me.itemtype' => $itemtype )
151                 : ()
152             ),
153
154         };
155         my $biblioitems = Koha::Biblioitems->search( $conditions, { join => 'items' } );
156         while ( my $biblioitem = $biblioitems->next ) {
157             push @record_ids, $biblioitem->biblionumber;
158         }
159     }
160 }
161 elsif ( $record_type eq 'auths' ) {
162     my $conditions = {
163         ( $starting_authid or $ending_authid )
164             ? (
165                 authid => {
166                     ( $starting_authid ? ( '>=' => $starting_authid ) : () ),
167                     ( $ending_authid   ? ( '<=' => $ending_authid   ) : () ),
168                 }
169             )
170             : (),
171         ( $authtype ? ( authtypecode => $authtype ) : () ),
172     };
173     # Koha::MetadataRecord::Authority is not a Koha::Object...
174     my $authorities = Koha::Database->new->schema->resultset('AuthHeader')->search( $conditions );
175     @record_ids = map { $_->authid } $authorities->all;
176 }
177
178 @record_ids = uniq @record_ids;
179 if ( @record_ids and $id_list_file ) {
180     open my $fh, '<', $id_list_file or die "Cannot open file $id_list_file ($!)";
181     my @filter_record_ids = <$fh>;
182     @filter_record_ids = map { my $id = $_; $id =~ s/[\r\n]*$//; $id } @filter_record_ids;
183     # intersection
184     my %record_ids = map { $_ => 1 } @record_ids;
185     @record_ids = grep $record_ids{$_}, @filter_record_ids;
186 }
187
188 if ($deleted_barcodes) {
189     for my $record_id ( @record_ids ) {
190         my $barcode = $dbh->selectall_arrayref(q|
191             SELECT DISTINCT barcode
192             FROM deleteditems
193             WHERE deleteditems.biblionumber = ?
194         |, { Slice => {} }, $record_id );
195         say $_->{barcode} for @$barcode;
196     }
197 }
198 else {
199     Koha::Exporter::Record::export(
200         {   record_type        => $record_type,
201             record_ids         => \@record_ids,
202             format             => $output_format,
203             csv_profile_id     => $csv_profile_id,
204             export_items       => (not $dont_export_items),
205             clean              => $clean || 0,
206         }
207     );
208 }
209 exit;
210
211
212 =head1 NAME
213
214 export records - This script exports record (biblios or authorities)
215
216 =head1 SYNOPSIS
217
218 export_records.pl [-h|--help] [--format=format] [--date=datetime] [--record-type=TYPE] [--dont_export_items] [--deleted_barcodes] [--clean] [--id_list_file=PATH] --filename=outputfile
219
220 =head1 OPTIONS
221
222 =over
223
224 =item B<-h|--help>
225
226 Print a brief help message.
227
228 =item B<--format>
229
230  --format=FORMAT        FORMAT is either 'xml', 'csv' (biblio records only) or 'marc' (default).
231
232 =item B<--date>
233
234  --date=DATETIME        DATETIME should be entered as the 'dateformat' syspref is
235                         set (dd/mm/yyyy[ hh:mm:ss] for metric, yyyy-mm-dd[ hh:mm:ss] for iso,
236                         mm/dd/yyyy[ hh:mm:ss] for us) records exported are the ones that
237                         have been modified since DATETIME.
238
239 =item B<--record-type>
240
241  --record-type=TYPE     TYPE is 'bibs' or 'auths'.
242
243 =item B<--dont_export_items>
244
245  --dont_export_items    If enabled, the item infos won't be exported.
246
247 =item B<--csv_profile_id>
248
249  --csv_profile_id=ID    Generate a CSV file with the given CSV profile id (see tools/csv-profiles.pl)
250                         This can only be used to export biblio records.
251
252 =item B<--deleted_barcodes>
253
254  --deleted_barcodes     If used, a list of barcodes of items deleted since DATE
255                         is produced (or from all deleted items if no date is
256                         specified). Used only if TYPE is 'bibs'.
257
258 =item B<--clean>
259
260  --clean                removes NSE/NSB.
261
262 =item B<--id_list_file>
263
264  --id_list_file=PATH    PATH is a path to a file containing a list of
265                         IDs (biblionumber or authid) with one ID per line.
266                         This list works as a filter; it is compatible with
267                         other parameters for selecting records.
268
269 =item B<--filename>
270
271  --filename=FILENAME   FILENAME used to export the data.
272
273 =item B<--starting_authid>
274
275  --starting_authid=ID  Export authorities with authid >= ID
276
277 =item B<--ending_authid>
278
279  --ending_authid=ID    Export authorities with authid <= ID
280
281 =item B<--authtype>
282
283  --authtype=AUTHTYPE   Export authorities from the given AUTHTYPE
284
285 =item B<--starting_biblionumber>
286
287  --starting_biblionumber=ID  Export biblio with biblionumber >= ID
288
289 =item B<--ending_biblionumber>
290
291  --ending_biblionumber=ID    Export biblio with biblionumber <= ID
292
293 =item B<--itemtype>
294
295  --itemtype=ITEMTYPE         Export biblio from the given ITEMTYPE
296
297 =item B<--starting_callnumber>
298
299  --starting_callnumber=CALLNUMBER Export biblio with callnumber >=CALLNUMBER
300
301 =item B<--ending_callnumber>
302
303  --ending_callnumber=CALLNUMBER Export biblio with callnumber <=CALLNUMBER
304
305 =item B<--start_accession>
306
307  --starting_accession=DATE      Export biblio with an item accessionned after DATE
308
309 =item B<--end_accession>
310
311  --end_accession=DATE           Export biblio with an item accessionned after DATE
312
313 =back
314
315 =head1 AUTHOR
316
317 Koha Development Team
318
319 =head1 COPYRIGHT
320
321 Copyright Koha Team
322
323 =head1 LICENSE
324
325 This file is part of Koha.
326
327 Koha is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software
328 Foundation; either version 3 of the License, or (at your option) any later version.
329
330 You should have received a copy of the GNU General Public License along
331 with Koha; if not, write to the Free Software Foundation, Inc.,
332 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
333
334 =cut