Bug 7276 : Follow up, adding a sub to clear the cache
[koha.git] / misc / stage_biblios_file.pl
1 #!/usr/bin/perl
2
3 # This file is part of Koha.
4 #
5 # Copyright (C) 2007 LibLime
6 # Parts Copyright BSZ 2011
7 #
8 # Koha is free software; you can redistribute it and/or modify it under the
9 # terms of the GNU General Public License as published by the Free Software
10 # Foundation; either version 2 of the License, or (at your option) any later
11 # version.
12 #
13 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
14 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
15 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License along
18 # with this program; if not, write to the Free Software Foundation, Inc.,
19 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
20
21 use strict;
22 use warnings;
23 BEGIN {
24     # find Koha's Perl modules
25     # test carefully before changing this
26     use FindBin;
27     eval { require "$FindBin::Bin/kohalib.pl" };
28 }
29
30 use C4::Context;
31 use C4::ImportBatch;
32 use C4::Matcher;
33 use Getopt::Long;
34
35 $| = 1;
36
37 # command-line parameters
38 my $encoding = "";
39 my $match_bibs = 0;
40 my $add_items = 0;
41 my $input_file = "";
42 my $batch_comment = "";
43 my $want_help = 0;
44 my $no_replace ;
45
46 my $result = GetOptions(
47     'encoding:s'    => \$encoding,
48     'file:s'        => \$input_file,
49     'match-bibs:s'  => \$match_bibs,
50     'add-items'     => \$add_items,
51     'no-replace'    => \$no_replace,
52     'comment:s'     => \$batch_comment,
53     'h|help'        => \$want_help
54 );
55
56 if ($encoding eq "") {
57     $encoding = "utf8";
58 }
59
60 if (not $result or $input_file eq "" or $want_help) {
61     print_usage();
62     exit 0;
63 }
64
65 unless (-r $input_file) {
66     die "$0: cannot open input file $input_file: $!\n";
67 }
68
69 my $dbh = C4::Context->dbh;
70 $dbh->{AutoCommit} = 0;
71 process_batch($input_file, $match_bibs, $add_items, $batch_comment);
72 $dbh->commit();
73
74 exit 0;
75
76 sub process_batch {
77     my ($input_file, $match_bibs, $add_items, $batch_comment) = @_;
78
79     open IN, "<$input_file" or die "$0: cannot open input file $input_file: $!\n";
80     my $marc_records = "";
81     $/ = "\035";
82     my $num_input_records = 0;
83     while (<IN>) {
84         s/^\s+//;
85         s/\s+$//;
86         next unless $_; # skip if record has only whitespace, as might occur
87                         # if file includes newlines between each MARC record
88         $marc_records .= $_; # FIXME - this sort of string concatenation
89                              # is probably rather inefficient
90         $num_input_records++;
91     }
92     close IN;
93
94     print "... staging MARC records -- please wait\n";
95     my ($batch_id, $num_valid, $num_items, @import_errors) = 
96         BatchStageMarcRecords($encoding, $marc_records, $input_file, $batch_comment, '', $add_items, 0,
97                               100, \&print_progress_and_commit);
98     print "... finished staging MARC records\n";
99
100     my $num_with_matches = 0;
101     if ($match_bibs) {
102         my $matcher = C4::Matcher->fetch($match_bibs) ;
103         if (! defined $matcher) {
104             $matcher = C4::Matcher->new('biblio');
105             $matcher->add_simple_matchpoint('isbn', 1000, '020', 'a', -1, 0, '');
106             $matcher->add_simple_required_check('245', 'a', -1, 0, '', 
107                                             '245', 'a', -1, 0, '');
108         } else {
109             SetImportBatchMatcher($batch_id, $match_bibs);
110         }
111         # set default record overlay behavior
112         SetImportBatchOverlayAction($batch_id, ($no_replace) ? 'ignore' : 'replace');
113         SetImportBatchNoMatchAction($batch_id, 'create_new');
114         SetImportBatchItemAction($batch_id, 'always_add');
115         print "... looking for matches with records already in database\n";
116         $num_with_matches = BatchFindBibDuplicates($batch_id, $matcher, 10, 100, \&print_progress_and_commit);
117         print "... finished looking for matches\n";
118     }
119
120     my $num_invalid_bibs = scalar(@import_errors);
121     print <<_SUMMARY_;
122
123 MARC record staging report
124 ------------------------------------
125 Input file:              $input_file
126 Number of input bibs:    $num_input_records
127 Number of valid bibs:    $num_valid
128 Number of invalid bibs:  $num_invalid_bibs
129 _SUMMARY_
130     if ($match_bibs) {
131         print "Number of bibs matched:  $num_with_matches\n";
132     } else {
133         print "Incoming bibs not matched against existing bibs (--match-bibs option not supplied)\n";
134     }
135     if ($add_items) {
136         print "Number of items parsed:  $num_items\n";
137     } else {
138         print "No items parsed (--add-items option not supplied)\n";
139     }
140
141     print "\n";
142     print "Batch number assigned:  $batch_id\n";
143     print "\n";
144 }
145
146 sub print_progress_and_commit {
147     my $recs = shift;
148     $dbh->commit();
149     print "... processed $recs records\n";
150 }
151
152 sub print_usage {
153     print <<_USAGE_;
154 $0: stage MARC bib file into reservoir.
155
156 Use this batch job to load a file of MARC bibliographic records
157 (with optional item information) into the Koha reservoir.
158
159 After running this program to stage your file, you can use
160 either the batch job commit_biblios_file.pl or the Koha
161 Tools option "Manage Staged MARC Records" to load the
162 records into the main Koha database.
163
164 Parameters:
165     --file <file_name>      name of input MARC bib file
166     --encoding <encoding>   encoding of MARC records, default is utf8.
167                             Other possible options are: MARC-8,
168                             ISO_5426, ISO_6937, ISO_8859-1, EUC-KR
169     --match-bibs <match_id> use this option to match bibs
170                             in the file with bibs already in 
171                             the database for future overlay.
172                             If <match_id> isn't defined, a default 
173                             MARC21 ISBN & title match rule will be applied.
174     --add-items             use this option to specify that
175                             item data is embedded in the MARC
176                             bibs and should be parsed.
177     --no-replace            overlay action for bib record: default is to 
178                             replace extant bib with the imported record.
179     --comment <comment>     optional comment to describe
180                             the record batch; if the comment
181                             has spaces in it, surround the
182                             comment with quotation marks.
183     --help or -h            show this message.
184 _USAGE_
185 }