Couple of little fixes to the zebraqueue daemon
[koha.git] / misc / cronjobs / zebraqueue_start.pl
1 #!/usr/bin/perl
2 # script that starts the zebraquee
3 #  Written by TG on 01/08/2006
4 use strict;
5
6
7 use C4::Context;
8 use C4::Biblio;
9 use C4::Search;
10 use C4::AuthoritiesMarc;
11 use XML::Simple;
12 use utf8;
13 ### ZEBRA SERVER UPDATER
14 ##Uses its own database handle
15 my $dbh=C4::Context->dbh;
16 my $readsth=$dbh->prepare("SELECT id,biblio_auth_number,operation,server FROM zebraqueue WHERE done=0 
17                            ORDER BY id DESC"); # NOTE - going in reverse order to catch deletes that
18                                                # occur after a string of updates (e.g., user deletes
19                                                # the items attached to a bib, then the items.
20                                                # Having a specialUpdate occur after a recordDelete
21                                                # should not occur.
22 #my $delsth=$dbh->prepare("delete from zebraqueue where id =?");
23
24
25 #AGAIN:
26
27 #my $wait=C4::Context->preference('zebrawait') || 120;
28 my $verbose = 1;
29 print "starting with verbose=$verbose\n" if $verbose;
30
31 my ($id,$biblionumber,$operation,$server,$marcxml);
32
33 $readsth->execute;
34 while (($id,$biblionumber,$operation,$server)=$readsth->fetchrow){
35     print "read in queue : $id : biblio $biblionumber for $operation on $server\n" if $verbose;
36     my $ok;
37     eval{
38         # if the operation is a deletion, zebra requires that we give it the xml.
39         # as it is no more in the SQL db, retrieve it from zebra itself.
40         # may sound silly, but that's the way zebra works ;-)
41             if ($operation =~ /delete/i) { # NOTE depending on version, delete operation
42                                        #      was coded 'delete_record' or 'recordDelete'.
43                                        #      'recordDelete' is the preferred one, as that's
44                                        #      what the ZOOM API wants.
45                # 1st read the record in zebra
46             my $Zconn=C4::Context->Zconn($server, 0, 1,'','xml');
47             my $query = $Zconn->search_pqf( '@attr 1=Local-Number '.$biblionumber);
48             # then, delete the record
49                 $ok=zebrado($query->record(0)->render(),$operation,$server,$biblionumber);
50         # if it's an add or a modif
51         } else {
52             # get the XML
53             if ($server eq "biblioserver") {
54                 my $marc = GetMarcBiblio($biblionumber);
55                 $marcxml = $marc->as_xml_record() if $marc;
56             } elsif ($server eq "authorityserver") {
57                 $marcxml =C4::AuthoritiesMarc::GetAuthorityXML($biblionumber);
58             }
59             if ($verbose) {
60                 if ($marcxml) {
61                     print "XML read : $marcxml\n" if $verbose >1;
62                 } else {
63                 # workaround for zebra bug needing a XML even for deletion
64                 $marcxml= "<dummy/>";
65                     print "unable to read MARCxml\n" if $verbose;
66                 }
67             }
68             # check it's XML, just in case
69             eval {
70                 my $hashed=XMLin($marcxml);
71             }; ### is it a proper xml? broken xml may crash ZEBRA- slow but safe
72             ## it's Broken XML-- Should not reach here-- but if it does -lets protect ZEBRA
73             if ($@){
74                 warn $@;
75                 my $delsth=$dbh->prepare("UPDATE zebraqueue SET done=1 WHERE id =?");
76                 $delsth->execute($id);
77                 next;
78             }
79             # ok, we have everything, do the operation in zebra !
80             $ok=zebrado($marcxml,$operation,$server);
81         }
82     };
83     print "ZEBRAopserver returned : $ok \n" if $verbose;
84     if ($ok ==1) {
85         $dbh=C4::Context->dbh;
86         my $delsth;
87         # if it's a deletion, we can delete every request on this biblio : in case the user
88         # did a modif (or item deletion) just before biblio deletion, there are some specialUpdage
89         # that are pending and can't succeed, as we don't have the XML anymore
90         # so, delete everything for this biblionumber
91         my $reset_readsth = 0;
92         if ($operation eq 'recordDelete') {
93             print "deleting biblio deletion $biblionumber\n" if $verbose;
94             $delsth =$dbh->prepare("UPDATE zebraqueue SET done=1 WHERE biblio_auth_number =?");
95             $delsth->execute($biblionumber);
96             $reset_readsth = 1 if $delsth->rows() > 0;
97         # if it's not a deletion, delete every pending specialUpdate for this biblionumber
98         # in case the user add biblio, then X items, before this script runs
99         # this avoid indexing X+1 times where just 1 is enough.
100         } else {
101             print "deleting special date for $biblionumber\n" if $verbose;
102             $delsth =$dbh->prepare("UPDATE zebraqueue SET done=1 WHERE biblio_auth_number =? and operation='specialUpdate'");
103             $delsth->execute($biblionumber);
104             $reset_readsth = 1 if $delsth->rows() > 0;
105         }
106         if ($reset_readsth) {
107             # if we can ignore rows in zebraqueue because we've already
108             # touched a record, reset the query. 
109             $readsth->finish();
110             $readsth->execute();
111         }
112     }
113 }
114
115 sub zebrado {
116     
117     ###Accepts a $server variable thus we can use it to update  biblios, authorities or other zebra dbs
118     my ($record,$op,$server,$biblionumber)=@_;
119     
120     my @port;
121     
122     my $tried=0;
123     my $recon=0;
124     my $reconnect=0;
125 #    $record=Encode::encode("UTF-8",$record);
126     my $shadow=$server."shadow";
127     $op = 'recordDelete' if $op eq 'delete_record';
128 reconnect:
129     
130     my $Zconn=C4::Context->Zconn($server, 0, 1);
131     if ($record){
132         print "updating $op on $biblionumber for server $server\n $record\n" if $verbose;
133         my $Zpackage = $Zconn->package();
134         $Zpackage->option(action => $op);
135         $Zpackage->option(record => $record);
136 #           $Zpackage->option(recordIdOpaque => $biblionumber) if $biblionumber;
137 retry:
138         $Zpackage->send("update");
139         my($error, $errmsg, $addinfo, $diagset) = $Zconn->error_x();
140         if ($error==10007 && $tried<3) {## timeout --another 30 looonng seconds for this update
141             print "error 10007\n" if $verbose;
142             sleep 1;    ##  wait a sec!
143             $tried=$tried+1;
144             goto "retry";
145         }elsif ($error==2 && $tried<2) {## timeout --temporary zebra error !whatever that means
146             print "error 2\n" if $verbose;
147             sleep 2;    ##  wait two seconds!
148             $tried=$tried+1;
149             goto "retry";
150         }elsif($error==10004 && $recon==0){##Lost connection -reconnect
151             print "error 10004\n" if $verbose;
152             sleep 1;    ##  wait a sec!
153             $recon=1;
154             $Zpackage->destroy();
155             $Zconn->destroy();
156             goto "reconnect";
157         }elsif ($error){
158         #       warn "Error-$server   $op  /errcode:, $error, /MSG:,$errmsg,$addinfo \n";       
159             print "error $error\n" if $verbose;
160             $Zpackage->destroy();
161             $Zconn->destroy();
162             return 0;
163         }
164         $Zpackage->send('commit');
165 #     $Zpackage->destroy();
166 #     $Zconn->destroy();
167     return 1;
168     }
169     return 0;
170 }