Daemon to look after the zebraqueue
[koha.git] / misc / zebraqueue_daemon.pl
1 #!/usr/bin/perl
2
3 # daemon to watch the zebraqueue and update zebra as needed
4
5 use strict;
6 use POE qw(Wheel::SocketFactory Wheel::ReadWrite Filter::Stream Driver::SysRW);
7 use Unix::Syslog qw(:macros);
8
9 use C4::Context;
10 use C4::Biblio;
11 use C4::Search;
12 use C4::AuthoritiesMarc;
13 use XML::Simple;
14 use utf8;
15
16
17 my $dbh=C4::Context->dbh;
18 my $ident = "Koha Zebraqueue ";
19
20 my $debug = 1;
21 Unix::Syslog::openlog $ident, LOG_PID, LOG_LOCAL0;
22
23 Unix::Syslog::syslog LOG_INFO, "Starting Zebraqueue log at " . scalar localtime(time) . "\n";
24
25 sub handler_start {
26
27     # Starts session. Only ever called once only really used to set an alias
28     # for the POE kernel
29     my ( $kernel, $heap, $session ) = @_[ KERNEL, HEAP, SESSION ];
30
31     my $time = localtime(time);
32     Unix::Syslog::syslog LOG_INFO, "$time POE Session ", $session->ID, " has started.\n";
33
34     # check status
35 #    $kernel->yield('status_check');
36     $kernel->yield('sleep');
37 }
38
39 sub handler_sleep {
40
41     # can be used to slow down loop execution if needed
42     my ( $kernel, $heap, $session ) = @_[ KERNEL, HEAP, SESSION ];
43
44     sleep 1;
45     $kernel->yield('status_check');
46 }
47
48 sub handler_check {
49         # check if we need to do anything, at the moment just checks the zebraqueue, it could check other things too
50         my ( $kernel, $heap, $session ) = @_[ KERNEL, HEAP, SESSION ];
51         my $dbh=C4::Context->dbh;
52         my $sth = $dbh->prepare("SELECT count(*) AS opcount FROM zebraqueue WHERE done = 0");
53     $sth->execute;
54         if (my $data = $sth->fetchrow_hashref()){
55                 Unix::Syslog::syslog LOG_INFO, "$data->{'opcount'} operations waiting to be run\n";
56                 $sth->finish();
57                 $kernel->yield('do_ops');
58         }
59         else {
60                 $sth->finish();
61                 $kernel->yield('sleep');
62         }
63 }
64
65 sub zebraop {
66         # execute operations waiting in the zebraqueue
67         my ( $kernel, $heap, $session ) = @_[ KERNEL, HEAP, SESSION ];
68         my $dbh=C4::Context->dbh;
69         my $readsth=$dbh->prepare("SELECT id,biblio_auth_number,operation,server FROM zebraqueue WHERE done=0");
70         $readsth->execute();
71         Unix::Syslog::syslog LOG_INFO, "Executing zebra operations\n";
72         while (my $data = $readsth->fetchrow_hashref()){
73                 eval {
74                 my $ok = 0;
75                 if ($data->{'operation'} =~ /delete/ ){
76                         # 1st read the record in zebra, we have to get it from zebra as its no longer in the db
77                         my $Zconn=C4::Context->Zconn($data->{'server'}, 0, 1,'','xml');
78                         my $query = $Zconn->search_pqf( '@attr 1=Local-Number '.$data->{'biblio_auth_number'});
79                         # then, delete the record
80                         $ok=zebrado($query->record(0)->render(),$data->{'operation'},$data->{'server'},$data->{'biblio_auth_number'});
81                 }
82                 else {
83                         # it is an update                       
84                         # get the XML
85                         my $marcxml;
86                         if ($data->{'server'} eq "biblioserver") {
87                                 my $marc = GetMarcBiblio($data->{'biblio_auth_number'});
88                                 $marcxml = $marc->as_xml_record() if $marc;
89                         } 
90                         elsif ($data->{'server'} eq "authorityserver") {                                                                                                       
91                                 $marcxml =C4::AuthoritiesMarc::GetAuthorityXML($data->{'biblio_auth_number'});
92                         }
93                         # check it's XML, just in case
94                         eval {
95                                 my $hashed=XMLin($marcxml);
96                         }; ### is it a proper xml? broken xml may crash ZEBRA- slow but safe
97                         ## it's Broken XML-- Should not reach here-- but if it does -lets protect ZEBRA
98                         if ($@){
99                              Unix::Syslog::syslog LOG_ERR, "$@";
100                                 my $delsth=$dbh->prepare("UPDATE zebraqueue SET done=1 WHERE id =?");
101                                 $delsth->execute($data->{'id'});
102                                 next;
103                         }
104                         # ok, we have everything, do the operation in zebra !
105                         $ok=zebrado($marcxml,$data->{'operation'},$data->{'server'},$data->{'biblio_auth_number'});
106                 }
107                 if ($ok == 1){
108                         $dbh=C4::Context->dbh;
109                         my $delsth;
110                         # if it's a deletion, we can delete every request on this biblio : in case the user
111                         # did a modif (or item deletion) just before biblio deletion, there are some specialUpdate
112                         # that are pending and can't succeed, as we don't have the XML anymore
113                         # so, delete everything for this biblionumber
114                         if ($data->{'operation'} eq 'delete_record') {
115                                 $delsth =$dbh->prepare("UPDATE zebraqueue SET done=1 WHERE biblio_auth_number =?");
116                                 $delsth->execute($data->{'biblio_auth_number'});
117                                 # if it's not a deletion, delete every pending specialUpdate for this biblionumber
118                                 # in case the user add biblio, then X items, before this script runs
119                                 # this avoid indexing X+1 times where just 1 is enough.
120                         } else {
121                                 $delsth =$dbh->prepare("UPDATE zebraqueue SET done=1 WHERE biblio_auth_number =? and operation='specialUpdate'");
122                                 $delsth->execute($data->{'biblionumber'});
123                         }
124                 }                            
125                         };
126                 if ($@){
127                         Unix::Syslog::syslog LOG_ERR, "$@";
128                 }
129         }
130         $readsth->finish();
131         $kernel->yield('status_check');
132 }
133
134 sub zebrado {
135     
136     ###Accepts a $server variable thus we can use it to update  biblios, authorities or other zebra dbs
137     my ($record,$op,$server,$biblionumber)=@_;
138     
139     my @port;
140     
141     my $tried=0;
142     my $recon=0;
143     my $reconnect=0;
144 #    $record=Encode::encode("UTF-8",$record);
145     my $shadow=$server."shadow";
146         
147     $op = 'recordDelete' if $op eq 'delete_record';
148 reconnect:
149     
150     my $Zconn=C4::Context->Zconn($server, 0, 1);
151     if ($record){
152         my $Zpackage = $Zconn->package();
153         $Zpackage->option(action => $op);
154         $Zpackage->option(record => $record);
155 #           $Zpackage->option(recordIdOpaque => $biblionumber) if $biblionumber;
156 retry:
157         $Zpackage->send("update");
158         my($error, $errmsg, $addinfo, $diagset) = $Zconn->error_x();
159         if ($error==10007 && $tried<3) {## timeout --another 30 looonng seconds for this update
160             sleep 1;    ##  wait a sec!
161             $tried=$tried+1;
162             goto "retry";
163         }elsif ($error==2 && $tried<2) {## timeout --temporary zebra error !whatever that means
164             sleep 2;    ##  wait two seconds!
165             $tried=$tried+1;
166             goto "retry";
167         }elsif($error==10004 && $recon==0){##Lost connection -reconnect
168             sleep 1;    ##  wait a sec!
169             $recon=1;
170             $Zpackage->destroy();
171             $Zconn->destroy();
172             goto "reconnect";
173         }elsif ($error){
174             $Zpackage->destroy();
175             $Zconn->destroy();
176             return 0;
177         }
178         $Zpackage->send('commit');
179     return 1;
180     }
181     return 0;
182 }
183
184
185 sub handler_stop {
186     my $heap = $_[HEAP];
187     my $time = localtime(time);
188     Unix::Syslog::syslog LOG_INFO, "$time Session ", $_[SESSION]->ID, " has stopped.\n";
189     delete $heap->{session};
190 }
191
192 POE::Session->create(
193     inline_states => {
194         _start       => \&handler_start,
195         sleep        => \&handler_sleep,
196                 status_check => \&handler_check,
197                 do_ops       => \&zebraop,
198         _stop        => \&handler_stop,
199     },
200 );
201
202 # start the kernel
203 $poe_kernel->run();
204
205 Unix::Syslog::closelog;
206
207 exit;