updater/updatedatabase

   1 #!/usr/bin/perl
   2
   3 # $Id$
   4
   5 # Database Updater
   6 # This script checks for required updates to the database.
   7
   8 # Part of the Koha Library Software www.koha.org
   9 # Licensed under the GPL.
  10
  11 # Bugs/ToDo:
  12 # - Would also be a good idea to offer to do a backup at this time...
  13
  14 # NOTE:  If you do something more than once in here, make it table driven.
  15
  16 use strict;
  17
  18 # CPAN modules
  19 use DBI;
  20
  21 # Koha modules
  22 use C4::Context;
  23
  24 # FIXME - The user might be installing a new database, so can't rely
  25 # on /etc/koha.conf anyway.
  26
  27 my $debug = 1;
  28
  29 my (
  30     $sth, $sti,
  31     $query,
  32     %existingtables,    # tables already in database
  33     %types,
  34     $table,
  35     $column,
  36     $type, $null, $key, $default, $extra,
  37     $prefitem,          # preference item in systempreferences table
  38 );
  39
  40 my $dbh = C4::Context->dbh;
  41
  42 #-------------------
  43 # Defines
  44
  45 # Tables to add if they don't exist
  46 my %requiretables = (
  47     shelfcontents => "( shelfnumber int not null,
  48                                                         itemnumber int not null,
  49                                                         flags int)",
  50     bookshelf => "( shelfnumber int auto_increment primary key,
  51                                                 shelfname char(255))",
  52     z3950queue => "( id int auto_increment primary key,
  53                                                 term text,
  54                                                 type char(10),
  55                                                 startdate int,
  56                                                 enddate int,
  57                                                 done smallint,
  58                                                 results longblob,
  59                                                 numrecords int,
  60                                                 servers text,
  61                                                 identifier char(30))",
  62     z3950results => "( id int auto_increment primary key,
  63                                                 queryid int,
  64                                                 server char(255),
  65                                                 startdate int,
  66                                                 enddate int,
  67                                                 results longblob,
  68                                                 numrecords int,
  69                                                 numdownloaded int,
  70                                                 highestseen int,
  71                                                 active smallint)",
  72     branchrelations => "( branchcode varchar(4),
  73                                                         categorycode varchar(4))",
  74     websites => "( websitenumber int(11) NOT NULL auto_increment,
  75                                                 biblionumber int(11) NOT NULL default '0',
  76                                                 title text,
  77                                                 description text,
  78                                                 url varchar(255),
  79                                                 PRIMARY KEY (websitenumber) )",
  80     marcrecorddone => "( isbn char(40),
  81                                                                 issn char(40),
  82                                                                 lccn char(40),
  83                                                                 controlnumber char(40))",
  84     uploadedmarc => "( id int(11) NOT NULL auto_increment PRIMARY KEY,
  85                                                         marc longblob,
  86                                                         hidden smallint(6) default NULL,
  87                                                         name varchar(255) default NULL)",
  88     ethnicity => "( code varchar(10) NOT NULL default '',
  89                                         name varchar(255) default NULL,
  90                                         PRIMARY KEY  (code)   )",
  91     sessions => "( sessionID varchar(255) NOT NULL default '',
  92                                                 userid varchar(255) default NULL,
  93                                                 ip varchar(16) default NULL,
  94                                                 lasttime int,
  95                                                 PRIMARY KEY (sessionID)   )",
  96     sessionqueries => "( sessionID varchar(255) NOT NULL default '',
  97                                                                 userid char(100) NOT NULL default '',
  98                                                                 ip char(18) NOT NULL default '',
  99                                                                 url text NOT NULL default ''  )",
 100     bibliothesaurus => "( id bigint(20) NOT NULL auto_increment,
 101                                                         freelib char(255) NOT NULL default '',
 102                                                         stdlib char(255) NOT NULL default '',
 103                                                         category char(10) NOT NULL default '',
 104                                                         level tinyint(4) NOT NULL default '1',
 105                                                         hierarchy char(80) NOT NULL default '',
 106                                                         father char(80) NOT NULL default '',
 107                                                         PRIMARY KEY  (id),
 108                                                         KEY freelib (freelib),
 109                                                         KEY stdlib (stdlib),
 110                                                         KEY category (category),
 111                                                         KEY hierarchy (hierarchy)
 112                                                         )",
 113     marc_biblio => "(
 114                                                 bibid bigint(20) unsigned NOT NULL auto_increment,
 115                                                 biblionumber int(11) NOT NULL default '0',
 116                                                 datecreated date NOT NULL default '0000-00-00',
 117                                                 datemodified date default NULL,
 118                                                 origincode char(20) default NULL,
 119                                                 PRIMARY KEY  (bibid),
 120                                                 KEY origincode (origincode),
 121                                                 KEY biblionumber (biblionumber)
 122                                                 ) ",
 123     marc_blob_subfield => "(
 124                                         blobidlink bigint(20) NOT NULL auto_increment,
 125                                         subfieldvalue longtext NOT NULL,
 126                                         PRIMARY KEY  (blobidlink)
 127                                         ) ",
 128     marc_subfield_structure => "(
 129                                                 tagfield char(3) NOT NULL default '',
 130                                                 tagsubfield char(1) NOT NULL default '',
 131                                                 liblibrarian char(255) NOT NULL default '',
 132                                                 libopac char(255) NOT NULL default '',
 133                                                 repeatable tinyint(4) NOT NULL default '0',
 134                                                 mandatory tinyint(4) NOT NULL default '0',
 135                                                 kohafield char(40)  default NULL,
 136                                                 tab tinyint(1) default NULL,
 137                                                 authorised_value char(10) default NULL,
 138                                                 thesaurus_category char(10) default NULL,
 139                                                 value_builder char(80) default NULL,
 140                                                 PRIMARY KEY  (tagfield,tagsubfield),
 141                                                 KEY kohafield (kohafield),
 142                                                 KEY tab (tab)
 143                                                 )",
 144     marc_subfield_table => "(
 145                                                 subfieldid bigint(20) unsigned NOT NULL auto_increment,
 146                                                 bibid bigint(20) unsigned NOT NULL default '0',
 147                                                 tag char(3) NOT NULL default '',
 148                                                 tagorder tinyint(4) NOT NULL default '1',
 149                                                 tag_indicator char(2) NOT NULL default '',
 150                                                 subfieldcode char(1) NOT NULL default '',
 151                                                 subfieldorder tinyint(4) NOT NULL default '1',
 152                                                 subfieldvalue varchar(255) default NULL,
 153                                                 valuebloblink bigint(20) default NULL,
 154                                                 PRIMARY KEY  (subfieldid),
 155                                                 KEY bibid (bibid),
 156                                                 KEY tag (tag),
 157                                                 KEY tag_indicator (tag_indicator),
 158                                                 KEY subfieldorder (subfieldorder),
 159                                                 KEY subfieldcode (subfieldcode),
 160                                                 KEY subfieldvalue (subfieldvalue),
 161                                                 KEY tagorder (tagorder)
 162                                         )",
 163     marc_tag_structure => "(
 164                                         tagfield char(3) NOT NULL default '',
 165                                         liblibrarian char(255) NOT NULL default '',
 166                                         libopac char(255) NOT NULL default '',
 167                                         repeatable tinyint(4) NOT NULL default '0',
 168                                         mandatory tinyint(4) NOT NULL default '0',
 169                                         authorised_value char(10) default NULL,
 170                                         PRIMARY KEY  (tagfield)
 171                                         )",
 172     marc_word => "(
 173                                 bibid bigint(20) NOT NULL default '0',
 174                                 tag char(3) NOT NULL default '',
 175                                 tagorder tinyint(4) NOT NULL default '1',
 176                                 subfieldid char(1) NOT NULL default '',
 177                                 subfieldorder tinyint(4) NOT NULL default '1',
 178                                 word varchar(255) NOT NULL default '',
 179                                 sndx_word varchar(255) NOT NULL default '',
 180                                 KEY bibid (bibid),
 181                                 KEY tag (tag),
 182                                 KEY tagorder (tagorder),
 183                                 KEY subfieldid (subfieldid),
 184                                 KEY subfieldorder (subfieldorder),
 185                                 KEY word (word),
 186                                 KEY sndx_word (sndx_word)
 187                         )",
 188     marc_breeding => "(  id bigint(20) NOT NULL auto_increment,
 189                                 file varchar(80) NOT NULL default '',
 190                                 isbn varchar(10) NOT NULL default '',
 191                                 title varchar(128) default NULL,
 192                                 author varchar(80) default NULL,
 193                                 marc text NOT NULL,
 194                                 encoding varchar(40) default NULL,
 195                                 PRIMARY KEY  (id),
 196                                 KEY title (title),
 197                                 KEY isbn (isbn)
 198                         )",
 199     authorised_values => "(id int(11) NOT NULL auto_increment,
 200                                 category char(10) NOT NULL default '',
 201                                 authorised_value char(80) NOT NULL default '',
 202                                 lib char(80) NULL,
 203                                 PRIMARY KEY  (id),
 204                                 KEY name (category)
 205                         )",
 206     userflags => "( bit int(11) NOT NULL default '0',
 207                                 flag char(30), flagdesc char(255),
 208                                 defaulton int(11)
 209                         )",
 210 );
 211
 212 my %requirefields = (
 213     biblio        => { 'abstract' => 'text' },
 214     deletedbiblio => { 'abstract' => 'text' },
 215     biblioitems   => {
 216         'lccn' => 'char(25)',
 217         'url'  => 'varchar(255)',
 218         'marc' => 'text'
 219     },
 220     deletedbiblioitems => {
 221         'lccn' => 'char(25)',
 222         'url'  => 'varchar(255)',
 223         'marc' => 'text'
 224     },
 225     branchtransfers => { 'datearrived'    => 'datetime' },
 226     statistics      => { 'borrowernumber' => 'int(11)' },
 227     aqbooksellers   => {
 228         'invoicedisc' => 'float(6,4)',
 229         'nocalc'      => 'int(11)'
 230     },
 231     borrowers => {
 232         'userid'        => 'char(30)',
 233         'password'      => 'char(30)',
 234         'flags'         => 'int(11)',
 235         'textmessaging' => 'varchar(30)',
 236            'zipcode' => 'varchar(25)',
 237                         'homezipcode' => 'varchar(25)',
 238     },
 239     aqorders => { 'budgetdate' => 'date' },
 240     aqbudget => {'aqbudgetid' => 'tinyint(4) auto_increment primary key'},
 241
 242     #added so that reference items are not available for reserves...
 243     itemtypes         => { 'notforloan'  => 'smallint(6)' },
 244     systempreferences => { 'explanation' => 'char(80)',
 245                            'type' => 'char(20)',
 246                            'options' => 'text' },
 247     z3950servers      => { 'syntax'      => 'char(80)' },
 248 );
 249
 250 my %dropable_table = (
 251     classification => 'classification',
 252     multipart      => 'multipart',
 253     multivolume    => 'multivolume',
 254     newitems       => 'newitems',
 255     procedures     => 'procedures',
 256     publisher      => 'publisher',
 257     searchstats    => 'searchstats',
 258     serialissues   => 'serialissues',
 259 );
 260
 261 # The tabledata hash contains data that should be in the tables.
 262 # The uniquefieldrequired hash entry is used to determine which (if any) fields
 263 # must not exist in the table for this row to be inserted.  If the
 264 # uniquefieldrequired entry is already in the table, the existing data is not
 265 # modified, unless the forceupdate hash entry is also set.  Fields in the
 266 # anonymous "forceupdate" hash will be forced to be updated to the default
 267 # values given in the %tabledata hash.
 268
 269 my %tabledata = (
 270     userflags => [
 271         {
 272             uniquefieldrequired => 'bit',
 273             bit                 => 0,
 274             flag                => 'superlibrarian',
 275             flagdesc            => 'Access to all librarian functions',
 276             defaulton           => 0
 277         },
 278         {
 279             uniquefieldrequired => 'bit',
 280             bit                 => 1,
 281             flag                => 'circulate',
 282             flagdesc            => 'Circulate books',
 283             defaulton           => 0
 284         },
 285         {
 286             uniquefieldrequired => 'bit',
 287             bit                 => 2,
 288             flag                => 'catalogue',
 289             flagdesc            => 'View Catalogue (Librarian Interface)',
 290             defaulton           => 0
 291         },
 292         {
 293             uniquefieldrequired => 'bit',
 294             bit                 => 3,
 295             flag                => 'parameters',
 296             flagdesc            => 'Set Koha system paramters',
 297             defaulton           => 0
 298         },
 299         {
 300             uniquefieldrequired => 'bit',
 301             bit                 => 4,
 302             flag                => 'borrowers',
 303             flagdesc            => 'Add or modify borrowers',
 304             defaulton           => 0
 305         },
 306         {
 307             uniquefieldrequired => 'bit',
 308             bit                 => 5,
 309             flag                => 'permissions',
 310             flagdesc            => 'Set user permissions',
 311             defaulton           => 0
 312         },
 313         {
 314             uniquefieldrequired => 'bit',
 315             bit                 => 6,
 316             flag                => 'reserveforothers',
 317             flagdesc            => 'Reserve books for patrons',
 318             defaulton           => 0
 319         },
 320         {
 321             uniquefieldrequired => 'bit',
 322             bit                 => 7,
 323             flag                => 'borrow',
 324             flagdesc            => 'Borrow books',
 325             defaulton           => 1
 326         },
 327         {
 328             uniquefieldrequired => 'bit',
 329             bit                 => 8,
 330             flag                => 'reserveforself',
 331             flagdesc            => 'Reserve books for self',
 332             defaulton           => 0
 333         },
 334         {
 335             uniquefieldrequired => 'bit',
 336             bit                 => 9,
 337             flag                => 'editcatalogue',
 338             flagdesc  => 'Edit Catalogue (Modify bibliographic/holdings data)',
 339             defaulton => 0
 340         },
 341         {
 342             uniquefieldrequired => 'bit',
 343             bit                 => 10,
 344             flag                => 'updatecharges',
 345             flagdesc            => 'Update borrower charges',
 346             defaulton           => 0
 347         },
 348     ],
 349     systempreferences => [
 350         {
 351             uniquefieldrequired => 'variable',
 352             forceupdate         => { 'explanation' => 1,
 353                                      'type' => 1 },
 354             variable            => 'autoMemberNum',
 355             value               => '1',
 356             explanation         => 'Member number is auto-calculated',
 357             type                => 'YesNo'
 358
 359         },
 360         {
 361             uniquefieldrequired => 'variable',
 362             forceupdate         => { 'explanation' => 1,
 363                                      'type' => 1,
 364                                      'options' => 1 },
 365             variable            => 'acquisitions',
 366             value               => 'simple',
 367             explanation         =>
 368 'Normal, budget-based acquisitions, or Simple bibliographic-data acquisitions',
 369             type                => 'Choice',
 370             options             => 'simple|normal'
 371         },
 372         {
 373             uniquefieldrequired => 'variable',
 374             forceupdate         => { 'explanation' => 1,
 375                                      'type' => 1,
 376                                      'options' => 1 },
 377             variable            => 'dateformat',
 378             value               => 'metric',
 379             explanation         =>
 380             'date format (US mm/dd/yyyy, metric dd/mm/yyy, ISO yyyy/mm/dd)',
 381             type                => 'Choice',
 382             options             => 'metric|us|iso'
 383         },
 384         {
 385             uniquefieldrequired => 'variable',
 386             variable            => 'template',
 387             forceupdate         => { 'explanation' => 1,
 388                                      'type' => 1 },
 389             value               => 'default',
 390             explanation         => 'Preference order for intranet interface templates',
 391             type                => 'Themes'
 392         },
 393         {
 394             uniquefieldrequired => 'variable',
 395             variable            => 'autoBarcode',
 396             forceupdate         => { 'explanation' => 1,
 397                                      'type' => 1 },
 398             value               => 'yes',
 399             explanation         => 'Barcode is auto-calculated',
 400             type                => 'YesNo'
 401         },
 402         {
 403             uniquefieldrequired => 'variable',
 404             variable            => 'insecure',
 405             forceupdate         => { 'explanation' => 1,
 406                                      'type' => 1 },
 407             value               => 'no',
 408             explanation         =>
 409 'If YES, no auth at all is needed. Be careful if you set this to yes!',
 410             type                => 'YesNo'
 411         },
 412         {
 413             uniquefieldrequired => 'variable',
 414             variable            => 'authoritysep',
 415             forceupdate         => { 'explanation' => 1,
 416                                      'type' => 1,
 417                                      'options' => 1 },
 418             value               => '--',
 419             explanation         =>
 420             'the separator used in authority/thesaurus. Usually --',
 421             type                => 'free',
 422             options             => '10'
 423         },
 424         {
 425             uniquefieldrequired => 'variable',
 426             variable            => 'opaclanguages',
 427             forceupdate         => { 'explanation' => 1,
 428                                      'type' => 1 },
 429             value               => 'en',
 430             explanation         => 'Set the preferred order for translations.  The top language will be tried first.',
 431             type                => 'Languages'
 432         },
 433         {
 434             uniquefieldrequired => 'variable',
 435             variable            => 'opacthemes',
 436             forceupdate         => { 'explanation' => 1,
 437                                      'type' => 1 },
 438             value               => 'default',
 439             explanation         => 'Set the preferred order for themes.  The top theme will be tried first.',
 440             type                => 'Themes'
 441         },
 442         {
 443             uniquefieldrequired => 'variable',
 444             variable            => 'timeout',
 445             forceupdate         => { 'explanation' => 1,
 446                                      'type' => 1 },
 447             value               => '1200',
 448             explanation         => 'Inactivity timeout for cookies authentication (in seconds)',
 449             type                => 'Integer'
 450         },
 451         {
 452             uniquefieldrequired => 'variable',
 453             variable            => 'marc',
 454             forceupdate         => { 'explanation' => 1,
 455                                      'type' => 1 },
 456             value               => 'yes',
 457             explanation         => 'Turn on MARC support',
 458             type                => 'YesNo'
 459         },
 460         {
 461             uniquefieldrequired => 'variable',
 462             variable            => 'marcflavour',
 463             forceupdate         => { 'explanation' => 1,
 464                                      'type' => 1,
 465                                      'options' => 1},
 466             value               => 'MARC21',
 467             explanation         =>
 468             'your MARC flavor (MARC21 or UNIMARC) used for character encoding',
 469             type                => 'Choice',
 470             options             => 'MARC21|UNIMARC'
 471         },
 472         {
 473             uniquefieldrequired => 'variable',
 474             variable            => 'checkdigit',
 475             value               => 'none',
 476             forceupdate         => { 'explanation' => 1,
 477                                      'type' => 1,
 478                                      'options' => 1},
 479             explanation         => 'Validity checks on membership number: none or "Katipo" style checks',
 480             type                => 'Choice',
 481             options             => 'none|katipo'
 482         },
 483         {
 484             uniquefieldrequired => 'variable',
 485             variable            => 'maxoutstanding',
 486             forceupdate         => { 'explanation' => 1,
 487                                      'type' => 1 },
 488             value               => '5',
 489             explanation         =>
 490             'maximum amount withstanding to be able make reserves ',
 491             type                => 'Integer'
 492         },
 493         {
 494             uniquefieldrequired => 'variable',
 495             variable            => 'maxreserves',
 496             forceupdate         => { 'explanation' => 1,
 497                                      'type' => 1 },
 498             value               => '5',
 499             explanation         =>
 500             'maximum number of reserves a member can make',
 501             type                => 'Integer'
 502
 503         },
 504         {
 505             uniquefieldrequired => 'variable',
 506             variable            => 'noissuescharge',
 507             forceupdate         => { 'explanation' => 1,
 508                                      'type' => 1 },
 509             value               => '5',
 510             explanation         =>
 511             'maximum amount withstanding to be able to check out an item',
 512             type                => 'Integer'
 513
 514         },
 515         {
 516             uniquefieldrequired => 'variable',
 517             variable            => 'KohaAdminEmailAddress',
 518             forceupdate         => { 'explanation' => 1,
 519                                      'type' => 1 },
 520             value               => 'your.mail@here',
 521             explanation => 'the email adress where borrowers modifs are sent',
 522             type                => 'free'
 523         },
 524         {
 525             uniquefieldrequired => 'variable',
 526             variable            => 'gist',
 527             forceupdate         => { 'explanation' => 1,
 528                                      'type' => 1 },
 529             value               => '0.125',
 530             explanation => 'the gist rate. NOT in %, but in numeric form (0.12 for 12%)',
 531             type                => 'free'
 532         },
 533     ],
 534
 535 );
 536
 537 my %fielddefinitions = (
 538     printers => [
 539         {
 540             field   => 'printername',
 541             type    => 'char(40)',
 542             null    => '',
 543             key     => 'PRI',
 544             default => ''
 545         },
 546     ],
 547     aqbookfund => [
 548         {
 549             field   => 'bookfundid',
 550             type    => 'char(5)',
 551             null    => '',
 552             key     => 'PRI',
 553             default => ''
 554         },
 555     ],
 556     aqbudget => [
 557         {
 558             field   => 'aqbudgetid',
 559             type    => 'tinyint(4)',
 560             null    => '',
 561             key     => 'PRI',
 562             default => 'auto_increment'
 563         },
 564     ],
 565     z3950servers => [
 566         {
 567             field   => 'id',
 568             type    => 'int',
 569             null    => '',
 570             key     => 'PRI',
 571             default => '',
 572             extra   => 'auto_increment'
 573         },
 574     ],
 575 );
 576
 577 #-------------------
 578 # Initialize
 579
 580 # Start checking
 581
 582 # Get version of MySQL database engine.
 583 my $mysqlversion = `mysqld --version`;
 584 $mysqlversion =~ /Ver (\S*) /;
 585 $mysqlversion = $1;
 586 if ( $mysqlversion ge '3.23' ) {
 587     print "Could convert to MyISAM database tables...\n";
 588 }
 589
 590 #---------------------------------
 591 # Tables
 592
 593 # Collect all tables into a list
 594 $sth = $dbh->prepare("show tables");
 595 $sth->execute;
 596 while ( my ($table) = $sth->fetchrow ) {
 597     $existingtables{$table} = 1;
 598 }
 599
 600 # Now add any missing tables
 601 foreach $table ( keys %requiretables ) {
 602     print "Checking $table table...\n" if $debug;
 603     unless ( $existingtables{$table} ) {
 604         print "Adding $table table...\n";
 605         my $sth = $dbh->prepare("create table $table $requiretables{$table}");
 606         $sth->execute;
 607         if ( $sth->err ) {
 608             print "Error : $sth->errstr \n";
 609             $sth->finish;
 610         }    # if error
 611     }    # unless exists
 612 }    # foreach
 613
 614 # now drop useless tables
 615 foreach $table ( keys %dropable_table ) {
 616     print "Dropping unused tables...\n" if $debug;
 617     if ( $existingtables{$table} ) {
 618         $dbh->do("drop table $table");
 619         if ( $dbh->err ) {
 620             print "Error : $dbh->errstr \n";
 621         }
 622     }
 623 }
 624 unless ( $existingtables{'z3950servers'} ) {
 625     print "Adding z3950servers table...\n";
 626     my $sti = $dbh->prepare( "create table z3950servers (
 627                                                                                 host char(255),
 628                                                                                 port int,
 629                                                                                 db char(255),
 630                                                                                 userid char(255),
 631                                                                                 password char(255),
 632                                                                                 name text,
 633                                                                                 id int,
 634                                                                                 checked smallint,
 635                                                                                 rank int)"
 636     );
 637     $sti->execute;
 638     $sti = $dbh->prepare( "insert into z3950servers
 639                                                                 values ('z3950.loc.gov',
 640                                                                 7090,
 641                                                                 'voyager',
 642                                                                 '', '',
 643                                                                 'Library of Congress',
 644                                                                 1, 1, 1)"
 645     );
 646     $sti->execute;
 647 }
 648
 649 #---------------------------------
 650 # Columns
 651
 652 foreach $table ( keys %requirefields ) {
 653     print "Check table $table\n" if $debug;
 654     $sth = $dbh->prepare("show columns from $table");
 655     $sth->execute();
 656     undef %types;
 657     while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
 658     {
 659         $types{$column} = $type;
 660     }    # while
 661     foreach $column ( keys %{ $requirefields{$table} } ) {
 662         print "  Check column $column  [$types{$column}]\n" if $debug;
 663         if ( !$types{$column} ) {
 664
 665             # column doesn't exist
 666             print "Adding $column field to $table table...\n";
 667             $query = "alter table $table
 668                         add column $column " . $requirefields{$table}->{$column};
 669             print "Execute: $query\n" if $debug;
 670             my $sti = $dbh->prepare($query);
 671             $sti->execute;
 672             if ( $sti->err ) {
 673                 print "**Error : $sti->errstr \n";
 674                 $sti->finish;
 675             }    # if error
 676         }    # if column
 677     }    # foreach column
 678 }    # foreach table
 679
 680 foreach $table ( keys %fielddefinitions ) {
 681         print "Check table $table\n" if $debug;
 682         $sth = $dbh->prepare("show columns from $table");
 683         $sth->execute();
 684         my $definitions;
 685         while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
 686         {
 687                 $definitions->{$column}->{type}    = $type;
 688                 $definitions->{$column}->{null}    = $null;
 689                 $definitions->{$column}->{key}     = $key;
 690                 $definitions->{$column}->{default} = $default;
 691                 $definitions->{$column}->{extra}   = $extra;
 692         }    # while
 693         my $fieldrow = $fielddefinitions{$table};
 694         foreach my $row (@$fieldrow) {
 695                 my $field   = $row->{field};
 696                 my $type    = $row->{type};
 697                 my $null    = $row->{null};
 698                 my $key     = $row->{key};
 699                 my $default = $row->{default};
 700                 my $extra   = $row->{extra};
 701                 my $def     = $definitions->{$field};
 702                 unless ( $type eq $def->{type}
 703                         && $null eq $def->{null}
 704                         && $key eq $def->{key}
 705                         && $default eq $def->{default}
 706                         && $extra eq $def->{extra} )
 707                 {
 708
 709                         if ( $null eq '' ) {
 710                                 $null = 'NOT NULL';
 711                         }
 712                         if ( $key eq 'PRI' ) {
 713                                 $key = 'PRIMARY KEY';
 714                         }
 715                         unless ( $extra eq 'auto_increment' ) {
 716                                 $extra = '';
 717                         }
 718 # if it's a primary key, drop the previous pk, before altering the table
 719                         my $sth;
 720                         if ($key eq 'PRI') {
 721                                 $sth =$dbh->prepare("alter table $table change $field $field $type $null $key $extra default ?");
 722                         } else {
 723                                 $sth =$dbh->prepare("alter table $table drop primary key, change $field $field $type $null $key $extra default ?");
 724                         }
 725                         $sth->execute($default);
 726                         print "  Alter $field in $table\n";
 727                 }
 728         }
 729 }
 730
 731 # Get list of columns from items table
 732 my %itemtypes;
 733
 734 $sth = $dbh->prepare("show columns from items");
 735 $sth->execute;
 736 while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
 737 {
 738     $itemtypes{$column} = $type;
 739 }
 740
 741 unless ( $itemtypes{'barcode'} eq 'varchar(20)' ) {
 742     $itemtypes{'barcode'} =~ /varchar\((\d+)\)/;
 743     my $oldlength = $1;
 744     if ( $oldlength < 20 ) {
 745         print "Setting maximum barcode length to 20 (was $oldlength).\n";
 746         my $sti =
 747           $dbh->prepare(
 748             "alter table items change barcode barcode varchar(20) not null");
 749         $sti->execute;
 750     }
 751 }
 752
 753 # extending the timestamp in branchtransfers...
 754 my %branchtransfers;
 755
 756 $sth = $dbh->prepare("show columns from branchtransfers");
 757 $sth->execute;
 758 while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
 759 {
 760     $branchtransfers{$column} = $type;
 761 }
 762
 763 unless ( $branchtransfers{'datesent'} eq 'datetime' ) {
 764     print "Setting type of datesent in branchtransfers to datetime.\n";
 765     my $sti =
 766       $dbh->prepare(
 767         "alter table branchtransfers change datesent datesent datetime");
 768     $sti->execute;
 769 }
 770
 771 unless ( $branchtransfers{'datearrived'} eq 'datetime' ) {
 772     print "Setting type of datearrived in branchtransfers to datetime.\n";
 773     my $sti =
 774       $dbh->prepare(
 775         "alter table branchtransfers change datearrived datearrived datetime");
 776     $sti->execute;
 777 }
 778
 779 # changing the branchcategories table around...
 780 my %branchcategories;
 781
 782 $sth = $dbh->prepare("show columns from branchcategories");
 783 $sth->execute;
 784 while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
 785 {
 786     $branchcategories{$column} = $type;
 787 }
 788
 789 unless ( $branchcategories{'categorycode'} eq 'varchar(4)' ) {
 790     print
 791 "Setting type of categorycode in branchcategories to varchar(4),\n and making the primary key.\n";
 792     my $sti =
 793       $dbh->prepare(
 794 "alter table branchcategories change categorycode categorycode varchar(4) not null"
 795     );
 796     $sti->execute;
 797     $sti =
 798       $dbh->prepare(
 799         "alter table branchcategories add primary key (categorycode)");
 800     $sti->execute;
 801 }
 802
 803 unless ( $branchcategories{'categoryname'} eq 'text' ) {
 804     print "Changing branchcode in branchcategories to categoryname text.\n";
 805     my $sth =
 806       $dbh->prepare(
 807         "alter table branchcategories change branchcode categoryname text");
 808     $sth->execute;
 809 }
 810
 811 unless ( $branchcategories{'codedescription'} eq 'text' ) {
 812     print
 813 "Replacing branchholding in branchcategories with codedescription text.\n";
 814     my $sth =
 815       $dbh->prepare(
 816         "alter table branchcategories change branchholding codedescription text"
 817     );
 818     $sth->execute;
 819 }
 820
 821 # Populate tables with required data
 822
 823 foreach my $table ( keys %tabledata ) {
 824     print "Checking for data required in table $table...\n";
 825     my $tablerows = $tabledata{$table};
 826     foreach my $row (@$tablerows) {
 827         my $uniquefieldrequired = $row->{uniquefieldrequired};
 828         my $uniquevalue         = $row->{$uniquefieldrequired};
 829         my $forceupdate         = $row->{forceupdate};
 830         my $sth                 =
 831           $dbh->prepare(
 832 "select $uniquefieldrequired from $table where $uniquefieldrequired=?"
 833         );
 834         $sth->execute($uniquevalue);
 835         if ($sth->rows) {
 836             foreach my $field (keys %$forceupdate) {
 837                 if ($forceupdate->{$field}) {
 838                     my $sth=$dbh->prepare("update systempreferences set $field=? where $uniquefieldrequired=?");
 839                     $sth->execute($row->{$field}, $uniquevalue);
 840                 }
 841             }
 842         } else {
 843             print "Adding row to $table: ";
 844             my @values;
 845             my $fieldlist;
 846             my $placeholders;
 847             foreach my $field ( keys %$row ) {
 848                 next if $field eq 'uniquefieldrequired';
 849                 next if $field eq 'forceupdate';
 850                 my $value = $row->{$field};
 851                 push @values, $value;
 852                 print "  $field => $value";
 853                 $fieldlist .= "$field,";
 854                 $placeholders .= "?,";
 855             }
 856             print "\n";
 857             $fieldlist    =~ s/,$//;
 858             $placeholders =~ s/,$//;
 859             my $sth =
 860               $dbh->prepare(
 861                 "insert into $table ($fieldlist) values ($placeholders)");
 862             $sth->execute(@values);
 863         }
 864     }
 865 }
 866
 867 $sth->finish;
 868
 869 exit;
 870
 871 # $Log$
 872 # Revision 1.56  2003/07/07 15:37:20  tipaul
 873 # *** empty log message ***
 874 #
 875 # Revision 1.53  2003/07/07 14:11:16  tipaul
 876 # fixing bug #526 : gst rate is now calculated through systempref gist entry.
 877 # Before this fix :
 878 # * was harcoded to 12,5%
 879 # * some bugs in template parameters prevented the javascript to work.
 880 # * some bugs prevented some calculations to be done properly.
 881 #
 882 # Revision 1.52  2003/06/23 15:54:32  tipaul
 883 # *** empty log message ***
 884 #
 885 # Revision 1.51  2003/06/23 11:27:29  tipaul
 886 # *** empty log message ***
 887 #
 888 # Revision 1.50  2003/06/11 21:28:22  tonnesen
 889 # Added modifications required to the systempreferences table by the new
 890 # systempreferences.pl script.  The systempreferences.pl script will not work
 891 # properly until this table is updated.
 892 #
 893 # Revision 1.49  2003/05/26 10:41:53  tipaul
 894 # bugfix : borrowers modifs overwritten by stupid hash entry existing twice.
 895 #
 896 # Revision 1.48  2003/05/20 19:50:45  slef
 897 # Initial fix to bug 456: hardwired paths
 898 #
 899 # Revision 1.47  2003/05/15 12:23:33  tipaul
 900 # adding zipcode and homezipcode into borrowers table (bug #246
 901 #
 902 # Revision 1.46  2003/05/08 12:48:24  wolfpac444
 903 # Added "noissuescharge" parameter
 904 #
 905 # Revision 1.45  2003/05/08 12:26:16  wolfpac444
 906 # Bug fixes
 907 #
 908 # Revision 1.44  2003/05/03 05:39:57  rangi
 909 # Fixing bug 429
 910 # (Wording changes in the explanation fields in system preferences)
 911 #
 912 # Revision 1.43  2003/05/02 23:01:09  rangi
 913 # Adding the textmessaging column to the borrowers table.
 914 # insertdata.pl is expecting this to exist, and hence modifying/adding
 915 # borrowers was broken.
 916 #
 917 # Also ran they script thru perltidy
 918 #
 919 # Revision 1.42  2003/04/29 16:53:25  tipaul
 920 # really proud of this commit :-)
 921 # z3950 search and import seems to works fine.
 922 # Let me explain how :
 923 # * a "search z3950" button is added in the addbiblio template.
 924 # * when clicked, a popup appears and z3950/search.pl is called
 925 # * z3950/search.pl calls addz3950search in the DB
 926 # * the z3950 daemon retrieve the records and stores them in z3950results AND in marc_breeding table.
 927 # * as long as there as searches pending, the popup auto refresh every 2 seconds, and says how many searches are pending.
 928 # * when the user clicks on a z3950 result => the parent popup is called with the requested biblio, and auto-filled
 929 #
 930 # Note :
 931 # * character encoding support : (It's a nightmare...) In the z3950servers table, a "encoding" column has been added. You can put "UNIMARC" or "USMARC" in this column. Depending on this, the char_decode in C4::Biblio.pm replaces marc-char-encode by an iso 8859-1 encoding. Note that in the breeding import this value has been added too, for a better support.
 932 # * the marc_breeding and z3950* tables have been modified : they have an encoding column and the random z3950 number is stored too for convenience => it's the key I use to list only requested biblios in the popup.
 933 #
 934 # Revision 1.41  2003/04/29 08:09:44  tipaul
 935 # z3950 support is coming...
 936 # * adding a syntax column in z3950 table = this column will say wether the z3950 must be called with PerferedRecordsyntax => USMARC or PerferedRecordsyntax => UNIMARC. I tried some french UNIMARC z3950 servers, and some only send USMARC, some only UNIMARC, some can answer with both.
 937 # Note this is a 1st draft. More to follow (today ? I hope).
 938 #
 939 # Revision 1.40  2003/04/22 10:48:27  wolfpac444
 940 # Added "father" column to bibliothesaurus table
 941 #
 942 # Revision 1.39  2003/04/04 08:45:00  tipaul
 943 # last commits before 1.9.1
 944 #
 945 # Revision 1.38  2003/03/18 10:58:19  tipaul
 946 # adding checkdigit parameter that choose how to check the members cardnumber.
 947 # At the moment :
 948 # * none = no checking
 949 # * katipo = checked as before
 950 #
 951 # Revision 1.37  2003/01/30 01:47:48  acli
 952 # Corrected syntax error reported by Benedict
 953 #
 954 # Made the indentation somewhat easier to read; the messiness probably caused
 955 # the original syntax error.
 956 #
 957 # Revision 1.36  2003/01/28 15:13:30  tipaul
 958 # userflag table now created in upgrade script (bugfix #171)
 959 #
 960 # Revision 1.35  2003/01/27 03:12:49  acli
 961 # Reworded the description for "acquisitions" to make it fit on the screen
 962 #
 963 # Added "iso" to dateformat, since dateformat is not yet being used anyway
 964 #
 965 # Revision 1.34  2003/01/23 12:30:02  tipaul
 966 # introducint marcflavour in systempref file : used for character decoding
 967 #
 968 # Revision 1.33  2003/01/21 09:03:27  tipaul
 969 # bugfix (NOTE : this bugs makes installation of the 1.3.3 a little fuzzy. Please fix your DB if you installed 1.3.3)
 970 #
 971 # Revision 1.32  2003/01/16 10:29:45  tipaul
 972 # adding a MARC parameter in systempref ( which is ON or OFF)
 973 # the search will be a marc search if MARC=ON
 974 # and a standard (v1.2) search if MARC=OFF
 975 #
 976 # Revision 1.31  2003/01/06 13:32:43  tipaul
 977 # *** empty log message ***
 978 #
 979 # Revision 1.29  2003/01/06 11:14:11  tipaul
 980 # last bugfixes before 1.3.3 : systempref table correctly filled
 981 #
 982 # Revision 1.28  2002/12/10 13:27:47  tipaul
 983 # bugfixes (davide mails in koha-dev)
 984 #
 985 # Revision 1.27  2002/11/26 15:04:54  tipaul
 986 # road to 1.3.2. Updating db structure during installation
 987 #
 988 # Revision 1.26  2002/11/12 17:42:40  tonnesen
 989 # Merged some features over from rel-1-2, including primary key checking.
 990 #
 991 # Revision 1.25  2002/11/12 16:44:38  tipaul
 992 # road to 1.3.2 :
 993 # * many bugfixes
 994 # * adding value_builder : you can map a subfield in the marc_subfield_structure to a sub stored in "value_builder" directory. In this directory you can create screen used to build values with any method. In this commit is a 1st draft of the builder for 100$a unimarc french subfield, which is composed of 35 digits, with 12 differents values (only the 4th first are provided for instance)
 995 #
 996 # Revision 1.24  2002/10/30 14:00:23  arensb
 997 # (bug fix): Fixed typo.
 998 #
 999 # Revision 1.23  2002/10/25 10:55:46  tipaul
1000 # Road to 1.3.2
1001 # * bugfixes and improvements
1002 # * manage mandatory MARC subfields
1003 # * new table : authorised_values. this table contains categories and authorised values for the category. On MARC management, you can map a subfield to a authorised_values category. If you do this, the subfield can only be filled with a authorised_value of the selected category.
1004 # this submit contains everything needed :
1005 # * updatedatabase
1006 # * admin screens
1007 # * "links" management
1008 # * creation of a html-list if a subfield is mapped to an authorised value.
1009 #
1010 # Note this is different from authorities support, which will come soon.
1011 # The authorised_values is supposed to contains a "small" number of authorised values for a category (less than 50-100). If you enter more authorised values than this, it should be hard to find what you want in a BIG list...
1012 #
1013 # Revision 1.22  2002/10/15 10:08:19  tipaul
1014 # fixme corrected, re-indent and adding the marc_breeding table (see commit of marcimport.pl for more explanations about breeding)
1015 #
1016 # Revision 1.21  2002/10/14 11:48:59  tipaul
1017 # bugfix
1018 #
1019 # Revision 1.20  2002/10/10 04:49:41  arensb
1020 # Added some FIXME comments.
1021 #
1022 # Revision 1.19  2002/10/05 10:17:17  arensb
1023 # Merged with arensb-context branch: use C4::Context->dbh instead of
1024 # &C4Connect, and generally prefer C4::Context over C4::Database.
1025 #
1026 # Revision 1.18.2.2  2002/10/05 06:18:43  arensb
1027 # Added a whole mess of FIXME comments.
1028 #
1029 # Revision 1.18.2.1  2002/10/04 02:46:00  arensb
1030 # Use C4::Connect instead of C4::Database, C4::Connect->dbh instead
1031 # C4Connect.
1032 #
1033 # Revision 1.18  2002/09/24 13:50:55  tipaul
1034 # long WAS the road to 1.3.0...
1035 # coming VERY SOON NOW...
1036 # modifying installer and buildrelease to update the DB
1037 #
1038 # Revision 1.17  2002/09/24 12:57:35  tipaul
1039 # long WAS the road to 1.3.0...
1040 # coming VERY SOON NOW...
1041 # modifying installer and buildrelease to update the DB
1042 #
1043 # Revision 1.16  2002/07/31 02:34:27  finlayt
1044 #
1045 # added "notforloan" field to the itemtypes table.
1046 #
1047 # Revision 1.15  2002/07/20 22:30:06  rangi
1048 # Making sure fix makes it into the main branch as well
1049 # Fix for bug 69
1050 #
1051 # Revision 1.14  2002/07/08 16:20:26  tonnesen
1052 # Added sessionqueries table and password/userid fields to borrowers table
1053 #
1054 # Revision 1.13  2002/07/04 18:05:36  tonnesen
1055 # bug fix
1056 #
1057 # Revision 1.12  2002/07/04 16:41:06  tonnesen
1058 # Merged changes from rel-1-2.  Abstracted table structure changes by alan.
1059 #