updater/updatedatabase

   1 #!/usr/bin/perl
   2
   3 # $Id$
   4
   5 # Database Updater
   6 # This script checks for required updates to the database.
   7
   8 # Part of the Koha Library Software www.koha.org
   9 # Licensed under the GPL.
  10
  11 # Bugs/ToDo:
  12 # - Would also be a good idea to offer to do a backup at this time...
  13
  14 # NOTE:  If you do something more than once in here, make it table driven.
  15 use strict;
  16
  17 # CPAN modules
  18 use DBI;
  19 use Getopt::Long;
  20 # Koha modules
  21 use C4::Context;
  22
  23 use MARC::Record;
  24 use MARC::File::XML ( BinaryEncoding => 'utf8' );
  25
  26 # FIXME - The user might be installing a new database, so can't rely
  27 # on /etc/koha.conf anyway.
  28
  29 my $debug = 0;
  30
  31 my (
  32     $sth, $sti,
  33     $query,
  34     %existingtables,    # tables already in database
  35     %types,
  36     $table,
  37     $column,
  38     $type, $null, $key, $default, $extra,
  39     $prefitem,          # preference item in systempreferences table
  40 );
  41
  42 my $silent;
  43 GetOptions(
  44         's' =>\$silent
  45         );
  46 my $dbh = C4::Context->dbh;
  47 print "connected to your DB. Checking & modifying it\n" unless $silent;
  48 $|=1; # flushes output
  49
  50 #-------------------
  51 # Defines
  52
  53 # Tables to add if they don't exist
  54 my %requiretables = (
  55     categorytable       => "(categorycode char(5) NOT NULL default '',
  56                              description text default '',
  57                              itemtypecodes text default '',
  58                              PRIMARY KEY (categorycode)
  59                             )",
  60     subcategorytable       => "(subcategorycode char(5) NOT NULL default '',
  61                              description text default '',
  62                              itemtypecodes text default '',
  63                              PRIMARY KEY (subcategorycode)
  64                             )",
  65     mediatypetable       => "(mediatypecode char(5) NOT NULL default '',
  66                              description text default '',
  67                              itemtypecodes text default '',
  68                              PRIMARY KEY (mediatypecode)
  69                             )",
  70     action_logs         => "(
  71                                     `timestamp` TIMESTAMP NOT NULL ,
  72                                     `user` INT( 11 ) NOT NULL ,
  73                                     `module` TEXT default '',
  74                                     `action` TEXT default '' ,
  75                                     `object` INT(11) default '' ,
  76                                     `info` TEXT default '' ,
  77                                     PRIMARY KEY ( `timestamp` , `user` )
  78                             )",
  79         letter          => "(
  80                                         module varchar(20) NOT NULL default '',
  81                                         code varchar(20) NOT NULL default '',
  82                                         name varchar(100) NOT NULL default '',
  83                                         title varchar(200) NOT NULL default '',
  84                                         content text,
  85                                         PRIMARY KEY  (module,code)
  86                                 )",
  87         alert           =>"(
  88                                         alertid int(11) NOT NULL auto_increment,
  89                                         borrowernumber int(11) NOT NULL default '0',
  90                                         type varchar(10) NOT NULL default '',
  91                                         externalid varchar(20) NOT NULL default '',
  92                                         PRIMARY KEY  (alertid),
  93                                         KEY borrowernumber (borrowernumber),
  94                                         KEY type (type,externalid)
  95                                 )",
  96         opac_news => "(
  97                                 `idnew` int(10) unsigned NOT NULL auto_increment,
  98                                 `title` varchar(250) NOT NULL default '',
  99                                 `new` text NOT NULL,
 100                                 `lang` varchar(4) NOT NULL default '',
 101                                 `timestamp` timestamp NOT NULL default CURRENT_TIMESTAMP,
 102                                 PRIMARY KEY  (`idnew`)
 103                                 )",
 104         repeatable_holidays => "(
 105                                 `id` int(11) NOT NULL auto_increment,
 106                                 `branchcode` varchar(4) NOT NULL default '',
 107                                 `weekday` smallint(6) default NULL,
 108                                 `day` smallint(6) default NULL,
 109                                 `month` smallint(6) default NULL,
 110                                 `title` varchar(50) NOT NULL default '',
 111                                 `description` text NOT NULL,
 112                                 PRIMARY KEY  (`id`)
 113                                 )",
 114         special_holidays => "(
 115                                 `id` int(11) NOT NULL auto_increment,
 116                                 `branchcode` varchar(4) NOT NULL default '',
 117                                 `day` smallint(6) NOT NULL default '0',
 118                                 `month` smallint(6) NOT NULL default '0',
 119                                 `year` smallint(6) NOT NULL default '0',
 120                                 `isexception` smallint(1) NOT NULL default '1',
 121                                 `title` varchar(50) NOT NULL default '',
 122                                 `description` text NOT NULL,
 123                                 PRIMARY KEY  (`id`)
 124                                 )",
 125         overduerules    =>"(`branchcode` varchar(255) NOT NULL default '',
 126                                         `categorycode` char(2) NOT NULL default '',
 127                                         `delay1` int(4) default '0',
 128                                         `letter1` varchar(20) default NULL,
 129                                         `debarred1` char(1) default '0',
 130                                         `delay2` int(4) default '0',
 131                                         `debarred2` char(1) default '0',
 132                                         `letter2` varchar(20) default NULL,
 133                                         `delay3` int(4) default '0',
 134                                         `letter3` varchar(20) default NULL,
 135                                         `debarred3` int(1) default '0',
 136                                         PRIMARY KEY  (`branchcode`,`categorycode`)
 137                                         )",
 138         cities                  => "(`cityid` int auto_increment,
 139                                                 `city_name` char(100) NOT NULL,
 140                                                 `city_zipcode` char(20),
 141                                                 PRIMARY KEY (`cityid`)
 142                                         )",
 143         roadtype                        => "(`roadtypeid` int auto_increment,
 144                                                 `road_type` char(100) NOT NULL,
 145                                                 PRIMARY KEY (`roadtypeid`)
 146                                         )",
 147
 148         labels                     => "(
 149                                 labelid int(11) NOT NULL auto_increment,
 150                                 itemnumber varchar(100) NOT NULL default '',
 151                                 timestamp timestamp(14) NOT NULL,
 152                                 PRIMARY KEY  (labelid)
 153                                 )",
 154
 155         labels_conf                => "(
 156                                 id int(4) NOT NULL auto_increment,
 157                                 barcodetype char(100) default '',
 158                                 title tinyint(1) default '0',
 159                                 isbn tinyint(1) default '0',
 160                                 itemtype tinyint(1) default '0',
 161                                 barcode tinyint(1) default '0',
 162                                 dewey tinyint(1) default '0',
 163                                 class tinyint(1) default '0',
 164                                 author tinyint(1) default '0',
 165                                 papertype char(100) default '',
 166                                 startrow int(2) default NULL,
 167                                 PRIMARY KEY  (id)
 168                                 )",
 169
 170 );
 171
 172 my %requirefields = (
 173         subscription => { 'letter' => 'char(20) NULL', 'distributedto' => 'text NULL'},
 174         itemtypes => { 'imageurl' => 'char(200) NULL'},
 175         aqbookfund => { 'branchcode' => 'varchar(4) NULL'},
 176         aqbudget => { 'branchcode' => 'varchar(4) NULL'},
 177         auth_header => { 'marc' => 'BLOB NOT NULL', 'linkid' => 'BIGINT(20) NULL'},
 178         auth_subfield_structure =>{ 'hidden' => 'TINYINT(3) NOT NULL UNSIGNED ZEROFILL', 'kohafield' => 'VARCHAR(45) NOT NULL', 'linkid' =>  'TINYINT(1) NOT NULL UNSIGNED', 'isurl' => 'TINYINT(1) UNSIGNED'},
 179         statistics => { 'associatedborrower' => 'integer'},
 180 #    tablename        => { 'field' => 'fieldtype' },
 181 );
 182
 183 my %dropable_table = (
 184         sessionqueries  => 'sessionqueries',
 185         marcrecorddone  => 'marcrecorddone',
 186         users                   => 'users',
 187         itemsprices             => 'itemsprices',
 188         biblioanalysis  => 'biblioanalysis',
 189         borexp                  => 'borexp',
 190 # tablename => 'tablename',
 191 );
 192
 193 my %uselessfields = (
 194 # tablename => "field1,field2",
 195         borrowers => "suburb,altstreetaddress,altsuburb,altcity,studentnumber,school,area,preferredcont,altcp",
 196         deletedborrowers=> "suburb,altstreetaddress,altsuburb,altcity,studentnumber,school,area,preferredcont,altcp",
 197         );
 198 # the other hash contains other actions that can't be done elsewhere. they are done
 199 # either BEFORE of AFTER everything else, depending on "when" entry (default => AFTER)
 200
 201 # The tabledata hash contains data that should be in the tables.
 202 # The uniquefieldrequired hash entry is used to determine which (if any) fields
 203 # must not exist in the table for this row to be inserted.  If the
 204 # uniquefieldrequired entry is already in the table, the existing data is not
 205 # modified, unless the forceupdate hash entry is also set.  Fields in the
 206 # anonymous "forceupdate" hash will be forced to be updated to the default
 207 # values given in the %tabledata hash.
 208
 209 my %tabledata = (
 210 # tablename => [
 211 #       {       uniquefielrequired => 'fieldname', # the primary key in the table
 212 #               fieldname => fieldvalue,
 213 #               fieldname2 => fieldvalue2,
 214 #       },
 215 # ],
 216     systempreferences => [
 217                 {
 218             uniquefieldrequired => 'variable',
 219             variable            => 'Activate_Log',
 220             value               => 'On',
 221             forceupdate         => { 'explanation' => 1,
 222                                      'type' => 1},
 223             explanation         => 'Turn Log Actions on DB On an Off',
 224             type                => 'YesNo',
 225         },
 226         {
 227             uniquefieldrequired => 'variable',
 228             variable            => 'IndependantBranches',
 229             value               => 0,
 230             forceupdate         => { 'explanation' => 1,
 231                                      'type' => 1},
 232             explanation         => 'Turn Branch independancy management On an Off',
 233             type                => 'YesNo',
 234         },
 235                 {
 236             uniquefieldrequired => 'variable',
 237             variable            => 'ReturnBeforeExpiry',
 238             value               => 'Off',
 239             forceupdate         => { 'explanation' => 1,
 240                                      'type' => 1},
 241             explanation         => 'If Yes, Returndate on issuing can\'t be after borrower card expiry',
 242             type                => 'YesNo',
 243         },
 244         {
 245             uniquefieldrequired => 'variable',
 246             variable            => 'opacstylesheet',
 247             value               => '',
 248             forceupdate         => { 'explanation' => 1,
 249                                      'type' => 1},
 250             explanation         => 'Enter a complete URL to use an alternate stylesheet in OPAC',
 251             type                => 'free',
 252         },
 253         {
 254             uniquefieldrequired => 'variable',
 255             variable            => 'opacsmallimage',
 256             value               => '',
 257             forceupdate         => { 'explanation' => 1,
 258                                      'type' => 1},
 259             explanation         => 'Enter a complete URL to an image, will be on top/left instead of the Koha logo',
 260             type                => 'free',
 261         },
 262         {
 263             uniquefieldrequired => 'variable',
 264             variable            => 'opaclargeimage',
 265             value               => '',
 266             forceupdate         => { 'explanation' => 1,
 267                                      'type' => 1},
 268             explanation         => 'Enter a complete URL to an image, will be on the main page, instead of the Koha logo',
 269             type                => 'free',
 270         },
 271         {
 272             uniquefieldrequired => 'variable',
 273             variable            => 'delimiter',
 274             value               => ';',
 275             forceupdate         => { 'explanation' => 1,
 276                                      'type' => 1},
 277             explanation         => 'separator for reports exported to spreadsheet',
 278             type                => 'free',
 279         },
 280         {
 281             uniquefieldrequired => 'variable',
 282             variable            => 'MIME',
 283             value               => 'OPENOFFICE.ORG',
 284             forceupdate         => { 'explanation' => 1,
 285                                      'type' => 1,
 286                                      'options' => 1},
 287             explanation         => 'Define the default application for report exportations into files',
 288                 type            => 'Choice',
 289                 options         => 'EXCEL|OPENOFFICE.ORG'
 290         },
 291         {
 292             uniquefieldrequired => 'variable',
 293             variable            => 'Delimiter',
 294             value               => ';',
 295                 forceupdate             => { 'explanation' => 1,
 296                                      'type' => 1,
 297                                      'options' => 1},
 298             explanation         => 'Define the default separator character for report exportations into files',
 299                 type            => 'Choice',
 300                 options         => ';|tabulation|,|/|\|#'
 301         },
 302         {
 303             uniquefieldrequired => 'variable',
 304             variable            => 'SubscriptionHistory',
 305             value               => ';',
 306                 forceupdate             => { 'explanation' => 1,
 307                                      'type' => 1,
 308                                      'options' => 1},
 309             explanation         => 'Define the information level for serials history in OPAC',
 310                 type            => 'Choice',
 311                 options         => 'simplified|full'
 312         },
 313         {
 314             uniquefieldrequired => 'variable',
 315             variable            => 'hidelostitems',
 316             value               => 'No',
 317             forceupdate         => { 'explanation' => 1,
 318                                      'type' => 1},
 319             explanation         => 'show or hide "lost" items in OPAC.',
 320             type                => 'YesNo',
 321         },
 322                  {
 323             uniquefieldrequired => 'variable',
 324             variable            => 'IndependantBranches',
 325             value               => '0',
 326             forceupdate         => { 'explanation' => 1,
 327                                      'type' => 1},
 328             explanation         => 'Turn Branch independancy management On an Off',
 329             type                => 'YesNo',
 330         },
 331                 {
 332             uniquefieldrequired => 'variable',
 333             variable            => 'ReturnBeforeExpiry',
 334             value               => '0',
 335             forceupdate         => { 'explanation' => 1,
 336                                      'type' => 1},
 337             explanation         => 'If Yes, Returndate on issuing can\'t be after borrower card expiry',
 338             type                => 'YesNo',
 339         },
 340         {
 341             uniquefieldrequired => 'variable',
 342             variable            => 'Disable_Dictionary',
 343             value               => '0',
 344             forceupdate         => { 'explanation' => 1,
 345                                      'type' => 1},
 346             explanation         => 'Disables Dictionary buttons if set to yes',
 347             type                => 'YesNo',
 348         },
 349         {
 350             uniquefieldrequired => 'variable',
 351             variable            => 'hide_marc',
 352             value               => '0',
 353             forceupdate         => { 'explanation' => 1,
 354                                      'type' => 1},
 355             explanation         => 'hide marc specific datas like subfield code & indicators to library',
 356             type                => 'YesNo',
 357         },
 358         {
 359             uniquefieldrequired => 'variable',
 360             variable            => 'NotifyBorrowerDeparture',
 361             value               => '0',
 362             forceupdate         => { 'explanation' => 1,
 363                                      'type' => 1},
 364             explanation         => 'Delay before expiry where a notice is sent when issuing',
 365             type                => 'Integer',
 366         },
 367         {
 368             uniquefieldrequired => 'variable',
 369             variable            => 'OpacPasswordChange',
 370             value               => '1',
 371             forceupdate         => { 'explanation' => 1,
 372                                      'type' => 1},
 373             explanation         => 'Enable/Disable password change in OPAC (disable it when using LDAP auth)',
 374             type                => 'YesNo',
 375         },
 376         {
 377             uniquefieldrequired => 'variable',
 378             variable            => 'useDaysMode',
 379             value               => 'Calendar',
 380             forceupdate         => { 'explanation' => 1,
 381                                      'type' => 1},
 382             explanation                 => 'How to calculate return dates : Calendar means holidays will be controled, Days means the return date don\'t depend on holidays',
 383                 type            => 'Choice',
 384                 options         => 'Calendar|Days'
 385         },
 386         {
 387             uniquefieldrequired => 'variable',
 388             variable            => 'borrowerMandatoryField',
 389             value               => 'zipcode|surname',
 390             forceupdate         => { 'explanation' => 1,
 391                                      'type' => 1},
 392             explanation         => 'List all mandatory fields for borrowers',
 393             type                => 'free',
 394         },
 395         {
 396             uniquefieldrequired => 'variable',
 397             variable            => 'borrowerRelationship',
 398             value               => 'father|mother,grand-mother',
 399             forceupdate         => { 'explanation' => 1,
 400                                      'type' => 1},
 401             explanation         => 'The relationships between a guarantor & a guarantee (separated by | or ,)',
 402             type                => 'free',
 403         },
 404         {
 405             uniquefieldrequired => 'variable',
 406             variable            => 'ReservesMaxPickUpDelay',
 407             value               => '10',
 408             forceupdate         => { 'explanation' => 1,
 409                                      'type' => 1},
 410             explanation         => 'Maximum delay to pick up a reserved document',
 411             type                => 'free',
 412         },
 413         {
 414             uniquefieldrequired => 'variable',
 415             variable            => 'TransfersMaxDaysWarning',
 416             value               => '3',
 417             forceupdate         => { 'explanation' => 1,
 418                                      'type' => 1},
 419             explanation         => 'Max delay before considering the transfer has potentialy a problem',
 420             type                => 'free',
 421         },
 422         {
 423             uniquefieldrequired => 'variable',
 424             variable            => 'memberofinstitution',
 425             value               => '0',
 426             forceupdate         => { 'explanation' => 1,
 427                                      'type' => 1},
 428             explanation         => 'Are your patrons members of institutions',
 429             type                => 'YesNo',
 430         },
 431         {
 432             uniquefieldrequired => 'variable',
 433             variable            => 'ReadingHistory',
 434             value               => '0',
 435             forceupdate         => { 'explanation' => 1,
 436                                      'type' => 1},
 437             explanation         => 'Allow reading record info retrievable from issues and oldissues tables',
 438             type                => 'YesNo',
 439         },
 440         {
 441             uniquefieldrequired => 'variable',
 442             variable            => 'IssuingInProcess',
 443             value               => '0',
 444             forceupdate         => { 'explanation' => 1,
 445                                      'type' => 1},
 446             explanation         => 'Allow no debt alert if the patron is issuing item that accumulate debt',
 447             type                => 'YesNo',
 448         },
 449         {
 450             uniquefieldrequired => 'variable',
 451             variable            => 'AutomaticItemReturn',
 452             value               => '1',
 453             forceupdate         => { 'explanation' => 1,
 454                                      'type' => 1},
 455             explanation         => 'This Variable allow or not to return automaticly to his homebranch',
 456             type                => 'YesNo',
 457         },
 458         {
 459             uniquefieldrequired => 'variable',
 460             variable            => 'reviewson',
 461             value               => '0',
 462             forceupdate         => { 'explanation' => 1,
 463                                      'type' => 1},
 464             explanation         => 'Allows patrons to submit reviews from the opac',
 465             type                => 'YesNo',
 466         },
 467     ],
 468
 469 );
 470
 471 my %fielddefinitions = (
 472 # fieldname => [
 473 #       {                 field => 'fieldname',
 474 #             type    => 'fieldtype',
 475 #             null    => '',
 476 #             key     => '',
 477 #             default => ''
 478 #         },
 479 #     ],
 480         serial => [
 481         {
 482             field   => 'notes',
 483             type    => 'TEXT',
 484             null    => 'NULL',
 485             key     => '',
 486             default => '',
 487             extra   => ''
 488         },
 489     ],
 490         aqbasket =>  [
 491                 {
 492                         field   => 'booksellerid',
 493                         type    => 'int(11)',
 494                         null    => 'NOT NULL',
 495                         key             => '',
 496                         default => '1',
 497                         extra   => '',
 498                 },
 499         ],
 500         aqbooksellers =>  [
 501                 {
 502                         field   => 'listprice',
 503                         type    => 'varchar(10)',
 504                         null    => 'NULL',
 505                         key             => '',
 506                         default => '',
 507                         extra   => '',
 508                 },
 509                 {
 510                         field   => 'invoiceprice',
 511                         type    => 'varchar(10)',
 512                         null    => 'NULL',
 513                         key             => '',
 514                         default => '',
 515                         extra   => '',
 516                 },
 517         ],
 518         issues =>  [
 519                 {
 520                         field   => 'borrowernumber',
 521                         type    => 'int(11)',
 522                         null    => 'NULL', # can be null when a borrower is deleted and the foreign key rule executed
 523                         key             => '',
 524                         default => '',
 525                         extra   => '',
 526                 },
 527                 {
 528                         field   => 'itemnumber',
 529                         type    => 'int(11)',
 530                         null    => 'NULL', # can be null when a borrower is deleted and the foreign key rule executed
 531                         key             => '',
 532                         default => '',
 533                         extra   => '',
 534                 },
 535         ],
 536         borrowers => [
 537                 {       field => 'B_email',
 538                         type => 'text',
 539                         null => 'NULL',
 540                         after => 'B_zipcode',
 541                  },
 542                  {
 543                         field => 'streetnumber', # street number (hidden if streettable table is empty)
 544                         type => 'char(10)',
 545                         null => 'NULL',
 546                         after => 'initials',
 547                 },
 548                 {
 549                         field => 'streettype', # street table, list builded from a system table
 550                         type => 'char(50)',
 551                         null => 'NULL',
 552                         after => 'streetnumber',
 553                 },
 554                  {
 555                         field => 'B_streetnumber', # street number (hidden if streettable table is empty)
 556                         type => 'char(10)',
 557                         null => 'NULL',
 558                         after => 'fax',
 559                 },
 560                 {
 561                         field => 'B_streettype', # street table, list builded from a system table
 562                         type => 'char(50)',
 563                         null => 'NULL',
 564                         after => 'B_streetnumber',
 565                 },
 566                 {
 567                         field => 'phonepro',
 568                         type => 'text',
 569                         null => 'NULL',
 570                         after => 'fax',
 571                 },
 572                 {
 573                         field => 'address2', # complement address
 574                         type => 'text',
 575                         null => 'NULL',
 576                         after => 'address',
 577                 },
 578                 {
 579                         field => 'emailpro',
 580                         type => 'text',
 581                         null => 'NULL',
 582                         after => 'fax',
 583                 },
 584                 {
 585                         field => 'contactfirstname', # contact's firstname
 586                         type => 'text',
 587                         null => 'NULL',
 588                         after => 'contactname',
 589                 },
 590                 {
 591                         field => 'contacttitle', # contact's title
 592                         type => 'text',
 593                         null => 'NULL',
 594                         after => 'contactfirstname',
 595                 },
 596         ],
 597
 598         deletedborrowers => [
 599                 {       field => 'B_email',
 600                         type => 'text',
 601                         null => 'NULL',
 602                         after => 'B_zipcode',
 603                  },
 604                  {
 605                         field => 'streetnumber', # street number (hidden if streettable table is empty)
 606                         type => 'char(10)',
 607                         null => 'NULL',
 608                         after => 'initials',
 609                 },
 610                 {
 611                         field => 'streettype', # street table, list builded from a system table
 612                         type => 'char(50)',
 613                         null => 'NULL',
 614                         after => 'streetnumber',
 615                 },
 616                  {
 617                         field => 'B_streetnumber', # street number (hidden if streettable table is empty)
 618                         type => 'char(10)',
 619                         null => 'NULL',
 620                         after => 'fax',
 621                 },
 622                 {
 623                         field => 'B_streettype', # street table, list builded from a system table
 624                         type => 'char(50)',
 625                         null => 'NULL',
 626                         after => 'B_streetnumber',
 627                 },
 628                 {
 629                         field => 'phonepro',
 630                         type => 'text',
 631                         null => 'NULL',
 632                         after => 'fax',
 633                 },
 634                 {
 635                         field => 'address2', # complement address
 636                         type => 'text',
 637                         null => 'NULL',
 638                         after => 'address',
 639                 },
 640                 {
 641                         field => 'emailpro',
 642                         type => 'text',
 643                         null => 'NULL',
 644                         after => 'fax',
 645                 },
 646                 {
 647                         field => 'contactfirstname', # contact's firstname
 648                         type => 'text',
 649                         null => 'NULL',
 650                         after => 'contactname',
 651                 },
 652                 {
 653                         field => 'contacttitle', # contact's title
 654                         type => 'text',
 655                         null => 'NULL',
 656                         after => 'contactfirstname',
 657                 },
 658         ],
 659
 660         branches =>  [
 661                 {
 662                         field   => 'branchip',
 663                         type    => 'varchar(15)',
 664                         null    => 'NULL',
 665                         key             => '',
 666                         default => '',
 667                         extra   => '',
 668                 },
 669                 {
 670                         field   => 'branchprinter',
 671                         type    => 'varchar(100)',
 672                         null    => 'NULL',
 673                         key             => '',
 674                         default => '',
 675                         extra   => '',
 676                 },
 677         ],
 678         categories =>  [
 679                 {
 680                         field   => 'category_type',
 681                         type    => 'char(1)',
 682                         null    => 'NOT NULL',
 683                         key             => '',
 684                         default => 'A',
 685                         extra   => '',
 686                 },
 687         ],
 688         reserves =>  [
 689                 {
 690                         field   => 'waitingdate',
 691                         type    => 'date',
 692                         null    => 'NULL',
 693                         key             => '',
 694                         default => '',
 695                         extra   => '',
 696                 },
 697         ],
 698 );
 699
 700 my %indexes = (
 701 #       table => [
 702 #               {       indexname => 'index detail'
 703 #               }
 704 #       ],
 705         shelfcontents => [
 706                 {       indexname => 'shelfnumber',
 707                         content => 'shelfnumber',
 708                 },
 709                 {       indexname => 'itemnumber',
 710                         content => 'itemnumber',
 711                 }
 712         ],
 713         bibliosubject => [
 714                 {       indexname => 'biblionumber',
 715                         content => 'biblionumber',
 716                 }
 717         ],
 718         items => [
 719                 {       indexname => 'homebranch',
 720                         content => 'homebranch',
 721                 },
 722                 {       indexname => 'holdingbranch',
 723                         content => 'holdingbranch',
 724                 }
 725         ],
 726         aqbooksellers => [
 727                 {       indexname => 'PRIMARY',
 728                         content => 'id',
 729                         type => 'PRIMARY',
 730                 }
 731         ],
 732         aqbasket => [
 733                 {       indexname => 'booksellerid',
 734                         content => 'booksellerid',
 735                 },
 736         ],
 737         aqorders => [
 738                 {       indexname => 'basketno',
 739                         content => 'basketno',
 740                 },
 741         ],
 742         aqorderbreakdown => [
 743                 {       indexname => 'ordernumber',
 744                         content => 'ordernumber',
 745                 },
 746                 {       indexname => 'bookfundid',
 747                         content => 'bookfundid',
 748                 },
 749         ],
 750         currency => [
 751                 {       indexname => 'PRIMARY',
 752                         content => 'currency',
 753                         type => 'PRIMARY',
 754                 }
 755         ],
 756 );
 757
 758 my %foreign_keys = (
 759 #       table => [
 760 #               {       key => 'the key in table' (must be indexed)
 761 #                       foreigntable => 'the foreigntable name', # (the parent)
 762 #                       foreignkey => 'the foreign key column(s)' # (in the parent)
 763 #                       onUpdate => 'CASCADE|SET NULL|NO ACTION| RESTRICT',
 764 #                       onDelete => 'CASCADE|SET NULL|NO ACTION| RESTRICT',
 765 #               }
 766 #       ],
 767         shelfcontents => [
 768                 {       key => 'shelfnumber',
 769                         foreigntable => 'bookshelf',
 770                         foreignkey => 'shelfnumber',
 771                         onUpdate => 'CASCADE',
 772                         onDelete => 'CASCADE',
 773                 },
 774                 {       key => 'itemnumber',
 775                         foreigntable => 'items',
 776                         foreignkey => 'itemnumber',
 777                         onUpdate => 'CASCADE',
 778                         onDelete => 'CASCADE',
 779                 },
 780         ],
 781         # onDelete is RESTRICT on reference tables (branches, itemtype) as we don't want items to be
 782         # easily deleted, but branches/itemtype not too easy to empty...
 783         biblioitems => [
 784                 {       key => 'biblionumber',
 785                         foreigntable => 'biblio',
 786                         foreignkey => 'biblionumber',
 787                         onUpdate => 'CASCADE',
 788                         onDelete => 'CASCADE',
 789                 },
 790                 {       key => 'itemtype',
 791                         foreigntable => 'itemtypes',
 792                         foreignkey => 'itemtype',
 793                         onUpdate => 'CASCADE',
 794                         onDelete => 'RESTRICT',
 795                 },
 796         ],
 797         items => [
 798                 {       key => 'biblioitemnumber',
 799                         foreigntable => 'biblioitems',
 800                         foreignkey => 'biblioitemnumber',
 801                         onUpdate => 'CASCADE',
 802                         onDelete => 'CASCADE',
 803                 },
 804                 {       key => 'homebranch',
 805                         foreigntable => 'branches',
 806                         foreignkey => 'branchcode',
 807                         onUpdate => 'CASCADE',
 808                         onDelete => 'RESTRICT',
 809                 },
 810                 {       key => 'holdingbranch',
 811                         foreigntable => 'branches',
 812                         foreignkey => 'branchcode',
 813                         onUpdate => 'CASCADE',
 814                         onDelete => 'RESTRICT',
 815                 },
 816         ],
 817         additionalauthors => [
 818                 {       key => 'biblionumber',
 819                         foreigntable => 'biblio',
 820                         foreignkey => 'biblionumber',
 821                         onUpdate => 'CASCADE',
 822                         onDelete => 'CASCADE',
 823                 },
 824         ],
 825         bibliosubject => [
 826                 {       key => 'biblionumber',
 827                         foreigntable => 'biblio',
 828                         foreignkey => 'biblionumber',
 829                         onUpdate => 'CASCADE',
 830                         onDelete => 'CASCADE',
 831                 },
 832         ],
 833         aqbasket => [
 834                 {       key => 'booksellerid',
 835                         foreigntable => 'aqbooksellers',
 836                         foreignkey => 'id',
 837                         onUpdate => 'CASCADE',
 838                         onDelete => 'RESTRICT',
 839                 },
 840         ],
 841         aqorders => [
 842                 {       key => 'basketno',
 843                         foreigntable => 'aqbasket',
 844                         foreignkey => 'basketno',
 845                         onUpdate => 'CASCADE',
 846                         onDelete => 'CASCADE',
 847                 },
 848                 {       key => 'biblionumber',
 849                         foreigntable => 'biblio',
 850                         foreignkey => 'biblionumber',
 851                         onUpdate => 'SET NULL',
 852                         onDelete => 'SET NULL',
 853                 },
 854         ],
 855         aqbooksellers => [
 856                 {       key => 'listprice',
 857                         foreigntable => 'currency',
 858                         foreignkey => 'currency',
 859                         onUpdate => 'CASCADE',
 860                         onDelete => 'CASCADE',
 861                 },
 862                 {       key => 'invoiceprice',
 863                         foreigntable => 'currency',
 864                         foreignkey => 'currency',
 865                         onUpdate => 'CASCADE',
 866                         onDelete => 'CASCADE',
 867                 },
 868         ],
 869         aqorderbreakdown => [
 870                 {       key => 'ordernumber',
 871                         foreigntable => 'aqorders',
 872                         foreignkey => 'ordernumber',
 873                         onUpdate => 'CASCADE',
 874                         onDelete => 'CASCADE',
 875                 },
 876                 {       key => 'bookfundid',
 877                         foreigntable => 'aqbookfund',
 878                         foreignkey => 'bookfundid',
 879                         onUpdate => 'CASCADE',
 880                         onDelete => 'CASCADE',
 881                 },
 882         ],
 883         branchtransfers => [
 884                 {       key => 'frombranch',
 885                         foreigntable => 'branches',
 886                         foreignkey => 'branchcode',
 887                         onUpdate => 'CASCADE',
 888                         onDelete => 'CASCADE',
 889                 },
 890                 {       key => 'tobranch',
 891                         foreigntable => 'branches',
 892                         foreignkey => 'branchcode',
 893                         onUpdate => 'CASCADE',
 894                         onDelete => 'CASCADE',
 895                 },
 896                 {       key => 'itemnumber',
 897                         foreigntable => 'items',
 898                         foreignkey => 'itemnumber',
 899                         onUpdate => 'CASCADE',
 900                         onDelete => 'CASCADE',
 901                 },
 902         ],
 903         issuingrules => [
 904                 {       key => 'categorycode',
 905                         foreigntable => 'categories',
 906                         foreignkey => 'categorycode',
 907                         onUpdate => 'CASCADE',
 908                         onDelete => 'CASCADE',
 909                 },
 910                 {       key => 'itemtype',
 911                         foreigntable => 'itemtypes',
 912                         foreignkey => 'itemtype',
 913                         onUpdate => 'CASCADE',
 914                         onDelete => 'CASCADE',
 915                 },
 916         ],
 917         issues => [     # constraint is SET NULL : when a borrower or an item is deleted, we keep the issuing record
 918         # for stat purposes
 919                 {       key => 'borrowernumber',
 920                         foreigntable => 'borrowers',
 921                         foreignkey => 'borrowernumber',
 922                         onUpdate => 'SET NULL',
 923                         onDelete => 'SET NULL',
 924                 },
 925                 {       key => 'itemnumber',
 926                         foreigntable => 'items',
 927                         foreignkey => 'itemnumber',
 928                         onUpdate => 'SET NULL',
 929                         onDelete => 'SET NULL',
 930                 },
 931         ],
 932         reserves => [
 933                 {       key => 'borrowernumber',
 934                         foreigntable => 'borrowers',
 935                         foreignkey => 'borrowernumber',
 936                         onUpdate => 'CASCADE',
 937                         onDelete => 'CASCADE',
 938                 },
 939                 {       key => 'biblionumber',
 940                         foreigntable => 'biblio',
 941                         foreignkey => 'biblionumber',
 942                         onUpdate => 'CASCADE',
 943                         onDelete => 'CASCADE',
 944                 },
 945                 {       key => 'itemnumber',
 946                         foreigntable => 'items',
 947                         foreignkey => 'itemnumber',
 948                         onUpdate => 'CASCADE',
 949                         onDelete => 'CASCADE',
 950                 },
 951                 {       key => 'branchcode',
 952                         foreigntable => 'branches',
 953                         foreignkey => 'branchcode',
 954                         onUpdate => 'CASCADE',
 955                         onDelete => 'CASCADE',
 956                 },
 957         ],
 958         borrowers => [ # foreign keys are RESTRICT as we don't want to delete borrowers when a branch is deleted
 959         # but prevent deleting a branch as soon as it has 1 borrower !
 960                 {       key => 'categorycode',
 961                         foreigntable => 'categories',
 962                         foreignkey => 'categorycode',
 963                         onUpdate => 'RESTRICT',
 964                         onDelete => 'RESTRICT',
 965                 },
 966                 {       key => 'branchcode',
 967                         foreigntable => 'branches',
 968                         foreignkey => 'branchcode',
 969                         onUpdate => 'RESTRICT',
 970                         onDelete => 'RESTRICT',
 971                 },
 972         ],
 973         deletedborrowers => [ # foreign keys are RESTRICT as we don't want to delete borrowers when a branch is deleted
 974         # but prevent deleting a branch as soon as it has 1 borrower !
 975                 {       key => 'categorycode',
 976                         foreigntable => 'categories',
 977                         foreignkey => 'categorycode',
 978                         onUpdate => 'RESTRICT',
 979                         onDelete => 'RESTRICT',
 980                 },
 981                 {       key => 'branchcode',
 982                         foreigntable => 'branches',
 983                         foreignkey => 'branchcode',
 984                         onUpdate => 'RESTRICT',
 985                         onDelete => 'RESTRICT',
 986                 },
 987         ],
 988         accountlines => [
 989                 {       key => 'borrowernumber',
 990                         foreigntable => 'borrowers',
 991                         foreignkey => 'borrowernumber',
 992                         onUpdate => 'CASCADE',
 993                         onDelete => 'CASCADE',
 994                 },
 995                 {       key => 'itemnumber',
 996                         foreigntable => 'items',
 997                         foreignkey => 'itemnumber',
 998                         onUpdate => 'SET NULL',
 999                         onDelete => 'SET NULL',
1000                 },
1001         ],
1002         auth_tag_structure => [
1003                 {       key => 'authtypecode',
1004                         foreigntable => 'auth_types',
1005                         foreignkey => 'authtypecode',
1006                         onUpdate => 'CASCADE',
1007                         onDelete => 'CASCADE',
1008                 },
1009         ],
1010         # FIXME : don't constraint auth_*_table and auth_word, as they may be replaced by zebra
1011 );
1012
1013
1014 # column changes
1015 my %column_change = (
1016         # table
1017         borrowers => [
1018                                 {
1019                                         from => 'emailaddress',
1020                                         to => 'email',
1021                                         after => 'city',
1022                                 },
1023                                 {
1024                                         from => 'streetaddress',
1025                                         to => 'address',
1026                                         after => 'initials',
1027                                 },
1028                                 {
1029                                         from => 'faxnumber',
1030                                         to => 'fax',
1031                                         after => 'phone',
1032                                 },
1033                                 {
1034                                         from => 'textmessaging',
1035                                         to => 'opacnote',
1036                                         after => 'userid',
1037                                 },
1038                                 {
1039                                         from => 'altnotes',
1040                                         to => 'contactnote',
1041                                         after => 'opacnote',
1042                                 },
1043                                 {
1044                                         from => 'physstreet',
1045                                         to => 'B_address',
1046                                         after => 'fax',
1047                                 },
1048                                 {
1049                                         from => 'streetcity',
1050                                         to => 'B_city',
1051                                         after => 'B_address',
1052                                 },
1053                                 {
1054                                         from => 'phoneday',
1055                                         to => 'mobile',
1056                                         after => 'phone',
1057                                 },
1058                                 {
1059                                         from => 'zipcode',
1060                                         to => 'zipcode',
1061                                         after => 'city',
1062                                 },
1063                                 {
1064                                         from => 'homezipcode',
1065                                         to => 'B_zipcode',
1066                                         after => 'B_city',
1067                                 },
1068                                 {
1069                                         from => 'altphone',
1070                                         to => 'B_phone',
1071                                         after => 'B_zipcode',
1072                                 },
1073                                 {
1074                                         from => 'expiry',
1075                                         to => 'dateexpiry',
1076                                         after => 'dateenrolled',
1077                                 },
1078                                 {
1079                                         from => 'guarantor',
1080                                         to => 'guarantorid',
1081                                         after => 'contactname',
1082                                 },
1083                                 {
1084                                         from => 'textmessaging',
1085                                         to => 'opacnotes',
1086                                         after => 'flags',
1087                                 },
1088                                 {
1089                                         from => 'altnotes',
1090                                         to => 'contactnotes',
1091                                         after => 'opacnotes',
1092                                 },
1093                                 {
1094                                         from => 'altrelationship',
1095                                         to => 'relationship',
1096                                         after => 'borrowernotes',
1097                                 },
1098                         ],
1099
1100         deletedborrowers => [
1101                                 {
1102                                         from => 'emailaddress',
1103                                         to => 'email',
1104                                         after => 'city',
1105                                 },
1106                                 {
1107                                         from => 'streetaddress',
1108                                         to => 'address',
1109                                         after => 'initials',
1110                                 },
1111                                 {
1112                                         from => 'faxnumber',
1113                                         to => 'fax',
1114                                         after => 'phone',
1115                                 },
1116                                 {
1117                                         from => 'textmessaging',
1118                                         to => 'opacnote',
1119                                         after => 'userid',
1120                                 },
1121                                 {
1122                                         from => 'altnotes',
1123                                         to => 'contactnote',
1124                                         after => 'opacnote',
1125                                 },
1126                                 {
1127                                         from => 'physstreet',
1128                                         to => 'B_address',
1129                                         after => 'fax',
1130                                 },
1131                                 {
1132                                         from => 'streetcity',
1133                                         to => 'B_city',
1134                                         after => 'B_address',
1135                                 },
1136                                 {
1137                                         from => 'phoneday',
1138                                         to => 'mobile',
1139                                         after => 'phone',
1140                                 },
1141                                 {
1142                                         from => 'zipcode',
1143                                         to => 'zipcode',
1144                                         after => 'city',
1145                                 },
1146                                 {
1147                                         from => 'homezipcode',
1148                                         to => 'B_zipcode',
1149                                         after => 'B_city',
1150                                 },
1151                                 {
1152                                         from => 'altphone',
1153                                         to => 'B_phone',
1154                                         after => 'B_zipcode',
1155                                 },
1156                                 {
1157                                         from => 'expiry',
1158                                         to => 'dateexpiry',
1159                                         after => 'dateenrolled',
1160                                 },
1161                                 {
1162                                         from => 'guarantor',
1163                                         to => 'guarantorid',
1164                                         after => 'contactname',
1165                                 },
1166                                 {
1167                                         from => 'textmessaging',
1168                                         to => 'opacnotes',
1169                                         after => 'flags',
1170                                 },
1171                                 {
1172                                         from => 'altnotes',
1173                                         to => 'contactnotes',
1174                                         after => 'opacnotes',
1175                                 },
1176                                 {
1177                                         from => 'altrelationship',
1178                                         to => 'relationship',
1179                                         after => 'borrowernotes',
1180                                 },
1181                         ],
1182
1183                 );
1184
1185 foreach my $table (keys %column_change) {
1186         $sth = $dbh->prepare("show columns from $table");
1187         $sth->execute();
1188         undef %types;
1189         while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1190         {
1191                 $types{$column}->{type} ="$type";
1192                 $types{$column}->{null} = "$null";
1193                 $types{$column}->{key} = "$key";
1194                 $types{$column}->{default} = "$default";
1195                 $types{$column}->{extra} = "$extra";
1196         }    # while
1197         my $tablerows = $column_change{$table};
1198         foreach my $row ( @$tablerows ) {
1199                 if ($types{$row->{from}}->{type}) {
1200                         print "altering $table $row->{from} to $row->{to}\n";
1201                         # ALTER TABLE `borrowers` CHANGE `faxnumber` `fax` TEXT CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL
1202 #                       alter table `borrowers` change `faxnumber` `fax` type text  null after phone
1203                         my $sql =
1204                                 "alter table `$table` change `$row->{from}` `$row->{to}` $types{$row->{from}}->{type} ".
1205                                 ($types{$row->{from}}->{null} eq 'YES'?" NULL":" NOT NULL").
1206                                 ($types{$row->{from}}->{default}?" default ".$types{$row->{from}}->{default}:"").
1207                                 "$types{$row->{from}}->{extra} after $row->{after} ";
1208 #                       print "$sql";
1209                         $dbh->do($sql);
1210                 }
1211         }
1212 }
1213
1214 #-------------------
1215 # Initialize
1216
1217 # Start checking
1218
1219 # Get version of MySQL database engine.
1220 my $mysqlversion = `mysqld --version`;
1221 $mysqlversion =~ /Ver (\S*) /;
1222 $mysqlversion = $1;
1223 if ( $mysqlversion ge '3.23' ) {
1224     print "Could convert to MyISAM database tables...\n" unless $silent;
1225 }
1226
1227 #---------------------------------
1228 # Tables
1229
1230 # Collect all tables into a list
1231 $sth = $dbh->prepare("show tables");
1232 $sth->execute;
1233 while ( my ($table) = $sth->fetchrow ) {
1234     $existingtables{$table} = 1;
1235 }
1236
1237
1238 # Now add any missing tables
1239 foreach $table ( keys %requiretables ) {
1240     unless ( $existingtables{$table} ) {
1241         print "Adding $table table...\n" unless $silent;
1242         my $sth = $dbh->prepare("create table $table $requiretables{$table}");
1243         $sth->execute;
1244         if ( $sth->err ) {
1245             print "Error : $sth->errstr \n";
1246             $sth->finish;
1247         }    # if error
1248     }    # unless exists
1249 }    # foreach
1250
1251 # now drop useless tables
1252 foreach $table ( keys %dropable_table ) {
1253         if ( $existingtables{$table} ) {
1254                 print "Dropping unused table $table\n" if $debug and not $silent;
1255                 $dbh->do("drop table $table");
1256                 if ( $dbh->err ) {
1257                         print "Error : $dbh->errstr \n";
1258                 }
1259         }
1260 }
1261
1262 #---------------------------------
1263 # Columns
1264
1265 foreach $table ( keys %requirefields ) {
1266     print "Check table $table\n" if $debug and not $silent;
1267     $sth = $dbh->prepare("show columns from $table");
1268     $sth->execute();
1269     undef %types;
1270     while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1271     {
1272         $types{$column} = $type;
1273     }    # while
1274     foreach $column ( keys %{ $requirefields{$table} } ) {
1275         print "  Check column $column  [$types{$column}]\n" if $debug and not $silent;
1276         if ( !$types{$column} ) {
1277
1278             # column doesn't exist
1279             print "Adding $column field to $table table...\n" unless $silent;
1280             $query = "alter table $table
1281                         add column $column " . $requirefields{$table}->{$column};
1282             print "Execute: $query\n" if $debug;
1283             my $sti = $dbh->prepare($query);
1284             $sti->execute;
1285             if ( $sti->err ) {
1286                 print "**Error : $sti->errstr \n";
1287                 $sti->finish;
1288             }    # if error
1289         }    # if column
1290     }    # foreach column
1291 }    # foreach table
1292
1293 foreach $table ( keys %fielddefinitions ) {
1294         print "Check table $table\n" if $debug;
1295         $sth = $dbh->prepare("show columns from $table");
1296         $sth->execute();
1297         my $definitions;
1298         while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1299         {
1300                 $definitions->{$column}->{type}    = $type;
1301                 $definitions->{$column}->{null}    = $null;
1302                 $definitions->{$column}->{null}    = 'NULL' if $null eq 'YES';
1303                 $definitions->{$column}->{key}     = $key;
1304                 $definitions->{$column}->{default} = $default;
1305                 $definitions->{$column}->{extra}   = $extra;
1306         }    # while
1307         my $fieldrow = $fielddefinitions{$table};
1308         foreach my $row (@$fieldrow) {
1309                 my $field   = $row->{field};
1310                 my $type    = $row->{type};
1311                 my $null    = $row->{null};
1312 #               $null    = 'YES' if $row->{null} eq 'NULL';
1313                 my $key     = $row->{key};
1314                 my $default = $row->{default};
1315                 my $null    = $row->{null};
1316 #               $default="''" unless $default;
1317                 my $extra   = $row->{extra};
1318                 my $def     = $definitions->{$field};
1319                 my $after       = ($row->{after}?" after ".$row->{after}:"");
1320
1321                 unless ( $type eq $def->{type}
1322                         && $null eq $def->{null}
1323                         && $key eq $def->{key}
1324                         && $extra eq $def->{extra} )
1325                 {
1326                         if ( $null eq '' ) {
1327                                 $null = 'NOT NULL';
1328                         }
1329                         if ( $key eq 'PRI' ) {
1330                                 $key = 'PRIMARY KEY';
1331                         }
1332                         unless ( $extra eq 'auto_increment' ) {
1333                                 $extra = '';
1334                         }
1335
1336                         # if it's a new column use "add", if it's an old one, use "change".
1337                         my $action;
1338                         if ($definitions->{$field}->{type}) {
1339                                 $action="change $field"
1340                         } else {
1341                                 $action="add";
1342                         }
1343 # if it's a primary key, drop the previous pk, before altering the table
1344                         my $sth;
1345                         if ($key ne 'PRIMARY KEY') {
1346                                 $sth =$dbh->prepare("alter table $table $action $field $type $null $key $extra default ? $after");
1347                         } else {
1348                                 $sth =$dbh->prepare("alter table $table drop primary key, $action $field $type $null $key $extra default ? $after");
1349                         }
1350                         $sth->execute($default);
1351                         print "  alter or create $field in $table\n" unless $silent;
1352                 }
1353         }
1354 }
1355
1356 # Populate tables with required data
1357
1358
1359 # synch table and deletedtable.
1360 foreach my $table (('borrowers','items','biblio','biblioitems')) {
1361         my %deletedborrowers;
1362         print "synch'ing $table\n";
1363         $sth = $dbh->prepare("show columns from deleted$table");
1364         $sth->execute;
1365         while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ) {
1366                 $deletedborrowers{$column}=1;
1367         }
1368         $sth = $dbh->prepare("show columns from $table");
1369         $sth->execute;
1370         my $previous;
1371         while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ) {
1372                 unless ($deletedborrowers{$column}) {
1373                         my $newcol="alter table deleted$table add $column $type";
1374                         if ($null eq 'YES') {
1375                                 $newcol .= " NULL ";
1376                         } else {
1377                                 $newcol .= " NOT NULL ";
1378                         }
1379                         $newcol .= "default $default" if $default;
1380                         $newcol .= " after $previous" if $previous;
1381                         $previous=$column;
1382                         print "creating column $column\n";
1383                         $dbh->do($newcol);
1384                 }
1385         }
1386 }
1387
1388 foreach my $table ( keys %tabledata ) {
1389     print "Checking for data required in table $table...\n" unless $silent;
1390     my $tablerows = $tabledata{$table};
1391     foreach my $row (@$tablerows) {
1392         my $uniquefieldrequired = $row->{uniquefieldrequired};
1393         my $uniquevalue         = $row->{$uniquefieldrequired};
1394         my $forceupdate         = $row->{forceupdate};
1395         my $sth                 =
1396           $dbh->prepare(
1397 "select $uniquefieldrequired from $table where $uniquefieldrequired=?"
1398         );
1399         $sth->execute($uniquevalue);
1400                 if ($sth->rows) {
1401                         foreach my $field (keys %$forceupdate) {
1402                                 if ($forceupdate->{$field}) {
1403                                         my $sth=$dbh->prepare("update systempreferences set $field=? where $uniquefieldrequired=?");
1404                                         $sth->execute($row->{$field}, $uniquevalue);
1405                                 }
1406                 }
1407                 } else {
1408                         print "Adding row to $table: " unless $silent;
1409                         my @values;
1410                         my $fieldlist;
1411                         my $placeholders;
1412                         foreach my $field ( keys %$row ) {
1413                                 next if $field eq 'uniquefieldrequired';
1414                                 next if $field eq 'forceupdate';
1415                                 my $value = $row->{$field};
1416                                 push @values, $value;
1417                                 print "  $field => $value" unless $silent;
1418                                 $fieldlist .= "$field,";
1419                                 $placeholders .= "?,";
1420                         }
1421                         print "\n" unless $silent;
1422                         $fieldlist    =~ s/,$//;
1423                         $placeholders =~ s/,$//;
1424                         my $sth =
1425                         $dbh->prepare(
1426                                 "insert into $table ($fieldlist) values ($placeholders)");
1427                         $sth->execute(@values);
1428                 }
1429         }
1430 }
1431
1432 #
1433 # check indexes and create them when needed
1434 #
1435 print "Checking for index required...\n" unless $silent;
1436 foreach my $table ( keys %indexes ) {
1437         #
1438         # read all indexes from $table
1439         #
1440         $sth = $dbh->prepare("show index from $table");
1441         $sth->execute;
1442         my %existingindexes;
1443         while ( my ( $table, $non_unique, $key_name, $Seq_in_index, $Column_name, $Collation, $cardinality, $sub_part, $Packed, $comment ) = $sth->fetchrow ) {
1444                 $existingindexes{$key_name} = 1;
1445         }
1446         # read indexes to check
1447         my $tablerows = $indexes{$table};
1448         foreach my $row (@$tablerows) {
1449                 my $key_name=$row->{indexname};
1450                 if ($existingindexes{$key_name} eq 1) {
1451 #                       print "$key_name existing";
1452                 } else {
1453                         print "\tCreating index $key_name in $table\n";
1454                         my $sql;
1455                         if ($row->{indexname} eq 'PRIMARY') {
1456                                 $sql = "alter table $table ADD PRIMARY KEY ($row->{content})";
1457                         } else {
1458                                 $sql = "alter table $table ADD INDEX $key_name ($row->{content}) $row->{type}";
1459                         }
1460                         $dbh->do($sql);
1461             print "Error $sql : $dbh->err \n" if $dbh->err;
1462                 }
1463         }
1464 }
1465
1466 #
1467 # check foreign keys and create them when needed
1468 #
1469 print "Checking for foreign keys required...\n" unless $silent;
1470 foreach my $table ( keys %foreign_keys ) {
1471         #
1472         # read all indexes from $table
1473         #
1474         $sth = $dbh->prepare("show table status like '$table'");
1475         $sth->execute;
1476         my $stat = $sth->fetchrow_hashref;
1477         # read indexes to check
1478         my $tablerows = $foreign_keys{$table};
1479         foreach my $row (@$tablerows) {
1480                 my $foreign_table=$row->{foreigntable};
1481                 if ($stat->{'Comment'} =~/$foreign_table/) {
1482 #                       print "$foreign_table existing\n";
1483                 } else {
1484                         print "\tCreating foreign key $foreign_table in $table\n";
1485                         # first, drop any orphan value in child table
1486                         if ($row->{onDelete} ne "RESTRICT") {
1487                                 my $sql = "delete from $table where $row->{key} not in (select $row->{foreignkey} from $row->{foreigntable})";
1488                                 $dbh->do($sql);
1489                                 print "SQL ERROR: $sql : $dbh->err \n" if $dbh->err;
1490                         }
1491                         my $sql="alter table $table ADD FOREIGN KEY $row->{key} ($row->{key}) REFERENCES $row->{foreigntable} ($row->{foreignkey})";
1492                         $sql .= " on update ".$row->{onUpdate} if $row->{onUpdate};
1493                         $sql .= " on delete ".$row->{onDelete} if $row->{onDelete};
1494                         $dbh->do($sql);
1495                         if ($dbh->err) {
1496                                 print "====================
1497 An error occured during :
1498 \t$sql
1499 It probably means there is something wrong in your DB : a row ($table.$row->{key}) refers to a value in $row->{foreigntable}.$row->{foreignkey} that does not exist. solve the problem and run updater again (or just the previous SQL statement).
1500 You can find those values with select
1501 \t$table.* from $table where $row->{key} not in (select $row->{foreignkey} from $row->{foreigntable})
1502 ====================\n
1503 ";
1504                         }
1505                 }
1506         }
1507 }
1508
1509 #
1510 # SPECIFIC STUFF
1511 #
1512 #
1513 # create frameworkcode row in biblio table & fill it with marc_biblio.frameworkcode.
1514 #
1515
1516 # 1st, get how many biblio we will have to do...
1517 $sth = $dbh->prepare('select count(*) from marc_biblio');
1518 $sth->execute;
1519 my ($totaltodo) = $sth->fetchrow;
1520
1521 $sth = $dbh->prepare("show columns from biblio");
1522 $sth->execute();
1523 my $definitions;
1524 my $bibliofwexist=0;
1525 while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ){
1526         $bibliofwexist=1 if $column eq 'frameworkcode';
1527 }
1528 unless ($bibliofwexist) {
1529         print "moving biblioframework to biblio table\n";
1530         $dbh->do('ALTER TABLE `biblio` ADD `frameworkcode` VARCHAR( 4 ) NOT NULL AFTER `biblionumber`');
1531         $sth = $dbh->prepare('select biblionumber,frameworkcode from marc_biblio');
1532         $sth->execute;
1533         my $sth_update = $dbh->prepare('update biblio set frameworkcode=? where biblionumber=?');
1534         my $totaldone=0;
1535         while (my ($biblionumber,$frameworkcode) = $sth->fetchrow) {
1536                 $sth_update->execute($frameworkcode,$biblionumber);
1537                 $totaldone++;
1538                 print "\r$totaldone / $totaltodo" unless ($totaldone % 100);
1539         }
1540         print "\rdone\n";
1541 }
1542
1543 #
1544 # moving MARC data from marc_subfield_table to biblioitems.marc
1545 #
1546 $sth = $dbh->prepare("show columns from biblioitems");
1547 $sth->execute();
1548 my $definitions;
1549 my $marcdone=0;
1550 while ( ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow ){
1551         $marcdone=1 if ($type eq 'blob' && $column eq 'marc') ;
1552 }
1553 unless ($marcdone) {
1554         print "moving MARC record to biblioitems table\n";
1555         # changing marc field type
1556         $dbh->do('ALTER TABLE `biblioitems` CHANGE `marc` `marc` BLOB NULL DEFAULT NULL ');
1557         # adding marc xml, just for convenience
1558         $dbh->do('ALTER TABLE `biblioitems` ADD `marcxml` TEXT CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ');
1559         # moving data from marc_subfield_value to biblio
1560         $sth = $dbh->prepare('select bibid,biblionumber from marc_biblio');
1561         $sth->execute;
1562         my $sth_update = $dbh->prepare('update biblioitems set marc=?, marcxml=? where biblionumber=?');
1563         my $totaldone=0;
1564         while (my ($bibid,$biblionumber) = $sth->fetchrow) {
1565                 my $record = MARCgetbiblio($dbh,$bibid);
1566         #Force UTF-8 in record leader
1567                 $record->encoding('UTF-8');
1568                 print $record->as_formatted if ($biblionumber==3902);
1569                 $sth_update->execute($record->as_usmarc(),$record->as_xml_record(),$biblionumber);
1570                 $totaldone++;
1571                 print "\r$totaldone / $totaltodo" unless ($totaldone % 100);
1572         }
1573         print "\rdone\n";
1574 }
1575
1576
1577 # at last, remove useless fields
1578 foreach $table ( keys %uselessfields ) {
1579         my @fields = split /,/,$uselessfields{$table};
1580         my $fields;
1581         my $exists;
1582         foreach my $fieldtodrop (@fields) {
1583                 $fieldtodrop =~ s/\t//g;
1584                 $fieldtodrop =~ s/\n//g;
1585                 $exists =0;
1586                 $sth = $dbh->prepare("show columns from $table");
1587                 $sth->execute;
1588                 while ( my ( $column, $type, $null, $key, $default, $extra ) = $sth->fetchrow )
1589                 {
1590                         $exists =1 if ($column eq $fieldtodrop);
1591                 }
1592                 if ($exists) {
1593                         print "deleting $fieldtodrop field in $table...\n" unless $silent;
1594                         my $sth = $dbh->prepare("alter table $table drop $fieldtodrop");
1595                         $sth->execute;
1596                 }
1597         }
1598 }    # foreach
1599
1600
1601 # MOVE all tables TO UTF-8 and innoDB
1602 $sth = $dbh->prepare("show table status");
1603 $sth->execute;
1604 while ( my $table = $sth->fetchrow_hashref ) {
1605 #       if ($table->{Engine} ne 'InnoDB') {
1606 #               $dbh->do("ALTER TABLE $table->{Name} TYPE = innodb");
1607 #               print "moving $table->{Name} to InnoDB\n";
1608 #       }
1609         unless ($table->{Collation} =~ /^utf8/) {
1610                 $dbh->do("ALTER TABLE $table->{Name} CONVERT TO CHARACTER SET utf8");
1611                 $dbh->do("ALTER TABLE $table->{Name} DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci");
1612                 # FIXME : maybe a ALTER TABLE tbl_name CONVERT TO CHARACTER SET utf8 would be better, def char set seems to work fine. If any problem encountered, let's try with convert !
1613                 print "moving $table->{Name} to utf8\n";
1614         } else {
1615         }
1616 }
1617
1618 $sth->finish;
1619
1620 #
1621 # those 2 subs are a copy of Biblio.pm, version 2.2.4
1622 # they are useful only once, for moving from 2.2 to 3.0
1623 # the MARCgetbiblio & MARCgetitem subs in Biblio.pm
1624 # are still here, but uses other tables
1625 # (the ones that are filled by updatedatabase !)
1626 #
1627
1628 sub MARCgetbiblio {
1629
1630     # Returns MARC::Record of the biblio passed in parameter.
1631     my ( $dbh, $bibid ) = @_;
1632     my $record = MARC::Record->new();
1633 #       warn "". $bidid;
1634
1635     my $sth =
1636       $dbh->prepare(
1637 "select bibid,subfieldid,tag,tagorder,tag_indicator,subfieldcode,subfieldorder,subfieldvalue,valuebloblink
1638                                  from marc_subfield_table
1639                                  where bibid=? order by tag,tagorder,subfieldorder
1640                          "
1641     );
1642     my $sth2 =
1643       $dbh->prepare(
1644         "select subfieldvalue from marc_blob_subfield where blobidlink=?");
1645     $sth->execute($bibid);
1646     my $prevtagorder = 1;
1647     my $prevtag      = 'XXX';
1648     my $previndicator;
1649     my $field;        # for >=10 tags
1650     my $prevvalue;    # for <10 tags
1651     while ( my $row = $sth->fetchrow_hashref ) {
1652
1653         if ( $row->{'valuebloblink'} ) {    #---- search blob if there is one
1654             $sth2->execute( $row->{'valuebloblink'} );
1655             my $row2 = $sth2->fetchrow_hashref;
1656             $sth2->finish;
1657             $row->{'subfieldvalue'} = $row2->{'subfieldvalue'};
1658         }
1659         if ( $row->{tagorder} ne $prevtagorder || $row->{tag} ne $prevtag ) {
1660             $previndicator .= "  ";
1661             if ( $prevtag < 10 ) {
1662                                 if ($prevtag ne '000') {
1663                         $record->add_fields( ( sprintf "%03s", $prevtag ), $prevvalue ) unless $prevtag eq "XXX";    # ignore the 1st loop
1664                                 } else {
1665                                         $record->leader(sprintf("%24s",$prevvalue));
1666                                 }
1667             }
1668             else {
1669                 $record->add_fields($field) unless $prevtag eq "XXX";
1670             }
1671             undef $field;
1672             $prevtagorder  = $row->{tagorder};
1673             $prevtag       = $row->{tag};
1674             $previndicator = $row->{tag_indicator};
1675             if ( $row->{tag} < 10 ) {
1676                 $prevvalue = $row->{subfieldvalue};
1677             }
1678             else {
1679                 $field = MARC::Field->new(
1680                     ( sprintf "%03s", $prevtag ),
1681                     substr( $row->{tag_indicator} . '  ', 0, 1 ),
1682                     substr( $row->{tag_indicator} . '  ', 1, 1 ),
1683                     $row->{'subfieldcode'},
1684                     $row->{'subfieldvalue'}
1685                 );
1686             }
1687         }
1688         else {
1689             if ( $row->{tag} < 10 ) {
1690                 $record->add_fields( ( sprintf "%03s", $row->{tag} ),
1691                     $row->{'subfieldvalue'} );
1692             }
1693             else {
1694                 $field->add_subfields( $row->{'subfieldcode'},
1695                     $row->{'subfieldvalue'} );
1696             }
1697             $prevtag       = $row->{tag};
1698             $previndicator = $row->{tag_indicator};
1699         }
1700     }
1701
1702     # the last has not been included inside the loop... do it now !
1703     if ( $prevtag ne "XXX" )
1704     { # check that we have found something. Otherwise, prevtag is still XXX and we
1705          # must return an empty record, not make MARC::Record fail because we try to
1706          # create a record with XXX as field :-(
1707         if ( $prevtag < 10 ) {
1708             $record->add_fields( $prevtag, $prevvalue );
1709         }
1710         else {
1711
1712             #           my $field = MARC::Field->new( $prevtag, "", "", %subfieldlist);
1713             $record->add_fields($field);
1714         }
1715     }
1716     return $record;
1717 }
1718
1719 sub MARCgetitem {
1720
1721     # Returns MARC::Record of the biblio passed in parameter.
1722     my ( $dbh, $bibid, $itemnumber ) = @_;
1723     my $record = MARC::Record->new();
1724
1725     # search MARC tagorder
1726     my $sth2 =
1727       $dbh->prepare(
1728 "select tagorder from marc_subfield_table,marc_subfield_structure where marc_subfield_table.tag=marc_subfield_structure.tagfield and marc_subfield_table.subfieldcode=marc_subfield_structure.tagsubfield and bibid=? and kohafield='items.itemnumber' and subfieldvalue=?"
1729     );
1730     $sth2->execute( $bibid, $itemnumber );
1731     my ($tagorder) = $sth2->fetchrow_array();
1732
1733     #---- TODO : the leader is missing
1734     my $sth =
1735       $dbh->prepare(
1736 "select bibid,subfieldid,tag,tagorder,tag_indicator,subfieldcode,subfieldorder,subfieldvalue,valuebloblink
1737                                  from marc_subfield_table
1738                                  where bibid=? and tagorder=? order by subfieldcode,subfieldorder
1739                          "
1740     );
1741     $sth2 =
1742       $dbh->prepare(
1743         "select subfieldvalue from marc_blob_subfield where blobidlink=?");
1744     $sth->execute( $bibid, $tagorder );
1745     while ( my $row = $sth->fetchrow_hashref ) {
1746         if ( $row->{'valuebloblink'} ) {    #---- search blob if there is one
1747             $sth2->execute( $row->{'valuebloblink'} );
1748             my $row2 = $sth2->fetchrow_hashref;
1749             $sth2->finish;
1750             $row->{'subfieldvalue'} = $row2->{'subfieldvalue'};
1751         }
1752         if ( $record->field( $row->{'tag'} ) ) {
1753             my $field;
1754
1755 #--- this test must stay as this, because of strange behaviour of mySQL/Perl DBI with char var containing a number...
1756             #--- sometimes, eliminates 0 at beginning, sometimes no ;-\\\
1757             if ( length( $row->{'tag'} ) < 3 ) {
1758                 $row->{'tag'} = "0" . $row->{'tag'};
1759             }
1760             $field = $record->field( $row->{'tag'} );
1761             if ($field) {
1762                 my $x =
1763                   $field->add_subfields( $row->{'subfieldcode'},
1764                     $row->{'subfieldvalue'} );
1765                 $record->delete_field($field);
1766                 $record->add_fields($field);
1767             }
1768         }
1769         else {
1770             if ( length( $row->{'tag'} ) < 3 ) {
1771                 $row->{'tag'} = "0" . $row->{'tag'};
1772             }
1773             my $temp =
1774               MARC::Field->new( $row->{'tag'}, " ", " ",
1775                 $row->{'subfieldcode'} => $row->{'subfieldvalue'} );
1776             $record->add_fields($temp);
1777         }
1778
1779     }
1780     return $record;
1781 }
1782
1783
1784 exit;
1785
1786 # $Log$
1787 # Revision 1.146  2006/06/17 03:29:41  rangi
1788 # Variable to allow librarians to switch reviews on or off
1789 #
1790 # Revision 1.145  2006/06/16 09:45:02  btoumi
1791 # updatedatabase.pl: add change of borrowers table to deletedborrowers table
1792 # deletemem.pl: delete use of warn function
1793 #
1794 # Revision 1.144  2006/06/08 15:36:31  alaurin
1795 # Add a new system preference 'AutomaticItemReturn' :
1796 #
1797 # if this prefence is switched on: the document returned in another library than homebranch, the system automaticly transfer the document to his homebranch (with notification for librarian in returns.tmpl) .
1798 #
1799 # switch off : the document stay in the holdingbranch ...
1800 #
1801 # correcting bugs :
1802 # - comment C4::acquisition (not using in request.pl).
1803 # - correcting date in request.pl
1804 # -add the new call of function getbranches in request.pl
1805 #
1806 # Revision 1.143  2006/06/07 02:02:47  bob_lyon
1807 # merging katipo changes...
1808 #
1809 # adding new preference IssuingInProcess
1810 #
1811 # Revision 1.142  2006/06/06 23:42:46  bob_lyon
1812 # Merging Katipo changes...
1813 #
1814 # Adding new system pref where one can still retrieve a correct reading
1815 # record history if one has moved older data from issues to oldissues table
1816 # to speed up issues speed
1817 #
1818 # Revision 1.141  2006/06/01 03:18:11  rangi
1819 # Adding a new column to the statistics table
1820 #
1821 # Revision 1.140  2006/05/22 22:40:45  rangi
1822 # Adding new systempreference allowing for the library to add borrowers to institutions (rest homes, parishes, schools, classes etc).
1823 #
1824 # Revision 1.139  2006/05/19 19:31:29  tgarip1957
1825 # Added new fields to auth_header and auth_subfield_table to allow ZEBRA use of authorities and new MARC framework like structure.
1826 # Authority tables are modified to be compatible with new MARC frameworks. This change is part of Authority Linking & Zebra authorities. Requires change in Mysql database. It will break head unless all changes regarding this is implemented. This warning will take place on all commits regarding this
1827 #
1828 # Revision 1.138  2006/05/19 16:51:44  alaurin
1829 # update database for :
1830 # - new feature ip and printer management
1831 # adding two fields in branches table (branchip,branchprinter)
1832 #
1833 # - waiting date : adding one field in reserves table(waiting date) to calculate the Maximum delay to pick up a reserved document when it's available
1834 #
1835 # new system preference :
1836 # - ReservesMaxPickUpDelay : Maximum delay to pick up a reserved document
1837 # TransfersMaxDaysWarning : Max delay before considering the transfer as potentialy a problem
1838 #
1839 # Revision 1.137  2006/04/18 09:36:36  plg
1840 # bug fixed: typo fixed in labels and labels_conf tables creation query.
1841 #
1842 # Revision 1.136  2006/04/17 21:55:33  sushi
1843 # Added 'labels' and 'labels_conf' tables, for spine lable tool.
1844 #
1845 # Revision 1.135  2006/04/15 02:37:03  tgarip1957
1846 # Marc record should be set to UTF-8 in leader.Force it.
1847 # XML should be with<record> wrappers
1848 #
1849 # Revision 1.134  2006/04/14 09:37:29  tipaul
1850 # improvements from SAN Ouest Provence :
1851 # * introducing a category_type into categories. It can be A (adult), C (children), P (Professionnal), I (institution/organisation).
1852 # * each category_type has it's own forms to create members.
1853 # * the borrowers table has been heavily modified (many fields changed), to get something more logic & readable
1854 # * reintroducing guarantor/guanrantee system that is now independant from hardcoded C/A for categories
1855 # * updating templates to fit template rules
1856 #
1857 # (see mail feb, 17 on koha-devel "new features for borrowers" for more details)
1858 #
1859 # Revision 1.133  2006/04/13 08:36:42  plg
1860 # new: function C4::Date::get_date_format_string_for_DHTMLcalendar based on
1861 # the system preference prefered date format.
1862 #
1863 # improvement: book fund list and budget list screen redesigned. Filters on
1864 # each field. Columns are not sortable yet. Using DHTML Calendar to fill date
1865 # fields instead of manual filling. Pagination system. From the book fund
1866 # list, you can reach the budget list, filtered on a book fund, or not. A
1867 # budget can be added only from book fund list screen.
1868 #
1869 # bug fixed: branchcode was missing in table aqbudget.
1870 #
1871 # bug fixed: when setting a branchcode to a book fund, all associated budgets
1872 # move to this branchcode.
1873 #
1874 # modification: when adding/modifying budget/fund, MySQL specific "REPLACE..."
1875 # statements replaced by standard SQL compliant statement.
1876 #
1877 # bug fixed: when adding/modifying a budget, if the book fund is associated to
1878 # a branch, the branch selection is disabled and set to the book fund branch.
1879 #
1880 # Revision 1.132  2006/04/06 12:37:05  hdl
1881 # Bugfixing : aqbookfund needed a field.
1882 #
1883 # Revision 1.131  2006/03/03 17:02:22  tipaul
1884 # commit for holidays and news management.
1885 # (some forgotten files)
1886 #
1887 # Revision 1.130  2006/03/03 16:35:21  tipaul
1888 # commit for holidays and news management.
1889 #
1890 # Contrib from Tümer Garip (from Turkey) :
1891 # * holiday :
1892 # in /tools/ the holiday.pl script let you define holidays (days where the library is closed), branch by branch. You can define 3 types of holidays :
1893 # - single day : only this day is closed
1894 # - repet weekly (like "sunday") : the day is holiday every week
1895 # - repet yearly (like "July, 4") : this day is closed every year.
1896 #
1897 # You can also put exception :
1898 # - sunday is holiday, but "2006 March, 5th" the library will be open
1899 #
1900 # The holidays are used for return date calculation : the return date is set to the next date where the library is open. A systempreference (useDaysMode) set ON (Calendar) or OFF (Normal) the calendar calculation.
1901 #
1902 # Revision 1.129  2006/02/27 18:19:33  hdl
1903 # New table used in overduerules.pl tools page.
1904 #
1905 # Revision 1.128  2006/01/25 15:16:06  tipaul
1906 # updating DB :
1907 # * removing useless tables
1908 # * adding useful indexes
1909 # * altering some columns definitions
1910 # * The goal being to have updater working fine for foreign keys.
1911 #
1912 # For me it's done, let me know if it works for you. You can see an updated schema of the DB (with constraints) on the wiki
1913 #
1914 # Revision 1.127  2006/01/24 17:57:17  tipaul
1915 # DB improvements : adding foreign keys on some tables. partial stuff done.
1916 #
1917 # Revision 1.126  2006/01/06 16:39:42  tipaul
1918 # synch'ing head and rel_2_2 (from 2.2.5, including npl templates)
1919 # Seems not to break too many things, but i'm probably wrong here.
1920 # at least, new features/bugfixes from 2.2.5 are here (tested on some features on my head local copy)
1921 #
1922 # - removing useless directories (koha-html and koha-plucene)
1923 #
1924 # Revision 1.125  2006/01/04 15:54:55  tipaul
1925 # utf8 is a : go for beta test in HEAD.
1926 # some explanations :
1927 # - updater/updatedatabase => will transform all tables in innoDB (not related to utf8, just to warn you) AND collate them in utf8 / utf8_general_ci. The SQL command is : ALTER TABLE tablename DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci.
1928 # - *-top.inc will show the pages in utf8
1929 # - THE HARD THING : for me, mysql-client and mysql-server were set up to communicate in iso8859-1, whatever the mysql collation ! Thus, pages were improperly shown, as datas were transmitted in iso8859-1 format ! After a full day of investigation, someone on usenet pointed "set NAMES 'utf8'" to explain that I wanted utf8. I could put this in my.cnf, but if I do that, ALL databases will "speak" in utf8, that's not what we want. Thus, I added a line in Context.pm : everytime a DB handle is opened, the communication is set to utf8.
1930 # - using marcxml field and no more the iso2709 raw marc biblioitems.marc field.
1931 #
1932 # Revision 1.124  2005/10/27 12:09:05  tipaul
1933 # new features for serial module :
1934 # - the last 5 issues are now shown, and their status can be changed (but not reverted to "waited", as there can be only one "waited")
1935 # - the library can create a "distribution list". this paper contains a list of borrowers (selected from the borrower list, or manually entered), and print it for a given issue. once printed, the sheet can be put on the issue and distributed to every reader on the list (one by one).
1936 #
1937 # Revision 1.123  2005/10/26 09:13:37  tipaul
1938 # big commit, still breaking things...
1939 #
1940 # * synch with rel_2_2. Probably the last non manual synch, as rel_2_2 should not be modified deeply.
1941 # * code cleaning (cleaning warnings from perl -w) continued
1942 #
1943 # Revision 1.122  2005/09/02 14:18:38  tipaul
1944 # new feature : image for itemtypes.
1945 #
1946 # * run updater/updatedatabase to create imageurl field in itemtypes.
1947 # * go to Koha >> parameters >> itemtypes >> modify (or add) an itemtype. You will see around 20 nice images to choose between (thanks to owen). If you prefer your own image, you also can type a complete url (http://www.myserver.lib/path/to/my/image.gif)
1948 # * go to OPAC, and search something. In the result list, you now have the picture instead of the text itemtype.
1949 #
1950 # Revision 1.121  2005/08/24 08:49:03  hdl
1951 # Adding a note field in serial table.
1952 # This will allow librarian to mention a note on a peculiar waiting serial number.
1953 #
1954 # Revision 1.120  2005/08/09 14:10:32  tipaul
1955 # 1st commit to go to zebra.
1956 # don't update your cvs if you want to have a working head...
1957 #
1958 # this commit contains :
1959 # * updater/updatedatabase : get rid with marc_* tables, but DON'T remove them. As a lot of things uses them, it would not be a good idea for instance to drop them. If you really want to play, you can rename them to test head without them but being still able to reintroduce them...
1960 # * Biblio.pm : modify MARCgetbiblio to find the raw marc record in biblioitems.marc field, not from marc_subfield_table, modify MARCfindframeworkcode to find frameworkcode in biblio.frameworkcode, modify some other subs to use biblio.biblionumber & get rid of bibid.
1961 # * other files : get rid of bibid and use biblionumber instead.
1962 #
1963 # What is broken :
1964 # * does not do anything on zebra yet.
1965 # * if you rename marc_subfield_table, you can't search anymore.
1966 # * you can view a biblio & bibliodetails, go to MARC editor, but NOT save any modif.
1967 # * don't try to add a biblio, it would add data poorly... (don't try to delete either, it may work, but that would be a surprise ;-) )
1968 #
1969 # IMPORTANT NOTE : you need MARC::XML package (http://search.cpan.org/~esummers/MARC-XML-0.7/lib/MARC/File/XML.pm), that requires a recent version of MARC::Record
1970 # Updatedatabase stores the iso2709 data in biblioitems.marc field & an xml version in biblioitems.marcxml Not sure we will keep it when releasing the stable version, but I think it's a good idea to have something readable in sql, at least for development stage.
1971 #
1972 # Revision 1.119  2005/08/04 16:07:58  tipaul
1973 # Synch really broke this script...
1974 #
1975 # Revision 1.118  2005/08/04 16:02:55  tipaul
1976 # oops... error in synch between 2.2 and head
1977 #
1978 # Revision 1.117  2005/08/04 14:24:39  tipaul
1979 # synch'ing 2.2 and head
1980 #
1981 # Revision 1.116  2005/08/04 08:55:54  tipaul
1982 # Letters / alert system, continuing...
1983 #
1984 # * adding a package Letters.pm, that manages Letters & alerts.
1985 # * adding feature : it's now possible to define a "letter" for any subscription created. If a letter is defined, users in OPAC can put an alert on the subscription. When an issue is marked "arrived", all users in the alert will recieve a mail (as defined in the "letter"). This last part (= send the mail) is not yet developped. (Should be done this week)
1986 # * adding feature : it's now possible to "put to an alert" in OPAC, for any serial subscription. The alert is stored in a new table, called alert. An alert can be put only if the librarian has activated them in subscription (and they activate it just by choosing a "letter" to sent to borrowers on new issues)
1987 # * adding feature : librarian can see in borrower detail which alerts they have put, and a user can see in opac-detail which alert they have put too.
1988 #
1989 # Note that the system should be generic enough to manage any type of alert.
1990 # I plan to extend it soon to virtual shelves : a borrower will be able to put an alert on a virtual shelf, to be warned when something is changed in the virtual shelf (mail being sent once a day by cron, or manually by the shelf owner. Anyway, a mail won't be sent on every change, users would be spammed by Koha ;-) )
1991 #
1992 # Revision 1.115  2005/08/02 16:15:34  tipaul
1993 # adding 2 fields to letter system :
1994 # * module (acquisition, catalogue...) : it will be usefull to show the librarian only letters he may be interested by.
1995 # * title, that will be used as mail subject.
1996 #
1997 # Revision 1.114  2005/07/28 15:10:13  tipaul
1998 # Introducing new "Letters" system : Letters will be used everytime you want to sent something to someone (through mail or paper). For example, sending a mail for overdues use letter that you can put as parameters. Sending a mail to a borrower when a suggestion is validated uses a letter too.
1999 # the letter table contains 3 fields :
2000 # * code => the code of the letter
2001 # * name => the complete name of the letter
2002 # * content => the complete text. It's a TEXT field type, so has no limits.
2003 #
2004 # My next goal now is to work on point 2-I "serial issue alert"
2005 # With this feature, in serials, a user can subscribe the "issue alert". For every issue arrived/missing, a mail is sent to all subscribers of this list. The mail warns the user that the issue is arrive or missing. Will be in head.
2006 # (see mail on koha-devel, 2005/04/07)
2007 #
2008 # The "serial issue alert" will be the 1st to use this letter system that probably needs some tweaking ;-)
2009 #
2010 # Once it will be stabilised default letters (in any languages) could be added during installer to help the library begin with this new feature.
2011 #
2012 # Revision 1.113  2005/07/28 08:38:41  tipaul
2013 # For instance, the return date does not rely on the borrower expiration date. A systempref will be added in Koha, to modify return date calculation schema :
2014 # * ReturnBeforeExpiry = yes => return date can't be after expiry date
2015 # * ReturnBeforeExpiry = no  => return date can be after expiry date
2016 #
2017 # Revision 1.112  2005/07/26 08:19:47  hdl
2018 # Adding IndependantBranches System preference variable in order to manage Branch independancy.
2019 #
2020 # Revision 1.111  2005/07/25 15:35:38  tipaul
2021 # we have decided that moving to Koha 3.0 requires being already in Koha 2.2.x
2022 # So, the updatedatabase script can highly be cleaned (90% removed).
2023 # Let's play with the new Koha DB structure now ;-)
2024 #