misc/migration_tools/import_lexile.pl

   1 #!/usr/bin/perl
   2 #-----------------------------------
   3 # Copyright 2013 ByWater Solutions
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it under the
   8 # terms of the GNU General Public License as published by the Free Software
   9 # Foundation; either version 2 of the License, or (at your option) any later
  10 # version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  13 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  14 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License along
  17 # with Koha; if not, write to the Free Software Foundation, Inc.,
  18 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  19 #-----------------------------------
  20
  21 =head1 NAME
  22
  23 import_lexile.pl  Import lexile scores for records from csv.
  24
  25 =cut
  26
  27 use utf8;
  28
  29 use Modern::Perl;
  30
  31 use Getopt::Long;
  32 use Text::CSV;
  33
  34 use C4::Context;
  35 use C4::Biblio;
  36 use C4::Koha qw( GetVariationsOfISBN );
  37 use Koha::Database;
  38
  39 binmode STDOUT, ':utf8';
  40
  41 BEGIN {
  42
  43     # find Koha's Perl modules
  44     # test carefully before changing this
  45     use FindBin;
  46     eval { require "$FindBin::Bin/../kohalib.pl" };
  47 }
  48
  49 my $file;
  50 my $verbose;
  51 my $start;
  52 my $end;
  53 my $field_number                  = "521";
  54 my $subfield_target_audience_note = "a";
  55 my $subfield_source               = "b";
  56 my $subfield_source_value         = "Lexile";
  57
  58 GetOptions(
  59     'f|file=s'               => \$file,
  60     'v|verbose+'             => \$verbose,
  61     's|start=s'              => \$start,
  62     'e|end=s'                => \$end,
  63     'field=s'                => \$field_number,
  64     'target-audience-note=s' => $subfield_target_audience_note,
  65     'source=s'               => $subfield_source,
  66     'source-value=s'         => $subfield_source_value,
  67 );
  68
  69 my $usage = << 'ENDUSAGE';
  70 import_lexile.pl: Import lexile scores for records from csv.
  71
  72 import_lexile.pl -f /path/to/LexileTitles.txt
  73
  74 This script takes the following parameters :
  75
  76     -f | --file             CSV file of lexile scores ( acquired from Lexile.com )
  77     -v | --verbose          Print data on found matches
  78     --field                 Defines the field number for the Lexile data ( default: 521 )
  79     --target-audience-note  Defines the subfield for the lexile score ( default: a )
  80     --source                Defines the "Source" subfield ( default: b )
  81     --source-value          Defines the value to put stored in the "Source" subfield ( default: "Lexile" )
  82
  83 ENDUSAGE
  84
  85 unless ($file) {
  86     say $usage;
  87     exit(1);
  88 }
  89
  90 my $schema = Koha::Database->new()->schema();
  91
  92 my $csv = Text::CSV->new( { binary => 1, sep_char => "\t" } )
  93   or die "Cannot use CSV: " . Text::CSV->error_diag();
  94
  95 open my $fh, "<:encoding(utf8)", $file or die "test.csv: $!";
  96
  97 my $column_names = $csv->getline($fh);
  98 $csv->column_names(@$column_names);
  99
 100 my $counter = 0;
 101 my $i       = 0;
 102 while ( my $row = $csv->getline_hr($fh) ) {
 103     $i++;
 104
 105     next if ( $start && $i < $start );
 106     last if ( $end   && $i >= $end );
 107
 108     if ( $verbose > 1 ) {
 109         say "Searching for matching record for row $i...";
 110         say "Title: " . $row->{Title};
 111         say "Author: " . $row->{Author};
 112         say "ISBN10: " . $row->{ISBN};
 113         say "ISBN13: " . $row->{ISBN13};
 114         say q{};
 115     }
 116
 117     # Match by ISBN
 118     my @isbns;
 119     for ( 'ISBN', 'ISBN13' ) {
 120         if ( $row->{$_} && $row->{$_} ne "None" ) {
 121             push( @isbns, $row->{$_} );
 122             eval { push( @isbns, GetVariationsOfISBN( $row->{$_} ) ) };
 123         }
 124     }
 125     @isbns = grep( $_, @isbns );
 126     next unless @isbns;
 127
 128     say "Searching for ISBNs: " . join( ' : ', @isbns ) if ( $verbose > 2 );
 129
 130     my @likes = map { { isbn => { like => '%' . $_ . '%' } } } @isbns;
 131
 132     my @biblionumbers =
 133       $schema->resultset('Biblioitem')->search( -or => \@likes )
 134       ->get_column('biblionumber')->all();
 135
 136     say "Found matching records! Biblionumbers: " . join( " ,", @biblionumbers )
 137       if ( @biblionumbers && $verbose > 2 );
 138
 139     foreach my $biblionumber (@biblionumbers) {
 140         $counter++;
 141         my $record = GetMarcBiblio($biblionumber);
 142
 143         if ($verbose) {
 144             say "Found matching record! Biblionumber: $biblionumber";
 145
 146             if ( $verbose > 2 ) {
 147                 my $biblio = GetBiblioData($biblionumber);
 148                 say "Title from record: " . $biblio->{title}
 149                   if ( $biblio->{title} );
 150                 say "Author from record: " . $biblio->{author}
 151                   if ( $biblio->{author} );
 152                 say "ISBN from record: " . $biblio->{isbn}
 153                   if ( $biblio->{isbn} );
 154             }
 155             say "Title: " . $row->{Title};
 156             say "Author: " . $row->{Author};
 157             say "ISBN10: " . $row->{ISBN};
 158             say "ISBN13: " . $row->{ISBN13};
 159             say q{};
 160         }
 161
 162         # Check for existing embedded lexile score
 163         my $lexile_score_field;
 164         for my $field ( $record->field($field_number) ) {
 165             if ( defined( $field->subfield($subfield_source) )
 166                 && $field->subfield($subfield_source) eq
 167                 $subfield_source_value )
 168             {
 169                 $lexile_score_field = $field;
 170                 last;    # Each item can only have one lexile score
 171             }
 172         }
 173
 174         if ($lexile_score_field) {
 175             $lexile_score_field->update(
 176                 ind1                           => '8',
 177                 ind2                           => '#',
 178                 $subfield_target_audience_note => $row->{Lexile},
 179                 $subfield_source               => $subfield_source_value,
 180             );
 181         }
 182         else {
 183             my $field = MARC::Field->new(
 184                 $field_number, '8', '#',
 185                 $subfield_target_audience_note => $row->{Lexile},
 186                 $subfield_source               => $subfield_source_value,
 187             );
 188             $record->append_fields($field);
 189         }
 190
 191         ModBiblio( $record, $biblionumber );
 192     }
 193
 194 }
 195 say "Update $counter records" if $verbose;