Bug 27920: Add ability to update patron expiration dates when importing patrons
[koha.git] / t / db_dependent / Koha / Patrons / Import.t
1 #!/usr/bin/perl
2
3 # Copyright 2015 Koha Development team
4 #
5 # This file is part of Koha
6 #
7 # Koha is free software; you can redistribute it and/or modify it
8 # under the terms of the GNU General Public License as published by
9 # the Free Software Foundation; either version 3 of the License, or
10 # (at your option) any later version.
11 #
12 # Koha is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
15 # GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with Koha; if not, see <http://www.gnu.org/licenses>.
19
20 use Modern::Perl;
21 use Test::More tests => 176;
22 use Test::Warn;
23 use Test::Exception;
24 use Encode qw( encode_utf8 );
25 use utf8;
26
27 # To be replaced by t::lib::Mock
28 use Test::MockModule;
29 use Koha::Database;
30 use Koha::Patron::Relationships;
31 use Koha::DateUtils qw(dt_from_string);
32
33 use File::Temp qw(tempfile tempdir);
34 my $temp_dir = tempdir('Koha_patrons_import_test_XXXX', CLEANUP => 1, TMPDIR => 1);
35
36 use t::lib::Mocks;
37 use t::lib::TestBuilder;
38 my $builder = t::lib::TestBuilder->new;
39
40 my $schema = Koha::Database->new->schema;
41 $schema->storage->txn_begin;
42
43 # ########## Tests start here #############################
44 # Given ... we can use the module
45 BEGIN { use_ok('Koha::Patrons::Import'); }
46
47 my $patrons_import = new_ok('Koha::Patrons::Import');
48
49 subtest 'test_methods' => sub {
50     plan tests => 1;
51
52     # Given ... we can reach the method(s)
53     my @methods = ('import_patrons',
54                    'set_attribute_types',
55                    'prepare_columns',
56                    'set_column_keys',
57                    'generate_patron_attributes',
58                    'check_branch_code',
59                    'format_dates',
60                   );
61     can_ok('Koha::Patrons::Import', @methods);
62 };
63
64 subtest 'test_attributes' => sub {
65     plan tests => 1;
66
67     my @attributes = ('today_iso', 'text_csv');
68     can_ok('Koha::Patrons::Import', @attributes);
69 };
70
71 # Tests for Koha::Patrons::Import::import_patrons()
72 # Given ... nothing much. When ... Then ...
73 my $result;
74 warning_is { $result = $patrons_import->import_patrons(undef) }
75            { carped => 'No file handle passed in!' },
76            " Koha::Patrons::Import->import_patrons carps if no file handle is passed";
77 is($result, undef, 'Got the expected undef from import_patrons with nothing much');
78
79 # Given ... some params but no file handle.
80 my $params_0 = { some_stuff => 'random stuff', };
81
82 # When ... Then ...
83 my $result_0;
84 warning_is { $result_0 = $patrons_import->import_patrons($params_0) }
85            { carped => 'No file handle passed in!' },
86            " Koha::Patrons::Import->import_patrons carps if no file handle is passed";
87 is($result_0, undef, 'Got the expected undef from import_patrons with no file handle');
88
89 # Given ... a file handle to file with headers only.
90 t::lib::Mocks::mock_preference('ExtendedPatronAttributes', 0);
91 t::lib::Mocks::mock_preference('dateformat', 'us');
92
93 my $csv_headers  = 'cardnumber,surname,firstname,title,othernames,initials,streetnumber,streettype,address,address2,city,state,zipcode,country,email,phone,mobile,fax,dateofbirth,branchcode,categorycode,dateenrolled,dateexpiry,userid,password';
94 my $res_header   = 'cardnumber, surname, firstname, title, othernames, initials, streetnumber, streettype, address, address2, city, state, zipcode, country, email, phone, mobile, fax, dateofbirth, branchcode, categorycode, dateenrolled, dateexpiry, userid, password';
95 my $csv_one_line = '1000,Nancy,Jenkins,Dr,,NJ,78,Circle,Bunting,El Paso,Henderson,Texas,79984,United States,ajenkins0@sourceforge.net,7-(388)559-6763,3-(373)151-4471,8-(509)286-4001,10/16/1965,CPL,PT,12/28/2014,07/01/2015,jjenkins0,DPQILy';
96 my $csv_one_line_a = '1001,Nancy,Jenkins,Dr,,NJ,78,Circle,Bunting,El Paso,Henderson,Texas,79984,United States,ajenkins0@sourceforge.net,7-(388)559-6763,3-(373)151-4471,8-(509)286-4001,10/16/1965,CPL,PT,12/28/2014,07/01/2015,jjenkins0,DPQILy';
97 my $csv_one_line_b = '1000,Nancy2,Jenkins2,Dr,,NJ,78,Circle,Bunting,El Paso,Henderson,Texas,79984,United States,ajenkins0@sourceforge.net,7-(388)559-6763,3-(373)151-4471,8-(509)286-4001,10/16/1965,CPL,PT,12/28/2014,07/01/2015,jjenkins0,DPQILy';
98
99 my $filename_1 = make_csv($temp_dir, $csv_headers, $csv_one_line);
100 open(my $handle_1, "<", $filename_1) or die "cannot open < $filename_1: $!";
101 my $params_1 = { file => $handle_1, };
102
103 # When ...
104 my $result_1 = $patrons_import->import_patrons($params_1);
105
106 # Then ...
107 is($result_1->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with no matchpoint defined');
108 is(scalar @{$result_1->{errors}}, 0, 'Got the expected 0 size error array from import_patrons with no matchpoint defined');
109
110 is($result_1->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with no matchpoint defined');
111 is($result_1->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with no matchpoint defined');
112 is($result_1->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with no matchpoint defined');
113
114 is($result_1->{feedback}->[1]->{feedback}, 1, 'Got the expected second feedback from import_patrons with no matchpoint defined');
115 is($result_1->{feedback}->[1]->{name}, 'lastimported', 'Got the expected last imported name from import_patrons with no matchpoint defined');
116 like($result_1->{feedback}->[1]->{value}, qr/^Nancy \/ \d+/, 'Got the expected second header row value from import_patrons with no matchpoint defined');
117
118 is($result_1->{imported}, 1, 'Got the expected 1 imported result from import_patrons with no matchpoint defined');
119 is($result_1->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons with no matchpoint defined');
120 is($result_1->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with no matchpoint defined');
121
122 # Given ... a valid file handle, a bad matchpoint resulting in invalid card number
123 my $filename_2 = make_csv($temp_dir, $csv_headers, $csv_one_line);
124 open(my $handle_2, "<", $filename_2) or die "cannot open < $filename_2: $!";
125 my $params_2 = { file => $handle_2, matchpoint => 'SHOW_BCODE', };
126
127 # When ...
128 my $result_2 = $patrons_import->import_patrons($params_2);
129
130 # Then ...
131 is($result_2->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with invalid card number');
132 is($result_2->{errors}->[0]->{borrowernumber}, undef, 'Got the expected undef borrower number from import patrons with invalid card number');
133 is($result_2->{errors}->[0]->{cardnumber}, 1000, 'Got the expected 1000 card number from import patrons with invalid card number');
134 is($result_2->{errors}->[0]->{invalid_cardnumber}, 1, 'Got the expected invalid card number from import patrons with invalid card number');
135
136 is($result_2->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with invalid card number');
137 is($result_2->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with invalid card number');
138 is($result_2->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with invalid card number');
139
140 is($result_2->{imported}, 0, 'Got the expected 0 imported result from import_patrons with invalid card number');
141 is($result_2->{invalid}, 1, 'Got the expected 1 invalid result from import_patrons with invalid card number');
142 is($result_2->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with invalid card number');
143
144 # Given ... valid file handle, good matchpoint that matches should not overwrite when not set.
145 my $filename_3 = make_csv($temp_dir, $csv_headers, $csv_one_line);
146 open(my $handle_3, "<", $filename_3) or die "cannot open < $filename_3: $!";
147 my $params_3 = { file => $handle_3, matchpoint => 'cardnumber', };
148
149 # When ...
150 my $result_3 = $patrons_import->import_patrons($params_3);
151
152 # Then ...
153 is($result_3->{already_in_db}, 1, 'Got the expected 1 already_in_db from import_patrons with duplicate userid');
154 is($result_3->{errors}->[0]->{duplicate_userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
155 is($result_3->{errors}->[0]->{userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
156
157 is($result_3->{feedback}->[0]->{feedback}, 1, 'Got 1 expected feedback from import_patrons that matched but not overwritten');
158 is($result_3->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with duplicate userid');
159 is($result_3->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with duplicate userid');
160
161 is($result_3->{imported}, 0, 'Got the expected 0 imported result from import_patrons');
162 is($result_3->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons');
163 is($result_3->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons that matched');
164
165 # Given ... valid file handle, good matchpoint that matches should overwrite when set.
166 my $filename_3a = make_csv($temp_dir, $csv_headers, $csv_one_line);
167 open(my $handle_3a, "<", $filename_3a) or die "cannot open < $filename_3: $!";
168 my $params_3a = { file => $handle_3a, matchpoint => 'cardnumber', overwrite_cardnumber => 1};
169
170 # When ...
171 my $result_3a;
172 warning_is { $result_3a = $patrons_import->import_patrons($params_3a) }
173            undef,
174            "No warning raised by import_patrons";
175
176 # Then ...
177 is($result_3a->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons when matched and overwrite set');
178 is($result_3a->{errors}->[0]->{duplicate_userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
179 is($result_3a->{errors}->[0]->{userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
180
181 is($result_3a->{feedback}->[0]->{feedback}, 1, 'Got 1 expected feedback from import_patrons that matched and overwritten');
182 is($result_3a->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with duplicate userid');
183 is($result_3a->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with duplicate userid');
184
185 is($result_3a->{imported}, 0, 'Got the expected 0 imported result from import_patrons');
186 is($result_3a->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons');
187 is($result_3a->{overwritten}, 1, 'Got the expected 1 overwritten result from import_patrons that matched');
188
189 # Given ... valid file handle, good matchpoint that matches should overwrite when set, surname is protected from
190 # overwrite but firstname is not
191 my $filename_3c = make_csv($temp_dir, $csv_headers, $csv_one_line_b);
192 open(my $handle_3c, "<", $filename_3c) or die "cannot open < $filename_3: $!";
193 my $params_3c = { file => $handle_3c, matchpoint => 'cardnumber', overwrite_cardnumber => 1, preserve_fields => [ 'firstname' ], update_dateexpiry => 1, update_dateexpiry_from_today => 1 };
194
195 my $patron_3 = Koha::Patrons->find({ cardnumber => '1000' });
196 is( $patron_3->dateexpiry, '2015-07-01', "Expiration date is correct with update_dateexpiry = false" );
197
198 # When ...
199 my $result_3c;
200 warning_is { $result_3c = $patrons_import->import_patrons($params_3c) }
201     undef,
202     "No warning raised by import_patrons";
203
204 # Then ...
205 is($result_3c->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons when matched and overwrite set');
206 is($result_3c->{errors}->[0]->{duplicate_userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
207 is($result_3c->{errors}->[0]->{userid}, undef, 'No duplicate userid error from import patrons with duplicate userid (it is our own)');
208
209 is($result_3c->{feedback}->[0]->{feedback}, 1, 'Got 1 expected feedback from import_patrons that matched and overwritten');
210 is($result_3c->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with duplicate userid');
211 is($result_3c->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with duplicate userid');
212
213 is($result_3c->{imported}, 0, 'Got the expected 0 imported result from import_patrons');
214 is($result_3c->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons');
215 is($result_3c->{overwritten}, 1, 'Got the expected 1 overwritten result from import_patrons that matched');
216
217 my $patron_3c = Koha::Patrons->find({ cardnumber => '1000' });
218 is( $patron_3c->dateexpiry, dt_from_string->add( months => 99, end_of_month => 'limit' )->ymd, "Expiration date is correct with update_dateexpiry = true" );
219
220 is( $patron_3c->surname, "Nancy2", "Surname field is preserved from original" );
221 is( $patron_3c->firstname, "Jenkins", "Firstname field is overwritten" );
222
223 # Given ... valid file handle, good matchpoint that does not match and conflicting userid.
224 my $filename_3b = make_csv($temp_dir, $csv_headers, $csv_one_line_a);
225 open(my $handle_3b, "<", $filename_3b) or die "cannot open < $filename_3: $!";
226 my $params_3b = { file => $handle_3b, matchpoint => 'cardnumber', };
227
228 # When ...
229 my $result_3b = $patrons_import->import_patrons($params_3b);
230
231 # Then ...
232 is($result_3b->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with duplicate userid');
233 is($result_3b->{errors}->[0]->{duplicate_userid}, 1, 'Got the expected duplicate userid error from import patrons with duplicate userid');
234 is($result_3b->{errors}->[0]->{userid}, 'jjenkins0', 'Got the expected userid error from import patrons with duplicate userid');
235
236 is($result_3b->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with duplicate userid');
237 is($result_3b->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with duplicate userid');
238 is($result_3b->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons with duplicate userid');
239
240 is($result_3b->{imported}, 0, 'Got the expected 0 imported result from import_patrons with duplicate userid');
241 is($result_3b->{invalid}, 1, 'Got the expected 1 invalid result from import_patrons with duplicate userid');
242 is($result_3b->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with duplicate userid');
243
244 # Given ... a new input and mocked C4::Context
245 t::lib::Mocks::mock_preference('ExtendedPatronAttributes', 1);
246 my $attribute = $builder->build({ source => "BorrowerAttributeType"});
247
248 my $csv_headers_a  = 'cardnumber,surname,firstname,title,othernames,initials,streetnumber,streettype,address,address2,city,state,zipcode,country,email,phone,mobile,fax,dateofbirth,branchcode,categorycode,dateenrolled,dateexpiry,userid,password,patron_attributes';
249 my $res_header_a   = 'cardnumber, surname, firstname, title, othernames, initials, streetnumber, streettype, address, address2, city, state, zipcode, country, email, phone, mobile, fax, dateofbirth, branchcode, categorycode, dateenrolled, dateexpiry, userid, password, patron_attributes';
250 my $new_input_line = '1001,Donna,Sullivan,Mrs,Henry,DS,59,Court,Burrows,Reading,Salt Lake City,Pennsylvania,19605,United States,hsullivan1@purevolume.com,3-(864)009-3006,7-(291)885-8423,1-(879)095-5038,09/19/1970,LPL,PT,03/04/2015,07/01/2015,hsullivan1,8j6P6Dmap,'.$attribute->{code}.':1';
251 my $filename_4 = make_csv($temp_dir, $csv_headers_a, $new_input_line);
252 open(my $handle_4, "<", $filename_4) or die "cannot open < $filename_4: $!";
253 my $params_4 = { file => $handle_4, matchpoint => $attribute->{code}, };
254
255 # When ...
256 my $result_4 = $patrons_import->import_patrons($params_4);
257
258 # Then ...
259 is($result_4->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons with extended user');
260 is(scalar @{$result_4->{errors}}, 0, 'Got the expected 0 size error array from import_patrons with extended user');
261
262 is($result_4->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with extended user');
263 is($result_4->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with extended user');
264 is($result_4->{feedback}->[0]->{value}, $res_header_a, 'Got the expected header row value from import_patrons with extended user');
265
266 is($result_4->{feedback}->[1]->{feedback}, 1, 'Got the expected second feedback from import_patrons with extended user');
267 is($result_4->{feedback}->[1]->{name}, 'attribute string', 'Got the expected attribute string from import_patrons with extended user');
268 is($result_4->{feedback}->[1]->{value}, $attribute->{code}.':1', 'Got the expected second feedback value from import_patrons with extended user');
269
270 is($result_4->{feedback}->[2]->{feedback}, 1, 'Got the expected third feedback from import_patrons with extended user');
271 is($result_4->{feedback}->[2]->{name}, 'lastimported', 'Got the expected last imported name from import_patrons with extended user');
272 like($result_4->{feedback}->[2]->{value}, qr/^Donna \/ \d+/, 'Got the expected third feedback value from import_patrons with extended user');
273
274 is($result_4->{imported}, 1, 'Got the expected 1 imported result from import_patrons with extended user');
275 is($result_4->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons with extended user');
276 is($result_4->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with extended user');
277
278 seek $handle_4,0,0; #Reset to verify finding a matched patron works
279 my $result_4a = $patrons_import->import_patrons($params_4);
280 is($result_4a->{already_in_db}, 1, 'Got the expected 1 already_in_db from import_patrons with extended user matched');
281 is(scalar @{$result_4->{errors}}, 0, 'Got the expected 0 size error array from import_patrons with extended user matched');
282
283 is($result_4a->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons with extended user matched');
284 is($result_4a->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons with extended user matched');
285 is($result_4a->{feedback}->[0]->{value}, $res_header_a, 'Got the expected header row value from import_patrons with extended user matched');
286
287 is($result_4a->{feedback}->[1]->{feedback}, 1, 'Got the expected second feedback from import_patrons with extended user matched');
288 is($result_4a->{feedback}->[1]->{name}, 'attribute string', 'Got the expected attribute string from import_patrons with extended user matched');
289 is($result_4a->{feedback}->[1]->{value}, $attribute->{code}.':1', 'Got the expected second feedback value from import_patrons with extended user matched');
290
291 is($result_4a->{feedback}->[2]->{already_in_db}, '1', 'Got the expected already_in_db from import_patrons with extended user matched');
292 like($result_4a->{feedback}->[2]->{value}, qr/^Donna \/ \d+/, 'Got the expected third feedback value from import_patrons with extended user matched');
293
294 is($result_4a->{imported}, 0, 'Got the expected 0 imported result from import_patrons with extended user matched');
295 is($result_4a->{invalid}, 0, 'Got the expected 0 invalid result from import_patrons with extended user matched');
296 is($result_4a->{overwritten}, 0, 'Got the expected 0 overwritten result from import_patrons with extended user matched');
297
298 t::lib::Mocks::mock_preference('ExtendedPatronAttributes', 0);
299
300 my $surname ='Chloé❤';
301 # Given ... 3 new inputs. One with no branch code, one with unexpected branch code.
302 my $input_no_branch   = qq|1002,$surname,Reynolds,Mr,Patricia,JR,12,Hill,Kennedy,Saint Louis,Colorado Springs,Missouri,63131,United States,preynolds2i\@washington.edu,7-(925)314-9514,0-(315)973-8956,4-(510)556-2323,09/18/1967,,PT,05/07/2015,07/01/2015,preynolds2,K3HiDzl|;
303 my $input_good_branch = qq|1003,$surname,Richardson,Mr,Kimberly,LR,90,Place,Bayside,Atlanta,Erie,Georgia,31190,United States,krichardson3\@pcworld.com,8-(035)185-0387,4-(796)518-3676,3-(644)960-3789,04/13/1954,RPL,PT,06/06/2015,07/01/2015,krichardson3,P3EO0MVRPXbM|;
304 my $input_na_branch   = qq|1005,$surname,Greene,Mr,Michael,RG,3,Avenue,Grim,Peoria,Jacksonville,Illinois,61614,United States,mgreene5\@seesaa.net,3-(941)565-5752,1-(483)885-8138,4-(979)577-6908,02/09/1957,ZZZ,ST,04/02/2015,07/01/2015,mgreene5,or4ORT6JH|;
305
306 my $filename_5 = make_csv($temp_dir, $csv_headers, encode_utf8($input_no_branch), encode_utf8($input_good_branch), encode_utf8($input_na_branch));
307 open(my $handle_5, "<", $filename_5) or die "cannot open < $filename_5: $!";
308 my $params_5 = { file => $handle_5, matchpoint => 'cardnumber', };
309
310 # When ...
311 my $result_5 = $patrons_import->import_patrons($params_5);
312
313 # Then ...
314 is($result_5->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons for branch tests');
315
316 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for branch tests');
317 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{key}, 'branchcode', 'Got the expected branch code key from import patrons for branch tests');
318 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{line}, 2, 'Got the expected 2 line number error from import patrons for branch tests');
319 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{lineraw}, $input_no_branch."\r\n", 'Got the expected lineraw error from import patrons for branch tests');
320 is($result_5->{errors}->[0]->{missing_criticals}->[0]->{surname}, $surname, 'Got the expected surname error from import patrons for branch tests');
321
322 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for branch tests');
323 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{branch_map}, 1, 'Got the expected 1 branchmap error from import patrons for branch tests');
324 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{key}, 'branchcode', 'Got the expected branch code key from import patrons for branch tests');
325 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{line}, 4, 'Got the expected 4 line number error from import patrons for branch tests');
326 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{lineraw}, $input_na_branch."\r\n", 'Got the expected lineraw error from import patrons for branch tests');
327 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{surname}, $surname, 'Got the expected surname error from import patrons for branch tests');
328 is($result_5->{errors}->[1]->{missing_criticals}->[0]->{value}, 'ZZZ', 'Got the expected ZZZ value error from import patrons for branch tests');
329
330 is($result_5->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for branch tests');
331 is($result_5->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons for branch tests');
332 is($result_5->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons for branch tests');
333
334 is($result_5->{feedback}->[1]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for branch tests');
335 is($result_5->{feedback}->[1]->{name}, 'lastimported', 'Got the expected lastimported name from import_patrons for branch tests');
336 like($result_5->{feedback}->[1]->{value},  qr/^$surname \/ \d+/, 'Got the expected last imported value from import_patrons with for branch tests');
337
338 is($result_5->{imported}, 1, 'Got the expected 1 imported result from import patrons for branch tests');
339 is($result_5->{invalid}, 2, 'Got the expected 2 invalid result from import patrons for branch tests');
340 is($result_5->{overwritten}, 0, 'Got the expected 0 overwritten result from import patrons for branch tests');
341
342 # Given ... 3 new inputs. One with no category code, one with unexpected category code.
343 my $input_no_category   = '1006,Christina,Olson,Rev,Kimberly,CO,8,Avenue,Northridge,Lexington,Wilmington,Kentucky,40510,United States,kolson6@dropbox.com,7-(810)636-6048,1-(052)012-8984,8-(567)232-7818,03/26/1952,FFL,,09/07/2014,01/07/2015,kolson6,x5D3qGbLlptx';
344 my $input_good_category = '1007,Peter,Peters,Mrs,Lawrence,PP,6,Trail,South,Oklahoma City,Topeka,Oklahoma,73135,United States,lpeters7@bandcamp.com,5-(992)205-9318,0-(732)586-9365,3-(448)146-7936,08/16/1983,PVL,T,03/24/2015,07/01/2015,lpeters7,Z19BrQ4';
345 my $input_na_category   = '1008,Emily,Richards,Ms,Judy,ER,73,Way,Kedzie,Fort Wayne,Phoenix,Indiana,46825,United States,jrichards8@arstechnica.com,5-(266)658-8957,3-(550)500-9107,7-(816)675-9822,08/09/1984,FFL,ZZ,11/09/2014,07/01/2015,jrichards8,D5PvU6H2R';
346
347 my $filename_6 = make_csv($temp_dir, $csv_headers, $input_no_category, $input_good_category, $input_na_category);
348 open(my $handle_6, "<", $filename_6) or die "cannot open < $filename_6: $!";
349 my $params_6 = { file => $handle_6, matchpoint => 'cardnumber', };
350
351 # When ...
352 my $result_6 = $patrons_import->import_patrons($params_6);
353
354 # Then ...
355 is($result_6->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons for category tests');
356
357 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for category tests');
358 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{key}, 'categorycode', 'Got the expected category code key from import patrons for category tests');
359 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{line}, 2, 'Got the expected 2 line number error from import patrons for category tests');
360 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{lineraw}, $input_no_category."\r\n", 'Got the expected lineraw error from import patrons for category tests');
361 is($result_6->{errors}->[0]->{missing_criticals}->[0]->{surname}, 'Christina', 'Got the expected surname error from import patrons for category tests');
362
363 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for category tests');
364 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{category_map}, 1, 'Got the expected 1 category_map error from import patrons for category tests');
365 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{key}, 'categorycode', 'Got the expected category code key from import patrons for category tests');
366 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{line}, 4, 'Got the expected 4 line number error from import patrons for category tests');
367 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{lineraw}, $input_na_category."\r\n", 'Got the expected lineraw error from import patrons for category tests');
368 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{surname}, 'Emily', 'Got the expected surname error from import patrons for category tests');
369 is($result_6->{errors}->[1]->{missing_criticals}->[0]->{value}, 'ZZ', 'Got the expected ZZ value error from import patrons for category tests');
370
371 is($result_6->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for category tests');
372 is($result_6->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons for category tests');
373 is($result_6->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons for category tests');
374
375 is($result_6->{feedback}->[1]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for category tests');
376 is($result_6->{feedback}->[1]->{name}, 'lastimported', 'Got the expected lastimported name from import_patrons for category tests');
377 like($result_6->{feedback}->[1]->{value},  qr/^Peter \/ \d+/, 'Got the expected last imported value from import_patrons with for category tests');
378
379 is($result_6->{imported}, 1, 'Got the expected 1 imported result from import patrons for category tests');
380 is($result_6->{invalid}, 2, 'Got the expected 2 invalid result from import patrons for category tests');
381 is($result_6->{overwritten}, 0, 'Got the expected 0 overwritten result from import patrons for category tests');
382
383 # Given ... 2 new inputs. One without dateofbirth, dateenrolled and dateexpiry values.
384 my $input_complete = '1009,Christina,Harris,Dr,Philip,CH,99,Street,Grayhawk,Baton Rouge,Dallas,Louisiana,70810,United States,pharris9@hp.com,9-(317)603-5513,7-(005)062-7593,8-(349)134-1627,06/19/1969,IPT,PT,04/09/2015,07/01/2015,pharris9,NcAhcvvnB';
385 my $input_no_date  = '1010,Ralph,Warren,Ms,Linda,RW,6,Way,Barby,Orlando,Albany,Florida,32803,United States,lwarrena@multiply.com,7-(579)753-7752,6-(847)086-7566,9-(122)729-8226,26/01/2001,LPL,T,25/01/2001,24/01/2001,lwarrena,tJ56RD4uV';
386
387 my $filename_7 = make_csv($temp_dir, $csv_headers, $input_complete, $input_no_date);
388 open(my $handle_7, "<", $filename_7) or die "cannot open < $filename_7: $!";
389 my $params_7 = { file => $handle_7, matchpoint => 'cardnumber', };
390
391 # When ...
392 my $result_7 = $patrons_import->import_patrons($params_7);
393
394 # Then ...
395 is($result_7->{already_in_db}, 0, 'Got the expected 0 already_in_db from import_patrons for dates tests');
396 is(scalar @{$result_7->{errors}}, 1, 'Got the expected 1 error array size from import_patrons for dates tests');
397 is(scalar @{$result_7->{errors}->[0]->{missing_criticals}}, 3, 'Got the expected 3 missing critical errors from import_patrons for dates tests');
398
399 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{bad_date}, 1, 'Got the expected 1 bad_date error from import patrons for dates tests');
400 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{borrowernumber}, 'UNDEF', 'Got the expected undef borrower number error from import patrons for dates tests');
401 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{key}, 'dateofbirth', 'Got the expected dateofbirth key from import patrons for dates tests');
402 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{line}, 3, 'Got the expected 2 line number error from import patrons for dates tests');
403 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{lineraw}, $input_no_date."\r\n", 'Got the expected lineraw error from import patrons for dates tests');
404 is($result_7->{errors}->[0]->{missing_criticals}->[0]->{surname}, 'Ralph', 'Got the expected surname error from import patrons for dates tests');
405
406 is($result_7->{errors}->[0]->{missing_criticals}->[1]->{key}, 'dateenrolled', 'Got the expected dateenrolled key from import patrons for dates tests');
407 is($result_7->{errors}->[0]->{missing_criticals}->[2]->{key}, 'dateexpiry', 'Got the expected dateexpiry key from import patrons for dates tests');
408
409 is(scalar @{$result_7->{feedback}}, 2, 'Got the expected 2 feedback from import patrons for dates tests');
410 is($result_7->{feedback}->[0]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for dates tests');
411 is($result_7->{feedback}->[0]->{name}, 'headerrow', 'Got the expected header row name from import_patrons for dates tests');
412 is($result_7->{feedback}->[0]->{value}, $res_header, 'Got the expected header row value from import_patrons for dates tests');
413
414 is($result_7->{feedback}->[1]->{feedback}, 1, 'Got the expected 1 feedback from import_patrons for dates tests');
415 is($result_7->{feedback}->[1]->{name}, 'lastimported', 'Got the expected lastimported from import_patrons for dates tests');
416 like($result_7->{feedback}->[1]->{value}, qr/^Christina \/ \d+/, 'Got the expected lastimported value from import_patrons for dates tests');
417
418 is($result_7->{imported}, 1, 'Got the expected 1 imported result from import patrons for dates tests');
419 is($result_7->{invalid}, 1, 'Got the expected 1 invalid result from import patrons for dates tests');
420 is($result_7->{overwritten}, 0, 'Got the expected 0 overwritten result from import patrons for dates tests');
421
422 subtest 'test_import_without_cardnumber' => sub {
423     plan tests => 2;
424
425     #Remove possible existing user with a "" as cardnumber
426     my $blank_card = Koha::Patrons->find({ cardnumber => '' });
427     $blank_card->delete if $blank_card;
428
429     my $branchcode = $builder->build({ source => "Branch"})->{branchcode};
430     my $categorycode = $builder->build({ source => "Category"})->{categorycode};
431     my $csv_headers  = 'surname, branchcode, categorycode';
432     my $res_headers  = 'surname, branchcode, categorycode';
433     my $csv_nocard_1 = "Squarepants,$branchcode,$categorycode";
434     my $csv_nocard_2 = "Star,$branchcode,$categorycode";
435
436     my $filename_1 = make_csv($temp_dir, $csv_headers, $csv_nocard_1, $csv_nocard_2);
437     open(my $handle_1, "<", $filename_1) or die "cannot open < $filename_1: $!";
438     my $params_1 = { file => $handle_1, };
439
440     my $defaults = { cardnumber => "" }; #currently all the defaults come as "" if not filled
441
442     my $result = $patrons_import->import_patrons($params_1, $defaults);
443     like($result->{feedback}->[1]->{value}, qr/^Squarepants \/ \d+/, 'First borrower imported as expected');
444     like($result->{feedback}->[2]->{value}, qr/^Star \/ \d+/, 'Second borrower imported as expected');
445
446 };
447
448 subtest 'test_import_with_cardnumber_0' => sub {
449     plan tests => 2;
450
451     #Remove possible existing user with a "" as cardnumber
452     my $zero_card = Koha::Patrons->find({ cardnumber => 0 });
453     $zero_card->delete if $zero_card;
454
455     my $branchcode = $builder->build({ source => "Branch"})->{branchcode};
456     my $categorycode = $builder->build({ source => "Category"})->{categorycode};
457     my $csv_headers  = 'cardnumber,surname, branchcode, categorycode';
458     my $res_headers  = 'cardnumber,surname, branchcode, categorycode';
459     my $csv_nocard_1 = "0,Squarepants,$branchcode,$categorycode";
460
461     my $filename_1 = make_csv($temp_dir, $csv_headers, $csv_nocard_1);
462     open(my $handle_1, "<", $filename_1) or die "cannot open < $filename_1: $!";
463     my $params_1 = { file => $handle_1, };
464
465     my $defaults = { cardnumber => "" }; #currently all the defaults come as "" if not filled
466
467     my $result = $patrons_import->import_patrons($params_1, $defaults);
468     like($result->{feedback}->[1]->{value}, qr/^Squarepants \/ \d+/, 'First borrower imported as expected');
469     $zero_card = Koha::Patrons->find({ cardnumber => 0 });
470     is($zero_card->surname.$zero_card->branchcode.$zero_card->categorycode,'Squarepants'.$branchcode.$categorycode,"Patron with cardnumber 0 is the imported patron");
471
472 };
473
474 subtest 'Import patron with guarantor' => sub {
475     plan tests => 4;
476     t::lib::Mocks::mock_preference( 'borrowerRelationship', 'guarantor' );
477
478     my $category = $builder->build( { source => 'Category' } )->{categorycode};
479     my $branch = $builder->build( { source => 'Branch' } )->{branchcode};
480     my $guarantor = Koha::Patron->new(
481         {
482             surname      => 'Guarantor',
483             branchcode   => $branch,
484             categorycode => $category,
485         }
486     )->store();
487     my $guarantor_id = $guarantor->id;
488
489     my $branchcode = $builder->build( { source => "Branch" } )->{branchcode};
490     my $categorycode = $builder->build( { source => "Category" } )->{categorycode};
491     my $csv_headers = 'cardnumber,surname, branchcode, categorycode, guarantor_id, guarantor_relationship';
492     my $csv = "kylemhall,Hall,$branchcode,$categorycode,$guarantor_id,guarantor";
493
494     my $filename_1 = make_csv( $temp_dir, $csv_headers, $csv );
495     open( my $handle_1, "<", $filename_1 ) or die "cannot open < $filename_1: $!";
496     my $params_1 = { file => $handle_1, };
497
498     my $result = $patrons_import->import_patrons( $params_1 );
499     like( $result->{feedback}->[1]->{value}, qr/^Hall \/ \d+/, 'First borrower imported as expected' );
500     my $patron = Koha::Patrons->find( { cardnumber => 'kylemhall' } );
501     is( $patron->surname, "Hall", "Patron was created" );
502
503     my $r = Koha::Patron::Relationships->find( { guarantor_id => $guarantor_id } );
504     ok( $r, 'Found relationship' );
505     is( $r->guarantee->cardnumber, 'kylemhall', 'Found the correct guarantee' );
506 };
507
508 subtest 'test_import_with_password_overwrite' => sub {
509     plan tests => 8;
510
511     #Remove possible existing user to avoid clashes
512     my $ernest = Koha::Patrons->find({ userid => 'ErnestP' });
513     $ernest->delete if $ernest;
514
515     #Setup our info
516     my $branchcode = $builder->build({ source => "Branch"})->{branchcode};
517     my $categorycode = $builder->build({ source => "Category", value => { category_type => 'A'  } })->{categorycode};
518     my $staff_categorycode = $builder->build({ source => "Category", value => { category_type => 'S'  } })->{categorycode};
519     my $csv_headers  = 'surname,userid,branchcode,categorycode,password';
520     my $csv_password = "Worrell,ErnestP,$branchcode,$categorycode,Ernest11";
521     my $csv_password_change = "Worrell,ErnestP,$branchcode,$categorycode,Vern1234";
522     my $csv_blank_password = "Worel,ErnestP,$branchcode,$categorycode,";
523     my $defaults = { cardnumber => "" }; #currently all the defaults come as "" if not filled
524     my $csv_staff_password_change = "Worrell,ErnestP,$branchcode,$staff_categorycode,Vern1234";
525
526     #Make the test files for importing
527     my $filename_1 = make_csv($temp_dir, $csv_headers, $csv_password);
528     open(my $handle_1, "<", $filename_1) or die "cannot open < $filename_1: $!";
529     my $params_1 = { file => $handle_1, matchpoint => 'userid', overwrite_passwords => 1, overwrite_cardnumber => 1};
530     my $filename_2 = make_csv($temp_dir, $csv_headers, $csv_password_change);
531     open(my $handle_2, "<", $filename_2) or die "cannot open < $filename_2: $!";
532     my $params_2 = { file => $handle_2, matchpoint => 'userid', overwrite_passwords => 1, overwrite_cardnumber => 1};
533
534     my $filename_3 = make_csv($temp_dir, $csv_headers, $csv_blank_password);
535     open(my $handle_3, "<", $filename_3) or die "cannot open < $filename_3: $!";
536     my $params_3 = { file => $handle_3, matchpoint => 'userid', overwrite_passwords => 1, overwrite_cardnumber => 1};
537
538     my $filename_4 = make_csv($temp_dir, $csv_headers, $csv_staff_password_change);
539     open(my $handle_4, "<", $filename_4) or die "cannot open < $filename_4: $!";
540     my $params_4 = { file => $handle_4, matchpoint => 'userid', overwrite_passwords => 1, overwrite_cardnumber => 1};
541
542
543     my $result = $patrons_import->import_patrons($params_1, $defaults);
544     like($result->{feedback}->[1]->{value}, qr/^Worrell \/ \d+/, 'First borrower imported as expected');
545     $ernest = Koha::Patrons->find({ userid => 'ErnestP' });
546     isnt($ernest->password,'Ernest',"New patron is imported, password is encrypted");
547
548     #Save info to double check
549     my $orig_pass = $ernest->password;
550
551     $result = $patrons_import->import_patrons($params_2, $defaults);
552     $ernest = Koha::Patrons->find({ userid => 'ErnestP' });
553     isnt($ernest->password,$orig_pass,"New patron is overwritten, password is overwritten");
554     isnt($ernest->password,'Vern',"Password is overwritten and is encrypted from value provided");
555
556     #Save info to check not changed
557     $orig_pass = $ernest->password;
558
559     $result = $patrons_import->import_patrons($params_3, $defaults);
560     $ernest = Koha::Patrons->find({ userid => 'ErnestP' });
561     is($ernest->surname,'Worel',"Patron is overwritten, surname changed");
562     is($ernest->password,$orig_pass,"Patron was overwritten but password is not overwritten if blank");
563
564     $ernest->category($staff_categorycode);
565     $ernest->store;
566
567     $result = $patrons_import->import_patrons($params_4, $defaults);
568     $ernest = Koha::Patrons->find({ userid => 'ErnestP' });
569     is($ernest->surname,'Worrell',"Patron is overwritten, surname changed");
570     is($ernest->password,$orig_pass,"Patron is imported, password is not changed for staff");
571
572 };
573
574
575 subtest 'test_prepare_columns' => sub {
576     plan tests => 16;
577
578     # Given ... no header row
579     my %csvkeycol_0;
580     my @errors_0;
581
582     # When ...
583     my @csvcolumns_0 = $patrons_import->prepare_columns({headerrow => undef, keycol => \%csvkeycol_0, errors => \@errors_0, });
584
585     # Then ...
586     is(scalar @csvcolumns_0, 0, 'Got the expected empty column array from prepare columns with no header row');
587
588     is(scalar @errors_0, 1, 'Got the expected 1 entry in error array from prepare columns with no header row');
589     is($errors_0[0]->{badheader}, 1, 'Got the expected 1 badheader from prepare columns with no header row');
590     is($errors_0[0]->{line}, 1, 'Got the expected 1 line from prepare columns with no header row');
591     is($errors_0[0]->{lineraw}, undef, 'Got the expected undef lineraw from prepare columns with no header row');
592
593     # Given ... a good header row with plenty of whitespaces
594     my $headerrow_1 = 'a,    b ,        c,  ,   d';
595     my %csvkeycol_1;
596     my @errors_1;
597
598     # When ...
599     my @csvcolumns_1 = $patrons_import->prepare_columns({headerrow => $headerrow_1, keycol => \%csvkeycol_1, errors => \@errors_1, });
600
601     # Then ...
602     is(scalar @csvcolumns_1, 5, 'Got the expected 5 column array from prepare columns');
603     is($csvcolumns_1[0], 'a', 'Got the expected a header from prepare columns');
604     is($csvcolumns_1[1], 'b', 'Got the expected b header from prepare columns');
605     is($csvcolumns_1[2], 'c', 'Got the expected c header from prepare columns');
606     is($csvcolumns_1[3], '', 'Got the expected empty header from prepare columns');
607     is($csvcolumns_1[4], 'd', 'Got the expected d header from prepare columns');
608
609     is($csvkeycol_1{a}, 0, 'Got the expected 0 value for key a from prepare columns hash');
610     is($csvkeycol_1{b}, 1, 'Got the expected 1 value for key b from prepare columns hash');
611     is($csvkeycol_1{c}, 2, 'Got the expected 2 value for key c from prepare columns hash');
612     is($csvkeycol_1{''}, 3, 'Got the expected 3 value for empty string key from prepare columns hash');
613     is($csvkeycol_1{d}, 4, 'Got the expected 4 value for key d from prepare columns hash');
614 };
615
616 subtest 'test_set_column_keys' => sub {
617     plan tests => 5;
618
619     # Given ... nothing at all
620     # When ... Then ...
621     my $attr_type_0 = $patrons_import->set_attribute_types(undef);
622     is($attr_type_0, undef, 'Got the expected undef attribute type from set attribute types with nothing');
623
624     # Given ... extended but not matchpoint
625     my $params_1 = { extended => 1, matchpoint => undef, };
626
627     # When ... Then ...
628     my $attr_type_1 = $patrons_import->set_attribute_types($params_1);
629     is($attr_type_1, undef, 'Got the expected undef attribute type from set attribute types with no matchpoint');
630
631     # Given ... extended and unexpected matchpoint
632     my $params_2 = { extended => 1, matchpoint => 'unexpected', };
633
634     # When ... Then ...
635     my $attr_type_2 = $patrons_import->set_attribute_types($params_2);
636     is($attr_type_2, undef, 'Got the expected undef attribute type from set attribute types with unexpected matchpoint');
637
638     # Given ...
639     my $code_3   = 'SHOW_BCODE';
640     my $params_3 = { extended => 1, matchpoint => $code_3, };
641
642     # When ...
643     my $attr_type_3 = $patrons_import->set_attribute_types($params_3);
644
645     # Then ...
646     isa_ok($attr_type_3, 'Koha::Patron::Attribute::Type');
647     is($attr_type_3->code, $code_3, 'Got the expected code attribute type from set attribute types');
648 };
649
650 subtest 'test_set_column_keys' => sub {
651     plan tests => 2;
652
653     my @columns = Koha::Patrons->columns;
654     # Given ... nothing at all
655     # When ... Then ...
656     my @columnkeys_0 = $patrons_import->set_column_keys(undef);
657     # -1 because we do not want the borrowernumber column
658     # +2 for guarantor id and guarantor relationship
659     is(scalar @columnkeys_0, @columns - 1 + 2, 'Got the expected array size from set column keys with undef extended');
660
661     # Given ... extended.
662     my $extended = 1;
663
664     # When ... Then ...
665     my @columnkeys_1 = $patrons_import->set_column_keys($extended);
666     is(scalar @columnkeys_1, @columns - 1 + 2 + $extended, 'Got the expected array size from set column keys with extended');
667 };
668
669 subtest 'test_generate_patron_attributes' => sub {
670     plan tests => 13;
671
672     # Given ... nothing at all
673     # When ... Then ...
674     my $result_0 = $patrons_import->generate_patron_attributes(undef, undef, undef);
675     is($result_0, undef, 'Got the expected undef from set patron attributes with nothing');
676
677     # Given ... not extended.
678     my $extended_1 = 0;
679
680     # When ... Then ...
681     my $result_1 = $patrons_import->generate_patron_attributes($extended_1, undef, undef);
682     is($result_1, undef, 'Got the expected undef from set patron attributes with not extended');
683
684     # Given ... NO patrons attributes
685     my $extended_2          = 1;
686     my $patron_attributes_2 = undef;
687     my @feedback_2;
688
689     # When ...
690     my $result_2 = $patrons_import->generate_patron_attributes($extended_2, $patron_attributes_2, \@feedback_2);
691
692     # Then ...
693     is($result_2, undef, 'Got the expected undef from set patron attributes with no patrons attributes');
694     is(scalar @feedback_2, 0, 'Got the expected 0 size feedback array from set patron attributes with no patrons attributes');
695
696     # Given ... some patrons attributes
697     my $patron_attributes_3 = "homeroom:1150605,grade:01";
698     my @feedback_3;
699
700     # When ...
701     my $result_3 = $patrons_import->generate_patron_attributes($extended_2, $patron_attributes_3, \@feedback_3);
702
703     # Then ...
704     ok($result_3, 'Got some data back from set patron attributes');
705     is($result_3->[0]->{code}, 'grade', 'Got the expected first code from set patron attributes');
706     is($result_3->[0]->{attribute}, '01', 'Got the expected first value from set patron attributes');
707
708     is($result_3->[1]->{code}, 'homeroom', 'Got the expected second code from set patron attributes');
709     is($result_3->[1]->{attribute}, 1150605, 'Got the expected second value from set patron attributes');
710
711     is(scalar @feedback_3, 1, 'Got the expected 1 array size from set patron attributes with extended user');
712     is($feedback_3[0]->{feedback}, 1, 'Got the expected second feedback from set patron attributes with extended user');
713     is($feedback_3[0]->{name}, 'attribute string', 'Got the expected attribute string from set patron attributes with extended user');
714     is($feedback_3[0]->{value}, 'homeroom:1150605,grade:01', 'Got the expected feedback value from set patron attributes with extended user');
715 };
716
717 subtest 'test_check_branch_code' => sub {
718     plan tests => 11;
719
720     # Given ... no branch code.
721     my $borrowerline      = 'some, line';
722     my $line_number       = 78;
723     my @missing_criticals = ();
724
725     # When ...
726     $patrons_import->check_branch_code(undef, $borrowerline, $line_number, \@missing_criticals);
727
728     # Then ...
729     is(scalar @missing_criticals, 1, 'Got the expected missing critical array size of 1 from check_branch_code with no branch code');
730
731     is($missing_criticals[0]->{key}, 'branchcode', 'Got the expected branchcode key from check_branch_code with no branch code');
732     is($missing_criticals[0]->{line}, $line_number, 'Got the expected line number from check_branch_code with no branch code');
733     is($missing_criticals[0]->{lineraw}, $borrowerline, 'Got the expected lineraw value from check_branch_code with no branch code');
734
735     # Given ... unknown branch code
736     my $branchcode_1        = 'unexpected';
737     my $borrowerline_1      = 'some, line,'.$branchcode_1;
738     my $line_number_1       = 79;
739     my @missing_criticals_1 = ();
740
741     # When ...
742     $patrons_import->check_branch_code($branchcode_1, $borrowerline_1, $line_number_1, \@missing_criticals_1);
743
744     # Then ...
745     is(scalar @missing_criticals_1, 1, 'Got the expected missing critical array size of 1 from check_branch_code with unexpected branch code');
746
747     is($missing_criticals_1[0]->{branch_map}, 1, 'Got the expected 1 branch_map from check_branch_code with unexpected branch code');
748     is($missing_criticals_1[0]->{key}, 'branchcode', 'Got the expected branchcode key from check_branch_code with unexpected branch code');
749     is($missing_criticals_1[0]->{line}, $line_number_1, 'Got the expected line number from check_branch_code with unexpected branch code');
750     is($missing_criticals_1[0]->{lineraw}, $borrowerline_1, 'Got the expected lineraw value from check_branch_code with unexpected branch code');
751     is($missing_criticals_1[0]->{value}, $branchcode_1, 'Got the expected value from check_branch_code with unexpected branch code');
752
753     # Given ... a known branch code. Relies on database sample data
754     my $branchcode_2        = 'FFL';
755     my $borrowerline_2      = 'some, line,'.$branchcode_2;
756     my $line_number_2       = 80;
757     my @missing_criticals_2 = ();
758
759     # When ...
760     $patrons_import->check_branch_code($branchcode_2, $borrowerline_2, $line_number_2, \@missing_criticals_2);
761
762     # Then ...
763     is(scalar @missing_criticals_2, 0, 'Got the expected missing critical array size of 0 from check_branch_code');
764 };
765
766 subtest 'test_check_borrower_category' => sub {
767     plan tests => 11;
768
769     # Given ... no category code.
770     my $borrowerline      = 'some, line';
771     my $line_number       = 781;
772     my @missing_criticals = ();
773
774     # When ...
775     $patrons_import->check_borrower_category(undef, $borrowerline, $line_number, \@missing_criticals);
776
777     # Then ...
778     is(scalar @missing_criticals, 1, 'Got the expected missing critical array size of 1 from check_branch_code with no category code');
779
780     is($missing_criticals[0]->{key}, 'categorycode', 'Got the expected categorycode key from check_branch_code with no category code');
781     is($missing_criticals[0]->{line}, $line_number, 'Got the expected line number from check_branch_code with no category code');
782     is($missing_criticals[0]->{lineraw}, $borrowerline, 'Got the expected lineraw value from check_branch_code with no category code');
783
784     # Given ... unknown category code
785     my $categorycode_1      = 'unexpected';
786     my $borrowerline_1      = 'some, line, line, '.$categorycode_1;
787     my $line_number_1       = 791;
788     my @missing_criticals_1 = ();
789
790     # When ...
791     $patrons_import->check_borrower_category($categorycode_1, $borrowerline_1, $line_number_1, \@missing_criticals_1);
792
793     # Then ...
794     is(scalar @missing_criticals_1, 1, 'Got the expected missing critical array size of 1 from check_branch_code with unexpected category code');
795
796     is($missing_criticals_1[0]->{category_map}, 1, 'Got the expected 1 category_map from check_branch_code with unexpected category code');
797     is($missing_criticals_1[0]->{key}, 'categorycode', 'Got the expected branchcode key from check_branch_code with unexpected category code');
798     is($missing_criticals_1[0]->{line}, $line_number_1, 'Got the expected line number from check_branch_code with unexpected category code');
799     is($missing_criticals_1[0]->{lineraw}, $borrowerline_1, 'Got the expected lineraw value from check_branch_code with unexpected category code');
800     is($missing_criticals_1[0]->{value}, $categorycode_1, 'Got the expected value from check_branch_code with unexpected category code');
801
802     # Given ... a known category code. Relies on database sample data.
803     my $categorycode_2      = 'T';
804     my $borrowerline_2      = 'some, line,'.$categorycode_2;
805     my $line_number_2       = 801;
806     my @missing_criticals_2 = ();
807
808     # When ...
809     $patrons_import->check_borrower_category($categorycode_2, $borrowerline_2, $line_number_2, \@missing_criticals_2);
810
811     # Then ...
812     is(scalar @missing_criticals_2, 0, 'Got the expected missing critical array size of 0 from check_branch_code');
813 };
814
815 subtest 'test_format_dates' => sub {
816     plan tests => 22;
817
818     # Given ... no borrower data.
819     my $borrowerline      = 'another line';
820     my $line_number       = 987;
821     my @missing_criticals = ();
822     my %borrower;
823     my $params = {borrower => \%borrower, lineraw => $borrowerline, line => $line_number, missing_criticals => \@missing_criticals, };
824
825     # When ...
826     $patrons_import->format_dates($params);
827
828     # Then ...
829     ok( not(%borrower), 'Got the expected no borrower from format_dates with no dates');
830     is(scalar @missing_criticals, 0, 'Got the expected missing critical array size of 0 from format_dates with no dates');
831
832     # Given ... some good dates
833     my @missing_criticals_1 = ();
834     my $dateofbirth_1  = '2016-05-03';
835     my $dateenrolled_1 = '2016-05-04';
836     my $dateexpiry_1   = '2016-05-06';
837     my $borrower_1     = { dateofbirth => $dateofbirth_1, dateenrolled => $dateenrolled_1, dateexpiry => $dateexpiry_1, };
838     my $params_1       = {borrower => $borrower_1, lineraw => $borrowerline, line => $line_number, missing_criticals => \@missing_criticals_1, };
839
840     # When ...
841     $patrons_import->format_dates($params_1);
842
843     # Then ...
844     is($borrower_1->{dateofbirth}, $dateofbirth_1, 'Got the expected date of birth from format_dates with good dates');
845     is($borrower_1->{dateenrolled}, $dateenrolled_1, 'Got the expected date of birth from format_dates with good dates');
846     is($borrower_1->{dateexpiry}, $dateexpiry_1, 'Got the expected date of birth from format_dates with good dates');
847     is(scalar @missing_criticals_1, 0, 'Got the expected missing critical array size of 0 from check_branch_code with good dates');
848
849     # Given ... some very bad dates
850     my @missing_criticals_2 = ();
851     my $dateofbirth_2  = '03-2016-05';
852     my $dateenrolled_2 = '04-2016-05';
853     my $dateexpiry_2   = '06-2016-05';
854     my $borrower_2     = { dateofbirth => $dateofbirth_2, dateenrolled => $dateenrolled_2, dateexpiry => $dateexpiry_2, };
855     my $params_2       = {borrower => $borrower_2, lineraw => $borrowerline, line => $line_number, missing_criticals => \@missing_criticals_2, };
856
857     # When ...
858     $patrons_import->format_dates($params_2);
859
860     # Then ...
861     is($borrower_2->{dateofbirth}, '', 'Got the expected empty date of birth from format_dates with bad dates');
862     is($borrower_2->{dateenrolled}, '', 'Got the expected emptydate of birth from format_dates with bad dates');
863     is($borrower_2->{dateexpiry}, '', 'Got the expected empty date of birth from format_dates with bad dates');
864
865     is(scalar @missing_criticals_2, 3, 'Got the expected missing critical array size of 3 from check_branch_code with bad dates');
866     is($missing_criticals_2[0]->{bad_date}, 1, 'Got the expected first bad date flag from check_branch_code with bad dates');
867     is($missing_criticals_2[0]->{key}, 'dateofbirth', 'Got the expected dateofbirth key from check_branch_code with bad dates');
868     is($missing_criticals_2[0]->{line}, $line_number, 'Got the expected first line from check_branch_code with bad dates');
869     is($missing_criticals_2[0]->{lineraw}, $borrowerline, 'Got the expected first lineraw from check_branch_code with bad dates');
870
871     is($missing_criticals_2[1]->{bad_date}, 1, 'Got the expected second bad date flag from check_branch_code with bad dates');
872     is($missing_criticals_2[1]->{key}, 'dateenrolled', 'Got the expected dateenrolled key from check_branch_code with bad dates');
873     is($missing_criticals_2[1]->{line}, $line_number, 'Got the expected second line from check_branch_code with bad dates');
874     is($missing_criticals_2[1]->{lineraw}, $borrowerline, 'Got the expected second lineraw from check_branch_code with bad dates');
875
876     is($missing_criticals_2[2]->{bad_date}, 1, 'Got the expected third bad date flag from check_branch_code with bad dates');
877     is($missing_criticals_2[2]->{key}, 'dateexpiry', 'Got the expected dateexpiry key from check_branch_code with bad dates');
878     is($missing_criticals_2[2]->{line}, $line_number, 'Got the expected third line from check_branch_code with bad dates');
879     is($missing_criticals_2[2]->{lineraw}, $borrowerline, 'Got the expected third lineraw from check_branch_code with bad dates');
880 };
881
882 subtest 'patron_attributes' => sub {
883
884     plan tests => 17;
885
886     t::lib::Mocks::mock_preference('ExtendedPatronAttributes', 1);
887
888     my $unique_attribute_type = $builder->build_object(
889         {
890             class => 'Koha::Patron::Attribute::Types',
891             value => { unique_id=> 1, repeatable => 0 }
892         }
893     );
894     my $repeatable_attribute_type = $builder->build_object(
895         {
896             class => 'Koha::Patron::Attribute::Types',
897             value => { unique_id => 0, repeatable => 1 }
898         }
899     );
900     my $normal_attribute_type = $builder->build_object(
901         {
902             class => 'Koha::Patron::Attribute::Types',
903             value => { unique_id => 0, repeatable => 0 }
904         }
905     );
906     my $non_existent_attribute_type = $builder->build_object(
907         {
908             class => 'Koha::Patron::Attribute::Types',
909         }
910     );
911     my $non_existent_attribute_type_code = $non_existent_attribute_type->code;
912     $non_existent_attribute_type->delete;
913
914     our $cardnumber = "1042";
915
916     # attributes is { code => \@attributes }
917     sub build_csv {
918         my ($attributes) = @_;
919
920         my $csv_headers = 'cardnumber,surname,firstname,branchcode,categorycode,patron_attributes';
921         my @attributes_str = map { my $code = $_; map {  sprintf "%s:%s", $code, $_ } @{ $attributes->{$code} } } keys %$attributes;
922         my $attributes_str = join ',', @attributes_str;
923         my $csv_line = sprintf '%s,John,D,MPL,PT,"%s"', $cardnumber, $attributes_str;
924         my $filename = make_csv( $temp_dir, $csv_headers, $csv_line );
925         open( my $fh, "<:encoding(utf8)", $filename ) or die "cannot open $filename: $!";
926         return $fh;
927     }
928
929     { # Everything good, we create a patron with 3 attributes
930         my $attributes = {
931             $unique_attribute_type->code => ['my unique attribute 1'],
932             $repeatable_attribute_type->code => [ 'my repeatable attribute 1', 'my repeatable attribute 2' ],
933             $normal_attribute_type->code => ['my normal attribute 1'],
934         };
935         my $fh = build_csv({ %$attributes });
936         my $result = $patrons_import->import_patrons({file => $fh});
937
938         is( $result->{imported}, 1 );
939
940         my $patron = Koha::Patrons->find({cardnumber => $cardnumber});
941         compare_patron_attributes($patron->extended_attributes->unblessed, { %$attributes } );
942         $patron->delete;
943     }
944
945     { # UniqueIDConstraint
946         $builder->build_object(
947             {
948                 class => 'Koha::Patron::Attributes',
949                 value => { code => $unique_attribute_type->code, attribute => 'unique' }
950             }
951         );
952
953         my $attributes = {
954             $unique_attribute_type->code => ['unique'],
955             $normal_attribute_type->code => ['my normal attribute 1']
956         };
957         my $fh = build_csv({ %$attributes });
958
959         my $result = $patrons_import->import_patrons({file => $fh, matchpoint => 'cardnumber'});
960         my $error = $result->{errors}->[0];
961         is( $error->{patron_attribute_unique_id_constraint}, 1 );
962         is( $error->{patron_id}, $cardnumber );
963         is( $error->{attribute}->code, $unique_attribute_type->code );
964
965         my $patron = Koha::Patrons->find({cardnumber => $cardnumber});
966         is( $patron, undef, 'Patron is not created' );
967     }
968
969     { #InvalidType
970         my $attributes = {
971             $non_existent_attribute_type_code => ['my non-existent attribute'],
972             $normal_attribute_type->code      => ['my attribute 1'],
973         };
974         my $fh = build_csv({ %$attributes });
975
976         my $result = $patrons_import->import_patrons({file => $fh, matchpoint => 'cardnumber'});
977         is( $result->{imported}, 0 );
978
979         my $error = $result->{errors}->[0];
980         is( $error->{patron_attribute_invalid_type}, 1 );
981         is( $error->{patron_id}, $cardnumber );
982         is( $error->{attribute_type_code}, $non_existent_attribute_type_code );
983
984         my $patron = Koha::Patrons->find({cardnumber => $cardnumber});
985         is( $patron, undef );
986
987     }
988
989     { # NonRepeatable
990         my $attributes = {
991                 $repeatable_attribute_type->code => ['my repeatable attribute 1', 'my repeatable attribute 2'],
992                 $normal_attribute_type->code     => ['my normal attribute 1', 'my normal attribute 2'],
993             };
994         my $fh = build_csv({ %$attributes });
995         my $result = $patrons_import->import_patrons({file => $fh, matchpoint => 'cardnumber'});
996         is( $result->{imported}, 0 );
997
998         my $error = $result->{errors}->[0];
999         is( $error->{patron_attribute_non_repeatable}, 1 );
1000         is( $error->{patron_id}, $cardnumber );
1001         is( $error->{attribute}->code, $normal_attribute_type->code );
1002
1003         my $patron = Koha::Patrons->find({cardnumber => $cardnumber});
1004         is( $patron, undef );
1005     }
1006
1007     subtest 'update existing patron' => sub {
1008         plan tests => 19;
1009
1010         my $patron = $builder->build_object(
1011             {
1012                 class => 'Koha::Patrons',
1013                 value => { cardnumber => $cardnumber }
1014             }
1015         );
1016
1017         my $attributes = {
1018             $unique_attribute_type->code => ['my unique attribute 1'],
1019             $repeatable_attribute_type->code => [ 'my repeatable attribute 1', 'my repeatable attribute 2' ],
1020             $normal_attribute_type->code => ['my normal attribute 1'],
1021         };
1022         my $fh = build_csv({ %$attributes });
1023         my $result = $patrons_import->import_patrons(
1024             {
1025                 file                         => $fh,
1026                 matchpoint                   => 'cardnumber',
1027                 overwrite_cardnumber         => 1,
1028                 preserve_extended_attributes => 1
1029             }
1030         );
1031
1032         is( $result->{overwritten}, 1 );
1033
1034         compare_patron_attributes($patron->extended_attributes->unblessed, { %$attributes } );
1035
1036         # Adding a new non-repeatable attribute
1037         my $new_attributes = {
1038             $normal_attribute_type->code => ['my normal attribute 2'],
1039         };
1040         $fh = build_csv({ %$new_attributes });
1041         $result = $patrons_import->import_patrons(
1042             {
1043                 file                         => $fh,
1044                 matchpoint                   => 'cardnumber',
1045                 overwrite_cardnumber         => 1,
1046                 preserve_extended_attributes => 1
1047             }
1048         );
1049
1050         is( $result->{overwritten}, 1 );
1051
1052         # The normal_attribute_type has been replaced with 'my normal attribute 2'
1053         compare_patron_attributes($patron->extended_attributes->unblessed, { %$attributes, %$new_attributes } );
1054
1055         # UniqueIDConstraint
1056         $patron->extended_attributes->delete; # reset
1057         $builder->build_object(
1058             {
1059                 class => 'Koha::Patron::Attributes',
1060                 value => { code => $unique_attribute_type->code, attribute => 'unique' }
1061             }
1062         );
1063         $attributes = {
1064             $unique_attribute_type->code => ['unique'],
1065             $repeatable_attribute_type->code => [ 'my repeatable attribute 1', 'my repeatable attribute 2' ],
1066             $normal_attribute_type->code => ['my normal attribute 1'],
1067         };
1068         $fh = build_csv({ %$attributes });
1069         $result = $patrons_import->import_patrons(
1070             {
1071                 file                         => $fh,
1072                 matchpoint                   => 'cardnumber',
1073                 overwrite_cardnumber         => 1,
1074                 preserve_extended_attributes => 1
1075             }
1076         );
1077
1078         is( $result->{overwritten}, 0 );
1079         my $error = $result->{errors}->[0];
1080         is( $error->{patron_attribute_unique_id_constraint}, 1 );
1081         is( $error->{borrowernumber}, $patron->borrowernumber );
1082         is( $error->{attribute}->code, $unique_attribute_type->code );
1083
1084         compare_patron_attributes($patron->extended_attributes->unblessed, {},  );
1085
1086
1087         #InvalidType
1088         $attributes = {
1089             $non_existent_attribute_type_code => ['my non-existent attribute'],
1090             $normal_attribute_type->code      => ['my attribute 1'],
1091         };
1092         $fh = build_csv({ %$attributes });
1093
1094         $result = $patrons_import->import_patrons(
1095             {
1096                 file                         => $fh,
1097                 matchpoint                   => 'cardnumber',
1098                 overwrite_cardnumber         => 1,
1099                 preserve_extended_attributes => 1
1100             }
1101         );
1102         is( $result->{overwritten}, 0 );
1103
1104         $error = $result->{errors}->[0];
1105         is( $error->{patron_attribute_invalid_type}, 1 );
1106         is( $error->{borrowernumber}, $patron->borrowernumber );
1107         is( $error->{attribute_type_code}, $non_existent_attribute_type_code );
1108
1109         # NonRepeatable
1110         $attributes = {
1111                 $repeatable_attribute_type->code => ['my repeatable attribute 1', 'my repeatable attribute 2'],
1112                 $normal_attribute_type->code     => ['my normal attribute 1', 'my normal attribute 2'],
1113             };
1114         $fh = build_csv({ %$attributes });
1115         $result = $patrons_import->import_patrons(
1116             {
1117                 file                         => $fh,
1118                 matchpoint                   => 'cardnumber',
1119                 overwrite_cardnumber         => 1,
1120                 preserve_extended_attributes => 1
1121             }
1122         );
1123         is( $result->{overwritten}, 0 );
1124
1125         $error = $result->{errors}->[0];
1126         is( $error->{patron_attribute_non_repeatable}, 1 );
1127         is( $error->{borrowernumber}, $patron->borrowernumber );
1128         is( $error->{attribute}->code, $normal_attribute_type->code );
1129
1130         # Don't preserve existing attributes
1131         $attributes = {
1132                 $repeatable_attribute_type->code => ['my repeatable attribute 3', 'my repeatable attribute 4'],
1133                 $normal_attribute_type->code     => ['my normal attribute 1'],
1134             };
1135         $fh = build_csv({ %$attributes });
1136         $result = $patrons_import->import_patrons(
1137             {
1138                 file                         => $fh,
1139                 matchpoint                   => 'cardnumber',
1140                 overwrite_cardnumber         => 1,
1141                 preserve_extended_attributes => 1
1142             }
1143         );
1144         is( $result->{overwritten}, 1 );
1145
1146         compare_patron_attributes($patron->extended_attributes->unblessed, { %$attributes } );
1147
1148     };
1149
1150 };
1151
1152 subtest 'welcome_email' => sub {
1153
1154     plan tests => 3;
1155
1156     #Setup our info
1157     my $branchcode = $builder->build({ source => "Branch"})->{branchcode};
1158     my $categorycode = $builder->build({ source => "Category", value => { category_type => 'A'  } })->{categorycode};
1159     my $staff_categorycode = $builder->build({ source => "Category", value => { category_type => 'S'  } })->{categorycode};
1160     my $csv_headers  = 'surname,userid,branchcode,categorycode,password,email';
1161     my $csv_new      = "Spagobi,EldridgeS,$branchcode,$categorycode,H4ckR".',me@myemail.com';
1162     my $defaults = { cardnumber => "" }; #currently all the defaults come as "" if not filled
1163
1164     #Make the test files for importing
1165     my $filename_1 = make_csv($temp_dir, $csv_headers, $csv_new);
1166     open(my $handle_1, "<", $filename_1) or die "cannot open < $filename_1: $!";
1167
1168     my $params_1 = { file => $handle_1, matchpoint => 'userid', overwrite_passwords => 1, overwrite_cardnumber => 1, send_welcome => 1};
1169
1170     my $result = $patrons_import->import_patrons($params_1, $defaults);
1171     is($result->{already_in_db}, 0, 'New borrower imported as expected');
1172     is($result->{feedback}->[3]->{name}, 'welcome_sent', 'Email send reported');
1173     my $eldridge = Koha::Patrons->find({ userid => 'EldridgeS'});
1174     my $notices = Koha::Notice::Messages->search({ borrowernumber => $eldridge->borrowernumber });
1175     is($notices->count, 1, 'Notice was queued');
1176 };
1177
1178 # got is { code => $code, attribute => $attribute }
1179 # expected is { $code => \@attributes }
1180 sub compare_patron_attributes {
1181     my ( $got, $expected ) = @_;
1182
1183     $got = [ map { { code => $_->{code}, attribute => $_->{attribute} } } @$got ];
1184     $expected = [
1185         map {
1186             my $code = $_;
1187             map { { code => $code, attribute => $_ } } @{ $expected->{$code} }
1188           } keys %$expected
1189     ];
1190     for my $v ( $got, $expected ) {
1191         $v = [
1192             sort {
1193                 $a->{code} cmp $b->{code} || $a->{attribute} cmp $b->{attribute}
1194             } @$v
1195         ];
1196     }
1197     is_deeply($got, $expected);
1198 }
1199
1200 # ###### Test utility ###########
1201 sub make_csv {
1202     my ($temp_dir, @lines) = @_;
1203
1204     my ($fh, $filename) = tempfile( DIR => $temp_dir) or die $!;
1205     print $fh $_."\r\n" foreach @lines;
1206     close $fh or die $!;
1207
1208     return $filename;
1209 }
1210
1211 1;