diff --git a/plugins/FeedsCSVParser.inc b/plugins/FeedsCSVParser.inc
index 337dd6834b54fc87b9c8ec270f503afaf64b4378..5521c4835a6d94b02afa3820e5605f47cdd78c2d 100644
--- a/plugins/FeedsCSVParser.inc
+++ b/plugins/FeedsCSVParser.inc
@@ -141,6 +141,8 @@ class FeedsCSVParser extends FeedsParser {
',' => ',',
';' => ';',
'TAB' => 'TAB',
+ '|' => '|',
+ '+' => '+',
),
'#default_value' => isset($source_config['delimiter']) ? $source_config['delimiter'] : ',',
);
@@ -176,6 +178,8 @@ class FeedsCSVParser extends FeedsParser {
',' => ',',
';' => ';',
'TAB' => 'TAB',
+ '|' => '|',
+ '+' => '+',
),
'#default_value' => $this->config['delimiter'],
);
diff --git a/tests/feeds/nodes_comma.csv b/tests/feeds/nodes_comma.csv
new file mode 100644
index 0000000000000000000000000000000000000000..8b1b46d8dc558f9eba957f73bd7bbb262ad909f8
--- /dev/null
+++ b/tests/feeds/nodes_comma.csv
@@ -0,0 +1,10 @@
+Title,Body,published,GUID
+"Ut wisi enim ad minim veniam", "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat.",205200720,2
+"Duis autem vel eum iriure dolor", "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi.",428112720,3
+"Nam liber tempor", "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum.",1151766000,1
+Typi non habent"", "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem.",1256326995,4
+"Lorem ipsum","Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat.",1251936720,1
+"Investigationes demonstraverunt", "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius.",946702800,5
+"Claritas est etiam", "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum.",438112720,6
+"Mirum est notare", "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima.",1151066000,7
+"Eodem modo typi", "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum.",1201936720,8
\ No newline at end of file
diff --git a/tests/feeds/nodes_pipe.csv b/tests/feeds/nodes_pipe.csv
new file mode 100644
index 0000000000000000000000000000000000000000..bd2346d67b59e29c3f88799a9756b1a19f9da68e
--- /dev/null
+++ b/tests/feeds/nodes_pipe.csv
@@ -0,0 +1,10 @@
+Title|Body|published|GUID
+"Ut wisi enim ad minim veniam"| "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat."|205200720|2
+"Duis autem vel eum iriure dolor"| "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi."|428112720|3
+"Nam liber tempor"| "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum."|1151766000|1
+Typi non habent""| "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem."|1256326995|4
+"Lorem ipsum"|"Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat."|1251936720|1
+"Investigationes demonstraverunt"| "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius."|946702800|5
+"Claritas est etiam"| "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum."|438112720|6
+"Mirum est notare"| "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima."|1151066000|7
+"Eodem modo typi"| "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum."|1201936720|8
\ No newline at end of file
diff --git a/tests/feeds/nodes_plus.csv b/tests/feeds/nodes_plus.csv
new file mode 100644
index 0000000000000000000000000000000000000000..fd1e3adb45b1de175a094ff5779d537b4ad11c9e
--- /dev/null
+++ b/tests/feeds/nodes_plus.csv
@@ -0,0 +1,10 @@
+Title+Body+published+GUID
+"Ut wisi enim ad minim veniam"+ "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat."+205200720+2
+"Duis autem vel eum iriure dolor"+ "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi."+428112720+3
+"Nam liber tempor"+ "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum."+1151766000+1
+Typi non habent""+ "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem."+1256326995+4
+"Lorem ipsum"+"Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat."+1251936720+1
+"Investigationes demonstraverunt"+ "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius."+946702800+5
+"Claritas est etiam"+ "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum."+438112720+6
+"Mirum est notare"+ "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima."+1151066000+7
+"Eodem modo typi"+ "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum."+1201936720+8
\ No newline at end of file
diff --git a/tests/feeds/nodes_semicolon.csv b/tests/feeds/nodes_semicolon.csv
new file mode 100644
index 0000000000000000000000000000000000000000..0d03dd2003ebd3e5b023e4e793913e467c11740b
--- /dev/null
+++ b/tests/feeds/nodes_semicolon.csv
@@ -0,0 +1,10 @@
+Title;Body;published;GUID
+"Ut wisi enim ad minim veniam"; "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat.";205200720;2
+"Duis autem vel eum iriure dolor"; "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi.";428112720;3
+"Nam liber tempor"; "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum.";1151766000;1
+Typi non habent""; "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem.";1256326995;4
+"Lorem ipsum";"Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat.";1251936720;1
+"Investigationes demonstraverunt"; "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius.";946702800;5
+"Claritas est etiam"; "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum.";438112720;6
+"Mirum est notare"; "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima.";1151066000;7
+"Eodem modo typi"; "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum.";1201936720;8
\ No newline at end of file
diff --git a/tests/feeds/nodes_tab.csv b/tests/feeds/nodes_tab.csv
new file mode 100644
index 0000000000000000000000000000000000000000..a7e31a36d7d3849656e204abd73a802c9695bd9b
--- /dev/null
+++ b/tests/feeds/nodes_tab.csv
@@ -0,0 +1,10 @@
+Title Body published GUID
+"Ut wisi enim ad minim veniam" "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat." 205200720 2
+"Duis autem vel eum iriure dolor" "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi." 428112720 3
+"Nam liber tempor" "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum." 1151766000 1
+Typi non habent"" "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem." 1256326995 4
+"Lorem ipsum" "Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat." 1251936720 1
+"Investigationes demonstraverunt" "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius." 946702800 5
+"Claritas est etiam" "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum." 438112720 6
+"Mirum est notare" "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima." 1151066000 7
+"Eodem modo typi" "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum." 1201936720 8
\ No newline at end of file
diff --git a/tests/parser_csv.test b/tests/parser_csv.test
index 6c8adfbf37492bf881efd229238b990049d17c28..2905b39834ccea0741a49b976b39ac80de0f5627 100644
--- a/tests/parser_csv.test
+++ b/tests/parser_csv.test
@@ -38,42 +38,50 @@ class ParserCSVTest extends DrupalWebTestCase {
* Simple test of parsing functionality.
*/
protected function _testSimple() {
- $file = $this->absolutePath() . '/tests/feeds/nodes.csv';
+ // Pull in the $control_result array.
include $this->absolutePath() . '/tests/feeds/nodes.csv.php';
- $iterator = new ParserCSVIterator($file);
- $parser = new ParserCSV();
- $parser->setDelimiter(',');
- $rows = $parser->parse($iterator);
- $this->assertFalse($parser->lastLinePos(), t('Parser reports all lines parsed'));
- $this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Parsed result matches control result.'));
+ $delimiters = $this->getDelimiters();
+ foreach($delimiters as $delimiterType => $delimiter) {
+ $file = $this->absolutePath() . '/tests/feeds/nodes_' . $delimiterType . '.csv';
+ $iterator = new ParserCSVIterator($file);
+ $parser = new ParserCSV();
+ $parser->setDelimiter($delimiter);
+ $rows = $parser->parse($iterator);
+ $this->assertFalse($parser->lastLinePos(), t('CSV reports all lines parsed, with delimiter: ') . $delimiterType);
+ $this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Parsed result matches control result.'));
+ }
}
/**
* Test batching.
*/
protected function _testBatching() {
- $file = $this->absolutePath() . '/tests/feeds/nodes.csv';
+ // Pull in the $control_result array
include $this->absolutePath() . '/tests/feeds/nodes.csv.php';
- // Set up parser with 2 lines to parse per call.
- $iterator = new ParserCSVIterator($file);
- $parser = new ParserCSV();
- $parser->setDelimiter(',');
- $parser->setLineLimit(2);
- $rows = array();
- $pos = 0;
+ $delimiters = $this->getDelimiters();
+ foreach($delimiters as $delimiterType => $delimiter) {
+ $file = $this->absolutePath() . '/tests/feeds/nodes_' . $delimiterType . '.csv';
+ // Set up parser with 2 lines to parse per call.
+ $iterator = new ParserCSVIterator($file);
+ $parser = new ParserCSV();
+ $parser->setDelimiter($delimiter);
+ $parser->setLineLimit(2);
+ $rows = array();
+ $pos = 0;
- // Call parser until all lines are parsed, then compare to control result.
- do {
- $parser->setStartByte($pos);
- $rows = array_merge($rows, $parser->parse($iterator));
- $pos = $parser->lastLinePos();
- $this->assertTrue($parser->lastLinePos() || count($rows) == 10, t('Parser reports line limit correctly'));
- }
- while ($pos = $parser->lastLinePos());
+ // Call parser until all lines are parsed, then compare to control result.
+ do {
+ $parser->setStartByte($pos);
+ $rows = array_merge($rows, $parser->parse($iterator));
+ $pos = $parser->lastLinePos();
+ $this->assertTrue($parser->lastLinePos() || count($rows) == 10, t('Parser reports line limit correctly'));
+ }
+ while ($pos = $parser->lastLinePos());
- $this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Parsed result matches control result.'));
+ $this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Batch parsed result matches control result for delimiter: ') . $delimiterType);
+ }
}
/**
@@ -82,4 +90,14 @@ class ParserCSVTest extends DrupalWebTestCase {
public function absolutePath() {
return DRUPAL_ROOT . '/' . drupal_get_path('module', 'feeds');
}
+
+ static function getDelimiters() {
+ return array(
+ 'comma' => ',',
+ 'pipe' => '|',
+ 'semicolon' => ';',
+ 'plus' => '+',
+ 'tab' => "\t",
+ );
+ }
}