Skip to content
Snippets Groups Projects
Commit 5f113600 authored by Mile23's avatar Mile23 Committed by Chris Leppanen
Browse files

Issue #1165506 by Mile23 | 7wonders: Added pipe delimiter to csv parser.

parent 4634a6df
No related branches found
No related tags found
No related merge requests found
Hide whitespace changes
Inline Side-by-side
plugins/FeedsCSVParser.inc
+ 4
− 0
View file @ 5f113600
...@@ -141,6 +141,8 @@ class FeedsCSVParser extends FeedsParser { ...@@ -141,6 +141,8 @@ class FeedsCSVParser extends FeedsParser {
',' => ',', ',' => ',',
';' => ';', ';' => ';',
'TAB' => 'TAB', 'TAB' => 'TAB',
'|' => '|',
'+' => '+',
), ),
'#default_value' => isset($source_config['delimiter']) ? $source_config['delimiter'] : ',', '#default_value' => isset($source_config['delimiter']) ? $source_config['delimiter'] : ',',
); );
...@@ -176,6 +178,8 @@ class FeedsCSVParser extends FeedsParser { ...@@ -176,6 +178,8 @@ class FeedsCSVParser extends FeedsParser {
',' => ',', ',' => ',',
';' => ';', ';' => ';',
'TAB' => 'TAB', 'TAB' => 'TAB',
'|' => '|',
'+' => '+',
), ),
'#default_value' => $this->config['delimiter'], '#default_value' => $this->config['delimiter'],
); );
......
tests/feeds/nodes_comma.csv 0 → 100644
+ 10
− 0
View file @ 5f113600
Title,Body,published,GUID
"Ut wisi enim ad minim veniam", "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat.",205200720,2
"Duis autem vel eum iriure dolor", "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi.",428112720,3
"Nam liber tempor", "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum.",1151766000,1
Typi non habent"", "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem.",1256326995,4
"Lorem ipsum","Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat.",1251936720,1
"Investigationes demonstraverunt", "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius.",946702800,5
"Claritas est etiam", "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum.",438112720,6
"Mirum est notare", "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima.",1151066000,7
"Eodem modo typi", "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum.",1201936720,8
\ No newline at end of file
tests/feeds/nodes_pipe.csv 0 → 100644
+ 10
− 0
View file @ 5f113600
Title|Body|published|GUID
"Ut wisi enim ad minim veniam"| "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat."|205200720|2
"Duis autem vel eum iriure dolor"| "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi."|428112720|3
"Nam liber tempor"| "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum."|1151766000|1
Typi non habent""| "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem."|1256326995|4
"Lorem ipsum"|"Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat."|1251936720|1
"Investigationes demonstraverunt"| "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius."|946702800|5
"Claritas est etiam"| "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum."|438112720|6
"Mirum est notare"| "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima."|1151066000|7
"Eodem modo typi"| "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum."|1201936720|8
\ No newline at end of file
tests/feeds/nodes_plus.csv 0 → 100644
+ 10
− 0
View file @ 5f113600
Title+Body+published+GUID
"Ut wisi enim ad minim veniam"+ "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat."+205200720+2
"Duis autem vel eum iriure dolor"+ "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi."+428112720+3
"Nam liber tempor"+ "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum."+1151766000+1
Typi non habent""+ "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem."+1256326995+4
"Lorem ipsum"+"Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat."+1251936720+1
"Investigationes demonstraverunt"+ "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius."+946702800+5
"Claritas est etiam"+ "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum."+438112720+6
"Mirum est notare"+ "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima."+1151066000+7
"Eodem modo typi"+ "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum."+1201936720+8
\ No newline at end of file
tests/feeds/nodes_semicolon.csv 0 → 100644
+ 10
− 0
View file @ 5f113600
Title;Body;published;GUID
"Ut wisi enim ad minim veniam"; "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat.";205200720;2
"Duis autem vel eum iriure dolor"; "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi.";428112720;3
"Nam liber tempor"; "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum.";1151766000;1
Typi non habent""; "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem.";1256326995;4
"Lorem ipsum";"Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat.";1251936720;1
"Investigationes demonstraverunt"; "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius.";946702800;5
"Claritas est etiam"; "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum.";438112720;6
"Mirum est notare"; "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima.";1151066000;7
"Eodem modo typi"; "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum.";1201936720;8
\ No newline at end of file
tests/feeds/nodes_tab.csv 0 → 100644
+ 10
− 0
View file @ 5f113600
Title Body published GUID
"Ut wisi enim ad minim veniam" "Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat." 205200720 2
"Duis autem vel eum iriure dolor" "Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi." 428112720 3
"Nam liber tempor" "Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum." 1151766000 1
Typi non habent"" "Typi non habent claritatem insitam; est usus legentis in iis qui facit eorum claritatem." 1256326995 4
"Lorem ipsum" "Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat." 1251936720 1
"Investigationes demonstraverunt" "Investigationes demonstraverunt lectores legere me lius quod ii legunt saepius." 946702800 5
"Claritas est etiam" "Claritas est etiam processus dynamicus, qui sequitur mutationem consuetudium lectorum." 438112720 6
"Mirum est notare" "Mirum est notare quam littera gothica, quam nunc putamus parum claram, anteposuerit litterarum formas humanitatis per seacula quarta decima et quinta decima." 1151066000 7
"Eodem modo typi" "Eodem modo typi, qui nunc nobis videntur parum clari, fiant sollemnes in futurum." 1201936720 8
\ No newline at end of file
tests/parser_csv.test
+ 42
− 24
View file @ 5f113600
...@@ -38,42 +38,50 @@ class ParserCSVTest extends DrupalWebTestCase { ...@@ -38,42 +38,50 @@ class ParserCSVTest extends DrupalWebTestCase {
* Simple test of parsing functionality. * Simple test of parsing functionality.
*/ */
protected function _testSimple() { protected function _testSimple() {
$file = $this->absolutePath() . '/tests/feeds/nodes.csv'; // Pull in the $control_result array.
include $this->absolutePath() . '/tests/feeds/nodes.csv.php'; include $this->absolutePath() . '/tests/feeds/nodes.csv.php';
$iterator = new ParserCSVIterator($file); $delimiters = $this->getDelimiters();
$parser = new ParserCSV(); foreach($delimiters as $delimiterType => $delimiter) {
$parser->setDelimiter(','); $file = $this->absolutePath() . '/tests/feeds/nodes_' . $delimiterType . '.csv';
$rows = $parser->parse($iterator); $iterator = new ParserCSVIterator($file);
$this->assertFalse($parser->lastLinePos(), t('Parser reports all lines parsed')); $parser = new ParserCSV();
$this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Parsed result matches control result.')); $parser->setDelimiter($delimiter);
$rows = $parser->parse($iterator);
$this->assertFalse($parser->lastLinePos(), t('CSV reports all lines parsed, with delimiter: ') . $delimiterType);
$this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Parsed result matches control result.'));
}
} }
/** /**
* Test batching. * Test batching.
*/ */
protected function _testBatching() { protected function _testBatching() {
$file = $this->absolutePath() . '/tests/feeds/nodes.csv'; // Pull in the $control_result array
include $this->absolutePath() . '/tests/feeds/nodes.csv.php'; include $this->absolutePath() . '/tests/feeds/nodes.csv.php';
// Set up parser with 2 lines to parse per call. $delimiters = $this->getDelimiters();
$iterator = new ParserCSVIterator($file); foreach($delimiters as $delimiterType => $delimiter) {
$parser = new ParserCSV(); $file = $this->absolutePath() . '/tests/feeds/nodes_' . $delimiterType . '.csv';
$parser->setDelimiter(','); // Set up parser with 2 lines to parse per call.
$parser->setLineLimit(2); $iterator = new ParserCSVIterator($file);
$rows = array(); $parser = new ParserCSV();
$pos = 0; $parser->setDelimiter($delimiter);
$parser->setLineLimit(2);
$rows = array();
$pos = 0;
// Call parser until all lines are parsed, then compare to control result. // Call parser until all lines are parsed, then compare to control result.
do { do {
$parser->setStartByte($pos); $parser->setStartByte($pos);
$rows = array_merge($rows, $parser->parse($iterator)); $rows = array_merge($rows, $parser->parse($iterator));
$pos = $parser->lastLinePos(); $pos = $parser->lastLinePos();
$this->assertTrue($parser->lastLinePos() || count($rows) == 10, t('Parser reports line limit correctly')); $this->assertTrue($parser->lastLinePos() || count($rows) == 10, t('Parser reports line limit correctly'));
} }
while ($pos = $parser->lastLinePos()); while ($pos = $parser->lastLinePos());
$this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Parsed result matches control result.')); $this->assertEqual(md5(serialize($rows)), md5(serialize($control_result)), t('Batch parsed result matches control result for delimiter: ') . $delimiterType);
}
} }
/** /**
...@@ -82,4 +90,14 @@ class ParserCSVTest extends DrupalWebTestCase { ...@@ -82,4 +90,14 @@ class ParserCSVTest extends DrupalWebTestCase {
public function absolutePath() { public function absolutePath() {
return DRUPAL_ROOT . '/' . drupal_get_path('module', 'feeds'); return DRUPAL_ROOT . '/' . drupal_get_path('module', 'feeds');
} }
static function getDelimiters() {
return array(
'comma' => ',',
'pipe' => '|',
'semicolon' => ';',
'plus' => '+',
'tab' => "\t",
);
}
} }
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment