Veröffentlicht am 1. September 2015 von Daniel Peters
Quellen für große CSV-Dateien (Downloads)

Als Enwickler wird man häufig mit mit der Aufgabe betraut, CSV oder andere Textformate in Programmen zu verarbeiten. Die vom Kunden bereitgestellten Testdateien enthalten jedoch nur vergleichsweise wenige Daten. Um die eigenen Programme im Umgang mit sehr vielen Datensätzen und damit großen Dateien zu testen, braucht man Quellen für solche CSV-Dateien. Um die Ergebnisse auch anderen zur Verfügung zu stellen, habe ich diesen Blog-Beitrag geschrieben.

Um Testdatensätze im CSV-Format herunterzuladen, habe ich 3 Quellen gefunden, wo dies möglich ist.

Quellen für den Download von CSV-Dateien

County Business Patterns

Hier erhält man CSV-Dateien, welche Daten über die Bevölkerungsstruktur enthalten. Um die Dateien inhaltlich beurteilen zu können, gibt es auf der Webseite Links zu dem Spaltenaufbau. Für unsere Zwecke ist aber nur wichtig, dass die Dateien eine entsprechende Größe aufweisen. Die größe Datei ist komprimiert 14,4 MB groß. Unkomprimiert ergibt das dann eine ca. 170 MB große CSV-Datei. Das sind reichlich Daten zum Testen, die selbst mit älteren Excel-Versionen nicht mehr vollständig geladen werden können.

Die CSV-Dateien enthalten das Komma als Trennzeichen und es sind mit Alphakennzeichen ausgestattet.

CSV-Dateien herunterladen:
County Business Patterns Beispiel-CSV-Dateien

SpatialKey

Die Dateien, die man hier herunterladen kann, sind relativ klein, was die reine Dateigröße angeht. Man erhält man statistische Daten aus verschiedenen US Bundesstaaten zur Risikobewertung. Dabei können zum Beispiel Daten zu Versicherungen oder auch Kriminalstatistiken heruntergeladen werden.

Es handelt sich um CSV-Dateien die als Trennzeichen ein Komma aufweisen und keine Alpha-Kennzeichnung

CSV-Dateien herunterladen:
SpatialKey Beispiel-CSV-Dateien

Sample Datasets from STAR Experiment

Wer seine Programme mit einer ca. 2 GB CSV-Datei testen möchte, kann sich die Beispiel-Datensätze des STAR-Experiments herunterladen. Was hinter dem Experiment steckt, kann unter der Webseite nachgelesen werden. Die Datei ist komprimiert bereits über 400 MB groß. Damit bekommt man sogar schon Probleme bei den üblichen Tabellenkalkulations-Programme wie Excel oder OpenOffice Calc.

Die Datei enthält ein Semikolon als Trennzeichen und keine Alpha-Kennzeichen.

CSV-Dateien herunterladen:
STAR Experiment Beispiel-CSV-Dateien

Daniel Peters

Daniel Peters ist selbstständiger Software-Entwickler aus Hamburg. Er ist spezialisiert auf E-Commerce-Schnittstellen und entwickelt Software zum Verbinden von Warenwirtschaftssystemen mit Onlineshops und Marktplätzen. Zudem berät er Onlinehändler, E-Commerce-Agenturen und Softwarehersteller bei der Implementierung von Schnittstellensoftware im E-Commerce-Umfeld.

Bleiben Sie Up to Date!

Verpassen Sie keinen Blog-Beitrag mehr und erhalten Sie neue Artikel und spannende Informationen per E-Mail direkt in Ihr Postfach.

Der Newsletter erscheint etwa 1x pro Monat und enthält Informationen zu meinen Produkten, Angeboten, Aktionen und meinem Unternehmen. Hinweise zum Datenschutz, Widerruf sowie Erfolgsmessung und Protokollierung erhalten Sie in der Datenschutzerklärung.