Als Enwickler wird man häufig mit mit der Aufgabe betraut, CSV oder andere Textformate in Programmen zu verarbeiten. Die vom Kunden bereitgestellten Testdateien enthalten jedoch nur vergleichsweise wenige Daten. Um die eigenen Programme im Umgang mit sehr vielen Datensätzen und damit großen Dateien zu testen, braucht man Quellen für solche CSV-Dateien. Um die Ergebnisse auch anderen zur Verfügung zu stellen, habe ich diesen Blog-Beitrag geschrieben.
Um Testdatensätze im CSV-Format herunterzuladen, habe ich 3 Quellen gefunden, wo dies möglich ist.
Quellen für den Download von CSV-Dateien
County Business Patterns
Hier erhält man CSV-Dateien, welche Daten über die Bevölkerungsstruktur enthalten. Um die Dateien inhaltlich beurteilen zu können, gibt es auf der Webseite Links zu dem Spaltenaufbau. Für unsere Zwecke ist aber nur wichtig, dass die Dateien eine entsprechende Größe aufweisen. Die größe Datei ist komprimiert 14,4 MB groß. Unkomprimiert ergibt das dann eine ca. 170 MB große CSV-Datei. Das sind reichlich Daten zum Testen, die selbst mit älteren Excel-Versionen nicht mehr vollständig geladen werden können.
Die CSV-Dateien enthalten das Komma als Trennzeichen und es sind mit Alphakennzeichen ausgestattet.
CSV-Dateien herunterladen:
County Business Patterns Beispiel-CSV-Dateien
SpatialKey
Die Dateien, die man hier herunterladen kann, sind relativ klein, was die reine Dateigröße angeht. Man erhält man statistische Daten aus verschiedenen US Bundesstaaten zur Risikobewertung. Dabei können zum Beispiel Daten zu Versicherungen oder auch Kriminalstatistiken heruntergeladen werden.
Es handelt sich um CSV-Dateien die als Trennzeichen ein Komma aufweisen und keine Alpha-Kennzeichnung
CSV-Dateien herunterladen:
SpatialKey Beispiel-CSV-Dateien
Sample Datasets from STAR Experiment
Wer seine Programme mit einer ca. 2 GB CSV-Datei testen möchte, kann sich die Beispiel-Datensätze des STAR-Experiments herunterladen. Was hinter dem Experiment steckt, kann unter der Webseite nachgelesen werden. Die Datei ist komprimiert bereits über 400 MB groß. Damit bekommt man sogar schon Probleme bei den üblichen Tabellenkalkulations-Programme wie Excel oder OpenOffice Calc.
Die Datei enthält ein Semikolon als Trennzeichen und keine Alpha-Kennzeichen.
CSV-Dateien herunterladen:
STAR Experiment Beispiel-CSV-Dateien
