Calc laggt extrem

[„das Board“]

   Keine Ahnung, ich kenne deinen Texteditor nicht.

Da sind wir schon 2.
Das problem ist eben in Calc weil es sich aufhängt. Es werden von Minute zu Minute mehr Zeilen die es zu verarbeiten gibt. Derzeit sind es ca. 500.000 wenn ich es richtig im Kopf habe.

[lorbass]

Es werden von Minute zu Minute mehr Zeilen die es zu verarbeiten gibt.

Du solltest die derzeitigen Tests auf keinen Fall anhand von Echtdaten frisch aus der Produktionsumgebung durchführen. Dazu reichen die Daten von (bildlich) „vorgestern“.

Allerdings stellt sich bei dem Wachstums-Szenario, das du da offenbarst, die Frage, ob Calc das richtige Werkzeug für dich ist. Mir scheint da eher eine Datenbank angesagt zu sein, und zur Auswertung ein Skript in Perl (Practical Extraction and Report Language) oder Python zur Online-Verarbeitung der einlaufenden csv-Daten.

Gruß
lorbass

[„das Board“]

Es brauche eben nur alle Zeilen die beiden Wörter enthalten gelöscht werden und die Zeilen die übrig bleiben sind <500.
Das ist eigentlich alles was ich brauche.

EDIT: Es sind laut hochrechnung in paar Stunden 1.200.000 Datensätze.

[lorbass]

<500/1.200.000

Je kleiner dieses Verhältnis, desto absurder ist es, den Komplettbestand erst mal mit irgendeinem Werkzeug – egal, ob Calc oder Notepad++ – zu laden und erst dann die paar Treffer rauszupicken. Mit 'nem kleinen Perl-, Python-, …-Skript, liest man besser zeilenweise und schreibt die Treffer in einer separaten Datei weg. Noch besser, man verwendet dieses Skript als Filter gleich an der Datenquelle und vermeidet dadurch, dass die 99,x% Schrott überhaupt jemals eine Festplatte „sehen“.

Gruß
lorbass

[„das Board“]

Da ich davon nichts verstehe hilft es mir leider wenig wenn ich es weis. Gibt es eine möglichkeit in Calc oder in Base einzustellen das alles importiert wird was nicht "XY" enthält?

[lorbass]

Gibt es eine möglichkeit in Calc oder in Base einzustellen das alles importiert wird was nicht "XY" enthält?

Ich habe mal bei Base reingesehen. Du kannst dort eine Verbindung zu einer bestehenden Datenbank herstellen und den Typ Text vorgeben. Damit sind (auch) csv-Dateien gemeint. Gegen eine solche Datenbank kannst dann auch ein SELECT mit geeigneter WHERE-Klausel laufen lassen und damit deine <500 Sätze rausprojizieren.

Ich muss allerdings sagen, dass ich mit Base nur eingeschränkte Erfahrung habe und dir ab hier zwar noch das SQL-SELECT aufschreiben kann, wenn du aus deiner csv-Datei die erste Zeile mit den Feldnamen veröffentlichst. Zur weiteren Verarbeitung kann ich dann nicht weiterhelfen.

Um diesem Ansatz zu folgen, solltest du ein neues Thema in der Rubrik OOo Base / SQL öffnen, dort auf dieses Thema und hier auf jenes neue Thema verweisen.

Gruß
lorbass

[„das Board“]

Deiner meinung nach ist Base besser geignet als Calc?

[lorbass]

Ich weiß es nicht, aber unter den gegebenen Randbedingungen vermute ich es. Für eine klarere Stellungnahme fehlt mir einfach das Wissen über die Base Datenbank-Engine.

Zu den Randbedingen gehört dabei u.a., dass eine Skript-Lösung weder als Online-Filter an der Datenquelle in Frage kommt, noch zur Offline-Auswertung.

Gruß
lorbass