Calc laggt extrem

Antwort erstellen

BBCode ist eingeschaltet
[img] ist ausgeschaltet
[url] ist eingeschaltet
Smileys sind ausgeschaltet
Die letzten Beiträge des Themas
   

Ansicht erweitern Die letzten Beiträge des Themas: Calc laggt extrem

Re: Calc laggt extrem

von lorbass » So, 05.05.2013 16:28

Ich weiß es nicht, aber unter den gegebenen Randbedingungen vermute ich es. Für eine klarere Stellungnahme fehlt mir einfach das Wissen über die Base Datenbank-Engine.

Zu den Randbedingen gehört dabei u.a., dass eine Skript-Lösung weder als Online-Filter an der Datenquelle in Frage kommt, noch zur Offline-Auswertung.

Gruß
lorbass

Re: Calc laggt extrem

von „das Board“ » So, 05.05.2013 16:00

Deiner meinung nach ist Base besser geignet als Calc?

Re: Calc laggt extrem

von lorbass » So, 05.05.2013 15:39

„das Board“ hat geschrieben:Gibt es eine möglichkeit in Calc oder in Base einzustellen das alles importiert wird was nicht "XY" enthält?
Ich habe mal bei Base reingesehen. Du kannst dort eine Verbindung zu einer bestehenden Datenbank herstellen und den Typ Text vorgeben. Damit sind (auch) csv-Dateien gemeint. Gegen eine solche Datenbank kannst dann auch ein SELECT mit geeigneter WHERE-Klausel laufen lassen und damit deine <500 Sätze rausprojizieren.

Ich muss allerdings sagen, dass ich mit Base nur eingeschränkte Erfahrung habe und dir ab hier zwar noch das SQL-SELECT aufschreiben kann, wenn du aus deiner csv-Datei die erste Zeile mit den Feldnamen veröffentlichst. Zur weiteren Verarbeitung kann ich dann nicht weiterhelfen.

Um diesem Ansatz zu folgen, solltest du ein neues Thema in der Rubrik OOo Base / SQL öffnen, dort auf dieses Thema und hier auf jenes neue Thema verweisen.

Gruß
lorbass

Re: Calc laggt extrem

von „das Board“ » So, 05.05.2013 14:10

Da ich davon nichts verstehe hilft es mir leider wenig wenn ich es weis. Gibt es eine möglichkeit in Calc oder in Base einzustellen das alles importiert wird was nicht "XY" enthält?

Re: Calc laggt extrem

von lorbass » So, 05.05.2013 14:04

„das Board“ hat geschrieben:<500/1.200.000
Je kleiner dieses Verhältnis, desto absurder ist es, den Komplettbestand erst mal mit irgendeinem Werkzeug – egal, ob Calc oder Notepad++ – zu laden und erst dann die paar Treffer rauszupicken. Mit 'nem kleinen Perl-, Python-, …-Skript, liest man besser zeilenweise und schreibt die Treffer in einer separaten Datei weg. Noch besser, man verwendet dieses Skript als Filter gleich an der Datenquelle und vermeidet dadurch, dass die 99,x% Schrott überhaupt jemals eine Festplatte „sehen“.

Gruß
lorbass

Re: Calc laggt extrem

von „das Board“ » So, 05.05.2013 12:42

Es brauche eben nur alle Zeilen die beiden Wörter enthalten gelöscht werden und die Zeilen die übrig bleiben sind <500.
Das ist eigentlich alles was ich brauche.

EDIT: Es sind laut hochrechnung in paar Stunden 1.200.000 Datensätze. :shock: 8)

Re: Calc laggt extrem

von lorbass » So, 05.05.2013 12:38

„das Board“ hat geschrieben:Es werden von Minute zu Minute mehr Zeilen die es zu verarbeiten gibt.
Du solltest die derzeitigen Tests auf keinen Fall anhand von Echtdaten frisch aus der Produktionsumgebung durchführen. Dazu reichen die Daten von (bildlich) „vorgestern“.

Allerdings stellt sich bei dem Wachstums-Szenario, das du da offenbarst, die Frage, ob Calc das richtige Werkzeug für dich ist. Mir scheint da eher eine Datenbank angesagt zu sein, und zur Auswertung ein Skript in Perl (Practical Extraction and Report Language) oder Python zur Online-Verarbeitung der einlaufenden csv-Daten.

Gruß
lorbass

Re: Calc laggt extrem

von „das Board“ » So, 05.05.2013 12:24

   Keine Ahnung, ich kenne deinen Texteditor nicht.
Da sind wir schon 2. :lol:
Das problem ist eben in Calc weil es sich aufhängt. Es werden von Minute zu Minute mehr Zeilen die es zu verarbeiten gibt. Derzeit sind es ca. 500.000 wenn ich es richtig im Kopf habe.

Re: Calc laggt extrem

von lorbass » So, 05.05.2013 12:21

Der Übersicht halber: Was bisher geschah…
lorbass hat geschrieben:
„das Board“ hat geschrieben:
lorbass hat geschrieben:Hast du mal versucht, die Tabelle mit dem Dateityp ODF-Tabellendokument (.ods) zu speichern und das Suchen&Ersetzen erst nach dem Speichern durchzuführen?
Oder hast du – alternativ – mal versucht, die csv-Datei mit einem Standard-Texteditor wie z.B. Notepad++ zu bearbeiten, dort die Zeilen zu entfernen?
Nein, Nein aber ich versuche es mal.
Dann warten wir mal gespannt auf deine Berichte.
(Ich muss hier neu ansetzen, da phpBB nur drei verschachtelte Zitatebenen erlaubt.)
„das Board“ hat geschrieben:Kannst du mir bitte sagen wie ich dort die Zeilen löschen kann?
Aus diesem Verlauf schließe ich: Du möchtest wissen, wie man »dort« in Calc oder »dort« im Texteditor deiner Wahl Zeilen aus einer geladenen csv-Datei entfernt.

Für Calc:
   Wahlweise zunächst mehrere Zeilen selektieren.
   Kontextmenü einer (selektierten) Zeile(n) → Zeilen löschen.
Für deinen Texteditor:
   Keine Ahnung, ich kenne deinen Texteditor nicht.

Gruß
lorbass

Re: Calc laggt extrem

von „das Board“ » So, 05.05.2013 09:56

Ja ich verstehe nicht was du meinst.
Ich weis ja auch nicht was du genau meinst.

Re: Calc laggt extrem

von Karolus » So, 05.05.2013 09:44

Hallo
„das Board“ hat geschrieben:keine ahnung was das ist?!
Entschuldige die Rückfrage - ich hatte gehofft, von dir ein paar konkrete Angaben zur Frage: "wie versuche ich derzeit die Aufgabe zu lösen ?" zu bekommen.
Aber offenbar bist du nicht willens verwertbare Informationen zu liefern, mit denen man dann eine vernünftige Lösung erarbeiten kann.

Tschüss
Karolus

Re: Calc laggt extrem

von „das Board“ » So, 05.05.2013 08:37

keine ahnung was das ist?!

Re: Calc laggt extrem

von Karolus » So, 05.05.2013 07:09

Hallo
„das Board“ hat geschrieben:
Dann warten wir mal gespannt auf deine Berichte.
Kannst du mir bitte sagen wie ich dort die Zeilen löschen kann?
Wie sieht denn dein Makrocode aus ?

Re: Calc laggt extrem

von „das Board“ » So, 05.05.2013 01:14

Dann warten wir mal gespannt auf deine Berichte.
Kannst du mir bitte sagen wie ich dort die Zeilen löschen kann?

Re: Calc laggt extrem

von lorbass » Sa, 04.05.2013 21:14

„das Board“ hat geschrieben:[…] die aktuellste ist Apache OpenOffice 3.4.1 8)
Ja, und bei LibreOffice hat die aktuelle Version zum Zeitpunkt dieses Beitrags die Nummer 4.0.2.

Man muss die Informationen zur eigenen Systemumgebung in diesem »Forum rund um OpenOffice.org und LibreOffice« halt einfach mal für all die Leute aufschreiben, die einem nicht gerade auf dem Schoss sitzen und also nicht sehen können, was man selbst siehst…
„das Board“ hat geschrieben:Nein, Nein aber ich versuche es mal.
Dann warten wir mal gespannt auf deine Berichte.
„das Board“ hat geschrieben:Die funktioniert ja eh nur aber einer gewissen grösse eben nicht mehr.
Das habe ich auch so vermutet. Aber so eine kleine Datei wäre für dich mit wenig Mühe verbunden, wäre gleichwohl von einer gewissen Authenzität und ließe sich für unsereiner da draußen in der großen weiten Welt zu Testzwecken mit wenigen Handgriffen auf die 70MB und mehr aufblasen.

Gruß
lorbass

Nach oben