Base-Tabelle nach Datenimport sehr langsam

[FrankB]

Ich möchte gerne meine Datenbanken von MS Works auf Libre Office Base (Version 3.5.7.2 unter Ubuntu 12.04) umstellen.

Ich habe daher Daten aus einer Calc-Tabelle mit 5.000 Datensätzen und 46 Feldern wie in
https://help.libreoffice.org/Common/Imp ... in_Base/de
beschrieben in Base importiert.

Beim Import habe ich (zusätzlich) "Primärschlüssel erzeugen" angekreuzt und dann sofort den Button "Fertigstellen" angeklickt (also darauf verzichtet 2 x den Button "Weiter", der zuerst das Fenster "Spaltenübernahme" und danach "Typformatierungen" aufruft, anzuklicken).

Das Umblättern in der Base-Tabelle mit den importierten Daten dauert extrem langsam, so dass ein sinnvolles Arbeiten nicht möglich ist.

Was mache ich (beim Import) falsch?

MfG FrankB

[RobertG]

Hallo FrankB,

Du machst vermutlich beim Import nichts falsch. Du benutzt schlicht eine LO-Version, die in der Beziehung unerträglich langsam war.
Es gab dazu mehrere Bug-Meldungen. Ich habe hier einmal meinen damaligen Beitrag aufgeführt, aus dem Du ersehen kannst, wie viel Zeit Base mit unterschiedlichen LO-Versionen und zwei unterschiedlichen Java-Versionen benötigte, um bei einer großen Datenbank (30000 Datensätze) vom Beginn bis zum Schluss zu scannen. Die Test stammen aus einem Linux-rpm-System.
https://bugs.freedesktop.org/show_bug.cgi?id=51976#c16
Die Zeit, um den letzten Datensatz von 30000 Datensätzen in LO 3.5 zu erreichen belief sich auf 3,5 Minuten. Bei den ersten 3.6-Versionen hatte sich das dann wegen anderer Bugs noch verschlechtert auf 5,5 Minuten.
Aktuelle LO-Versionen (habe gerade mit der 4.1.1.2 - also auch nicht brandaktuell - noch einmal getestet) kommen wieder auf eine Zeit von ca 4 Sekunden.
Ich würde schlicht eine neuere Version von LO herunterladen und installieren.

Gruß

Robert

[FrankB]

Hallo Robert,
danke für Deine schnelle und informative Antwort.
Ich kann Deine Ergebnisse bestätigen. Mit der neusten LO Version brauche ich unter Windows 7 (ging ggü der komplizierteren Ubuntu-Deinstallation schneller) rund 5 Sekunden vom ersten bis zum letzten Datensatz bei meiner größten Datenbank mit 20.000 Datensätzen und 95 Feldern.

Das manuelle Umblättern der Seiten (z.B. mit Page down-Taste) ist aber weiterhin sehr langsam.
Gibt es dafür auch Beschleunigungsmöglichkeiten?
Gruß Frank

[RobertG]

Hallo Frank,

welches manuelle Umblättern meinst Du? Wenn ich eine Tabelle auf mache und dann mit der Tastatur "Bild↓" wähle? Das macht bei mir hier keine Probleme.

Gruß

Robert

[F3K Total]

Hi,
ich hätte da auch noch eine Idee:

• Prüfe unter Extras/Einstellungen(Optionen)/OpenOffice/Arbeitsspeicher ob OpenOffice beim Systemstart laden ausgeschaltet ist (kein Haken)
• Sei sicher, dass kein Prozess soffice mehr läuft
• Öffne die Datenbank
• Lasse alle Tabellen geschlossen
• Führe unter Extras/SQL ... erst

  Code: Alles auswählen

  CHECKPOINT DEFRAG

• dann

  Code: Alles auswählen

  SHUTDOWN COMPACT

  aus, schliesse die Datei und beende OpenOffice direkt im Anschluß.
• Dann öffne die Datenbank und versuche es erneut.

Zur Erklärung: Die beiden SQL-Kommados komprimieren und reindizieren die Datenbank.
Gruß R

[F3K Total]

Hallo,
und nun habe ich noch etwas herausbekommen.
Die HSQL Datenbank hat zur Grundeinstellung, dass für jede Zeile ein Speicherplatz von 1024 byte reserviert wird.

Code: Alles auswählen

"hsqldb.cache_size_scale"= 10

Da du sehr viele Spalten hast, könnte es sein, dass dies nicht ausreicht.
Führe, wie oben, einmalig diesen Befehl aus

Code: Alles auswählen

SET PROPERTY "hsqldb.cache_size_scale" 12;
CHECKPOINT DEFRAG;
SHUTDOWN COMPACT

schliesse die Datei und OpenOffice und versuche dein Glück. Bei mir ergab sich eine Beschleunigung von 7,5 auf 5,2 Sekunden, bei 30000 Zeilen a 26 Spalten.
Gruß R

[F3K Total]

Hallo,
ich habe da noch eine Frage, was meinst Du eigentlich mit

Das Umblättern in der Base-Tabelle mit den importierten Daten dauert extrem langsam, so dass ein sinnvolles Arbeiten nicht möglich ist.

?
Üblicherweise arbeitet man in einer Datenbank nicht mit 30.000 Datensätzen GLEICHZEITIG, sondern man bearbeitet einen Datensatz zur Zeit.
Nur zu Deiner Info, weil ich mich heute länger mit dem Thema der Schnelligkeit beschäftigt habe:
Wenn ich in meiner Datenbank mit 30.000 Zeilen einen Datensatz oder viele Datensätze, mit Hilfe einer Parameterabfrage, "herausfiltere", um ihn/sie zu bearbeiten, sogar anhand von nicht indizierten Spalten, was langsamer ist, benötige ich einen Wimpernschlag, weniger als eine Sekunde, bis ich loslegen kann.
Es kommt auf die Arbeitsweise an.
Wenn Du Dich durch 30.000 Datensätze durchklickst, machst Du etwas grundlegend falsch.

Gruß R

[FrankB]

Hallo Frank,

welches manuelle Umblättern meinst Du? Wenn ich eine Tabelle auf mache und dann mit der Tastatur "Bild↓" wähle? Das macht bei mir hier keine Probleme.

Gruß

Robert

Hallo Robert,
ja, mit manuellem Umblättern meine ich, wenn ich eine Tabelle aufmache und dann mit der Tastatur "Bild↓" eingebe.

Danke + Gruß Frank

[FrankB]

Hi,
ich hätte da auch noch eine Idee:

• Prüfe unter Extras/Einstellungen(Optionen)/OpenOffice/Arbeitsspeicher ob OpenOffice beim Systemstart laden ausgeschaltet ist (kein Haken)
• Sei sicher, dass kein Prozess soffice mehr läuft
• Öffne die Datenbank
• Lasse alle Tabellen geschlossen
• Führe unter Extras/SQL ... erst

  Code: Alles auswählen

  CHECKPOINT DEFRAG

• dann

  Code: Alles auswählen

  SHUTDOWN COMPACT

  aus, schliesse die Datei und beende OpenOffice direkt im Anschluß.
• Dann öffne die Datenbank und versuche es erneut.

Zur Erklärung: Die beiden SQL-Kommados komprimieren und reindizieren die Datenbank.
Gruß R

Hallo R,
vielen Dank für den Hinweis. Er hat aber leider das Problem nicht gelöst, es dauert immer noch einige Sekunden beim Umblättern von einer Bildschrirm-Seite zur nächsten.
Gruß Frank

[FrankB]

Hallo,
und nun habe ich noch etwas herausbekommen.
Die HSQL Datenbank hat zur Grundeinstellung, dass für jede Zeile ein Speicherplatz von 1024 byte reserviert wird.

Code: Alles auswählen

"hsqldb.cache_size_scale"= 10

Da du sehr viele Spalten hast, könnte es sein, dass dies nicht ausreicht.
Führe, wie oben, einmalig diesen Befehl aus

Code: Alles auswählen

SET PROPERTY "hsqldb.cache_size_scale" 12;
CHECKPOINT DEFRAG;
SHUTDOWN COMPACT

schliesse die Datei und OpenOffice und versuche dein Glück. Bei mir ergab sich eine Beschleunigung von 7,5 auf 5,2 Sekunden, bei 30000 Zeilen a 26 Spalten.
Gruß R

Hallo R,
vielen Dank für den 2. Hinweis. Auch er hat aber leider das Problem nicht gelöst, es dauert immer noch einige Sekunden beim Umblättern von einer Bildschrirm-Seite zur nächsten.
Gruß Frank

[FrankB]

Hallo,
ich habe da noch eine Frage, was meinst Du eigentlich mit

Das Umblättern in der Base-Tabelle mit den importierten Daten dauert extrem langsam, so dass ein sinnvolles Arbeiten nicht möglich ist.

?
Üblicherweise arbeitet man in einer Datenbank nicht mit 30.000 Datensätzen GLEICHZEITIG, sondern man bearbeitet einen Datensatz zur Zeit.
Nur zu Deiner Info, weil ich mich heute länger mit dem Thema der Schnelligkeit beschäftigt habe:
Wenn ich in meiner Datenbank mit 30.000 Zeilen einen Datensatz oder viele Datensätze, mit Hilfe einer Parameterabfrage, "herausfiltere", um ihn/sie zu bearbeiten, sogar anhand von nicht indizierten Spalten, was langsamer ist, benötige ich einen Wimpernschlag, weniger als eine Sekunde, bis ich loslegen kann.
Es kommt auf die Arbeitsweise an.
Wenn Du Dich durch 30.000 Datensätze durchklickst, machst Du etwas grundlegend falsch.

Gruß R

Hallo R,
natürlich durchsuche ich die 20.000 Datensätze nicht nur manuell. Ich versuche meine Arbeitsweise mal an einem Beispiel deutlich zu machen:
In der Datenbank sind Verbände, Vereinigungen, Institutionen gespeichert, mit denen der Verein, bei dem ich mitarbeite, Kontakte pflegt. Neulich habe ich z.B. für einen Versand per Abfrage/Filter alle Datensätze herausgesucht, die zum inhaltlichen Schwerpunkt "Senioren" in der Datenbank vorhanden sind. Diese rund 200 Datensätze habe ich nun im Tabellenmodus einzeln geprüft (dort sehe ich die wichtigsten Infos, Namen der Verbände und Ort auf einen Blick. Das geht schneller als im Formular/Masken-Modus.) und Datensätze verborgen/ausgeblendet (das geht bei Works, bei LO auch?), die bei genauerer Überlegung für den fraglichen Versand doch nicht in Frage kommen.

Danke + Gruß Frank

[F3K Total]

Moin Frank,

Das geht schneller als im Formular/Masken-Modus.)

Du kennst Tabellenkontrollfelder?

und Datensätze verborgen/ausgeblendet (das geht bei Works, bei LO auch?)

In der Datenquellenansicht (Writer/Calc -> F4) kann man die Datensätze die man für einen Serienbrief verwenden möchte, selektieren.
In deinem Fall würde ich vielleicht für den ersten Schritt eine Parameterabfrage erstellen, die die grob gefilterten Datensätze zeigt, und dann in der Datenquellenansicht die "letzte Selektion" vornehmen.
Gruß R