Base-Tabelle nach Datenimport sehr langsam

Antwort erstellen

BBCode ist eingeschaltet
[img] ist ausgeschaltet
[url] ist eingeschaltet
Smileys sind ausgeschaltet
Die letzten Beiträge des Themas
   

Ansicht erweitern Die letzten Beiträge des Themas: Base-Tabelle nach Datenimport sehr langsam

Re: Base-Tabelle nach Datenimport sehr langsam

von F3K Total » Mo, 30.12.2013 16:45

Moin Frank,
FrankB hat geschrieben:Das geht schneller als im Formular/Masken-Modus.)
Du kennst Tabellenkontrollfelder?
FrankB hat geschrieben:und Datensätze verborgen/ausgeblendet (das geht bei Works, bei LO auch?)
In der Datenquellenansicht (Writer/Calc -> F4) kann man die Datensätze die man für einen Serienbrief verwenden möchte, selektieren.
In deinem Fall würde ich vielleicht für den ersten Schritt eine Parameterabfrage erstellen, die die grob gefilterten Datensätze zeigt, und dann in der Datenquellenansicht die "letzte Selektion" vornehmen.
Gruß R

Re: Base-Tabelle nach Datenimport sehr langsam

von FrankB » Mo, 30.12.2013 16:38

F3K Total hat geschrieben:Hallo,
ich habe da noch eine Frage, was meinst Du eigentlich mit
FrankB hat geschrieben:Das Umblättern in der Base-Tabelle mit den importierten Daten dauert extrem langsam, so dass ein sinnvolles Arbeiten nicht möglich ist.
?
Üblicherweise arbeitet man in einer Datenbank nicht mit 30.000 Datensätzen GLEICHZEITIG, sondern man bearbeitet einen Datensatz zur Zeit.
Nur zu Deiner Info, weil ich mich heute länger mit dem Thema der Schnelligkeit beschäftigt habe:
Wenn ich in meiner Datenbank mit 30.000 Zeilen einen Datensatz oder viele Datensätze, mit Hilfe einer Parameterabfrage, "herausfiltere", um ihn/sie zu bearbeiten, sogar anhand von nicht indizierten Spalten, was langsamer ist, benötige ich einen Wimpernschlag, weniger als eine Sekunde, bis ich loslegen kann.
Es kommt auf die Arbeitsweise an.
Wenn Du Dich durch 30.000 Datensätze durchklickst, machst Du etwas grundlegend falsch.

Gruß R

Hallo R,
natürlich durchsuche ich die 20.000 Datensätze nicht nur manuell. Ich versuche meine Arbeitsweise mal an einem Beispiel deutlich zu machen:
In der Datenbank sind Verbände, Vereinigungen, Institutionen gespeichert, mit denen der Verein, bei dem ich mitarbeite, Kontakte pflegt. Neulich habe ich z.B. für einen Versand per Abfrage/Filter alle Datensätze herausgesucht, die zum inhaltlichen Schwerpunkt "Senioren" in der Datenbank vorhanden sind. Diese rund 200 Datensätze habe ich nun im Tabellenmodus einzeln geprüft (dort sehe ich die wichtigsten Infos, Namen der Verbände und Ort auf einen Blick. Das geht schneller als im Formular/Masken-Modus.) und Datensätze verborgen/ausgeblendet (das geht bei Works, bei LO auch?), die bei genauerer Überlegung für den fraglichen Versand doch nicht in Frage kommen.

Danke + Gruß Frank

Re: Base-Tabelle nach Datenimport sehr langsam

von FrankB » Mo, 30.12.2013 16:34

F3K Total hat geschrieben:Hallo,
und nun habe ich noch etwas herausbekommen.
Die HSQL Datenbank hat zur Grundeinstellung, dass für jede Zeile ein Speicherplatz von 1024 byte reserviert wird.

Code: Alles auswählen

"hsqldb.cache_size_scale"= 10
Da du sehr viele Spalten hast, könnte es sein, dass dies nicht ausreicht.
Führe, wie oben, einmalig diesen Befehl aus

Code: Alles auswählen

SET PROPERTY "hsqldb.cache_size_scale" 12;
CHECKPOINT DEFRAG;
SHUTDOWN COMPACT
schliesse die Datei und OpenOffice und versuche dein Glück. Bei mir ergab sich eine Beschleunigung von 7,5 auf 5,2 Sekunden, bei 30000 Zeilen a 26 Spalten.
Gruß R
Hallo R,
vielen Dank für den 2. Hinweis. Auch er hat aber leider das Problem nicht gelöst, es dauert immer noch einige Sekunden beim Umblättern von einer Bildschrirm-Seite zur nächsten.
Gruß Frank

Re: Base-Tabelle nach Datenimport sehr langsam

von FrankB » Mo, 30.12.2013 16:33

F3K Total hat geschrieben:Hi,
ich hätte da auch noch eine Idee:
  • Prüfe unter Extras/Einstellungen(Optionen)/OpenOffice/Arbeitsspeicher ob OpenOffice beim Systemstart laden ausgeschaltet ist (kein Haken)
  • Sei sicher, dass kein Prozess soffice mehr läuft
  • Öffne die Datenbank
  • Lasse alle Tabellen geschlossen
  • Führe unter Extras/SQL ... erst

    Code: Alles auswählen

    CHECKPOINT DEFRAG
  • dann

    Code: Alles auswählen

    SHUTDOWN COMPACT
    aus, schliesse die Datei und beende OpenOffice direkt im Anschluß.
  • Dann öffne die Datenbank und versuche es erneut.
Zur Erklärung: Die beiden SQL-Kommados komprimieren und reindizieren die Datenbank.
Gruß R
Hallo R,
vielen Dank für den Hinweis. Er hat aber leider das Problem nicht gelöst, es dauert immer noch einige Sekunden beim Umblättern von einer Bildschrirm-Seite zur nächsten.
Gruß Frank

Re: Base-Tabelle nach Datenimport sehr langsam

von FrankB » Mo, 30.12.2013 16:32

RobertG hat geschrieben:Hallo Frank,

welches manuelle Umblättern meinst Du? Wenn ich eine Tabelle auf mache und dann mit der Tastatur "Bild↓" wähle? Das macht bei mir hier keine Probleme.

Gruß

Robert

Hallo Robert,
ja, mit manuellem Umblättern meine ich, wenn ich eine Tabelle aufmache und dann mit der Tastatur "Bild↓" eingebe.

Danke + Gruß Frank

Re: Base-Tabelle nach Datenimport sehr langsam

von F3K Total » Mo, 30.12.2013 01:28

Hallo,
ich habe da noch eine Frage, was meinst Du eigentlich mit
FrankB hat geschrieben:Das Umblättern in der Base-Tabelle mit den importierten Daten dauert extrem langsam, so dass ein sinnvolles Arbeiten nicht möglich ist.
?
Üblicherweise arbeitet man in einer Datenbank nicht mit 30.000 Datensätzen GLEICHZEITIG, sondern man bearbeitet einen Datensatz zur Zeit.
Nur zu Deiner Info, weil ich mich heute länger mit dem Thema der Schnelligkeit beschäftigt habe:
Wenn ich in meiner Datenbank mit 30.000 Zeilen einen Datensatz oder viele Datensätze, mit Hilfe einer Parameterabfrage, "herausfiltere", um ihn/sie zu bearbeiten, sogar anhand von nicht indizierten Spalten, was langsamer ist, benötige ich einen Wimpernschlag, weniger als eine Sekunde, bis ich loslegen kann.
Es kommt auf die Arbeitsweise an.
Wenn Du Dich durch 30.000 Datensätze durchklickst, machst Du etwas grundlegend falsch.

Gruß R

Re: Base-Tabelle nach Datenimport sehr langsam

von F3K Total » So, 29.12.2013 20:04

Hallo,
und nun habe ich noch etwas herausbekommen.
Die HSQL Datenbank hat zur Grundeinstellung, dass für jede Zeile ein Speicherplatz von 1024 byte reserviert wird.

Code: Alles auswählen

"hsqldb.cache_size_scale"= 10
Da du sehr viele Spalten hast, könnte es sein, dass dies nicht ausreicht.
Führe, wie oben, einmalig diesen Befehl aus

Code: Alles auswählen

SET PROPERTY "hsqldb.cache_size_scale" 12;
CHECKPOINT DEFRAG;
SHUTDOWN COMPACT
schliesse die Datei und OpenOffice und versuche dein Glück. Bei mir ergab sich eine Beschleunigung von 7,5 auf 5,2 Sekunden, bei 30000 Zeilen a 26 Spalten.
Gruß R

Re: Base-Tabelle nach Datenimport sehr langsam

von F3K Total » So, 29.12.2013 19:00

Hi,
ich hätte da auch noch eine Idee:
  • Prüfe unter Extras/Einstellungen(Optionen)/OpenOffice/Arbeitsspeicher ob OpenOffice beim Systemstart laden ausgeschaltet ist (kein Haken)
  • Sei sicher, dass kein Prozess soffice mehr läuft
  • Öffne die Datenbank
  • Lasse alle Tabellen geschlossen
  • Führe unter Extras/SQL ... erst

    Code: Alles auswählen

    CHECKPOINT DEFRAG
  • dann

    Code: Alles auswählen

    SHUTDOWN COMPACT
    aus, schliesse die Datei und beende OpenOffice direkt im Anschluß.
  • Dann öffne die Datenbank und versuche es erneut.
Zur Erklärung: Die beiden SQL-Kommados komprimieren und reindizieren die Datenbank.
Gruß R

Re: Base-Tabelle nach Datenimport sehr langsam

von RobertG » So, 29.12.2013 15:33

Hallo Frank,

welches manuelle Umblättern meinst Du? Wenn ich eine Tabelle auf mache und dann mit der Tastatur "Bild↓" wähle? Das macht bei mir hier keine Probleme.

Gruß

Robert

Re: Base-Tabelle nach Datenimport sehr langsam

von FrankB » So, 29.12.2013 13:38

Hallo Robert,
danke für Deine schnelle und informative Antwort.
Ich kann Deine Ergebnisse bestätigen. Mit der neusten LO Version brauche ich unter Windows 7 (ging ggü der komplizierteren Ubuntu-Deinstallation schneller) rund 5 Sekunden vom ersten bis zum letzten Datensatz bei meiner größten Datenbank mit 20.000 Datensätzen und 95 Feldern.

Das manuelle Umblättern der Seiten (z.B. mit Page down-Taste) ist aber weiterhin sehr langsam.
Gibt es dafür auch Beschleunigungsmöglichkeiten?
Gruß Frank

Re: Base-Tabelle nach Datenimport sehr langsam

von RobertG » Sa, 28.12.2013 17:56

Hallo FrankB,

Du machst vermutlich beim Import nichts falsch. Du benutzt schlicht eine LO-Version, die in der Beziehung unerträglich langsam war.
Es gab dazu mehrere Bug-Meldungen. Ich habe hier einmal meinen damaligen Beitrag aufgeführt, aus dem Du ersehen kannst, wie viel Zeit Base mit unterschiedlichen LO-Versionen und zwei unterschiedlichen Java-Versionen benötigte, um bei einer großen Datenbank (30000 Datensätze) vom Beginn bis zum Schluss zu scannen. Die Test stammen aus einem Linux-rpm-System.
https://bugs.freedesktop.org/show_bug.cgi?id=51976#c16
Die Zeit, um den letzten Datensatz von 30000 Datensätzen in LO 3.5 zu erreichen belief sich auf 3,5 Minuten. Bei den ersten 3.6-Versionen hatte sich das dann wegen anderer Bugs noch verschlechtert auf 5,5 Minuten.
Aktuelle LO-Versionen (habe gerade mit der 4.1.1.2 - also auch nicht brandaktuell - noch einmal getestet) kommen wieder auf eine Zeit von ca 4 Sekunden.
Ich würde schlicht eine neuere Version von LO herunterladen und installieren.

Gruß

Robert

Base-Tabelle nach Datenimport sehr langsam

von FrankB » Sa, 28.12.2013 17:16

Ich möchte gerne meine Datenbanken von MS Works auf Libre Office Base (Version 3.5.7.2 unter Ubuntu 12.04) umstellen.

Ich habe daher Daten aus einer Calc-Tabelle mit 5.000 Datensätzen und 46 Feldern wie in
https://help.libreoffice.org/Common/Imp ... in_Base/de
beschrieben in Base importiert.

Beim Import habe ich (zusätzlich) "Primärschlüssel erzeugen" angekreuzt und dann sofort den Button "Fertigstellen" angeklickt (also darauf verzichtet 2 x den Button "Weiter", der zuerst das Fenster "Spaltenübernahme" und danach "Typformatierungen" aufruft, anzuklicken).

Das Umblättern in der Base-Tabelle mit den importierten Daten dauert extrem langsam, so dass ein sinnvolles Arbeiten nicht möglich ist.

Was mache ich (beim Import) falsch?

MfG FrankB

Nach oben