Mailingliste zu http://opengeodb.de ()

web | 16 May 2011 08:52

Einlesen der .TAB-Files in MySQL?

Hallo

Wir fahren im Prinzip nicht schlecht mit dem Import des grossen SQL-Dumps,
aber es wird doch eher selten einer erstellt. Zudem dauert das Einlesen doch
recht lange und 99% der Daten sind ja gar nicht aktueller geworden. Hat
schon jemand eine Lösung gebaut, mit der man die .TAB-Files, die ja
aktueller und kleiner sind, schnell und einigermassen schmerzfrei einlesen
kann - und wäre bereit, das Wissen zu teilen?

Im Wiki sind ja im Prinzip genügend Infos, um selbst etwas zu bauen. Aber
der Leidensdruck ist noch nicht ganz hoch genug.

Inkrementelle Dumps mit Update-Statements gibt's ja vermutlich nicht? Wäre
ja auch etwas aufwändig zu generieren.

Peter Guhl

--

-- 
Mailingliste OpenGeoDB
Listenadresse: opengeodb@...
Informationen: http://opengeodb.de
Mit freundlicher Unterstütztung von php::bar (http://phpbar.de)

headers

Martin Trautmann | 16 May 2011 09:00

Re: Einlesen der .TAB-Files in MySQL?

On 11-05-16 8:52, web-it@... wrote:
> Hallo
> 
> Wir fahren im Prinzip nicht schlecht mit dem Import des grossen SQL-Dumps,
> aber es wird doch eher selten einer erstellt. Zudem dauert das Einlesen doch
> recht lange und 99% der Daten sind ja gar nicht aktueller geworden. Hat
> schon jemand eine Lösung gebaut, mit der man die .TAB-Files, die ja
> aktueller und kleiner sind, schnell und einigermassen schmerzfrei einlesen
> kann - und wäre bereit, das Wissen zu teilen?

Ich könnte vielleicht ein Perl-Script zusammenbasteln, damit man selbst
die Konvertierung vornehmen kann.

> Im Wiki sind ja im Prinzip genügend Infos, um selbst etwas zu bauen. Aber
> der Leidensdruck ist noch nicht ganz hoch genug.

Am einfachsten geht es über ein privates Script, um z.B. aus der
changes.sql alles ab einem bestimmten Datum zu selektieren und nur diese
Änderungen einzuspielen.

> Inkrementelle Dumps mit Update-Statements gibt's ja vermutlich nicht? Wäre
> ja auch etwas aufwändig zu generieren.

changes.sql kann genau das bieten.

Schönen Gruß
Martin
--

-- 
Mailingliste OpenGeoDB
Listenadresse: opengeodb@...

(Continue reading)

headers

web | 16 May 2011 09:08

Re: Einlesen der .TAB-Files in MySQL?

> Von: opengeodb-bounces@... 
> Gesendet: Montag, 16. Mai 2011 09:01
> On 11-05-16 8:52, web-it@... wrote:
>
> Ich könnte vielleicht ein Perl-Script zusammenbasteln, damit 
> man selbst die Konvertierung vornehmen kann.

Für mich ist die DB-Struktur halt nicht so intuitiv erfassbar 

> > Inkrementelle Dumps mit Update-Statements gibt's ja 
> vermutlich nicht? 
> > Wäre ja auch etwas aufwändig zu generieren.
> 
> changes.sql kann genau das bieten.

Ich glaube, das ist der beste Ansatz. Damit kann ich sicher was anfangen.
Evtl. sogar mit einer internen Anleitung (Editor nehmen, bis Zeile x
löschen... so was).

Dank und Gruss
       Peter

--

-- 
Mailingliste OpenGeoDB
Listenadresse: opengeodb@...
Informationen: http://opengeodb.de
Mit freundlicher Unterstütztung von php::bar (http://phpbar.de)

headers

Martin Trautmann | 16 May 2011 09:19

Re: Einlesen der .TAB-Files in MySQL?

On 11-05-16 9:08, web-it@... wrote:

>>> Inkrementelle Dumps mit Update-Statements gibt's ja 
>> vermutlich nicht? 
>>> Wäre ja auch etwas aufwändig zu generieren.
>>
>> changes.sql kann genau das bieten.
> 
> Ich glaube, das ist der beste Ansatz. Damit kann ich sicher was anfangen.
> Evtl. sogar mit einer internen Anleitung (Editor nehmen, bis Zeile x
> löschen... so was).

Das geht z.B. mit ein paar bash-script-befehlen wie

  datebegin = 2011-04
  grep $datebegin -A 99999 changes.sql > changes_$datebegin.sql

Sollte es verstärkte Nachfrage nach einem solchen Mechanismus geben,
dann könnte ich vielleicht das zur Dump-Erzeugung anbieten. In einer für
z.B. 24 Stunden nutzbaren, temporären Datei würden dann alle changes in
einem benutzerwählbaren Zeitraum von/bis, von oder bis abgelegt werden.

Wenn mir jemand netten HTML-Code liefert, der z.B. nicht nur über
manuelle Datumseingabe die Auswahl erlaubt, sondern das in einer
Kalenderdarstellung wählbar macht und damit die Werte für andere
Anwendungen brauchbar ablegt, dann beschleunigt das eine solche Erweiterung.

Oder gibt's sonstige Wünsche?

Schönen Gruß

(Continue reading)