question

daky avatar image
daky asked

Convert CCGX sqlite3-database file larger than 500MB into xls-file via VictronConnect

I have here a sqlite3-database file, which comes from my ColorControl-GX device (logging on the SD memory card).
Now I want to convert the data from the database into an Excel-file. For this I use software "VictronConnect" in the current version 5.34 and proceed according to the following description (see section 5.5):
https://www.victronenergy.com/live/victronconnect:start#importing_and_converting_a_gx_product_family_database_file


Now I get an error message that the database file is larger than the limit of 524288000 bytes, which is exactly 500 MegaByte (524.288.000 Bytes / 2^20 = 500 MB).
Enclosed some screenshots - with v5.33 also tried with the same result.

Is this an error in the "VictronConnect" software?
Or is it an error in the firmware of the CCGX (VenusOS V2.53) that files larger than 500 MB are created? Consequently, new database files would have to be created when reaching the 500 MB database size.

My question now is, how can I convert the sqlite database file >500MB into an Excel file?

Thanks in advance.

Best regards,
DaKy



--------------------
In German:
Titel:
Konvertierung einer CCGX sqlite3-Datenbank-Datei größer als 500MB in eine xls-Datei via VictronConnect


Ich habe hier eine sqlite3-database file, die von meinem ColorControl-GX kommt (Logging auf die SD-Speicherkarte).

Jetzt möchte ich die Daten aus der Datenbank in eine Excel-Datei konvertieren. Dazu nutze ich Software "VictronConnect" in der aktuellen Version 5.34 und gehe nach folgender Beschreibung vor (siehe Abschnitt 5.5):
https://www.victronenergy.com/live/victronconnect:start#importing_and_converting_a_gx_product_family_database_file


Nun bekomme ich eine Fehlermeldung, dass die Datenbank-Datei größer als der Grenzwert von 524288000 Bytes ist, was exakt 500 MegaByte sind (524.288.000 Bytes / 2^20 = 500 MB).
Anbei einige Screenshots - mit v5.33 ebenfalls probiert mit gleichem Ergebnis.

Handelt es sich hier um ein Fehler in der Software "VictronConnect"?
Oder ist es ein Fehler in der Firmware des CCGX (VenusOS V2.53), dass Dateien angelegt werden, die größer als 500 MB sind? Hier müssten folglich beim Erreichen der 500MB-Datenbank-Größe neue Datenbank-Dateien angelegt werden.

Meine Frage ist nun, wie ich die sqlite-Datenbank-Datei >500 MB in eine Excel-Datei konvertieren kann?

Vielen Dank im Voraus.

Mit freundlichen Grüßen,
DaKy



--------------------
Screenshots:





CCGX Color ControlVenus OSgx device
2 |3000

Up to 8 attachments (including images) can be used with a maximum of 190.8 MiB each and 286.6 MiB total.

4 Answers
daky avatar image
daky answered ·

Hi Stewart,

Thank you for the answer. The period of the logging database is from 18/04/2020 to 23/10/2020 (i.e. 188 days or ~6,26 months).

In my case the way via VRM would not be a solution (I log completely offline and want to evaluate offline as well).


In my opinion, VenusOS should be improved here:
If the PC software "VictronConnect" only accepts databases with a maximum size of 500 MB, then this must be taken into account when creating the database. This means that the CCGX would have to implement this and accordingly create new database files on the SD card, which are smaller/equal to the file size limit in "VictronConnect".

In short: The creation of the logging databases must match the evaluation-/conversion software.


The CCGX specifications state that offline logging is possible and that the CCGX supports SD memory cards up to 32GB. For this reason I use a 32GB micro SD card, so that the device can store all data for a long time.
In the current state it means that I have to read out the memory card regularly e.g. every 4 months and must ensure that a new database-file is created (by deleteing/renaming the existing file). I can't do that, the period is too short.

Are there any other possibilities to evaluate/convert the logging database (with file size larger than 500 MB) offline?
(As described, the VRM is not an option here for the time being).

Thanks a lot.

Best regards,
DaKy



--------------------
In German:

Hallo Stewart,

Danke für die Antwort. Der Zeitraum der Logging-Datenbank ist vom 18.04.2020 - 23.10.2020 (also 188 Tage bzw. ~6,26 Monate).

In meinem Fall wäre der Weg über die VRM keine Lösung (ich logge komplett Offline und will auch Offline auswerten).


Ich bin der Meinung, dass das VenusOS hier nachgebessert werden müsste:
Wenn die PC-Software "VictronConnect" nur Datenbanken mit einer maximalen Größe von 500 MB akzeptiert, dann muss dies bei der Datenbank-Erstellung berücksichtigt werden. Das heißt, dass der CCGX dies umsetzen müsste und entsprechend neue Datenbank-Dateien auf der SD-Karte anlegen muss, die kleiner/gleich der Dateigrößen-Grenze in "VictronConnect" sind.

Kurz um: Die Erstellung der Logging-Datenbanken muss zum Auswerte-/Konvertierungsprogramm passen.


In den technischen Daten des CCGX steht, dass Offline-Logging möglich ist und dass das CCGX SD-Speicherkarten bis 32GB unterstützt werden. Aus diesem Grund nutze ich eine 32GB-Micro-SD-Karte, damit das Gerät für lange Zeit alle Daten loggen kann.
Im momentanen Zustand bedeutet es, dass ich regelmäßig z.B. alle 4 Monate die Speicherkarte auslesen muss und dafür sorgen muss, dass eine neue Datenbank-Datei erstellt wird (durch Löschen/Umbenennen der bisherigen Datei). Das kann ich nicht machen, der Zeitraum ist zu kurz.


Gibt es weitere Möglichkeiten, die Logging-Datenbank (mit Dateigröße größer 500 MB) offline auszuwerten/zu kovertieren?
(Wie beschrieben, das VRM ist hier erstmal keine Option.)

Vielen Dank.

Mit freundlichen Grüßen,
DaKy

2 |3000

Up to 8 attachments (including images) can be used with a maximum of 190.8 MiB each and 286.6 MiB total.

jperez (Victron Energy Staff) avatar image
jperez (Victron Energy Staff) answered ·

@DaKy, We have sent you an e-mail. Please, check your inbox.

2 |3000

Up to 8 attachments (including images) can be used with a maximum of 190.8 MiB each and 286.6 MiB total.

daky avatar image
daky answered ·

Hello @jperez,

I have answered your email and uploaded the file.


It would be important for me to be able to use the 32 GB memory card completely and convert afterwards the data offline.

Since the memory card has the file system FAT32, the maximum file size of a database file can be 4 GB. This means that the ColorControlGX (VenusOS) has to create several database files accordingly (at the latest when reaching the maximum file size of 4 GB).

But probably database files with a size of 500 MB are okay, because database files with a size of 4 GB are likely to be much larger than 4GB when converted to Excel format.
Such large files are probably not handled well by Excel (although I have not tested it yet).

I would like it very much if you could export not only to Excel format (*.xlsx) but also to *.csv format. (Preferably with a possibility to select certain data (columns) before export).

In any case it must be ensured that the database files created by CCGX / VenusOS can be converted offline later.

Thanks a lot.

Best regards,
DaKy



--------------------
In German:

Hallo @jperez,

ich habe deine eMail beantworted und die Datei hochgeladen.


Für mich wäre es wichtig, dass ich die 32 GB Speicherkarte komplett ausnutzen kann und die Daten im nachhinein offline konvertieren kann.

Da die Speicherkarte das Dateisystem FAT32 hat, kann die maximale Dateigröße einer Datenbank-Datei 4 GB betragen. Das heißt, der ColorControlGX (VenusOS) muss entsprechend mehrere Datenbank-Dateien erstellen (spätestens beim Erreichen der max. Dateigröße von 4 GB).

Vermutlich sind aber Datenbank-Dateien mit einer Größe von 500 MB in Ordnung, da Datenbank-Dateien mit einer Größe von 4 GB beim konvertieren ins Excel-Format wahrscheinlich deutlich größer werden als 4 GB.
Solche großen Dateien kann Excel bestimmt nicht so gut verarbeiten (wobei ich es noch nicht getestet habe).

Ich würde es sehr wünschen, wenn nicht nur ins Excel-Format (*.xlsx) sondern auch ins *.csv-Format exportiert werden könnte. (Am besten noch mit einer Möglichkeit, bestimmte Daten (Spalten) vor dem Export auszuwählen.)

In jedem Fall muss aber sichergestellt sein, dass die vom CCGX / VenusOS erstellten Datenbank-Dateien später offline konvertiert werden können.

Vielen Dank.

Mit freundlichen Grüßen,
DaKy

2 |3000

Up to 8 attachments (including images) can be used with a maximum of 190.8 MiB each and 286.6 MiB total.

jperez (Victron Energy Staff) avatar image
jperez (Victron Energy Staff) answered ·

Hi @DaKy,


We have removed the file size limit and improved the log converter on the recently released VictronConnect v5.35.

1 comment
2 |3000

Up to 8 attachments (including images) can be used with a maximum of 190.8 MiB each and 286.6 MiB total.

Hello @jperez (Victron Energy Staff),

Thank you for the information and the implementation. With VictronConnect v5.35 the conversion works.

For those who are interested:
- File size sqlite3 database file: 507 MB
- File size Excel file after conversion: 66.9 MB

Thank you very much for your support!

Best regards,
DaKy



--------------------

In German:

Hallo @jperez (Victron Energy Staff),

vielen Dank für die Infos und die Umsetzung. Mit VictronConnect v5.35 funktioniert die Konvertierung.

Für die, die es interessiert:
- Dateigröße sqlite3-Datenbank-Datei: 507 MB
- Dateigröße Excel-Datei nach Konvertierung: 66,9 MB

Vielen Dank für die Unterstützung!

Mit freundlichen Grüßen,
DaKy

0 Likes 0 ·