[Résolu] Montée en charge : nombre maxi enregistrements

[debcuma]

Fil déplacé : rien à voir avec la section Projets.
Titre modifié : merci de faire preuve de précision à l'avenir

Bonjour,
J'avance sur mon projet de base.
Je procède actuellement à des tests de "montée en charge".

J'ai environ 6 giga de données en CSV soit 28000 enregistrements chacun avec pas mal de données.

Après plusieurs essais d'importation loupés (message d'erreur, plantages ...) j'ai fini par récupérer une table apparemment correcte.
Mais les données à l'intérieur ne semblent pas stables ???? Elles apparaissent puis disparaissent quand, en mode liste, j'utilise l'ascenseur. (Et le problème se répercute sur les formulaires associés).
Tout fonctionne normalement avec le test initial contenant une trentaine de fiches.
Je peux éventuellement tout recommencer mais ma question préalable est de savoir si OO est capable de faire tourner une base de 28000 enregistrements ou pas.

Question subsidiaire : est-ce que ce serait plus facile avec libre-office ?

Question subsidiaire 2 : existe-il une autre manipulation pour l'importation que celle que j'ai utilisée :
En mode base faire « ouvrir » le fichier CSV
Choisir uniquement « ; » dans la fenêtre d’import
Tout sélectionner/copier le CSV
Avec onglet table actif faire CTR V
Ajouter une clé primaire



Merci.

[Dude]

Salut,

Déjà expliqué plusieurs fois, une base au format natif HSQL est chargé en mémoire.
Donc, 6 Go de données en RAM même s'il y a une pagination, cela va être très lent.
Mieux vaut passer sur du client/serveur dans ce cas.

Je m'étonne quand même du volume.
6 Go pour 28.000 enregistrements, cela nous fait une moyenne de 215 ko par tuple.
J'ai une base avec plus de 500.000 enregistrements et j'arrive péniblement à 60 Mo.

[debcuma]

oops 6 Méga (et non giga) pour le fichier Csv. La base après import fait 16 Mo. Désolé.

Je ne peux pas utiliser de serveur. La base est destinée à être donné à des collectionneurs qui modifieront chacun de leur côté leur propre exemplaire.

[Dude]

La base après import fait 16 Mo.

J'ai une base avec plus de 500.000 enregistrements et j'arrive péniblement à 60 Mo.

Mais bon, les performances vont également dépendre de :

1. La structure de la base et de son modèle relationnel
2. Les index posées sur les tables
3. Le volume de mise à jour/ajout/suppression de données
4. Les ressources allouées à la machine qui exécutera le fichier

[debcuma]

Merci.

Merci.[/quote]

1. La structure de la base et de son modèle relationnel

Pour le moment, deux tables une relation, quelques formulaires.

[*] Les index posées sur les tables

Une clé primaire sur chaque table

[*] Le volume de mise à jour/ajout/suppression de données

Rien pour le moment à l'exception de cet import initial.

[*] Les ressources allouées à la machine qui exécutera le fichier[/list]

C'est une machine de gamer (certes d'il y a 2-3 ans) qui ne devrait pas avoir de souci avec des applis bureautique.

Question subsidiaire 2 : existe-il une autre manipulation pour l'importation que celle que j'ai utilisée :
En mode base faire « ouvrir » le fichier CSV
Choisir uniquement « ; » dans la fenêtre d’import
Tout sélectionner/copier le CSV
Avec onglet table actif faire CTR V
Ajouter une clé primaire

Une autre méthode marcherait-elle mieux ?

[Dude]

C'est une machine de gamer (certes d'il y a 2-3 ans) qui ne devrait pas avoir de souci avec des applis bureautique.

Je ne parle pas bien sûr de ta machine mais de celle de ceux qui vont utiliser ton ODB.

Une autre méthode marcherait-elle mieux ?

Oui, la méthode qui consiste à ne poser qu'une question par fil avec un titre explicite.

[debcuma]

Je ne parle pas bien sûr de ta machine mais de celle de ceux qui vont utiliser ton ODB.

Mon problème actuel est déjà de la faire tourner sur ma machine et de comprendre comment remédier au fait que l'importation est difficile et que les données (quand cet import semble réussir) ensuite ne sont pas stables :

Après plusieurs essais d'importation loupés (message d'erreur, plantages ...) j'ai fini par récupérer une table apparemment correcte.
Mais les données à l'intérieur ne semblent pas stables ???? Elles apparaissent puis disparaissent quand, en mode liste, j'utilise l'ascenseur. (Et le problème se répercute sur les formulaires associés).
Tout fonctionne normalement avec le test initial contenant une trentaine de fiches.

[jeanmimi]

Bonjour,

Pour le moment, deux tables une relation, quelques formulaires.

Vu le poids de la Base, est-ce qu'il y a des images ou des copies d'écran pour agrémenter les formulaires, ou des champs <OBJET> avec des enregistrements dans une Table ?

[debcuma]

Bonjour,

J'ai précisé la taille réelle dans un message correctif 16 Mo pour la base:

oops 6 Méga (et non giga) pour le fichier Csv. La base après import fait 16 Mo. Désolé.

Les images sont dans un dossier séparé et il n'y a pas de fonds d'écran ni de champ "objet".

D'après ce que vous me dites j'ai l'impression que le souci vient peut-être plus de l'importation que de la taille de la base à l'arrivée. Mon fichier CSV contient un grand nombre de colonnes (pas loin de 50 je pense) est-ce que ça pourrait être la source du problème ?

[jeanmimi]

Mon fichier CSV contient un grand nombre de colonnes (pas loin de 50 je pense) est-ce que ça pourrait être la source du problème ?

Pour le savoir, il faudrait tester.

[debcuma]

Mon fichier CSV contient un grand nombre de colonnes (pas loin de 50 je pense) est-ce que ça pourrait être la source du problème ?

Pour le savoir, il faudrait tester.

C'est justement ce que je fais Le résultat est que ça ne fonctionne pas. Mais est-ce du à cela, aux nombre d'enregistrements ? Au cumul des deux ?
L'import (avec le même nombre de colonne et peu d'enregistrements) fonctionne.

Ce genre de limites (nombre max de champs lors d'un import, nombre d'enregistrements lors d'un import) n'est pas documentée ? Je ne trouve rien.

[Dude]

comment remédier au fait que l'importation est difficile et que les données (quand cet import semble réussir) ensuite ne sont pas stables

Quel est le rapport avec la question initiale ?
Réfléchissons : quelqu'un ayant un problème d’importation CSV va t-il s'arrêter sur ce sujet ?

Donc là encore, tu ouvres un nouveau fil avec un titre explicite.
Tu nous expliques la méthode d'import et tu illustres par des copies écran ce qui pose problème.
Puis, tu fournis un CSV(1) et un ODB permettant de reproduire ce que tu exposes.


(1) Bien sûr fichier à héberger sur CJoint au vu de sa gargantuesque taille.