[UC] Arrêt entre chaque fichier en copie

Aidez Ultracopier/Supercopier en postant vos bug ici
amau05
Posts: 3
Joined: Mon Jan 05, 2015 9:03 pm

Re: [UC] Arrêt entre chaque fichier en copie

Post by amau05 » Tue Jan 06, 2015 12:05 am

Euh désolé mais je n'ai rien compris tu pourrais développer stp? Je suis plutôt bon en informatique mais pas en programmation.

User avatar
alpha_one_x86
Site Admin
Posts: 1246
Joined: Sun Oct 26, 2008 9:09 am
Contact:

Re: [UC] Arrêt entre chaque fichier en copie

Post by alpha_one_x86 » Tue Jan 06, 2015 12:17 am

En gros: Windows nous donnes de la merde pour programmer sur le réseau. Ont peu contourner en fessant un bricolage immonde, chose que je refuse de faire.
Developer of ImageUltracopier/ImageSupercopier and of the game ImageCatchChallenger

TwEnTyHuNdReDs
Posts: 6
Joined: Fri Mar 13, 2015 9:59 am

Re: [UC] Arrêt entre chaque fichier en copie

Post by TwEnTyHuNdReDs » Fri Mar 13, 2015 10:13 am

Donc si je comprend bien, à ce jour, absolument personne n'a réussi à trouver d'où peut bien venir ce malheureux blocage qui subsiste entre la copie de deux fichiers ? :shock:

J'ai eu beau chercher sur d'autres forums que celui d'UC, aucune solution en vue ... :cry:

Ça va quand même pas rester sans solution, si ? :roll:

User avatar
alpha_one_x86
Site Admin
Posts: 1246
Joined: Sun Oct 26, 2008 9:09 am
Contact:

Re: [UC] Arrêt entre chaque fichier en copie

Post by alpha_one_x86 » Fri Mar 13, 2015 10:35 am

J'espére que non, hélas c'est pas un bug facile à trouver ni à reproduire. J'ai pas énormément de temps ces derniers temps pour ce bugs, et il y as l'options inode threads.
Mais tout le monde est libre de contribuer...
Developer of ImageUltracopier/ImageSupercopier and of the game ImageCatchChallenger

amau05
Posts: 3
Joined: Mon Jan 05, 2015 9:03 pm

Re: [UC] Arrêt entre chaque fichier en copie

Post by amau05 » Fri Mar 13, 2015 10:41 am

Bah qui sais si on a un peu de chance ils auront revu le moteur de copie pour Windows 10...

User avatar
alpha_one_x86
Site Admin
Posts: 1246
Joined: Sun Oct 26, 2008 9:09 am
Contact:

Re: [UC] Arrêt entre chaque fichier en copie

Post by alpha_one_x86 » Fri Mar 13, 2015 10:47 am

En tout ça la version 1.2 est en cour. Et la version 2 qui refait tout le coeur est prévu. J'ai juste besoin de temps libre pour bosser sur ces projets, ou de financements pour faire mes heures supplémentaire dessus.
Developer of ImageUltracopier/ImageSupercopier and of the game ImageCatchChallenger

TwEnTyHuNdReDs
Posts: 6
Joined: Fri Mar 13, 2015 9:59 am

Re: [UC] Arrêt entre chaque fichier en copie

Post by TwEnTyHuNdReDs » Fri Mar 13, 2015 12:02 pm

amau05 wrote:Bah qui sais si on a un peu de chance ils auront revu le moteur de copie pour Windows 10...
Allez, on va pas être mauvaise langue ... et on va croiser les doigts :)

TwEnTyHuNdReDs
Posts: 6
Joined: Fri Mar 13, 2015 9:59 am

Re: [UC] Arrêt entre chaque fichier en copie

Post by TwEnTyHuNdReDs » Fri Mar 13, 2015 12:17 pm

alpha_one_x86 wrote:et il y as l'options inode threads.
Pour moi, le fait de passer le nombre de thread à 16 voir 32 n'impacte que très légèrement le processus de copie.
Je pense que l'option est intéressante lors de la copie de multiples petits fichiers, or là je parles d'une copie d'un bon millier de fichiers d'environ 2 à 4 Go chacun.
alpha_one_x86 wrote:Mais tout le monde est libre de contribuer...
Oui, je me propose de rechercher une solution sur le net plutôt que de la créer, car je ne suis pas franchement un spécialiste de C++ :|

Sinon, il subsiste un autre bug, plutôt du côté UI.

Les informations de progression de la copie se mettent à jour de façon curieuse.
J'ai essayé à trois reprises d'expliquer (de façon compréhensible) le problème par l'écrit, sans succès, donc ... :oops:

Exemple concret : :mrgreen:

Si j'effectue une copie de 1000 fichiers de 2Go, que 20% ont déjà été copiés, je suis donc à 200/1000, 20% et 400Go/2000Go ... logique :lol:
Sauf que si j'en retire 500 à ce moment-là, l'interface affiche 700/1000, encore et toujours 20% (numériquement et graphiquement) et 1400Go/2000Go ... pas cool pour savoir où on en est réellement :)

PS : J'ai pas voulu créer un post spécialement pour ça (c'est une correction non pertinente à mon sens). S'il le fallait, je le ferai :)

EDIT : Apparemment, la configuration suivante règle partiellement le problème. Partiellement car ça me plombe légèrement le débit, mais la période de purge ne semble plus poser de problème.

Taille de bloc à 1024Ko
Tampon de l'OS activé
Pas de seuil pour le tampon de l'OS
Algorithme de transfert sur Auto
Buffer séquentiel sur 307200Ko
Buffer parallèle sur 1024Ko
Parallélise si plus petit que 1Ko
Tread d'inode sur 16
Last edited by TwEnTyHuNdReDs on Fri Mar 13, 2015 1:02 pm, edited 2 times in total.

User avatar
alpha_one_x86
Site Admin
Posts: 1246
Joined: Sun Oct 26, 2008 9:09 am
Contact:

Re: [UC] Arrêt entre chaque fichier en copie

Post by alpha_one_x86 » Fri Mar 13, 2015 12:56 pm

TwEnTyHuNdReDs wrote:Pour moi, le fait de passer le nombre de thread à 16 voir 32 n'impacte que très légèrement le processus de copie.
Un ou 16+ devrai avoir un influance. Ca désyncronise le close(), en d'autre terme ça lance la copie suivante quand le fichiers est en cour de finalisation.
TwEnTyHuNdReDs wrote:Si j'effectue une copie de 1000 fichiers de 2Go, que 20% ont déjà été copiés, je suis donc à 200/1000, 20% et 400Go/2000Go ... logique :lol:
Sauf que si j'en retire 500 à ce moment-là, l'interface affiche 700/1000, encore et toujours 20% (numériquement et graphiquement) et 1400Go/2000Go ... pas cool pour savoir où on en est réellement :)
Noté pour le bug des 20%, pour le reste c'est le comportement attendu (facilité dans les algo). Ouvrir un post pour savoir si plus de gens veulent que je soutrain du total au lieux d'additionné à ce qui est copier serai peu être bien.
TwEnTyHuNdReDs wrote:Apparemment, la configuration suivante règle partiellement le problème. Partiellement car ça me plombe légèrement le débit, mais la période de purge ne semble plus poser de problème.
C'est que le buffer n'est pas correctement exploité (quand il l'est il bloque à la fin pour le temps de purger le buffer, et quand il est pas/mal exploité alors le débit baisse mais il n'y as plus de temps de purge).
TwEnTyHuNdReDs wrote: Taille de bloc à 1024Ko
Tampon de l'OS activé
Pas de seuil pour le tampon de l'OS
Algorithme de transfert sur Auto
Buffer séquentiel sur 307200Ko
Buffer parallèle sur 1024Ko
Parallélise si plus petit que 1Ko
Tread d'inode sur 16[/b]
Tu as des stats sur l’influence de chaque? Quelqu'un peu confirmer pour que je le mettre en post it ou en début de topic?
Developer of ImageUltracopier/ImageSupercopier and of the game ImageCatchChallenger

TwEnTyHuNdReDs
Posts: 6
Joined: Fri Mar 13, 2015 9:59 am

Re: [UC] Arrêt entre chaque fichier en copie

Post by TwEnTyHuNdReDs » Fri Mar 13, 2015 1:23 pm

alpha_one_x86 wrote:
TwEnTyHuNdReDs wrote:Pour moi, le fait de passer le nombre de thread à 16 voir 32 n'impacte que très légèrement le processus de copie.
Un ou 16+ devrai avoir un influance. Ca désyncronise le close(), en d'autre terme ça lance la copie suivante quand le fichiers est en cour de finalisation.
En effet, ça a une influence, mais que entre les valeurs 1 et 2 pour des gros fichiers. Voir la suite plus bas ...
Je parlais de la différence entre 2 et 16 voir 32 ... aucun impact pour des grosses copies, logique :oops:
alpha_one_x86 wrote:Noté pour le bug des 20%, pour le reste c'est le comportement attendu (facilité dans les algo). Ouvrir un post pour savoir si plus de gens veulent que je soutrain du total au lieux d'additionné à ce qui est copier serai peu être bien.
Dans les anciennes version (supercopier mais ultracopier aussi), il me semble que la barre de progression ainsi que le pourcentage d'avancement se mettaient à jour, à voir :)
Pour la différence entre 200/500 et 700/1000, j'essaierai de faire un post propre dans les prochains temps. Merci en tout cas.
alpha_one_x86 wrote:
TwEnTyHuNdReDs wrote: Taille de bloc à 1024Ko
Tampon de l'OS activé
Pas de seuil pour le tampon de l'OS
Algorithme de transfert sur Auto
Buffer séquentiel sur 307200Ko
Buffer parallèle sur 1024Ko
Parallélise si plus petit que 1Ko
Tread d'inode sur 16[/b]
Tu as des stats sur l’influence de chaque?
Je suis actuellement sur la copie de 1567 fichiers, répartis dans 107 dossiers et sous-dossiers, représentant 2.45To de données au total ... autant dire que j'ai la possibilité de faire des tests à des fins statistiques :)

Inode à 1 : Transfert précédent à 110-130Mo/s le temps du remplissage du buffer, poursuite à 70-80Mo/s, chute à 30-35Mo/s voir 15-20Mo/s, blocage en fin de copie le temps de la purge du buffer et reprise à 110-130Mo/s.
Inode à 2 : Transfert précédent à 110-130Mo/s comme précédemment, poursuite à 70-80Mo/s, puis chute à 30-35Mo/s et poursuite à cette vitesse durant tout le reste de l'opération.
Inode à 16 : Idem, que l'inode à 2 mais plantage aléatoire du processus de copie lors du passage d'un fichier au suivant.

La solution de l'inode threads sur 2 pour la copie de fichiers lourds me semble être la bonne.

Après la copie du dossier en cours, je lancerai un bench sur les deux HDD en question, pour savoir si les 35Mo/s sont une limitation read/write ou non.

À suivre ...

EDIT : Tout va bien, je suis limité à 36Mo/s sur mon DD externe ... pourtant branché en USB3.0 ! On dit problème réglé avec l'inode threads à 2 pour mon cas.

Lorsque je brancherai mon Synology DS215J, j'aurai réellement une vitesse de transfert DD interne/DD interne, d'environ 110Mo/s donc, et je vous en dirai plus à ce moment-là.

D'ici là, portez vous bien !
Last edited by TwEnTyHuNdReDs on Fri Mar 13, 2015 1:59 pm, edited 1 time in total.

Post Reply