Besoin de retour : script vérifiant l'affichage sous Linux

kalex · 28 Juillet 2005

Hello,
J'ai bricolé un service de capture d'écran automatique sous Linux, mais c'est vraiment le tout début. En attendant de publier ça auprès du plus grand nombre j'ai besoin que vous le testiez, histoire de vérifier les timeouts, la disponibilité du serveur (c'est un VDS), les plantages, etc.

N'hésitez donc pas à tester, puis à me faire des remarques !
Voilà l'adresse provisoire : --http://80.247.226.129/capture/
Edit : maintenant j'ai le ndd : http://www.scapture.com

J'espère que ça sera d'ores et déjà utile à certains.

Note : comme je l'ai dit, c'est pour tester, alors ça sera peut-être indisponible d'ici peu de temps... selon combien ça tiendra.

marylinepsyche · 28 Juillet 2005

Pas mal du tout!!
Je trouve que c'est une très bonne initiative et perso je pense vraiment que je m'en servirai quand tu auras fini ce projet.
tous mes encouragements

dmathieu · 28 Juillet 2005

pas mal comme principe

pourquoi il y a un temps d'attente avant que la capture soit effective ?
je sais que ce n'est qu'une version de test, mais il pourrait etre intéréssant d'etre notifié lorsque la capture est faite ...
ou au moins de savoir quand elle le sera

kalex · 28 Juillet 2005

Merci à vous.

Techniquement, j'attends un certain temps pour être sur que la page soit chargée. Les navigateurs ne renvoyant pas de signal lorsqu'ils ont fini de charger une page, la seule solution c'est d'analyser tout le trafic réseau... et je le fais pas.

Mais j'ai en projet de renvoyer sur une page avec JavaScript donnant le temps d'attente. Mais pour l'instant, je fais en sorte que ça marche, la convivialité, c'est pour plus tard.

Photoshop user · 28 Juillet 2005

c'est quoi ce navigateur "Dillo" ?

dmathieu · 28 Juillet 2005

a la vue du rendu visuel, ca doit etre un navigateur texte, genre lynx amélioré

kalex · 28 Juillet 2005

Photoshop user a dit:
c'est quoi ce navigateur "Dillo" ?

C'est un navigateur purement html. Voir cette page sur mon autre site (ceci n'est pas une pub

).

Ohax · 28 Juillet 2005

Erreur : réponse incorrecte, le serveur a répondu :

HTTP/1.1 302 Found

marche pas pour moi en tout cas...

kalex · 28 Juillet 2005

Ohax a dit:
Erreur : réponse incorrecte, le serveur a répondu :

HTTP/1.1 302 Found

marche pas pour moi en tout cas...

Il faut l'URL d'une "vrai" page, car je préfère ne pas autoriser les pages de redirection (CODE 302 = moved temporarily, même s'il y a Found après...).

Ohax · 28 Juillet 2005

Erreur : réponse incorrecte, le serveur a répondu :

HTTP/1.1 302 Found

j'ai indiqué mon index.php cette fois ci... ;-)

dmathieu · 28 Juillet 2005

ton domaine est maudit Ohax :lol:

kalex · 28 Juillet 2005

Ohax a dit:
Erreur : réponse incorrecte, le serveur a répondu :

HTTP/1.1 302 Found

j'ai indiqué mon index.php cette fois ci... ;-)

On parle bien de http://www.adojeunz.com/ ?
Alors ton code devrait être 200.
http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html

Un truc bizarre, c'est que selon si la commande est HEAD ou GET ton site dois envoyer un code différent, car avec GET, pas de problème. :?

jerome347 · 28 Juillet 2005

Un conseil : met tout de suite une restriction (création d'un compte obligatoire ou truc dans le genre). Le site icapture qui propose le même service sur mac est resté down pendant longtemps à cause d'abus.

florianavs18 · 28 Juillet 2005

Et pourquoi ne pas faire une file d'attente ?

Dans cette file d'attente, on pourrait :
1. vérifier la date de la dernière demande pour cette URL et de supprimer la requete si abusive
2. vérifier la date de la dernière demande poru l'IP qui a soumit la requête et de supprimer la requete si abusive
3. vérifier la date de la dernière demande pour le domaine et de supprimer la requete si abusive
4. laisser le temps à ton programme de faire ses captures tranquillement, à son rhytme et si ca marche bien, pouvoir avec 46 serveurs qui font les screenshoot (Whouuu)
5. bref, faire tout un tas de vérification pour éviter de se faire déborder

EDIT : désolé, je viens de voir a l'instantn que tu avait déja une file d'attence, mais les vérifications reste valables

Florian

dmathieu · 28 Juillet 2005

et tu limite le nombre de demandes par jour par ip/cookie + domaine

genre, pas plus de 3 demandes pour une meme ip / cookie
et pas plus de 2 pour un meme domaine

kalex · 28 Juillet 2005

J'ai fait tout ça.

Le serveur tourne de toute façon à son rythme : une capture toutes les 12 secondes. Et j'ai mis une limitation (de seulement 10 secondes) pour les requêtes provenant de la même IP ou sur la même URL. J'ai qu'a changer une variable pour mettre ça à un jour.

Merci pour vos conseils !

florianavs18 · 28 Juillet 2005

Par contre tu as oublié LYNX pour le screenshoot

kalex · 1 Août 2005

J'ai maintenant le nom de domaine : http://www.scapture.com/ (perdu bc de temps dans la conf de bind, c'est pas facile à appréhender !)

Pour les utilisateurs, y a rien de vraiment nouveau, mais le script derrière a été largement automatisé, maintenant tout se lance par init. Un reboot et le système est opérationnel sans aucune intervention.

Pour le reste, la stabilité du truc, m'a étonné, il n'a pas planté avant que je le relance pour faire des modifs (pendant env. 2 jours).

kalex · 2 Août 2005

Vous pouvez maintenant tester vos page avec Konqueror. C'est utile, car ce navigateur, bien que très évolué, n'est pas disponible sous Windows. Il est beaucoup utilisé sous Linux avec KDE. De plus, il partage le même moteur de rendu que le Safari d'Apple sous OSX (même si les deux équipes sont loin d'être en phase).

kalex · 4 Août 2005

KaZhaR a dit:
pas mal comme principe
pourquoi il y a un temps d'attente avant que la capture soit effective ?
je sais que ce n'est qu'une version de test, mais il pourrait etre intéréssant d'etre notifié lorsque la capture est faite ...
ou au moins de savoir quand elle le sera

Maintenant, il y a une petite page d'attente. Ca marche chez tout le monde ?

SnAKes · 5 Août 2005

Le principe est sympa. Mais si tu lance à grande échelle il faudra que le PC puisse lancer plusieurs session du navigateur en même temps et de faire la capture de tout ca sans chevauchement des fenetre.

Il n'y a pas moyen de faire ca avec des libs de Mozilla ?
Utiliser leur moteur de rendu HTML pour générer une image du site ?
Si je ne me trompe pas, un navigateur génère un objet représentant site puis il donne cette image au system d'exploitation qui le mets l'objet dans une fenêtre. Avec le moteur de rendu ne peut on pas générer un JPEG de cet objet ?

kalex · 5 Août 2005

Avec KHTML, c'est + ou - possible, avec Gecko et les autres non (même si une société prétend développer un gecko server, c'est plus un coup de pub qu'autre chose).

Pour lancer plusieurs sessions en même temps, il faut lancer plusieurs utilisateurs. Sur un Unix, ça ne pause aucun problème, sauf pour la RAM. Pour accélérer le rythme, le mieux serait, je pense, d'analyser le réseau et de prendre la capture dès que le rendu est fini. Pour l'instant, il y a juste un timeout, il y a donc du temps qui se perd. Le problème, c'est que je pense ça impossible sur un VDS (faut que je teste, mais là entre l'incendie à ma porte et mon départ en vacance, j'ai pas trop le temps

).

Une première solution serai de charger les 3 navigateurs en même temps, mais bon, pour l'instant, on ne peut pas dire que le serveur soit débordé.

Et puis, y a des services lents on peut rien y faire. Regardez http://www.yagoort.org/ : très bon service, mais temps de traitement trèèès long.

kalex · 16 Octobre 2005

Je fais un petit up pour dire que les choses ont pas mal évoluées depuis début août. Notamment la possibilité de choisir sa résolution, de capturer le bas de page et l'ajout du navigateur Opera.
Par contre, chose très négative, le serveur s'est beaucoup ralenti. Les captures sont donc encore plus lentes à apparaître qu'avant (conclusion : il faudrai que je paye plus cher

).

En dehors de ce problème, j'ai toujours besoin de retour. N'hésitez pas à me faire part de critiques ou d'idées !

Twister · 16 Octobre 2005

Ton système ne semble pas prendre en compte les redirections faites par javascript.
Mon site utilise un javascript pour faire une redirection vers une page adaptée à la résolution.
Et ça ne se voit pas sur ton aperçu.
Le site : -http://lefilasoi.free.fr

kalex · 16 Octobre 2005

Twister a dit:
Ton système ne semble pas prendre en compte les redirections faites par javascript.
Mon site utilise un javascript pour faire une redirection vers une page adaptée à la résolution.
Et ça ne se voit pas sur ton aperçu.
Le site : -http://lefilasoi.free.fr

C'est parce que tu fais le test sur la dimension de l'écran (l'objet screen), ça serait mieux de le faire sur la dimension de la fenêtre. Et pas que pour mon script: tout le monde ne surfe pas en plein écran.
Mais en principe ce genre de "bidouilles" peut être évité en utilisant les % en lieux et place des px.

Twister · 16 Octobre 2005

OK,
j'ai changé mon script et ça marche.
Pour ce qui est des "bidouilles" en javascript, j'aurais du mal à m'en passer, le site est trop "tout en images".
Le code html est aussi trop sale, ce qui le rend peu modifiable.
(C'était mon premier site...et encore, ce n'est pas la première version)

:wink:

f_trt · 16 Octobre 2005

Bravo Kalex,
dommage je suis sous linux aussi la pluspart du temps donc je ne vais pas beaucoup me servir de ton site pour cela. Mais encore félicitation ce que j'espère aussi c'est que nombre de webmasters qui sont uniquement sous windows vont en user et en abuser car beaucoup utilisent des polices qui oblige à agrandir un peu sous linux si on veut une bonne lisibilité.

Quand ajoutes tu le Mac ? Je blague encore bravo.

Pour le temps d'attente je trouve pas cela génant l'important c'est le résultat. A la limite ce serait sympa de recevoir par mail la copie d'écran un peu comme les confirmations d'enregistrement.

A+

kalex · 16 Octobre 2005

Merci ! Ca fait plaisir tous ces encouragements.

Pour la notification par mail, j'y pense depuis un moment et je vais sûrement implanter ça d'ici quelque temps.

kalex · 3 Janvier 2006

Salut et bonne année !
Pendant ces vacances, j'ai rajouté les navigateurs textes Lynx et Links.

Les captures produites ne sont pas des images, mais une reproduction HTML de l'affichage dans une console Linux.

Il ne s'agit pas d'une reproduction "au plus proche", j'ai réellement fait un petit émulateur de terminal traduisant les codes vt100 en HTML.

edit : l'url c'est http://www.scapture.com/ (je la redonne, car c'est pas mon site en www)