(Update aout 2024) Analyse et essai de stuf.tech

Update: retour en août 2024:
Pendant que tout le monde se prélasse sur la plage, profitant du soleil et du beau temps, je me suis dit qu'à la place de me risquer au soleil il était temps de revenir sur des services de cloud gaming.

Après un bref retour sur shadow.tech en juillet, et n’y ayant constaté aucun changement, il était temps de faire un saut sur stuf.tech, le service cloud qui m’avait séduit en fin d’année dernière.

Cette fois, c'est le drame.

Le 5 août 2024, de bonne humeur je commence par la création d'un nouveau compte, le précédent étant passé à la trappe en testant la suppression de compte l'année passée. Si l'année passée, le seul problème avait été une mauvaise attribution de GPU lié à un script posant problème (ou stock limité?), cette fois c'est plus difficile et obtenir une réponse du support semble l'être encore plus.

Avec mon nouveau compte, rien ne marche, là où en 2023 c'était déroulé sans encombre. Cette fois, impossible d'obtenir un bureau distant, le client web (en beta) ne fonctionne avec aucun des navigateurs testés (firefox, chromium, brave, sous Linux et par dépit sous Windows, avec et sans extensions) et le client Moonlight affiche une image du bureau avant de passer sur une perte de connexion quasi instantanée. Après une réinstallation, la page de Sunshine est aux fraises et me présente la page de configuration initiale me demandant de configurer un user et mot de passe, à l'infini, la page se rechargeant à chaque tentative de validation pour revenir au même état.

Après de multiples essais et réinstallation, la machine se retrouve avec un "Error ... Error Sunshine .... Veuillez contacter le service client dans la rubrique contact. Si le problème persiste, le Stuf devra être réinitialisé.", sauf que personne n'a pris le temps de répondre à mes tentatives de contact par le formulaire, le 9 août je fini par faire un email à l'adresse mail indiquée, qui au passage, possède un lien fort intéressant, espérant une réponse rapide, qui n'est jamais arrivée, mais je suis du genre optimiste mais on ne sais jamais, si ça se trouve demain elle sera là!

Après de nombreuses heures passées à espérer avoir une amélioration et une machine qui fonctionne ou une réponse de leurs supports, j'ai fini par abandonner.
Je laisse l'article original en ligne à titre indicatif de l'expérience originale.

Présentation et essai du service stuf.tech, le cloud-gaming abordable.

Stuf.tech est un service proposé par la société Innove Game SAS, une entreprise française fondée le 30 novembre 2021 par Sébastien Chabert et Jean-Baptiste Chabert.

L’entreprise propose un service de cloud-gaming, concurrent direct à ShadowPc qui permet aux utilisateurs de jouer à des jeux vidéo sur leurs ordinateurs, télévision ou d’autres appareils compatibles avec un client local et une connexion internet haut débit.
Le cloud gaming repose sur des machines virtuelles hébergées sur des serveurs distants pour exécuter les jeux, envoyant le flux audio/vidéo en streaming et récupérant le flux d’I/O sur le client.

Stuf.tech utilise le serveur opensource Sunshine et le client opensource Moonlight. Ce choix permet de couvrir un nombre important de clients, le projet Moonlight ayant été porté sur un nombre impressionnant d’appareils, passant de consoles (jailbreak) comme la PS Vita, la Nintendo Switch, aux PC sous Linux ou Windows, aux Mac et autre Apple TV, Android TV etc.. la liste est longue et une recherche internet vous donnera rapidement la liste des appareils avec un client Moonlight existant.

Les offres et tarifications

Stuf.tech est le fournisseur le moins cher qu’il m’a été donné de trouver (sans compter les services facturant à l’heure lors d’un usage occasionnel). Lors de la rédaction, leurs offres étaient les suivantes.

Lors de mon premier boot avec l’offre gamer j’ai constaté que ma machine virtuelle avait une 3060 à la place de la 4060 annoncée. Après contact avec le support, qui a été extrêmement rapide à répondre en fin de journée (moins de 9 minutes), ils m’ont indiqué que c’était un problème qui pouvait arriver à quelques utilisateurs et qu’ils travaillaient à sa résolution avec un ETA pour le correctif à 7 jours et qu’en rebootant ma vm je devrai finir par tomber sur une 4060. Effectivement après le 3eme boot j’ai obtenu la fameuse 4060 attendue.

Analyse du service

Réseau

Votre machine virtuelle se retrouve sur un LAN, de multiples clients semblent se partager donc une adresse IP publique.

Latence

Durant mes tests je n’ai pas constaté de problème réseau ni latence anormale, y compris en heure de pointe.

Un test rapide sur ip.bieringer.net nous indique que stuf.tech ne fait heureusement pas de CGN, ce qui est une excellente nouvelle.

Bande passante

Comme vous pouvez le constater, la limitation de bande passante ne semble pas être stricte. Une possible explication serait une répartition suivant le load, appliquant une limitation aux débits indiqués sur l’offre, mais nous laissant dépasser celle-ci quand la charge est faible.

Le serveur de test utilisé ici est celui du fournisseur internet et devrait représenter les conditions optimales.

Lors d’un test sur Ovh on constate une diminution importante de l’upload, n’utilisant pas Ovh je ne sais pas si la limite est causée par leur test.

Streaming

Analysons maintenant les statistiques de Moonlight.
Ma configuration de Moonlight est la suivante et je n’ai pas touché à la config de Sunshine.

Commençons par ignorer le ping élevé car je suis en Suisse, si vous êtes en France, attendez-vous à de bien meilleurs résultats.

Même si dans mon cas un ping de 36ms se fait ressentir, vu que celui-ci est stable on finit par s’y habituer et on ne rencontre aucun problème dans les jeux "lents" (par là j’entends les jeux qui ne demandent pas de précision à la frame près).
Pour donner une idée j’ai pu faire plusieurs bosses d’Elden Ring sans réelle difficulté supplémentaire, cependant je n’essaierai quand même pas de faire une run challenge qui pourrait exiger du "frame perfect" voire de jouer à un FPS compétitif.

Parlant des jeux compétitifs, il faut savoir que cette partie sera toujours un problème dans le monde du cloud-gaming car la majorité des développeurs de FPS implémentent des anti-cheats empêchant le lancement du jeu dans une machine virtuelle. Les "bons développeurs" ont généralement configuré leurs anti-cheat pour vous prévenir que le jeu ne peut pas être lancé dans une machine virtuelle, les "mauvais" vous inscrivant directement sur la liste d’attente pour la prochaine vague de ban, voir vous ban directement. Il est donc important de vous renseigner si le jeu auquel vous jouez rentre dans cette catégorie.

Pour du travail à distance sur Unreal, Godot ou Blender je n’ai rencontré aucun gros problème, cependant le stockage n’est pas très rapide et je n’ai pas testé si le trafic ssh/git/perforce était bloqué par le firewall.

Résolution

Toute personne ayant utilisé des cartes GeForce en VFIO connaissent la limitation virtuelle imposée par Nvidia imposant la connexion d'un écran ou un dongle émulateur. Ici c’est une excellente surprise, les dongles utilisés permettent de monter jusqu’à du 4k 60hz, et propose du 120hz à des résolutions plus faibles. Très bon point!

Parsec

Il y a quelques années, Parsec était incontournable, malheureusement comme toutes les bonnes choses ont une fin unity est passé par là, rachetant Parsec début 2022. Un résultat sans appel à la hauteur de ce qu’on peut attendre de la part d’unity, des fonctionnalités retirées, le retrait du décodage hardware sous Linux car "en migration de libva vers ffmpeg" depuis 2022. Malheureusement il ne semble pas exister d’alternative proposant autant de fonctionnalités utiles pour une station de travail distante.

Même si j’apprécie énormément le combo Moonlight/Sunshine pour le jeu, pour sa faible latence, en ce qui concerne le travail sur Godot, Unreal ou Blender, Parsec est généralement bien plus confortable. Malheureusement Parsec n’est pas utilisable ici, les règles firewall semblent êtres strictes et bloquent la connexion.

Performances hardware

Attaquons maintenant dans le vif du sujet et le plus intéressant, les performances.

Le stockage est annoncé par l’offre comme étant des SSD, on y retrouve des performances en écriture semblable à l’offre de ShadowPc, mais bien en retrait niveau lecture, mais ça ne devrait pas poser de problème sur la quasi-totalité des jeux actuels, cependant cela pourrait possiblement poser problème pour les jeux abusant du chargement à la volée provoquant occasionnellement des micro-saccades.

En dehors des jeux, si vous travaillez sur un gros projet Unreal n’espérez pas des miracles sur les temps de chargement, le stockage est malheureusement le goulot d’étranglement de cette offre. Si en plus votre projet est en C++ et nécessite de régulièrement relancer l’éditeur, vous constaterez rapidement les limites du stockage.

Cinebench r23 / 2024

Les résultats Cinebench r23 et 2024 sont à la hauteur des annonces, le CPU n’étant pas un foudre de guerre, cependant il s’en sort vraiment bien pour une solution de cloud gaming à un prix aussi compétitif.

3dMark

Les résultats 3DMark sont à la hauteur de l’annonce matérielle. On constate une légère perte comparée à la moyenne indiquée par 3DMark, mais la perte de performance est dans la marge de tolérance classique, liée à la virtualisation que l’on retrouve dans toutes les solutions de cloud-gaming que j’ai pu tester.

Latencymon

Partons maintenant sur Latencymon, je n’ai fermé que les logiciels classiques sans faire un "massacre" sur les processus tournant en arrière plan, les résultats sont bons, mais n’espérez pas faire de la mao en temps réel, la latence réseau reste bien trop importante pour ça.

Unreal Engine

On commence directement sûr du lourd avec le projet Epic "Valley of the Ancient", il est le candidat idéal pour tester une config complète.

Le résultat est prévisible, petite surprise car même avec ma critique sur la lenteur du stockage, le projet n’a pas de micro-saccades que nous constatons sur les HDD ou SSD avec de faibles iops. Cependant, tout n’est pas rose, le téléchargement du projet (100GO), son installation et son exécution à pris quasiment deux heures, le facteur limitant étant toujours la vitesse du stockage.

Une fois le projet lancé, et les shaders compilés, il tourne entre 27 et 45 fps en 1080p (avec une 3060 lors de ce test), ce qui montre qu’il est possible de travailler sur Unreal sans grande difficulté sur cette offre. Seule l’impossibilité de faire du multi-screen virtuel, fonctionnalité disponible sur Parsec, me manque cruellement ici.

Conditions d’utilisation

Les conditions d’utilisation sont simples et compréhensibles. Je regrette juste que celle-ci ne définisse pas mieux plusieurs points comme dans l’extrait suivant.

Utilisation autorisée

Vous pouvez utiliser notre service uniquement dans le cadre des lois applicables et de ces conditions d’utilisation. Vous êtes responsable de toutes les activités qui se produisent sous votre compte.

La partie "cadre des lois applicables" est facile à comprendre, cependant la seconde partie "et de ces conditions d’utilisation" l’est moins vu que rien ne semble défini dans les dites conditions.

La suppression de compte est facile et semble immédiate, nul besoin de passer par un ticket au support, attendre 3 mois pour avoir une réponse qui demandera de devoir fournir 50 documents administratifs, son acte de naissance et celui de nos parents sur 24 générations, excellent point!

Installation par défaut

La machine virtuelle livrée comprend la majorité des launchers du marché, Steam, EA, Blizzard, GOG et Epic.
La liste des processus et programmes chargés par défaut se rapproche d’une installation basique de Windows avec les drivers qemu et sunshine en plus, cependant un logiciel inconnu m’intrigue, il s’agit de "NovAgent_v1.exe" présent dans le dossier "c:\Programmes\Stuf" et chargé au démarrage. Après une recherche sur internet, je n’ai rien trouvé dessus.

Conclusion

Voir mon update en début de page.

Aujourd'hui, il m'est impossible de recommander cette solution suite aux problèmes rencontrés et l'absence de support lors de mon second essai en août 2024.

Pour avoir testé le la plupart des solutions de cloud-gaming existantes, j’avoue être agréablement surpris par l’offre de stuf.tech, une tarification très agressive, une machine équilibrée avec de remarquables performances ainsi qu'une bonne latence mesurée vers différents services de jeux en ligne.
Mes seules critiques seront comme bien souvent envers le stockage qui n’est à mes yeux pas assez performant, mais ceci est une critique récurrente. ShadowPc, même avec beaucoup plus de moyens, ne fait pas mieux en écriture (mais mieux en lecture).
La présence d’un processus inconnu "NovAgent_1.exe", non documenté m’intrigue aussi, j’aurai apprécié avoir une note dans la FAQ expliquant son utilité/usage.
Je vais finir sur ce qui me semble délicat. L’absence d’option pour reset / shutdown et réinstaller sa machine en cas de difficulté. Comment faire en cas de crash de sunshine ou une update Windows qui pose problème? Je suppose qu’il faudra faire appel à leur support. J’aurai bien aimé faire la mise à jour de sunshine vers la version 21 afin de tester l’av1, mais je n’ai pas osé le faire, de peur de perdre l’accès complet à la machine.
Note spéciale Steam Deck. Moonlight étant bien entendu disponible sur Steam Deck, cette solution de cloud-gaming présente une offre extrêmement alléchante pour les jeux ne tournant pas sur SteamOS ou avec de faibles performances, cependant ne vous attendez pas à pouvoir jouer à tout votre catalogue Windows, les FPS ainsi que certains jeux multijoueurs bloquent leurs utilisations, quand exécutés dans une machine virtuelle. En dehors de ça, l’expérience sur Steam Deck a été extrêmement plaisante, le second avantage du cloud-gaming ici (à condition d’avoir une bonne connexion internet) est aussi la faible consommation de la batterie, permettant ainsi de pouvoir atteindre une autonomie dépassant 5h.
Cependant moonlight/sunshine est toujours derrière en terme de qualité d’image et latence par rapport à GeforceNow, mais il est difficile de comparer l’offre de stuf.tech, qui propose une machine complète à une solution comme GeforceNow qui propose uniquement l’exécution d’une sélection de jeu. Je ne vais pas non plus comparer à ShadowPc, car faire tourner leurs client sur Steam Deck est un enfer en dehors du mode desktop, avec stuf.tech le client Moonlight tourne sans problème en mode desktop ainsi qu’en mode jeu.
En dehors de ces points négatifs, le service est une excellente entrée en matière dans le cloud-gaming, à un tarif extrêmement agressif au vu des performances et une fois combiné à un ultrabook ou une Steam Deck c’est un véritable régal. Cette solution est aussi incroyable pour aller jouer chez des amis autour d’une bière en se ressassant les bons souvenirs des lan-party de notre jeunesse sans avoir à se trimbaler autre chose que son ultrabook et une souris sous le bras.
Il me reste encore à contacter le support concernant le processus "NovAgent_1.exe" et m’assurer que GIT ainsi que Perforce fonctionnent, une fois fait il ne me restera plus qu’à trouver la motivation pour migrer mon environnement de cloud-gaming/cloud-game-dev.
Avec un tarif aussi attractif au vu des performances mesurées, j’ai beaucoup de peine à justifier le fait de rester chez la concurrence.