UX Design et Informatique : Spatial Visual Design Math Game

Bonjour tout le monde,

Je voudrais vous faire partager mon travail sur un projet d’UX Design dans le domaine de l’informatique et des ressources humaines (sélection de candidats).

Je travaille actuellement sur un projet de création de 30 Quizz pédagogiques dans une ambiance de gamification.Les 30 Quizz sont des jeux de stimulation intellectuelle et de résolution d’énigmes de tous types. Les 30 Quizz prévus couvrent une large gamme d’aptitudes mentales telles que le raisonnement fluide, la pensée logico-mathématique (algèbre de Boole, fonctions logiques, automates à états finis, algorithmique, etc.), le raisonnement spatial et la mémoire spatiale, les compétences linguistiques (vocabulaire, syllogismes, arguments absurdes, etc.), les connaissances techniques (raisonnement mécanique) et le raisonnement quantitatif et numérique (mathématiques, géométrie, arithmétique, etc.). Ces compétences sont censées prédire de manière probante l’adaptation et la réussite dans les postes de scientifiques, techniciens, ingénieurs, informaticiens, mathématiciens, etc.

La philosophie du jeu est que les Quizz doivent être accessibles pour un public international. Cela veut dire que les Quizz doivent pouvoir être réussis de manière égalitaire et équitable par n’importe qui, quelque soit sa culture d’origine, sa langue parlée ou son occupation. C’est pourquoi il y a aussi un travail de traduction en plusieurs langues internationales qui est à prévoir. La liste des langues internationales retenues n’est pas exhaustive. Les questions de connaissances linguistiques et techniques sont toutes en français pour l’heure.

L’évaluation par les Quizz est censée permettre de classer les personnes en 5 groupes :
   1. Novice (niveau basique)
   2. Intermédiaire bas
   3. Intermédiaire haut
   4. Avancé
   5. Expert

Les épreuves mettent en jeux des compétences pratiques en représentation d’objets 2D / 3D, en géométrie, en mathématiques, en logique, en pensée abstraite, en connaissances linguistique (vocabulaire) et en connaissances éducationnelles. Les questions sont des QCM et utilisent pour la grande majorité un matériel visuel et spatial avec des images contenant des figures géométriques ou des motifs abstraits, des figures et des dessins figuratifs ou des photographies. Les images peuvent être monochromes, bicolores (noir et blanc), tricolores ou multicolores.

L’épreuve a été pensé dans un état d’esprit de gamification, c’est-à-dire comme une jeu gratifiant pour toutes les personnes qui répondront aux Quizz. D’où le nom du projet qui est « Spatial Visual Design Math Game (SVDM Game) ». La passation est supposée être la plus simple possible, ludique, agréable, amusante et visuellement ergonomique. Les textes et l’instruction de l’épreuve doivent être traduits dans plusieurs langues internationales (les langues internationales les plus représentatives).

C’est là que je rencontre des limites.

Étant donné que les questions QCM sont principalement des images, et étant donné que l’ergonomie visuelle et la qualité esthétique et artistique des images sont très importantes, il faut pouvoir vérifier ces qualités.

De plus, l’épreuve de gamification étant supposée permettre de distinguer les novices des niveaux intermédiaires, avancés et experts, une emphase est aussi faite sur les niveaux de difficulté. La difficulté telle qu’elle est conçue est fonction de la complexité des questions. La complexité des questions dépend de 6 paramètres qui sont les suivants :
   1. le degré de complexité des images et des questions (simplicité vs sophistication),
   2. la clarté des questions (explicite VS implicite),
   3. l’agencement des motifs et des figures dans l’image (ordre vs désordre),
   4. l’ambivalence (univocité vs ambiguïté),
   5. le nombre de « distracteurs internes » à l’image (nombre de figures dans l’image),
   6. le nombre de distracteurs (nombre de choix de réponses).

J’aimerais beaucoup trouver des personnes qui seraient d’accord pour évaluer la qualité ergonomique des images et des questions, ni leur qualité esthétique et artistique ni leur difficulté relative. En clair, je recherche des personnes qui souhaiterais être testeurs de ma solution et de faire des tests utilisateurs.

De ce fait, j’aimerais savoir si, parmi vous, il y aurait des personnes qui accepteraient de participer à des tests utilisateurs pour évaluer la qualité des questions / images et faire des retours d’opinion. Voici les tâches qui sont à faire pour les testeurs du jeu  :
   • évaluer la qualité et la pertinente de l’ergonomie visuelle des images,
   • évaluer la qualité et la clarté des textes (questions),
   • évaluer la qualité esthétique et artistique des images,
   • évaluer la facilité / difficulté relative des questions de QCM.

Je suis incapable de dire combien de temps il faut pour examiner tous les Quizz. L’important serait de pouvoir me faire des retours qualitatifs sur les critères que je viens d’énoncer : ergonomie visuelle, clarté des textes, qualité esthétique et artistique des images et difficulté des questions.

Pour vous donner une idée du matériel à examiner, voici un exemple de questions de QCM (la bonne réponse est G) :



Je m’adresse à vous aujourd’hui, car comme je sais que sur ce forum il y a des HPI, des non HPI, des informaticiens et des non informaticiens, je me dis que peut-être je pourrais obtenir un petit panel à la fois de personnes novices et de personnes expertes en informatique, ET pourquoi pas des personnes expertes en design graphique. C’est vous qui me direz si vous vous reconnaissez dans ces termes.

N’hésitez pas à me poser des questions sur mon projet.

Merci par avance de m’avoir lu.

Régine

Bonjour,
Je veux bien participer aux tests si tu cherches toujours des testeurs.
Je bosse dans l'informatique (mais pas dans l'UX).

comment penses tu communiquer avec les testeurs ?

parce que si tu attends un compte rendu écrit pour chaque test ça prend beaucoup de temps à rédiger pour le testeur.

j imagine qu il faut aussi justifier ses avis et pas seulement dire : j aime pas le petit carré rouge sur l exemple.

EnolaMay a écrit:Bonjour,
Je veux bien participer aux tests si tu cherches toujours des testeurs.
Je bosse dans l'informatique (mais pas dans l'UX).

Bonjour EnolaMay,

Merci pour ta réponse et désolée pour ma réponse tardive. Je peux te donner lien url qui pointe vers mon quizz en MP. Le but n'est pas de faire réellement le quizz (sauf si cela te chante), mais plutôt d'examiner brièvement de manière naturelle la qualité esthétique des images (jolies / pas jolies ; couleurs pas harmonieuses ; formes non harmonieuses, etc.) et surtout l'ergonomie visuelle. Pour l'ergonomie visuelle, c'est simple, il suffit de dire si tu vois les images en entier ou pas, si tu dois zoomer pour voir des détails trop petits, etc.

C'est super si tu travailles dans l'informatique

Je t'envoies donc le lien url en MP. Tu peux me poser tes questions si tu en as et à tout moment du processus.

A bientôt

isadora a écrit:comment penses tu communiquer avec les testeurs ?

parce que si tu attends un compte rendu écrit pour chaque test ça prend beaucoup de temps à rédiger pour le testeur.

j imagine qu il faut aussi justifier ses avis et pas seulement dire : j aime pas le petit carré rouge sur l exemple.

Bonjour isadora,

Alors non je ne demande pas de compte rendu écrit, ce serait inverser les rôles, non ?
En fait il y a des questions ouvertes et fermées dans le quizz qui demandent à la personne si elle a trouvé les questions de la page niveau difficiles, si elle a des commentaires à faire sur la qualité esthétique des images, sur la visibilité selon l'appareil qu'elle utilise (mobile, tablette, PC, autres).

Donc en fait le processus est assez simple et je voulais qu'il en soit ainsi pour les testeurs car après tout c'est un travail que je demande. J'ai bien tenté de payer une entreprise pour obtenir des testeurs, mais les tarifs exorbitants m'ont refroidit tout de suite (+ de 1000 euros pour 16 testeurs environ...).

Voilà. N'hésite pas à me poser d'autres questions si tu en as ou à me faire des remarques mêmes négatives, je suis preneuse .

OK pour tester.

isadora a écrit:OK pour tester.

D'accord, je t'envoie un message en MP alors

je viens de tester.

j'ai voulu faire le test et j'y ai passé trois quarts d'heure et j'ai abandonné en cours de route, parce que j'avais largement dépassé la demi-heure annoncée et parce qu'il y a plusieurs réponses possibles à chaque question, à partir d'un certain niveau. ce qui signifie qu'on ne peut pas s'appuyer sur le contre-exemple pour se dire que c'est forcément la réponse X parce que les autres ne fonctionnent pas. donc, je jonglais de possibilité en possibilité avec l'impression de tourner en rond.

je crois que j'ai du faire à peu près la moitié avant de jeter l'éponge et j'ai eu la moitié des points au final.

je n'ai pas demandé les réponses, ni mon classement par rapport à mon âge.

je suis un peu circonspecte sur le contenu (ou alors je n'ai rien à faire ici, après tout, ce serait une explication) et plutôt déçue par le design.

alors que dans nos imaginaires visuels, Miyazaki est passé par là. de même que les émojis, et toute une tendance à utiliser des formes adoucies, plutôt qu'angulaires.

j'ai été invitée à la projection des travaux d'étudiants de l'école d'animation lyonnaise, ESMA 3D cette semaine. le design actuel est très doux, grâce aux outils d'animation très performants.

de ce fait, retrouver des carrés et des triangles façon années 50 dans le quizz m'a un peu déçue.

n'hésitez pas à faire le test, pour contribuer au projet de Régine.

isadora:

Bonjour isadora,

Je viens juste de voir à l'instant que tu as testé le Quizz. Tout d'abord merci beaucoup car tes commentaires sont vraiment très précieux. Tes commentaires sur la qualité graphique des images m'aident beaucoup à me rendre compte que les premières images (surtout) sont de beaucoup moins bonnes qualité et aussi problématiques quant à l'idée de gamification. Si tu n'as pas trouvé les images agréables à regarder et les couleurs harmonieuses, c'est que mon design est effectivement mauvais (à la base, je suis informaticienne, j'ai eu l'occasion de travailler comme UX Designer pendant un an seulement).

Concernant le contenu que tu décris, je me suis inspirée de designs minimalistes dans lesquels il y avait, effectivement, beaucoup de triangles et quelques formes angulaires aussi. J'ai une banque d'images minimalistes avec des cercles, des disques et des courbes, mais les images sont trop complexes et je n'ai pas su voir comment les simplifier pour les intégrer dans une image.

Les 30 minutes que j'ai indiquées correspondent simplement à la durée moyenne calculée sur tous les répondants. Je suis vraiment désolée que tu aies eut une aussi mauvaise expérience avec ce Quizz .

Dans tous les cas tes réponses et commentaires aux questions sont très instructives car elles mettent l'accent sur tous les aspects du quizz qui pouvaient potentiellement poser problème, et là avec tes réponses je vois beaucoup mieux quels sont les problèmes du quizz. Car, les autres répondants se sont contentés de répondre aux questions fermées mais n'ont pas laissé de commentaires. Donc tes commentaires me sont très précieux  

Concernant la difficulté des questions, je me rends compte qu'effectivement il y a un saut qualitatif entre les questions de difficulté moyenne et les questions un peu plus difficiles qui ne sont pas censées être aussi difficiles. Donc certaines questions devraient certainement être "décalées" tandis que d'autres pourront devenir optionnelles. Il semble aussi manquer des questions faciles entre le niveau perçu comme "évident" et les niveaux perçus comme "facile" et de "difficulté moyenne".

Je vais attendre le retour de EnolaMay pour modifier les images et les niveaux de difficulté.

Merci en tout cas d'avoir pris le temps de passer le quizz !!

Encore un système automatisé pour laisser encore moins de chances à des gens compétents mais "hors scope" de trouver un taf où pourtant ils seraient tout à fait à leur place.
Génial...

megathread a écrit:Encore un système automatisé pour laisser encore moins de chances à des gens compétents mais "hors scope" de trouver un taf où pourtant ils seraient tout à fait à leur place.
Génial...

Bonjour megathread.

Que veux-tu dire par "système automatisé" ? Tu fais donc allusion au Quizz en ligne ?

Et pourquoi penser forcément que c'est pour "laisser encore moins de chances à des gens compétents mais "hors scope" de trouver un taf " ?

Le Quizz que je partage ici n'en est qu'un parmi 30 (mais peut-être 42) autres quizz qui couvrent une très large gamme de compétences techniques. Le Quizz que j'ai partagé n'est pas du tout représentatif de l'ensemble des compétences qui sont évaluées par les autres quizz. Et je ne suis pas d'accord avec ton assertion que je trouve présomptueuse, car précisément j'aimerais pouvoir donner les mêmes chances à tout le monde, quelque soit son âge, son sexe, son origine ethnique, son bagage culturel ,ses diplômes, son statut social, etc. Dans l'idéal même, j'aimerais que mes quizz puissent être réussis de manière équitable et égalitaire autant par un amérindien d'Amériques, que par un aborigène d'Australie, ou qu'un asiatique, un indien, un occidental ...

De plus, tu ne prends pas en compte que le test (le quizz) est une version bêta en cours d'expérimentation et que cette version est susceptible d'évoluer en permanence. C'est d'ailleurs le cas puisque la version actuelle est la quatrième version depuis le 14/01/2024. Et il y en aura d'autres obligatoirement. Tant que la version n'est pas satisfaisante tant pour les répondants qu'au regard de mes critères statistiques, la version du quizz ne sera pas utilisée à grande échelle pour des applications concrètes.

Voilà, j'avais besoin de le dire.

Dans la description :

des ressources humaines (sélection de candidats).

Donc à moins que je comprenne de travers, ce système (quizz ou peu importe lequel) sert bien à sélectionner des candidats pour de futures embauches, non ?

Et pourquoi penser forcément que c'est pour "laisser encore moins de chances à des gens compétents mais "hors scope" de trouver un taf " ?

A partir du moment où tu vires l'humain dans le choix des candidats, tu auras forcément un biais "on sélectionne la majorité qui est la plus adaptée aux épreuves que l'on présente". Et ça, c'est pas spécialement contre toi ou ta méthode, mais c'est un fait, de plus en plus présent, et qui explique entres-autres la crise des RH en France actuellement (pour des métiers de spécialisation).

megathread a écrit:Dans la description :

des ressources humaines (sélection de candidats).

Donc à moins que je comprenne de travers, ce système (quizz ou peu importe lequel) sert bien à sélectionner des candidats pour de futures embauches, non ?

Et pourquoi penser forcément que c'est pour "laisser encore moins de chances à des gens compétents mais "hors scope" de trouver un taf " ?

A partir du moment où tu vires l'humain dans le choix des candidats, tu auras forcément un biais "on sélectionne la majorité qui est la plus adaptée aux épreuves que l'on présente". Et ça, c'est pas spécialement contre toi ou ta méthode, mais c'est un fait, de plus en plus présent, et qui explique entres-autres la crise des RH en France actuellement (pour des métiers de spécialisation).

On ne vire pas l'humain du processus de sélection, les quizz ne sont qu'une première étape. Il y a des entretiens en visio-conférence après.

Alors oui ça laisse sur le carreaux ceux qui ne sont pas performants au regard de la note seuil, mais il faut savoir que la philosophie de ces quizz (toujours dans l'esprit de gamification) est que l'on peut toujours s'entraîner à les réussir et une personne peut les repasser plusieurs fois s'il le souhaite. Les notes chiffrées, certes c'est réducteur d'un certain point de vue, mais ça permet aussi de trancher sur un cas ambiguë ou il est difficile de prendre une décision. Les quizz permettent aussi d'éviter de perdre du temps inutilement en retenant en priorité les personnes qui maîtrisent un certain niveau (comme par exemple les mathématiques ou la langue française). Il y a aussi des tests non verbaux qui sont certes un peu difficiles, mais qui sont de bons prédicteurs quant à la capacité d'adaptation à des situations nouvelles et inconnues, ou la capacité à planifier, organiser une méthode, puis à l'appliquer en s'y tenant, etc.

Je me trompe peut-être et je dis cela à tout hasard, mais j'ai comme l'impression que tu as eu une mauvaise expériences des tests psychotechniques dans ta vie... Je ne sais pas du tout dans quelle mesure ce que je dis est proche ou éloigné de la réalité. Mais sache qu les tests ne sont pas là pour discriminer sur des critères non valables. Les quizz qu'on met au point discriminent les personnes uniquement sur la base de leur compétences.

Bon je m'arrête là..

Regina_Regina a écrit:
On ne vire pas l'humain du processus de sélection, les quizz ne sont qu'une première étape. Il y a des entretiens en visio-conférence après.

Non, tu ne le vires pas (quoiqu'encore...), mais tu contribues tout de même

Regina_Regina a écrit:Alors oui ça laisse sur le carreaux ceux qui ne sont pas performants au regard de la note seuil, mais il faut savoir que la philosophie de ces quizz (toujours dans l'esprit de gamification) est que l'on peut toujours s'entraîner à les réussir et une personne peut les repasser plusieurs fois s'il le souhaite.

Ca revient donc à prendre la tournure de ce genre de test, et si t'es pas cablé pour, ben...

Regina_Regina a écrit:Les notes chiffrées, certes c'est réducteur d'un certain point de vue, mais ça permet aussi de trancher sur un cas ambiguë ou il est difficile de prendre une décision. Les quizz permettent aussi d'éviter de perdre du temps inutilement en retenant en priorité les personnes qui maîtrisent un certain niveau (comme par exemple les mathématiques ou la langue française). Il y a aussi des tests non verbaux qui sont certes un peu difficiles, mais qui sont de bons prédicteurs quant à la capacité d'adaptation à des situations nouvelles et inconnues, ou la capacité à planifier, organiser une méthode, puis à l'appliquer en s'y tenant, etc.

Si le job en question nécessite une capacité d'adaptation ou un cadre bien défini, et que c'est une des raisons de la sélection, à la rigueur. Après que ce soit chiffré ou pas, peu importe

Regina_Regina a écrit:
Je me trompe peut-être et je dis cela à tout hasard, mais j'ai comme l'impression que tu as eu une mauvaise expériences des tests psychotechniques dans ta vie...

Non pas des tests eux même (je m'en fous pour être honnête), mais de leur utilisation.

Regina_Regina a écrit:
Je ne sais pas du tout dans quelle mesure ce que je dis est proche ou éloigné de la réalité. Mais sache qu les tests ne sont pas là pour discriminer sur des critères non valables.

Pourtant leur utilisation systématique dans des boites déléguées pour le recrutement est quasi-systématique. Donc oui : on discrimine sur des critères basés sure ces tests.

Regina_Regina a écrit:
Les quizz qu'on met au point discriminent les personnes uniquement sur la base de leur compétences.

Sur ce point c'est intéressant aussi. Quand les personnes qui font passer ces tests ne sont pas eux-même compétents, quelle valeur ils attribuent à une bonne/mauvaise note issu d'un test comme ça ? C'est du pif dans ce cas là...

Hello Regina_Regina

Moi je trouve chouette de lire sur le forum des gens faire part avec enthousiasme de leurs projets en cours. Je trouve ça bien plus sympa que les soliloques et la négativité. Pas mal de zcéens étant concernés par les TSA, il y en a qui pourraient même apprécier l'absence d'interaction humaine à une étape d'un processus de recrutement. Et puis j'ose espérer qu'on a encore par ici des amateurs de jeux de type SmartGames, qui n'ont pas fini de ne pas grandir dans leur tête. Enfin, c'est peut-être justement l'occasion de participer à un bout d'amélioration d'un rouage, plutôt que de rejeter par principe la démarche. Un outil inadapté fait des dégâts, mais un outil adapté est intéressant pour toutes les parties.

Perso, j'ai apprécié de me frotter à de bons outils d'évaluation entièrement ou partiellement automatisée de compétences en langues étrangères. Même si ce type d'évaluations est forcément réduit à deux ou trois des quatre compétences linguistiques, j'ai à chaque fois trouvé vraiment bien (passation sympa, justesse de l'évaluation,...).

Je pense qu'il faudrait modifier ce passage du premier message, la suite laissant entendre ce que j'ajoute ci-dessous en souligné plutôt que ce que j'ai barré, sauf erreur de ma part.
J’aimerais beaucoup trouver des personnes qui seraient d’accord pour évaluer la qualité ergonomique des images et des questions, ni ainsi que leur qualité esthétique et artistique ni et leur difficulté relative.
J'ai peut-être mal compris, mais il y a des incohérences dans le message d'intro, probablement dues à des rectifications en cours de route des objectifs.

Je veux bien aussi tester la version en cours, ou la suivante si tu es en train d'upgrader.

@TT : je crois bien que c est juste l ergonomie qu on doit tester.
les questions auxquelles j ai répondu portaient sur la taille des figures et leur lisibilité (avez vous eu  besoin de zoomer ou pas ?)
pas sur l esthétique ou la pertinence des exercices.

c est moi qui ai extrapolé la demande. ça dit plus sur moi que mon résultat au test et explique aussi le temps passé. si j étais mon propre recruteur c est ça que je retiendrais. incapable de s arrêter à la consigne stricte et esprit critique poussé tout en étant soucieuse de proposer des solutions qu on ne lui a pas demandées.

Topsy Turvy a écrit:Hello Regina_Regina

Moi je trouve chouette de lire sur le forum des gens faire part avec enthousiasme de leurs projets en cours. Je trouve ça bien plus sympa que les soliloques et la négativité. Pas mal de zcéens étant concernés par les TSA, il y en a qui pourraient même apprécier l'absence d'interaction humaine à une étape d'un processus de recrutement. Et puis j'ose espérer qu'on a encore par ici des amateurs de jeux de type SmartGames, qui n'ont pas fini de ne pas grandir dans leur tête. Enfin, c'est peut-être justement l'occasion de participer à un bout d'amélioration d'un rouage, plutôt que de rejeter par principe la démarche. Un outil inadapté fait des dégâts, mais un outil adapté est intéressant pour toutes les parties.

Perso, j'ai apprécié de me frotter à de bons outils d'évaluation entièrement ou partiellement automatisée de compétences en langues étrangères. Même si ce type d'évaluations est forcément réduit à deux ou trois des quatre compétences linguistiques, j'ai à chaque fois trouvé vraiment bien (passation sympa, justesse de l'évaluation,...).

Je pense qu'il faudrait modifier ce passage du premier message, la suite laissant entendre ce que j'ajoute ci-dessous en souligné plutôt que ce que j'ai barré, sauf erreur de ma part.
J’aimerais beaucoup trouver des personnes qui seraient d’accord pour évaluer la qualité ergonomique des images et des questions, ni ainsi que leur qualité esthétique et artistique ni et leur difficulté relative.
J'ai peut-être mal compris, mais il y a des incohérences dans le message d'intro, probablement dues à des rectifications en cours de route des objectifs.

Je veux bien aussi tester la version en cours, ou la suivante si tu es en train d'upgrader.

Bonsoir Topsy Turvy,

Merci pour ton message.

[i]J’aimerais beaucoup trouver des personnes qui seraient d’accord pour évaluer la qualité ergonomique des images et des questions, [strike]ni[/strike] [u]ainsi que[/u] leur qualité esthétique et artistique [strike]ni[/strike] [u]et[/u] leur difficulté relative. [/i] a écrit:

Je viens juste de me relire suite à ta remarque et honnêtement je ne sais pas comment je m'y suis pris pour écrire "ni" deux fois alors que les mots justes sont précisément ceux que tu as employé ("ainsi que" ; "et"). Donc merci vraiment de ta correction !

Je suis d'accord avec toi au sujet des autistes. Mon amie Léa a été diagnostiqué avec un trouble autistique sévère mais sans déficience intellectuelle, et elle me répète souvent qu'elle n'arrive pas à se faire comprendre par les gens quand elle parle (surtout les médecins, les infirmiers, etc.). Pour elle c'est un véritable problème de devoir parler à l'oral, c'est d'ailleurs un point sur lequel a insisté son psychiatre (qui la comprend et qui l'aide beaucoup) : elle a des difficultés significatives pour se faire comprendre dans les interactions sociales et dans le langage oral.

Je partage également ton opinion sur les tests : "Un outil inadapté fait des dégâts, mais un outil adapté est intéressant pour toutes les parties. ". Je suis parfaitement consciente qu'un test non validé, non conforme, pas ergonomique, inintéressant, qui donne des résultats non reproductibles peut être dangereux quant aux décisions que l'on peut prendre sur les personnes. En revanche, un (et plus précisément plusieurs) tests qualitativement conformes, valides et fiables, avec une passation qui ne désavantage pas certains au profit d'autres, peut être un atout pour tout le monde.

Les deux premiers retours que j'ai eu sur la qualité des images du quizz et de la difficulté perçue pointent de sérieux problèmes que je n'aurais pas pu voir autrement. Mais c'est tout l'intérêt de réaliser des tests utilisateurs. Il ne faut pas qu'un score faible, par exemple, soir le reflet d'une attitude réfractaire aux test en raison de troubles visuels et oculaires, des conditions de passation, de l'ergonomie des questions posées, . En fait, il y a une partie de la validité d'un test qui s'appelle la "validité apparente" qui est consacrée spécifiquement à cet aspect subjectif des tests. La manière dont un test est perçu peut avoir un impact élevé sur la qualité du test, et sur les autres formes de validité. Je suis consciente de tout ça.

En revanche, un (et plus précisément plusieurs) tests qualitativement conformes, valides et fiables,

Conformes à quoi ?

avec une passation qui ne désavantage pas certains au profit d'autres, peut être un atout pour tout le monde.

A quoi il sert dans ce cas ?

megathread a écrit:

En revanche, un (et plus précisément plusieurs) tests qualitativement conformes, valides et fiables,

Conformes à quoi ?

Conforme à un cahier des charges relatifs aux contraintes théoriques (neuropsychologiques et cognitives, psychométriques, etc.) et à certaines règles d'accessibilité pour les personnes ayant une déficience visuelle qui sont incluses dans le public cible (mais ces quizz ne sont pas adaptés pour les personnes avec des maladies oculaires graves).

megathread a écrit:
A quoi il sert dans ce cas ?

Je le vois plutôt comme un outil pour mettre en évidence les points forts et faibles (en partant du principe qu'il y a différents quizz pour tester différentes compétences, mais dans ce cas, avec une durée de passation de 30 min par quizz, est-ce que la partie "test" du processus de recrutement ne va pas durer trop longtemps ?).

Sinon, je suis assez d'accord avec isadora, c'est dommage de s'arrêter aux résultats du quizz tant il peut y avoir d'informations dans la façon dont le candidat y réagit.

Le souci que je vois plutôt est qu'on mesure des trucs généraux. J'ai passé pas mal de tests dans ma carrière professionnelle, et ce genre de tests psychotechnique répond plus à la question "est-ce que j'ai une intelligence générale standard qui fonctionne?", pas "est-ce que je colle au poste".

Le test le plus fiable pour savoir si quelqu'un est adapté à un poste, c'est de le mettre en poste(mais c'est cher). A défaut, un test au plus proche du métier. Genre, dans ma boite, on utilise un langage de programmation exotique maison. Le test à l'entrée, c'est 20 questions QCM, ou à chaque fois on présente une nouvelle fonctionnalité du langage. En gros, le QCM teste la capacité à apprendre et comprendre ce langage. C'est loin d'être parfait, mais quand même bien mieux ciblé que n'importe quel test psychotechnique standard.

RonaldMcDonald a écrit:Le souci que je vois plutôt est qu'on mesure des trucs généraux. J'ai passé pas mal de tests dans ma carrière professionnelle, et ce genre de tests psychotechnique répond plus à la question "est-ce que j'ai une intelligence générale standard qui fonctionne?", pas "est-ce que je colle au poste".

Le test le plus fiable pour savoir si quelqu'un est adapté à un poste, c'est de le mettre en poste(mais c'est cher). A défaut, un test au plus proche du métier. Genre, dans ma boite, on utilise un langage de programmation exotique maison. Le test à l'entrée, c'est 20 questions QCM, ou à chaque fois on présente une nouvelle fonctionnalité du langage. En gros, le QCM teste la capacité à apprendre et comprendre ce langage. C'est loin d'être parfait, mais quand même bien mieux ciblé que n'importe quel test psychotechnique standard.

Bonjour RonaldMcDonald,

C'est vrai que le quizz que j'ai partagé et dont on parle ici évalue une capacité très générale (et encore aussi très spécifique) qui est une des variantes de la logique inductive. Les autres variantes sont le transfert analogique, la capacité de catégorisation, la capacité de synthèse, l'attention aux détails, la "sériation, numération et arithmétique" spatiale et numérique (jeux de chiffres avec figures géométriques), et enfin une épreuve supplémentaire appelée "cube et patrons". Toutes ces épreuves évaluent uniquement le raisonnement inductif qui est une des 5 grandes dimensions retenues.

L'ensemble des quizz (entre 30 et 40 après estimation) couvrent 5 grandes dimensions cognitives : 1° le raisonnement fluide (ou raisonnement inductif), 2° le raisonnement déductif (ou raisonnement logico-mathématique et algorithmique), 3° les connaissances académiques (compétences linguistiques et connaissances de base en sciences et techniques), 4° les aptitudes numériques (l’ensemble du programme de mathématiques allant du niveau 6è au Collège au niveau Baccalauréat), 5° le raisonnement spatial (mémoire spatiale et manipulations de figures 2D et 3D).

En plus de quizz sur la logique inductive, il y aura des quizz sur la logique déductive ou raisonnement logico-mathématique et algorithmique. Ces quizz seront beaucoup plus orientés "informatique" dans la mesure où ils utilisent des connaissances en informatique théorique, en algorithmique et en calcul propositionnel (algèbre Booléenne, fonctions logiques, etc.). Ces quizz seront donc plus spécifiques et permettront d'évaluer à la fois la logique déductive mais aussi le raisonnement algorithmique et les compétences acquises en logique combinatoire et logique séquentielle. Ces quizz sont d'ailleurs destinés spécifiquement aux profils "informaticiens" (au sens large).

Les connaissances académiques évaluent simplement le niveau général de maîtrise de la langue française et la maîtrise des concepts de base en sciences et techniques (physique, chimie, mécanique, électricité, hydraulique). Les connaissances académiques devraient donner une bonne idée du niveau scolaire de la personne, sachant que le niveau des questions des quizz va du niveau 6è (Collège) au niveau Baccalauréat (Lycée). Donc un BAC+2 devrait normalement s'en tirer assez bien.

Les aptitudes numériques correspondent ni plus ni moins à tout le programme de mathématiques depuis le niveau 6è (Collège) au niveau Baccalauréat (Lycée). Cela peut paraître rébarbatif, mais pas mal de personnes ne maîtrisent pas les notions de mathématiques élémentaires (calculer une division ou une addition de fractions, résoudre un système d'équations, calcul mental, etc.), et même au niveau post-bac, simplement parce que les personnes ont oublié tout ce qu'elles avaient appris.

Enfin le raisonnement spatial évalue toutes les aptitudes en lien avec la mémoire visuo-spatiale, le raisonnement 2D, le raisonnement 3D, la rotation mentale, le pliage et dépliage de figures, la manipulation mentale de patrons de solides 3D, les parcours et trajets, l'orientation spatiale, etc. Ces épreuves évaluent spécifiquement tout ce qui est en lien avec la figures et volumes 2D te 3D et la mémoire, y compris la capacité à suivre des instructions explicites de plus en plus complexes.

Enfin, et j'aurais dû le mentionné dans mon premier message (ou alors j'ai oublié de me relire), tous ces quizz sont destinés à une population cible internationale (francophones en premier) pour des postes relatifs aux sciences et techniques comme Data Analyst, Data Scientist en NLP, électroniciens, automaticiens, informaticiens, techniciens de laboratoire, etc. L'ensemble de ces postes, couplé à la population cible hétérogène et aux compétences de chaque poste, en prenant en compte les possibilités d'évolution, fait que il est difficile d'utiliser des tests standardisés existants (trop généraux) ou d'évaluer une compétence très spécifique (comme apprendre un nouveau langage informatique) pour chaque poste. A cause de l'hétérogénéité de la population cible, il faut certaines épreuves assez générales (compétences linguistiques et académiques et raisonnement inductif). Mais pour coller au plus à certains postes, il faut aussi pouvoir explorer le plus de compétences élémentaires possibles (mathématiques, logique déductive et algorithmique) qui collent avec le profil de scientifique et de techniciens. De plus, il faut s'attendre à ce qu'il y ait des inégalités au niveau des diplômes (des occidentaux pourront être plus diplômés que des africains par exemple).

Enfin, il y a aussi une idée, une philosophie derrière tout ça, qui veut que n'importe qui, quelque soit sa culture d'origine, son pays d'origine, son origine ethnique, son niveau de diplôme, son âge ou son occupation puisse avoir les mêmes chances de réussite qu'un autre. Un occidental ne devrait pas être favorisé par rapport à un aborigène d'Australie (dans l'idée initiale, c'est vraiment ça). On veut que tout le monde puisse réussir les quizz de manière équitable sans discrimination de sexe, d'origines ethniques, de religions, de situations familiale (je pense aux femmes enceintes, aux chômeurs, aux personnes en situation de handicap), etc.

Donc, quand l'ai lu de certains que les tests étaient discriminatoires dans le sens péjoratif du terme, ou que l'on me descendait simplement parce que j'utilise des tests, ça m'a fait mal honnêtement. Il y a vraiment une volonté d'inclusivité et d'absence de discriminations non fondées.

EnolaMay a écrit:

megathread a écrit:
A quoi il sert dans ce cas ?

Je le vois plutôt comme un outil pour mettre en évidence les points forts et faibles (en partant du principe qu'il y a différents quizz pour tester différentes compétences, mais dans ce cas, avec une durée de passation de 30 min par quizz, est-ce que la partie "test" du processus de recrutement ne va pas durer trop longtemps ?).

Sinon, je suis assez d'accord avec isadora, c'est dommage de s'arrêter aux résultats du quizz tant il peut y avoir d'informations dans la façon dont le candidat y réagit.

Oui c'est exactement cela ! L'objectif de ces quizz est de montrer les forces et les faiblesses de chacun. D'ailleurs, les faiblesses ont plus vues comme des points à améliorer que des handicaps. De plus, le score brut au quizz n'est pas la note qui est utilisée pour évaluer la capacité de la personne. Car on applique ensuite une formule de correction qui tient compte du format quizz (avec la possibilité de répondre au hasard et du chronométrage), puis on calcule une note standardisée qui est calibrée sur la tranche d'âge de la personne (par la suite, la note sera aussi calibrée sur le niveau d'éducation). La multiplicité des quizz fait qu'on a une grande quantité de points forts et de points faibles à analyser. De plus, le score brut et le chronométrage sont utilisés pour calculer 3 indices statistiques : 1 indice de rapidité qui correspond au rendement, 1 indice de vitesse qui correspond à la vitesse de traitement de la tâche proposée, et 1 indice de précision qui se calcule comme le pourcentage de bonnes réponses sur le nombre de questions traitées (et non le nombre total de questions du quizz). Pour ce dernier indice, cela veut dire qu'une personne qui a traité 10 questions sur 28 mais qui a réussi 9 questions aura un indice de précision très élevé proche de 100 %. Ces 3 indices (rapidité, vitesse, précision) sont très intéressants car ils permettent de nuancer l'interprétation du score au test et aussi de classer une personne suivant 2 dimensions opposées (réfléxion-impulsivité) en 4 styles cognitifs : analytiques, réfléchis, impulsifs, réfractaires.

Je pense que l'ensemble des quizz qui vont être construits va permettre de dresser un portrait d'ensemble assez fidèle de la personne et de ces forces et faiblesses.

Par contre, comme tu le soulignes, le processus de sélection va être long (un mois environ). C'est pour cette raison que l'on a eut l'idée de la gamification : présenter les quizz non pas comme des tests chiants, "méchants" ou discriminatoires, mais les présenter comme des jeux de stimulation intellectuelle et d'entraînement cérébral. En plus de cela, on a pensé à acquérir 100 objets High Tech les plus vendus (appareils photos, tablettes tactiles, lots de chargeurs universels, AirTag, etc.) pour récompenser toutes les personnes qui passeront l'ensemble des quizz et aussi pour récompenser les meilleurs pour les efforts qu'ils auront fourni.

Alors ou tout cela n'est pas parfait, mais je pense qu'il y a quelque chose de positif à en tirer.

Regina_Regina a écrit:simplement parce que les personnes ont oublié tout ce qu'elles avaient appris.

Il y a vraiment une volonté d'inclusivité et d'absence de discriminations non fondées.

avec des tests portant sur des notions proches de la scolarité, tu élimineras automatiquement toute une population qui a en effet largement oublié ce qu'elle avait appris en classe, quel que soit son niveau d'études. une fois entrés dans la vie professionnelle, sauf pour ceux qui sont profs ou profs en parallèle, par exemple, tout le monde se dépêche d'oublier tout ce qui ne sert pas directement dans le travail. souvent, c'est d'ailleurs un gros facteur de démotivation, de constater combien on utilise peu tout ce qu'on a appris pendant la scolarité.

j'entends bien la volonté de non discrimination, mais en réalité, il y a déjà une grosse discrimination par l'âge. Ces recrutements ne visent ils pas une population jeune, en sortie d'école ou tout au plus expérience de 5 ans ?

en général à partir d'une certaine expérience, les recruteurs ne font plus passer de test, car le CV et les réalisations sont prépondérants pour l'évaluation. et on privilégie en effet les mises en situation avec des passages de cas pratique ou des simulations. ou la série d'entretiens qui sert à faire coopter au final la personne par ses futurs collègues. et qui se révèle être plus une preuve d'une bonne capacité d'intégration dans une équipe qu'une adaptation au poste.

merci pour le temps que tu consacres à expliciter la démarche, j'espère que tu auras d'autres contributeurs à ton test, en contrepartie.

Le simple fait de choisir qui on recrute est discriminatoire. Les seules discriminations interdites sont celles non liées aux exigences du poste. Par exemple, refuse un poste de programmeur à un noir parcequ'il est noir, c'est discriminatoire, et interdit. Lui refuser parce qu'il ne sait pas programmer, c'est tout aussi discriminatoire - mais par contre parfaitement autorisé.

Et légitime, à mon sens.

(je précise que j'ai croisé des noirs qui savaient programmer très bien.).

Pour ce qui est des questionnements de Megathread, je suis bien obligé de constater que mon profil culturel à moi (fils d'informaticien surdiplômé, poussé à programmer dès 5 ans, famille élargie bourrée d'ingénieurs, de profs de prépa, directeurs techniques d'usines, et autres chercheurs au CNRS, sans compter la directrice de ligne de métro) m'a fortement aidé à être plus performant. C'est injuste, totalement injuste. Mais arrivé en informatique un peu par hasard en 2000, j'ai écrasé mes collègues qui suivaient la même formation. Ma (dé)formation culturelle familiale m'avait rendu familier avec de nombreux concepts qu'il a fallu aux autres plusieurs années pour intégrer.

Et on se retrouve avec un dilemme justice efficacité. être juste, c'est donner à chacun sa chance. être efficace, c'est donner à ceux qui savent déjà faire le job. Et c'est injuste pour celui - ou celle - qui a grandi dans une maison sans bouquins de programmation à tous les étages. Mais ça marche. L'employeur veut quelqu'un d'opérationnel rapidement, et je l'étais bien plus que mes collègues. Et c'est ça qu'un test ciblé (je ne parle pas de tests psychotechniques génériques, ici) va discriminer. Il est impossible de dire qu'un aborigène, aussi futé soit-il, qui n'a jamais eu accès à un ordinateur (ça devient rare, mais à mon époque, c'était quais 100%), sera sur la même ligne de départ que moi. Et est-ce que c'est le rôle de l'employeur de corriger ces inégalités?

isadora a écrit:

Regina_Regina a écrit:simplement parce que les personnes ont oublié tout ce qu'elles avaient appris.

Il y a vraiment une volonté d'inclusivité et d'absence de discriminations non fondées.

isadora a écrit: avec des tests portant sur des notions proches de la scolarité, tu élimineras automatiquement toute une population qui a en effet largement oublié ce qu'elle avait appris en classe, quel que soit son niveau d'études. une fois entrés dans la vie professionnelle, sauf pour ceux qui sont profs ou profs en parallèle, par exemple, tout le monde se dépêche d'oublier tout ce qui ne sert pas directement dans le travail. souvent, c'est d'ailleurs un gros facteur de démotivation, de constater combien on utilise peu tout ce qu'on a appris pendant la scolarité.

Bon, je dois reconnaître que tu as parfaitement raison sur la discrimination relative aux connaissances scolaires. C’est vrai que ça discrimine forcément sur le niveau des acquisitions. Mais le but n’est pas non plus d’éliminer toutes les personnes qui n’ont pas le niveau, mais plutôt de les classer en fonction de leur niveau pour savoir comment les orienter par la suite.

Après, pour tous les quizz, il n’y aura pas qu’un seul niveau seuil à atteindre, mais plusieurs niveaux (plusieurs notes seuils) qui correspondront aux différents niveaux que l’on souhaite différencier : les novices, les intermédiaires bas et haut, les avancés et les experts.

• Les experts sont, par définition, ceux qui cartonnent partout et qui sont autonomes.
  

• Les profils avancés sont par définition des profils avec un bon niveau partout mais qui peuvent évoluer, s’améliorer pour devenir un jour expert.
  

• Les intermédiaires haut sont les profils moyen avec un bon niveau dans une des 5 grandes dimensions.
  

• Les intermédiaires bas sont les profils moyens avec au moins un point faible sur lequel ils peuvent s’améliorer.
  

• Les novices sont ceux qui ont le niveau le plus bas (en-dessous de moyen mais pas trop bas non plus) sauf dans la maîtrise de la langue française, ce qui leur permet d’apprendre (car l’acquisition des connaissances passe beaucoup par la lecture, les livres, les manuels, les tutoriels, etc.).
  

• En-dessous de novice, il y a les profils « faibles » qui sont ceux qui échouent partout (par définition). Pour ces personnes, on ne pourra pas les prendre mais on peut les réorienter vers des structures qui font des formations ou des remises à niveau.
  

On part du principe que quelque soit le niveau des personnes, tout être humain est capable d’apprendre et de s’améliorer. Cependant, dans un cadre de recrutement, on ne peut pas prendre tout le monde pour n’importe quel poste.

isadora a écrit: j'entends bien la volonté de non discrimination, mais en réalité, il y a déjà une grosse discrimination par l'âge. Ces recrutements ne visent ils pas une population jeune, en sortie d'école ou tout au plus expérience de 5 ans ?

Alors concernant l’âge, les recrutements concernent toutes les personnes âgées entre 18 et 50 ans, tous niveaux de diplômes confondus. L’idée est que les moins âgés, les moins expérimentés et les moins diplômés bénéficient de formations. Il n’y a pas de critères sur le nombre d’années d’expériences.

isadora a écrit: en général à partir d'une certaine expérience, les recruteurs ne font plus passer de test, car le CV et les réalisations sont prépondérants pour l'évaluation. et on privilégie en effet les mises en situation avec des passages de cas pratique ou des simulations. ou la série d'entretiens qui sert à faire coopter au final la personne par ses futurs collègues. et qui se révèle être plus une preuve d'une bonne capacité d'intégration dans une équipe qu'une adaptation au poste.

Oui c’est vrai pour les personnes avec beaucoup d’expériences et un bon CV (haut niveau de diplômes), d’autant que certains diplômes impliquent d’avoir fait des stages longs ou une expérience professionnelle significative.

Dans notre cas, les personnes à recruter sont des personnes avec des difficultés sociales, des personnes en situation de handicap, des personnes qui ont arrêter les études tôt mais qui ont la motivation et l’envie réelle de se former, des personnes en reconversion professionnelle (tout âges confondus), etc.

isadora a écrit: merci pour le temps que tu consacres à expliciter la démarche, j'espère que tu auras d'autres contributeurs à ton test, en contrepartie.

Merci à toi d’avoir pris le temps de passer le quizz et de donner ton avis et de formuler des critiques. Tes commentaires ont été très instructifs et certains décisifs pour la modification du quizz. Les données que je recueille sur ce quizz serviront aussi pour les autres quizz.

je me permets de te poser la question suivante : y aurait-il un lien entre cette batterie de test et la réforme du RSA ?

je ne sais pas pourquoi mais tout à coup, je m'interroge.

l'entreprise au sens de projet me semblait énorme mais si c'est dans un cadre de commande publique, cela se justifierait, pour un déploiement national.

mais cette question dépasse peut être ton cadre d'intervention.

RonaldMcDonald a écrit:Et on se retrouve avec un dilemme justice efficacité. être juste, c'est donner à chacun sa chance. être efficace, c'est donner à ceux qui savent déjà faire le job. Et c'est injuste pour celui - ou celle - qui a grandi dans une maison sans bouquins de programmation à tous les étages. Mais ça marche. L'employeur veut quelqu'un d'opérationnel rapidement, et je l'étais bien plus que mes collègues. Et c'est ça qu'un test ciblé (je ne parle pas de tests psychotechniques génériques, ici) va discriminer. Il est impossible de dire qu'un aborigène, aussi futé soit-il, qui n'a jamais eu accès à un ordinateur (ça devient rare, mais à mon époque, c'était quais 100%), sera sur la même ligne de départ que moi. Et est-ce que c'est le rôle de l'employeur de corriger ces inégalités?

Je crois qu’on a tous quelque part un rôle à jouer dans la réduction des inégalités, dans la mesure de notre possible.

Est-ce qu’un aborigène va exploser les scores à un test ciblé d’informatique ? Je ne crois pas en effet. Mais est-il capable d’apprendre à programmer ? Ça je le crois en revanche.

Il y a des inégalités, comme celles que tu décris, que l’on ne peut pas changer a priori. L’apport culturel de départ chez une personne dépend beaucoup du niveau socio-culturel de ses parents, qui est corrélé avec le nombre de livres dans sa bibliothèque, la possibilité de prendre des cours de soutien scolaire, l’apprentissage des codes sociaux, l’acquisition précoce de la lecture et des mathématiques, etc.

On ne peut pas gommer les inégalités au niveau primaire, mais on peut combler les fossés au niveau de l’orientation, par des formations de remise à niveau ou des formations professionnelles adaptées.

Par exemple, ce que j’ai dit dans la réponse à Isadora sur les différents profils, les experts sont ceux qui seront recrutés en premier, tandis que les novices seront ceux qui auront besoin d’une remise à niveau dans les matières scientifiques de niveau Lycée, avant d’être orientés vers des formations BAC+2 en sciences et techniques (toutes thématiques confondues). Ce n’est pas parfait, certes, mais selon moi cela permet d’éviter d’abandonner ceux qui ont le moins d’acquis pour x raisons, au profit de ceux qui ont le plus de compétences, peu importe que ce soit dû à un diplôme ou à une disposition socio-culturelle franchement avantageuse.

Ma collègue et moi sommes très sensibilisées sur les questions liées au handicap et aux inégalités sociales entre les personnes. Ma collègue et amie habite actuellement sur l’Île de la Réunion et a accès aux infos de ce qui se passe à Madagascar. C’est très triste là-bas à cause du niveau de pauvreté général de la population et du niveau de vie général (les prix des articles dans les centres commerciaux...).

Je tiens à remercier tout particulièrement les 2 testeurs recrutés sur zebracrossing.

Au total, j’ai pu recruté 8 testeurs, dont 2 ici, 3 sur un forum Discord, 2 qui sont mes amies, et 1 personne sur un groupe de discussion Facebook. Les réponses au questionnaire, les avis éclairés, les commentaires et les critiques que vous avez laissées ont été très instructifs.

Il est ressorti des tests utilisateurs de nombreux défauts sur toute la partie graphique, des défauts ergonomiques dans l’affichage des images selon que les utilisateurs sont sur téléphone mobile ou sur PC, et des défauts dans l’organisation des niveaux de difficulté.

De ce fait, j’ai décidé de fermer temporairement l’accès au quizz afin de le modifier. Je créerai un nouveau quizz avec 32 questions divisées en 8 niveaux de difficulté, avec 4 questions par niveau. Le niveau médian devra se trouver à 12 questions, et le niveau « maximal » à 24 questions. Cela veut dire que les 8 dernières questions, très difficiles, seront des bonus.

Je vais introduire de nouvelles questions, avec un design plus adapté à un public « jeune », avec des symboles et des formes plus organiques (des papillons, des symboles aztèques, des fruits, des fleurs, etc.). Le contraste des couleurs de certaines images va être revu, je vais aussi modifier l’organisation logique de certaines images pour rendre les questions plus explicites et moins difficiles.

Si vous avez des remarques à formuler, des critiques positives comme négatives, ou des chose que vous voudriez voir dans les images du quizz, vous pouvez donner toutes vos idées ici. Je suis preneuse de tout ce qui pourra rendre la passation du quizz plus ergonomique et la plus agréable possible. L’expérience utilisateur est très importante, car elle influence directement la motivation à passer le quizz, et par conséquent le score au quizz.

isadora a écrit:je me permets de te poser la question suivante : y aurait-il un lien entre cette batterie de test et la réforme du RSA ?

je ne sais pas pourquoi mais tout à coup, je m'interroge.

l'entreprise au sens de projet me semblait énorme mais si c'est dans un cadre de commande publique, cela se justifierait, pour un déploiement national.

mais cette question dépasse peut être ton cadre d'intervention.

Merci pour ta question. Non, ce projet n'a rien à voir avec la réforme sur le RSA.

L'objectif de cette batterie de tests au format quizz est de se faire certifier "Qualiopi" en tant que fournisseurs de bilans de compétences.

Mon amie et collègue est une étudiante en sociologie qui se réoriente en psychologie clinique spécialisée dans la santé, le handicap et les TSA. Moi-même je suis diplômée en neurosciences cognitives, et étudiante en informatique (data analyst). Notre projet est de créer une société orientée à la fois dans les bilans de compétences et dans la psychométrie cognitive (conception et validation de tests cognitifs). Les tests de personnalité peuvent se commander directement auprès de sociétés d'édition de tests connues et réputées comme Pearson TalentLens, Central Test, Pole Solution, etc. Je travaille aussi avec une psychologie professionnelle spécialisée dans les bilans psychologiques, qui examine et évalue la qualité des items (les questions) des quizz.

Le projet de 30 à 40 tests d'aptitude est liée à la démarche de validation psychométrique des tests : on ne peut pas valider totalement un test pris isolément. Par exemple, pour la validité de construction, il y a deux formes de validité appelées a) validité convergente et b) validité divergente. La première (a) consiste à réaliser une analyse factorielle sur toutes les variables (les tests d'aptitude) pour vérifier qu'il y a bien des groupes (des facteurs) d'aptitudes sui sont très corrélées entre elles (par exemple tous les tests de mathématiques devraient être très corrélés entre eux). La deuxième (b) consiste à vérifier que certains groupes de tests corrèlent peu ou pas avec les autres (par exemple les tests de mathématiques ne devraient pas être corrélés avec les tests de raisonnement spatial car il n'y a théoriquement aucun lien entre les deux).

Bon c'est un peu superficiel ce que je décris, car il y a plusieurs formes de validité (critérielle, prédictive, etc.). Par exemple, le niveau d'éducation et la catégorie socio-culturelle que l'on demande au tout début du quizz sont des critères que certaines variables doivent prédire pour être valides et utiles. Cela sert pour corroborer la validité prédictive et la validité concourante. Il peut y avoir des schémas un peu plus complexes comme certains tests de raisonnement dits "fluide" qui prédisent, dans une certaine mesure, la capacité d'apprentissage d'une personne sur d'autres tests, les tests scolaires par exemple.

Après, pour valider un unique test d'aptitude, il y a la théorie de réponse à l'item (TRI) et ses modèles de réponses à l'item (MRI). C'est un peu le sain Graal car dans ce cas il n'est pas nécessaire de disposer de plusieurs variables en mêmes temps. Je teste la validité interne d'un test avec le logiciel XCalibre qui est spécialisé dans l'analyse des réponses et les MRI. Ces modèles mathématiques sont des fonctions logistiques qui mettent en relation le score à une question (item) avec le score total au test, en fonction de plusieurs paramètres. Ce sont des modèles très performants, mais on ne peut pas se contenter de cela pour valider un test ou une batterie de tests. Il nous faut connaître les relations statistiques entre plusieurs tests qui sont censés évaluer une même dimension (le français ou les mathématiques par exemple).

Je ne sais pas si j'ai bien répondu à ta question et si ce que j'ai dit t'aide à mieux comprendre notre démarche.

N'hésite pas si tu as d'autres questions

merci. c est super intéressant ce que tu présentes.
j essaie de suivre ce que tu écris et je trouve ça passionnant.

alors que je n ai jamais vraiment accroché sur les tests de recrutement. si j avais su ça avant, cela m aurait peut être permis de les prendre plus au sérieux pour les recrutements.

isadora a écrit:merci. c est super intéressant ce que tu présentes.
j essaie de suivre ce que tu écris et je trouve ça passionnant.

alors que je n ai jamais vraiment accroché sur les tests de recrutement. si j avais su ça avant, cela m aurait peut être permis de les prendre plus au sérieux pour les recrutements.

Merci à toi de t'intéresser à mon projet

Je crois que ce qui rebute le plus dans les tests de recrutement est dû à l'hyper-standardisation de la passation des tests : des tests collectifs comme à l'école et en un temps très limité qui induit du stress.

Mais en réalité, les fondements des tests dit "d'intelligence" utilisés par les psychologues cliniciens et neuropsychologues et des tests de recrutement sont les mêmes. C'est la finalité et la population qui diffèrent. Pour les psychologues cliniciens, l'objectif est d'explorer le fonctionnement d'une personne, de faire ressortir ses forces et ses faiblesses. Pour les recruteurs, l'objectif est de détecter les meilleurs. Moi je dirais que je cherche à me situer quelque part entre les deux, je ne veux pas être élitiste, et ça m'intéresse de comprendre les gens.

Regina_Regina a écrit:(.../...)l'objectif est de détecter les meilleurs.(.../...)

Si je peux me permettre, les meilleurs dans un cadre précis. Enfin, quand on a pas à faire à des gnous comme décideurs. J'ai passé en 2000 des tests psychotechniques (bon, de l'époque), et curieusement, ce n'était pas les mêmes pour ingénieur de production que pour consultant informatique. J'ai d'ailleurs fini consultant informatique, ou j'avais surperformé dans les tests, alors qu'ingénieur de production en plasturgie (ce qui collait à ma formation initiale, pourtant), j'avais été "normal". Avec le recul, ingénieur de production, je me serais sans doute planté, vu mes qualités et surtout mes défauts.

RonaldMcDonald a écrit:

Regina_Regina a écrit:(.../...)l'objectif est de détecter les meilleurs.(.../...)

Si je peux me permettre, les meilleurs dans un cadre précis. Enfin, quand on a pas à faire à des gnous comme décideurs. J'ai passé en 2000 des tests psychotechniques (bon, de l'époque), et curieusement, ce n'était pas les mêmes pour ingénieur de production que pour consultant informatique. J'ai d'ailleurs fini consultant informatique, ou j'avais surperformé dans les tests, alors qu'ingénieur de production en plasturgie (ce qui collait à ma formation initiale, pourtant), j'avais été "normal". Avec le recul, ingénieur de production, je me serais sans doute planté, vu mes qualités et surtout mes défauts.

Oui tu as raison de préciser. Il y a évidemment des tests psychotechniques spécifiques pour chaque métier.
Dans ton cas, c'est vrai que le poids de ton bagage culturel en informatique a pesé plus lourd que le poids de ta formation initiale.

J'ai moi aussi passé des tests psychotechniques d'informatique l'année dernière pour une admission dans une formation, j'ai été placé très au-dessus de la moyenne des candidats (de ce que m'ont dit les femmes qui recrutaient), mais je n'ai pas fait cette formation car pas de financements. Ce qui veut dire qu'il y a de nombreux facteurs qui interviennent dans la sélection de candidats, que ce soit pour une formation ou un poste.

Bonjour les gens, comment allez-vous ?

Cela fait environ trois semaines que certaines d'entre eux vous ont participé aux tests utilisateurs concernant le Quizz d'évaluation. J'avais dit aux personnes concernées que je les recontacterai pour les prévenir des suites à venir et de la mise en place de la version modifiée et corrigée du Quizz.

Je reviens furtivement pour vous dire que la nouvelle version du Quizz sera très bientôt disponible .

J'ai essentiellement travaillé sur l'ergonomie des images et sur la qualité esthétique des images. J'ai également réalisé une analyse d'items (i.e. les questions) qui a permis de montrer des incohérences dans la proportion de questions dispatchées dans les différents niveaux de difficulté, ainsi qu'une désorganisation de l'ordre des questions, au regard de leur niveau de difficulté. J'ai donc modifié certaines questions et introduit de nouvelles questions pour équilibrer la proportion de questions dans chaque niveau de difficulté.

Pour vous donner juste une petite idée du type de designs retenus pour les nouvelles questions et auxquels vous pourrez vous attendre, je vous laisse deux exemples de questions piochées au hasard. Que pensez-vous des ces images ?





Donc, d'ici les deux à trois jours prochains, le Quizz sera de nouveau disponible en ligne pour celles et ceux qui souhaitent participer à ces tests utilisateurs.

Voilà pour les nouvelles.

Spoiler:

Sur le premier, il y a des subtilités pour les couleurs, et on risque de sabrer les gens qui ont une mauvaise vision des couleurs.

RonaldMcDonald a écrit:

Spoiler:

Sur le premier, il y a des subtilités pour les couleurs, et on risque de sabrer les gens qui ont une mauvaise vision des couleurs.

Merci, je vais remédier à ce problème de couleurs. J'ai utilisé des couleurs pastelles pour le premier, pour adoucir les teintes.
Je vais tester les contrastes dans Adobe pour écarter les incohérences de couleurs qui désavantageraient les personnes avec daltonisme.

J'ai connu des gens qui ne voyaient qu'n noir et blanc. Ils passaient souvent pour idiots (notamment pour leurs choix de vêtements), alors qu'ils ne l'étaient pas. Après, il faut aussi savoir ce que l'ont filtre.

RonaldMcDonald a écrit:J'ai connu des gens qui ne voyaient qu'n noir et blanc. Ils passaient souvent pour idiots (notamment pour leurs choix de vêtements), alors qu'ils ne l'étaient pas. Après, il faut aussi savoir ce que l'ont filtre.

Je comprends bien le problème que tu évoques. Les troubles de la vision comme le deutéranopie, la protanopie, la tritanopie (les trois formes du daltonisme) ou l'achromatopsie (le trouble dont tu parles) ont un impact significatif sur les performances à un test d'aptitude mentale qui utilise du matériel avec des couleurs. A cause de la nécessité de percevoir et distinguer les différentes couleurs pour reconnaître des patterns récurrents, des régularités, etc. dans l'image, ces troubles empêchent la personne d'appliquer sa capacité d'observation.

La difficulté que je rencontre avec la création de ces images, c'est de concilier l'ergonomie visuelle et l'accessibilité d'une part, avec l'esthétisme d'autre part, pour que les images soient les plus attrayantes et les plus stimulantes possibles. J'aurais pu créer des images uniquement en noir et blanc, mais ce serait devenu un peu triste et monotone.

Du coup, en choisissant d'intégrer des couleurs dans les images, je dois admettre que le Quizz n'est pas définition pas adapté pour les personnes présentant des troubles graves de la vision. Cependant, dans les rapports de score que je fournis aux répondants, dans le cas de performances significativement faibles, dans les explications probables à cette faible performance, je mets davantage l'accent sur les problèmes médicaux (troubles de la vision, consommation de produits psychotropes, troubles psychiatriques comme les troubles anxio-dépressifs), sur les problèmes de confiance en soi qui peuvent affecter négativement la performance, sur une attitude réfractaire à l'égard des évaluations standardisées, ou encore sur les conditions de passation défavorables qui peuvent ne pas être adaptées à la passation d'un test.

En règle générale, les personnes sont rarement des "idiots" (au sens de retard mental modéré à sévère). Le plus souvent, il y a des causes médicales, motivationnelles, émotionnelles (confiance en soi) ou situationnelles qui sont à l'origine d'un faible score. Je crois que c'est très important d'être humaniste et réaliste quand on interprète les résultats d'un test.

Bonjour à toutes et à tous,

Je reviens ici après un long moment d’absence pour vous donner quelques nouvelles sur les Quizz.

Tout d’abord, concernant le Quizz nommé « induction simple et généralisation », celui-ci a été renommé en « Généralisation inductive » puisque les figures abstraites dans les questions tendent à évaluer plus spécifiquement la capacité d’abstraction et de généralisation dans la pensée conceptuelle. Je rappelle que ce Quizz est un parmi d’autres qui mesurent le raisonnement inductif. Plutôt que de faire un gros test (une centaine de question) qui regroupe toutes les facettes du raisonnement inductif, nous avons préféré opter pour la solution consistant à décomposer les différentes facettes du raisonnement inductif et du raisonnement déductif avec un Quizz pour chaque facette.

Avec la collaboration d’une psychologue clinicienne et neuropsychologue qui a une approche scientifique de l’intelligence et qui s’intéresse beaucoup à ce très vaste sujet, nous avons pu identifier des imprudences au sujet des distracteurs, notamment leur quantité. Dans un QCM, les distracteurs sont les choix de réponses correspondant à des mauvaises réponses. Ces choix de réponses ne sont pas seulement des réponses erronées, mais sont aussi des leurres afin de faire varier le niveau de difficulté (par l’ambiguïté) des questions. L’ambiguïté entre les mauvaise réponses et la bonne réponse doit permettre de faire varier positivement ou négativement la probabilité de donner la réponse correcte. Dans tous les cas, l’utilité de ces distracteurs est d’éviter les réponses au hasard. Il existe toutefois un risque non nul pour qu’une personne donne la bonne réponse en répondant au hasard. Une formule de correction, assez sévère, permet de prendre en compte ce risque et de l’éviter. Cependant, cela se fait en pénalisant les mauvaises réponses qui peuvent ne pas être le fait du hasard mais bien d’un choix raisonné de la part du répondant.

Pour pallier cette limite des QCM, j’avais considéré judicieux d’augmenter le nombre de distracteurs et de décomposer la bonne réponse en plusieurs figures (plusieurs choix de réponses), afin d’entraver drastiquement les réponses au hasard. Cependant, la psychologue avec qui je travaille a émis une réserve sur le fait que trop de distracteurs peuvent nuire à la mesure valide du construit psychologique (le raisonnement inductif et plus spécifiquement la généralisation inductive dans ce cas). En effet, il y a trop de distracteurs pour certaines questions : pour celles et ceux qui ont passé le Quizz, vous vous souvenez probablement de ces questions avec 12 ou 16 choix de réponses possibles. Ce sont ces questions qui posent problèmes. Désormais, on part sur l’idée que toutes les questions ne comporteront plus que 8 choix de réponses possibles de manière systématique. On n’écarte pas l’idée de mettre au point une autre façon de donner sa réponse pour le répondant, comme par exemple remplacer les distracteurs par des figures géométriques élémentaires à partir desquelles le répondant pourra construire sa réponse (il suffirait alors de choisir toutes les figures géométriques qui sont compatibles avec la figure à trouver). Mais le plus simple reste l’idée des 8 choix de réponses possibles pour les questions de Quizz au format QCM.
.
Je vous donne ici quelques exemples d’images dans les questions de la nouvelle version du Quizz de « Généralisation inductive ». Les figures sont plus travaillées, plus colorées, plus géométriques. Certaines questions incluent des figures constituées de courbes organiques.

Voici quelques exemples de figures que vous pourrez trouver dans les nouvelles questions :















Une autre nouvelle importante. Nous avons travaillé également sur d’autres Quizz de raisonnement inductif. Un autre Quizz spécifiquement dédié à l’inférence statistique et la prédiction d’événements va voir le jour. Pour ce second et nouveau Quizz, certaines questions seront des QCM avec des figures et des nombres, tandis que la majorité des autres questions seront des séquences numériques qui utilisent exclusivement des chiffres et des nombres. L’objectif de ce second Quizz est de mesurer les performances dans la capacité à prédire des événements futurs à partir de données passées (d’où le format de « séquences ») et l’inférence statistique et l’inférence bayésienne, d’où la nécessité d’introduire des questions numériques et chiffrées incluant le raisonnement quantitatif. Bien que ce deuxième Quizz n’est pas un test de mathématiques, quelques notions élémentaires de mathématiques seront recommandées voire indispensables. Les notions mathématiques requises sont par exemple :
   • Les entiers naturels et les nombres entiers relatifs
   • Les nombres décimaux
   • Les nombres rationnels
   • Les puissances et les carrés parfaits
   • Arithmétique : l’habileté à manipuler les chiffres et les nombres
   • Quelques notions de dénombrement (combinatoire, arrangements, permutations)

Au-dehors de ces quelques notions de maths, la réussite de ce Quizz repose en grande partie sur la capacité d’observation et la capacité à reconnaître des motifs récurrents dans les suites de chiffres et de nombres.

Voici quelques exemples de questions que vous pourrez trouver dans ce deuxième Quizz :

9 8 7 0 9 8 7 0 9 8 7 0 9 8 7 0 9 8 ? ?
0 1 9 2 0 1 9 2 0 1 9 2 0 1 9 2 ? ?
3 4 6 9 13 18 24 31 39 48 58 69 81 ? ?
12345 54321 1235 5321 125 521 ? ?

J'espère que ces quelques nouvelles données sur les Quizz susciteront de l'intérêt de votre part. Si vous pouviez commenter, critiquer, examiner, évaluer tout ce qui a été dit et montré dans ce Post, je vous en serais très reconnaissante   .

Je vous tiens au courant de la mise en ligne de la nouvelle version du Quizz "Généralisation inductive" (GI) et sur le deuxième Quizz "Inférences Statistiques et Inférences Bayésiennes " (ISIB).

Au plaisir de vous lire et de vous revoir        

Bonjour,

Merci pour les nouvelles !
Effectivement, 16 choix de réponses possibles, ça fait beaucoup.
Là, les questions m'ont l'air pas mal (et plus simples que le questionnaire précédent).
J'ai juste des soucis avec la couleur des papillons jaune vert (les B et D) qui se voient mal quand je suis en mode "lumière de nuit" et la différence de couleur entre les réponses B et F de la question d'après.

vous avez bien avancé sur le projet. félicitations pour le travail accompli.
j aime beaucoup le premier exercice des figures.
pour les papillons, je ne vois pas bien le vert.

je ne connaissais pas le terme distracteur. c est intéressant parce que pour des profils zèbres un peu trop curieux en effet il est facile de se laisser distraire à envisager toutes les hypothèses et à se perdre dans les distracteurs.

bonne continuation au projet.

EnolaMay a écrit:Bonjour,

Merci pour les nouvelles !
Effectivement, 16 choix de réponses possibles, ça fait beaucoup.
Là, les questions m'ont l'air pas mal (et plus simples que le questionnaire précédent).
J'ai juste des soucis avec la couleur des papillons jaune vert (les B et D) qui se voient mal quand je suis en mode "lumière de nuit" et la différence de couleur entre les réponses B et F de la question d'après.

Bonjour EnolaMay,

Merci pour ton opinion.

Alors si tu vois les papillons jaunes et verts, peut-être que tu souffres d'une forme de daltonisme car ils sont verts, bleus et rose. Mais ce que je retiens est que plusieurs personnes ont indiqué avoir des difficultés pour voir correctement cette image. Je vais donc supprimé cet item et le remplacer par une nouvelle image avec des motifs pleins plutôt que des motifs en contours. Idéalement, si j'arrive à concevoir une image en noir et blanc ce sera plus simple pour distinguer les différentes figures, puisque la distinction se fera sur la forme et non sur la couleur.

Je vais travailler sur une nouvelle image et je vous la montrerai pour avoir votre avis.

isadora a écrit:vous avez bien avancé sur le projet. félicitations pour le travail accompli.
j aime beaucoup le premier exercice des figures.
pour les papillons, je ne vois pas bien le vert.

je ne connaissais pas le terme distracteur.  c est intéressant parce que pour des profils zèbres un peu trop curieux en effet il est facile de se laisser distraire à envisager toutes les hypothèses et à se perdre dans les distracteurs.

bonne continuation au projet.

Merci isadora    !

Oui, c'est vrai, à part deux questions qui posent encore problème, toutes les images de toutes les questions ont été révisées. Il faut encore revoir les questions avec plus de 8 choix de réponses possibles pour les ramener à 7 distracteurs au lieu de 11 ou + 10.

Le premier que vous aimez bien était au départ une image bien moche et triste, très simpliste et sans aucune esthétique. J'ai pris en considération les remarques formulées par les testeurs au sujet de la qualité esthétique des images. C'est important que les images soient agréables à regarder durant la passation du Quizz, car cela contribue à maintenir la curiosité et la motivation de la personne.

Oui "distracteur" est un nom technique utilisé en psychologie cognitive pour qualifier des choix de réponses ou des éléments dont le but est de perturber volontairement l'attention sélective et l'attention soutenue du répondant par rapport à des stimuli cibles.

Oui vous avez raison, c'est ce que m'a dit la neuropsychologue avec qui je travaille : certaines personnes préfèrent opérer par élimination pour répondre à une question.

A bientôt !

Bonsoir à toutes et à tous.

Je passe rapidement ce soir pour vous montrer quelques exemples d’items difficiles qui ont été modifiés pour être moins difficiles (du moins pour les rendre solubles dans des conditions habituelles de passation).

Ces modifications concernent les items difficiles voire très difficiles qui avaient auparavant entre 12 et 16 choix de réponses possibles, soit jusqu’à 15 distracteurs. Tous les items ont été modifiés pour qu’ils aient uniquement 8 choix de réponses possibles et exactement 7 distracteurs, donc 1 seule bonne réponse possible parmi les 8 choix possibles.

J’en ai profité pour rendre plus lisibles les lettres associées aux choix de réponses.


Voici trois exemples de questions difficiles modifiées :








Voici un exemple de question facile nouvellement créée pour remplacer une mauvaise question (l’image et les figures étaient illisibles par les personnes) :




N’hésitez pas à me faire part de vos critiques, commentaires, mécontentements, etc., bref, discutez-en comme bons vous semble. Toutes critiques est toujours la bienvenue, merci d’avance       .