Comparaison entre ChatGPT et Gemini

Qui est le plus intelligent ? (2)

Dans le paysage en constante évolution de l’intelligence artificielle (IA), deux noms se démarquent particulièrement : ChatGPT et Gemini (voir les NL précédentes « Comprendre les IA génératives » et « Approfondir ChatGPT »).

Ces deux systèmes d’IA générative ont captivé l’attention du monde entier par leur capacité à générer du texte humain de manière cohérente et contextuelle.

Cependant, une question persiste : lequel de ces deux systèmes est le plus intelligent ?
Dans cette série de 2 articles, nous plongerons dans une analyse comparative approfondie entre ChatGPT, développé par OpenAI, et Gemini (anciennement Bard), la réponse de Google à cette avancée technologique. Nous vous rappelons que les tests ont été réalisés en octobre 2023 pour évaluer les deux IA génératives.
Pour la première mi-temps, se référer ici.
Nous examinerons leurs caractéristiques, leurs performances et leurs domaines d’application respectifs pour déterminer quel système se distingue en termes d’intelligence artificielle générative.

Tester la capacité des deux IA à analyser des données

Dans ce test, nous allons tester la capacité ChatGPT et Gemini à analyser des données comptables. Le prompt suivant a été complété par la suite par un deuxième pour plus de contexte, en suivant, toujours, les règles d’or qu’on a évoqué auparavant.

Ensuite ajouter ce prompt pour synthétiser le tableau :

Réponse de ChatGPT :
La réponse générée par ChatGPT est présentée sous forme d’un tableau, conformément à ma demande. Ensuite, une analyse des données que nous avons incluses dans la saisie (prompt) est fournie (Figure 1: Réponse de ChatGPT (capacité des deux IA à analyser des données).

Analyse du tableau (Figure 2: Deuxième partie de la réponse de ChatGPT (capacité des deux IA à analyser des données) et Figure 3 : Deuxième réponse de ChatGPT (capacité des deux IA à analyser des données):

Réponse de GEMINI 

La réponse de Gemini est presque similaire à celle de ChatGPT (Figure 4: Réponse de Gemini (capacité des deux IA à analyser des données) :

Voici l’analyse faite par Gemini :

Conclusion

Nous avons soumis la même liste de factures clients (même prompt), Gemini et ChatGPT ont tous deux produits des réponses précises et complètes. Ils ont tous deux identifié les mêmes incohérences et anomalies dans les données, notamment :

• La facture de 25 000 € émise à ITEMARG en septembre est une anomalie significative.
• L’absence de facturation pour ITGEMARG en février est également une anomalie.
• Le chiffre d’affaires de FREEMARG est très faible.

Il existe quelques différences mineures entre les réponses de Gemini et ChatGPT. Gemini a fourni un tableau récapitulatif du chiffre d’affaires par client, tandis que ChatGPT a simplement fourni une liste des factures clients. Gemini a également souligné certains points supplémentaires, tels que le fait que la facture de 25 000 € émise à ITEMARG en septembre est une anomalie significative et qu’il est important de comprendre la raison de cette facture.

Nous considérons que ce duel s’est soldé par un match nul. Les deux IA génératives ont donné des réponses satisfaisantes. De plus, nous avons utilisé le même prompt, alors que vous pouvez l’adapter en fonction des besoins, du type de données et du domaine d’activité.

Bonus, planifier des vacances avec IA

Nous allons plonger dans une expérience unique en utilisant ces deux IA pour planifier des vacances.

Prompt : nous donnons ce prompt à ChatGPT et à GEMINI sans changer un mot :

En ajoutant le prompt suivant, nous voulons créer une carte mentale sur un logiciel, les deux IA vont donc nous générer un texte à mettre comme « markdown * » et l’exploiter facilement.

Markdown* est un langage de balisage léger qui permet de formater du texte de manière simple et lisible, tout en étant facile à convertir en HTML ou d’autres formats de document.

Ceci fait partie des règles d’or évoquées dans l’article précédent (lui donner un feedback en lui demandant d’affiner sa réponse).

Réponse de ChatGPT organisée dans une carte mentale :

En ce qui concerne le résultat du premier prompt, le texte du markdown généré par ChatGPT est clairement structuré et bien organisé par date, ce qui facilite la lecture et la compréhension. En revanche, l’outil de carte mentale ne parvient pas à présenter le texte généré par Gemini de manière aussi organisée. Il est évident que ChatGPT surpasse Gemini dans cette situation en termes de qualité de sortie (Figure 6 : Réponse de ChatGPT sous forme de carte mentale).

Réponse de Gemini organisée dans une carte mentale :

Figure 7 : Réponse de GEMINI sous forme de carte mentale

Conclusion

ChatGPT fournit un itinéraire détaillé avec des réservations spécifiques, tandis que GEMINI propose un itinéraire plus concis mais inclut des conseils utiles et des suggestions d’activités supplémentaires. 

GEMINI offre également plus de flexibilité pour personnaliser l’itinéraire en fonction des préférences individuelles. De plus, GEMINI inclut des informations pratiques, comme la recommandation d’une assurance voyage et le conseil de vérifier les conditions météorologiques. Le choix dépend des préférences du voyageur en matière de détails et de conseils.

Nous considérons que les deux IA ont donné deux plannings clairs, mais nous avons une petite préférence pour ChatGPT, puisqu’il détaille le voyage par jours (matinée, après-midi et soirée).

Synthèse et analyse des résultats des deux articles

Pour rappel la première mi-temps est ici.
Rappel : Il est important d’utiliser ces outils avec vigilance. La question du respect de la confidentialité des données demeure floue, et il vous incombe de veiller à cela.

L’évaluation repose sur la performance textuelle :
Pour être plus précis, cette comparaison entre ChatGPT 3.5 et Gemini se concentre sur la capacité des deux modèles à générer des réponses textuelles en fonction des requêtes posées. Cela signifie qu’on évalue leur compréhension, leur capacité à fournir des informations pertinentes et leur clarté dans la réponse textuelle.

ChatGPT 3.5 a démontré une compréhension plus solide :
Les résultats de l’évaluation montrent que ChatGPT 3.5 a mieux réussi à comprendre la demande ou la question qui lui a été posée par rapport à Gemini. Sa réponse était plus pertinente et précise dans le contexte donné.
Cela peut être attribué à leurs architectures et à leurs sources de données respectives.
Les différences dans les performances des deux modèles peuvent être attribuées à plusieurs facteurs, notamment leurs architectures sous-jacentes, les ensembles de données sur lesquels ils ont été formés et leur capacité à accéder à des informations en ligne. Il est important de noter que Gemini est connecté à Internet, ce qui peut avoir un impact sur la manière dont il répond aux questions qui nécessitent des données en temps réel.

L’utilisation de données antérieures à 2021 limite la performance de ChatGPT 3.5 :
Le fait que cette évaluation se base sur des données antérieures à 2021 signifie que ChatGPT 3.5 ne dispose d’informations sur des événements ou des développements récents qui se sont produits après cette date. Par conséquent, sa capacité à fournir des informations à jour peut être limitée.