Systèmes de données complexes et l’intégration de plusieurs outils.

Par défaut

Les professionnels ont parfois tendance à catégoriser les bases de données relationnels ou non relationnels, les files d’attentes, les caches etc. Même si une base de donnée et une messagerie qui basent leurs fonctionnements sur une file d’attente peuvent avoir quelques similarités, les deux conservent la donnée pour un temps défini et ils utilisent des méthodes différentes pour avoir accès à ces données, qui peut conduire à des différences en termes de performances par exemple.

Une pléthore d’outils permettant de gérer le stockage et le traitement des données sont apparus ces dernières années. Ils sont optimisés en fonction de cas d’usage spécifique Par exemple, on a Redis qui est utilisé comme agent de message et il y a aussi des agents de messages qui permettent le traitement complexe et en temps réel des données, comme une base de données. La frontière qui séparent ces différents catégories d’outils devient de plus en plus flou.

Il y a aussi de plus en plus d’applications qui implémentent des fonctionnalités qui ne peuvent être fourni par un seul outil. Dans ce cas le travail est décomposé en plusieurs tâches qui peuvent être exécutés de façon optimale sur un outil spécifique. Les développeurs interviennent ensuite pour ’’gluer’’ tous ca avec le code.

Un exemple, si vous avez une application qui gère le cache comme Memcached et un serveur de search comme ElasticSearch qui sont séparés de votre base de données principale, alors il est le ressort du développeur que je suis 🙂 de faire en sorte que tous ces outils soient synchronisés avec la ou les base de données principales.

Exemple d’un système de données complexe.

Quand vous utilisez plusieurs outils pour fournir un service, l’API qui expose ce service au monde extérieur fait une abstraction ou cache le plus souvent ces différentes implémentations. Lors de la conception d’un tel système, vous devez vous poser plusieurs questions. Par exemple, comment s’assurer qu’il n’y ait pas de dégradation dans la performance, même si vous avez une très grosse charge sur une ou plusieurs parties du système ? Comment montez vous à l’échelle entre autres.

Il y a plusieurs facteurs qui peuvent influencer la conception d’un système comme celui-ci, comme par exemple l’équipe, l’expérience (et le talent:) des développeurs qui y sont impliqués, ensuite il faut aussi se poser la question sur l’intégration avec des applications monolithiques ( et oui ! ), le temps de livraison et bien sur la vulgarisation auprès du métier pour qu’ils prennent en compte tous ces facteurs ( l’impact sur le risque, la gouvernance etc ). C’est un gros travail qui demande une expertise approfondi dans le fonctionnement d’applications et de base de données.

NextCog vous accompagne dans l’audit, l’implémentation et la conception de systèmes de données complexes. Nous sommes en constante veille technologique et nous nous assurons de vous fournir un service complet. N’hésitez pas à prendre contact avec nous et nous reviendrons vers vous au plus vite. 

Faire le choix entre une base de données relationnelle et une base de données orientés document.

Par défaut

Il y a plusieurs différences à considérer quand on fait la comparaison entre une base de données relationnelle et une base de données orientés document, y compris dans leurs tolérances face aux failles et la gestion de la concurrence. Ici je vais me concentrer sur les différences dans le modèle de données.

Les principaux arguments qui sont en avant pour privilégier une base de données orientés document c’est la flexibilité par rapport au schéma, une meilleure performance due à la localisation ( le fait de stocker des données spécifique à la meme endroit si elles sont fréquemment demandés …) et et le fait qu’il y ait une certaine similarité par rapport aux structures de donnés utilisés par certaines applications. Le modèle relationnel par contre offre des avantages sur une meilleure prise en compte des jointures et les supports sur les relations 1 à plusieurs et relations plusieurs à plusieurs.

Quel modèle de données est le moins couteux en lignes de codes ?

Si la donnée présent dans votre application a une structure qui s’apparente à un document ( par exemple un arbre d’une relation 1 à plusieurs), alors il est plus judicieux d’utiliser le modèle document. La technique qui consiste à éparpiller une structure de type document en plusieurs tables peut conduire à des schémas de données complexes et des lignes de codes supplémentaires en plus.

Le modèle document a quelques limitations, par exemple, vous ne pouvez pas faire référence directement à un élément imbriqué dans un document. Donc tant que les documents ne sont pas fortement imbriqués les uns les autres, alors ce n’est pas nécessairement un problème.

Le faible support pour les jointures dans les bases de données orientés document peut, ou ne peut pas être un problème. Cela dépend de l’application. Par exemple, il n’est pas utile d’utiliser les relations plusieurs à plusieurs dans une application qui utilise une base de données orientés document pour enregistrer des évènements associés à une heure.

Cependant, si votre application doit utiliser les relations plusieurs à plusieurs, alors le modèle de données document devient moins intéressant. Il est possible de réduire le besoin pour les jointures en dé-normalisant, mais en contrepartie, l’application doit se charger de fournir un travail supplémentaire pour maintenir la consistence de la données dé-normalisée.

En général, Il n’est pas possible de dire quel modèle de données conduira à un code moins complexe, ca va dépendre des relations qui existent entre les entités de données. Pour les données très interconnectés, le modèle de données document s’avère compliqué à mettre en place alors que le modèle relationnel est acceptable, et les modèles de données graphes le choix ultime !

Exemple : Gain en simplicité avec le code en SQL ( à gauche ) vs Cypher ( langue de requête orientés graphe à droite)

Sql vs Cypher neo4j
Sql vs Cypher neo4j

NextCog vous accompagne dans l’optimisation de vos bases de données transactionnelles et décisionnelles et la transition vers des bases de données non-relationnelles et graphes. Si vous voulez en savoir plus, prenez contact avec nous et nous vous ferons un devis approprié.