Developpez.com

Télécharger gratuitement le magazine des développeurs, le bimestriel des développeurs avec une sélection des meilleurs tutoriels

Les systèmes de JIT améliorent la performance des requêtes SQL complexes
Une extension de PostgreSQL intègre LLVM et diminue les temps de traitement

Le , par dourouc05, Responsable Qt
Les systèmes de gestion de bases de données traitent des volumes de données de plus en plus gros, avec des requêtes de plus en plus complexes, notamment pour la prise de décision. Les problèmes de performance du modèle relationnel ne viennent plus seulement de l’accès aux données sur les disques durs ou SSD, mais également du processeur, qui doit effectuer les opérations complexes.

Chaque système optimise les requêtes SQL avant de les exécuter… et ces systèmes ont permis de garder un très bon niveau de performance jusqu’à présent. C’est d’ailleurs la raison pour laquelle SQL a pu s’imposer par rapport à des langages d’interrogation de plus bas niveau : ces requêtes peuvent s’exécuter plus vite que du code écrit spécifiquement pour chaque requête (à moins que chaque développeur passe énormément de temps à optimiser ce code). La requête est analysée, puis l’optimiseur détermine un plan d’exécution de la requête : comment itérer à travers les éléments d’une table, les filtrer, les agréger, mais surtout l’ordre de ces opérations.

Cependant, quand les accès au disque ne sont plus prépondérants dans les temps de réaction, repenser cette partie devient important. La situation actuelle revient à utiliser un interpréteur pour un langage de programmation avec des optimisations simples (comme Python). Les dernières expériences de la communauté LLVM (plus connue pour le compilateur C et C++ Clang) montrent que, en changeant de paradigme, on peut diminuer les temps d’exécution des requêtes les plus complexes d’un facteur cinq à sept (sur des tests synthétiques).

Pour ce faire, les développeurs ont utilisé des techniques similaires à celles utilisées pour les implémentations rapides de Python ou pour les machines virtuelles Java et .Net : la compilation juste à temps. Il s’agit donc de générer du code qui effectue la requête, puis de l’optimiser avec les mêmes techniques que les compilateurs C et C++, notamment : elles sont éprouvées et donnent d’excellents résultats sur n’importe quel type de programme.

L’extension développée pour PostgreSQL exploite une bonne partie du code d’exécution déjà développé. Ainsi, les fonctions de base d’accès à la base de données sont réutilisés (comme pour itérer dans une table), puis appelées depuis le code de la requête : le tout est passé au moteur de compilation juste à temps (JIT). Il inclut automatiquement le code des primitives de PostgreSQL dans celui de la requête, ce qui lui permet d’optimiser fortement le fonctionnement du code complet.

Ces premiers développements sont assez partiels, toutes les opérations ne sont pas accélérées de la sorte, mais les résultats actuels sont prometteurs. Le fonctionnement global est améliorable, puisque l’implémentation est loin d’être peaufinée. Notamment, la compilation peut s’effectuer de manière parallèle. Après ces étapes de nettoyage, cette extension pourra être distribuée au plus grand nombre sous une licence libre.


Source : Speeding up query execution in PostgreSQL using LLVM JIT compiler.


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de TiranusKBX TiranusKBX - Expert confirmé https://www.developpez.com
le 12/10/2016 à 10:10
Une approche intéressante, je demande à voir par la suite ce que ça donne
Avatar de Max Lothaire Max Lothaire - Membre averti https://www.developpez.com
le 12/10/2016 à 12:13
Avec quel type de requête a-t-on un gain significatif ?
Est-ce que ça change quelque chose sur de très grosses bases de données ?
Avatar de dourouc05 dourouc05 - Responsable Qt https://www.developpez.com
le 12/10/2016 à 13:19
Dans http://llvm.org/devmtg/2016-09/slide...greSQLLLVM.pdf, pages 20 et 21, ils parlent de bons gains (facteur cinq en moyenne) sur des bases de données de 100 Go — ce qui n'est pas rien, mais pas vraiment énorme non plus… — sur à peu près toutes les requêtes TCP-H. Maintenant, tu ne peux t'attendre à de vrais gains que dans les cas où les accès au disque ne sont pas limitants (et ces tests sont relativement préliminaires, leur code semble loin d'être finalisé et utilisable en production).
Avatar de SQLpro SQLpro - Rédacteur https://www.developpez.com
le 12/10/2016 à 13:42
Cela fait déjà plusieurs années que la concurrence (Oracle ou SQL Server) est allé nettement plus loin en offrant notamment le In Memory et la compilation native en C des procédures et requêtes...

A +
Avatar de Dhafer1 Dhafer1 - Membre régulier https://www.developpez.com
le 12/10/2016 à 13:49
ça a l'ai très prometteur pour PostgreSQL, surtout pour un base Open-source et très abordable. Je pense qu'on peut dire que mySQL(et ses Fork) devrait être enterré maintenant.
Offres d'emploi IT
Ingénieur développement électronique H/F
Safran - Ile de France - 100 rue de Paris 91300 MASSY
Architecte / concepteur électronique analogique H/F
Safran - Ile de France - Éragny (95610)
Ingénieur développement logiciel embarqué temps réel (model based) H/F
Safran - Ile de France - VILLAROCHE

Voir plus d'offres Voir la carte des offres IT
Contacter le responsable de la rubrique Débuter - Algorithmique