Ce post exclusif est partagé par des prestataires de services big data pour aider les développeurs dans leur développement. Ils expliquent la meilleure façon d’extraire les données des tables HBase dans Apache Phoenix. Lisez cet article et découvrez ce qu’ils ont à dire sur les services liés au Big Data.
Le terme » Big Data » est continuellement sous les feux de la rampe depuis un certain temps maintenant. Ce ne serait pas exagérer le terme en disant qu’il contient toutes les données qui peuvent définir un comportement par rapport à tout dans le monde et c’est la raison pour laquelle il augmente exponentiellement et centre d’attraction de nombreux articles, réunions et conférences Webinar.
Maintenant nous devons voir qu’une grande donnée laissera un grand impact ou non. Aujourd’hui, de nombreuses applications travaillant dans l’analyse de données et l’exploration de données utilisant BigData à leur cœur, et tentant constamment d’obtenir la meilleure prédiction. Ceux qui prennent des décisions veulent étudier les modèles ce qui s’est passé dans le passé et ce qui se passe dans le présent afin de prédire ce qui va frapper dans le futur.
Comme Hadoop offre le cadre complet – spécifiquement pour les clients qui veulent préparer le lac de données à partir de l’entrepôt de données ou Data Mart suivi par l’analyse de données avec l’aide d’Apache SparkMlib, nous pouvons voir beaucoup d’amélioration vers les prédictions par rapport aux méthodes de la génération précédente.
Technologie:
Nous savons tous que HBase est la base de données NoSql pour l’écosystème Hadoop et fonctionne très bien dans ce domaine mais il y a une limitation de la HBase est qu’elle n’est pas très conviviale pour le développeur SQL, pour surmonter cette limitation avec l’Apache HBase ils viennent avec la peau SQL au-dessus de HBase connu comme Apache Phoenix.
Alors que nous travaillons avec l’intégration HBase-Phoenix, nous avons rencontré un comportement étrange de Phoenix et nous avons pensé à le partager avec vous.
Use-case:
Voici la table que nous avons créée dans Apache Phoenix nommée ‘test_1’ avec 2 colonnes.
Inséré quelques lignes dedans manuellement.
Vérifié la même chose.
Maintenant selon la structure d’intégration de la HBase et de Phoenix, la table que nous avons créée ci-dessus devrait être reflétée dans la HBase avec les mêmes données.
Nous avons vérifié la même chose, la table a été créée dans HBase avec le même nom (test_1) et nous avons vérifié les données qui seraient placées correctement.
Nous avons maintenant testé la même procédure d’une autre manière – nous allons créer la table dans HBase, charger les données dans celle-ci et vérifier la même chose dans Phoenix.
Nous avons créé la table dans HBase avec le nom ‘TEST_2’
Inséré 3 lignes dans celle-ci.
Vérifier la même chose avec la commande SCAN.
Problème:
Nous avons recherché la même table dans Phoenix que nous avons créée dans HBase mais la table n’est pas présente sur la leur.
C’est en fait une limitation de Phoenix qui ne récupère pas les détails de la table automatiquement à partir des métadonnées HBase.
Résolution :
Nous devons créer la table manuellement dans Phoenix avec le même nom avec lequel nous avons créé dans HBase (TEST_2).
Une fois que la table est créée avec le même nom, elle va automatiquement récupérer les données à partir des métadonnées HBase et refléter les mêmes dans la table Phoenix.
Ce post est destiné par les experts de Big Data services à vous faire connaître le processus de récupération des données des tables HBase dans Apache Phoenix. S’il y a quelque chose que vous voulez demander, écrivez dans les commentaires.
Conclusion:
Nous avons constaté que lorsque nous créons une table dans Phoenix et chargeons les données dans celle-ci, alors les mêmes données se reflètent dans HBase sous la table avec le même nom mais lorsque nous tentons l’inverse et créons une table dans HBase et chargeons les données dans celle-ci, les mêmes ne seront PAS reflétées dans la table Phoenix et nous devons manuellement mapper la table Phoenix avec la table HBase.
