Commencer par préparer la crème pâtissière. Faire bouillir le lait. Pendant ce temps dans une jatte battre les jaunes d'oeufs et le sucre jusqu'à ce que le mélange blanchisse. Puis ajouter petit à petit la farine et le lait en tournant sans cesse. Remettre sur le feu moyen tout en remuant jusqu'à épaississement de la préparation. Laisser cuire encore 5 mn et incorporer une cuillerée à soupe de rhum et le beurre. Puis laisser refroidir. Verser le sirop de la boîte d'abricots dans une casserole avec 2 dl d'eau et 80 g de sucre. Faire fondre et laisser refroidir. Ajouter alors les 3 cuillerées de rhum. Détailler ensuite les abricots en lamelles régulières. Dans une assiette creuse remplie de sirop plonger rapidement quelques biscuits et les disposer bien serrés au fond d'un moule à charlotte. Répéter l'opération pour tapisser toutes les parois du moule. Tartiner tous les biscuits de confiture puis mettre une couche de crème pâtissière quelques lamelles d'abricots puis de la poudre d'amandes. Continuer en alternant tous ces ingrédients et terminer par des biscuits. Ranger au réfrigérateur jusqu'au lendemain en couvrant d'une soucoupe avec un poids dessus pour bien tasser. Au moment de servir démouler la charlotte et décore avec des abricots frais ou au sirop quelques bâtonnets d'angélique et de feuilles de menthe.