Ouvrez une fenêtre de l'explorateur, par exemple "Mes Documents".
Dans la barre du haut, cliquez sur "Organiser" puis "Options des dossiers et de recherche".

Dans la petite fenêtre qui s'ouvre cliquez sur l'onglet "Affichage". Dans le cadre des paramètres avancés (en bas), descendez la barre de défilement jusqu'à atteindre la case "Masquer les extensions des fichiers dont le type est connu".

Décochez cette case, puis cliquez sur "Appliquer". Terminez par OK pour fermer la fenêtre.