L’association a été fondée en 1899 par Louis-Amable Dauriat sous l’appellation « Union des Sourds-Muets du Limousin ».
Les titres de l’association depuis 1893 :
- Union Amicale des Sours-Muets Limousins de 1893 à 1930
- Mutuelle des Sourds-Muets du Poitou, du Limousin du Rouergue de 1931 à 1936
- La Fraternelle des Silencieux du Limousin de 1936 à 1961
- Amicale des Sourds des Départements de la Haute-Vienne, de la Corrèze, et de la Creuse de 1962 à 1967
- Division : Amicale des Sourds du Limousin de 1967 à 1971 et Association Sportive Silencieuse du Limousin de 1968 à 1971
- Fusion des deux associations : Association des Silencieux du Limousin de 1971 à 1972
- Foyer-Club (Sportif) des Sourds du Limousin de 1973 à 1979
- Union des Sourds du Limousin « Loisirs-Culture-Sports » de 1979 à 1989
- Association Socio-Culturelle et Sportive des Sourds de la Haute-Vienne de 1989 à 2004
- Maison des Sourds de la Haute-Vienne depuis le 2 octobre 2004