İşitme yetersizliği olan bireyler bazı durumlarda başkalarının duygularını fark etmede, anlamada ve yorumlama da bir takım sorunlar yaşayabilirler. Ancak işitme yetersizliği olan bireyin sosyal ve duygusal gelişimine etki eden dört temel faktör vardır. Bunlardan birincisi ailedir.  İkincisi, bireyin akranları ve öğretmenleridir. Üçüncüsü, sosyal olmanın farkındalığıdır. Dördüncüsü ise soyutlanmışlık ve yalnızlık hissidir.