Os mapas normais, por si só, são leves. Qualquer "peso" num modelo 3D que os utilize vem do emparelhamento com normais de alta resolução, geometria base complexa ou texturas companheiras grandes (como albedo de 4K).
Os mapas normais adicionam detalhes de superfície através de texturas 2D (sem geometria extra), por isso o seu impacto é indirecto. A "pesadez" geralmente decorre da combinação de normais de alta resolução com modelos detalhados ou outras texturas grandes. Estes, juntos, aumentam o tamanho do ficheiro ou a carga de desempenho.
Para tornar o modelo mais leve, tente reduzir a resolução do mapa normal.