Quando os shaders de um modelo 3D parecem pixelados durante a criação, isso é normalmente devido a uma baixa resolução de textura, à falta de anti-aliasing ou a definições baixas de renderização/amostragem que não conseguem suavizar arestas ou detalhes.
Isso ocorre porque o shader não tem dados de pixel suficientes para texturas finas. As texturas de baixa resolução têm muito poucos pixels, enquanto a ausência de anti-aliasing deixa linhas irregulares e desalinhadas.
Para resolver isso, tente aumentar a resolução da textura, ativar o anti-aliasing (como MSAA) ou aumentar o número de amostras de renderização no seu software 3D. Estes ajustes rápidos costumam eliminar a pixelização.