Boa tarde!

De forma a poder fatorar e chegar na resposta mais "elegante" que falou:
\(a^4-6a^2b^2+8ab^3-3b^4\)
\(a(a^3-6ab^2+8b^3)-3b^4\text{ isolando a ao cubo}\)
\(a(a^3+(-3a^2b+3ab^2-b^3)+(3a^2b-3ab^2+b^3)-6ab^2+8b^3)-3b^4\text{ completando os cubos}\)
\(a((a-b)^3+3a^2b-9ab^2+9b^3)-3b^4\)
\(a(a-b)^3+3a^3b-9a^2b^2+9ab^3-3b^4\)
\(a(a-b)^3+3b(a^3-3a^2b+3ab^2-b^3)\)
\(a(a-b)^3+3b(a-b)^3\)
\((a-b)^3(a+3b)\)

Espero ter ajudado!