Bom dia.
De facto não podes aplicar a regra do produto para a derivada porque cos(x) é o argumento de sen.
Para facilitar, pensa que cos(x) é outra varíavel, por exemplo
u. Então vamos ter sen(u). Logo, pelas regras de derivação \(\frac{\mathrm{d} }{\mathrm{d} u} sen(u)\) = u´* cos (u).
Ora u' = (cosx) ' = -sen (x).
E cos(u)= cos(cos(x)).
Assim, se reparares é um tipo de substituição de u pelo argumento de sen.
Para te ajudar nas derivadas necessitas de um formulário das regras de derivação. Encontras no site:
http://www.estig.ipbeja.pt/~cmmmp/matII ... _MatII.pdf, por exemplo.
Espero ter ajudado.