Olá
Primeiro perceba que se trata de uma integral imprópria, posto que em x=1 a função apresenta descontinuidade, então o procedimento correto é :
\(\int_{0}^{1} \; \frac{x^2}{\sqrt{1-x^2}} \; dx=\lim_{ p \rightarrow 1^{+}} \int_{0}^{p} \; \frac{x^2}{\sqrt{1-x^2}} \; dx\)
integrando : \(\int_{0}^{p} \; \frac{x^2}{\sqrt{1-x^2}} \; dx\)
\(x=senu \;\; \rightarrow \;\; dx=cosu \; du\)
\(\int \; \frac{sen^{2}u*cosu }{cosu}\; du\)
\(\int \; sen^{2}u \; du\)
Utilizando a identidade trigonométrica : \(sen^{2}u=\frac{1-cos(2u)}{2}\)
\(\frac{1}{2}*\int \; 1-cos(2u) \; du\)
\(\frac{u}{2}-\frac{sen(2u)}{4}\)
temos que retornar a variável "x" para pode aplicar os limites de integração :
\(x=senu \;\; \rightarrow \;\; u=arc \; sen x\) e \(sen(2u)=2*senu*cosu \;\; \rightarrow \;\; sen(2u)=2*x*\sqrt{1-x^2}\)
ficamos com :
\(\left\[ \frac{arc \; sen x}{2}-\frac{x*\sqrt{1-x^{2}}}{2} \right\]_{0}^{p}=\frac{arc \; senp-p*\sqrt{1-p^{2}}}{2}\)
então retonando a integral imprópria:
\(\int_{0}^{1} \; \frac{x^2}{\sqrt{1-x^2}} \; dx=\lim_{ p \rightarrow 1^{+}} \; \frac{arc \; senp-p*\sqrt{1-p^{2}}}{2}\)
\(\int_{0}^{1} \; \frac{x^2}{\sqrt{1-x^2}} \; dx=\frac{arc \; sen(1) -\sqrt{1-1}}{2}\)
\(\int_{0}^{1} \; \frac{x^2}{\sqrt{1-x^2}} \; dx=\frac{\pi}{4}\)