Confesso que não é mesmo a minha área.
Pode ver alguma informação em
http://pt.wikipedia.org/wiki/Teoria_do_caosPelo que sei, os sistemas dizem-se caóticos quando uma pequena variação num dos parâmetros do sistema leva a uma solução completamente diferente da original.
Intuitivamente, pensamos que se conseguimos resolver uma equação diferencial, a mudança de um parâmetro por outro bastante próximo não deverá alterar muito o comportamento do sistema. Por exemplo, a mudança de um condensador num circuito electrónico simples não deve alterar bastante o comportamento (resposta em frequência pode ter pequenas variações).
Num sistema caótico, isso não é verdade. Mesmo a mudança por um valor infinitesimal pode levar a comportamentos bastante diferentes. Por exemplo (clássico), o bater de asas de uma borboleta pode introduzir mudanças na equação da atmosfera e levar a um tornado numa cidade remota (para as equações matemáticas de um computador).
Se quer entrar por aí, estude sistemas dinâmicos não lineares primeiro (depois de saber os lineares, claro).