Fórum de Matemática
DÚVIDAS? Nós respondemos!

Olá. Vamos supor que eu modelo uma função paramétrica que me retorna a probabilidade de resultados {A, B, C, ....}em diversos experimentos independentes, más baseados nos mesmo parâmetros {1, 2, 3, ...}. Como posso testar e dizer quão bem o modelo se ajusta à realidade.

Por exemplo: Tenho 2 modelos baseados nos mesmos parâmetros, más com funções diferentes. Vamos dizer que sejam pelo modelo 1 P(X=A) = 2c e P(X=B) = 1-2c e pelo modelo 2 P(X=A) = c+0,1 e P(X=B) = 0,9-c sendo c um parâmetro variável.

Então testamos os dois modelos comparando as probabilidades com os resultados que ocorreram


modelo 1 modelo 2
evento valor de c P(X=A) P(X=B) P(X=A) P(X=B) resultado real

1 0,2 0,4 0,6 0,3 0,7 A
2 0,3 0,6 0,4 0,4 0,6 A
3 0,2 0,4 0,6 0,3 0,7 B
4 0,1 0,2 0,8 0,2 0,8 A
5 0,4 0,8 0,2 0,5 0,5 B

Analisando por um lado o modelos 1 é melhor porque quantidade de resultados X=A e X=B ficaram mais próximo dos valor esperado calculado pelo modelo 1 do que pelo modelo 2, porém no modelo 1 os resultados ficaram piores distribuídos em relação às probabilidades calculados. Temos um X=A quando P(X=A) = 0,2 e um X=B quando P(X=B) = 0,2. Eu sei que a amostragem é pequena, então considerem uma amostragem grande, onde esse tipo de coisa acontece mais do que seria esperado.


Então, a primeira vista, um bom modelo deveria permitir calcular aproximadamente as expectativas da quantidade de varias dessas "coisas" acontecerem, desde que se tenha amostras grande. por exemplo E(X = A) ou E(X = A) quando P(A) >= 0,8, mas isso poderia se estender indefinidamente, por exemplo: E(X=A) para os eventos pares ou E(X=A) para eventos pares e P(X)>0,2 ou E(X=A) na primeira metade da série. Teoricamente, se temos uma amostra suficientemente grande, a quantidade esperadas de todas essas "coisas" deveriam ficar próximas ao valor real. Más dificilmente um modelo de um sistema estocástico (No sentido de predominantemente aleatório, mas parcialmente determinístico), vai satisfazer todas essas quase infinitas condições, sem falar na dificuldade de testar tudo isso.

Eu tentei um tipo de teste indireto: Calcular os erros esperados e os reais e depois compara-lo (entendendo erro como uma distancia). Por exemplo:

Se P(X=A)= 0,6 então, considerando a distancia de A a B como 1, o erro esperado é 0,6*0,4+0,4*0,6 = 0,48 (P(X=A)*distância de P(X=A) a A + P(X=B)*distância de P(X=B) até B). Se o resultado fosse A o erro real seria 0,4 que é a distância de P(X=A) até A. Se fosse B seria 0,6 analogamente.

então o somatório das diferenças entre os erros poderia me dizer algo, mas não funcionou, pelo mesmo motivo de que o modelo 1 lá no inicio não é bom. Depois tente o somatório dos módulos dos erros para tentar corrigir isso, não sei se não funcionou ou eu que não soube interpretar os resultados.

Não, se se isso faz sento, mas na minha cabeça faz.

Então queria saber se existe alguma ferramenta estatística nesse sentido. Eu não tenho muito conhecimento na área, mas acho que entendo fácil se me explicarem.

Obrigado desde já.

A formatação da minha tabelinha lá no inicio ficou horrível. Más é na ordem: evento, valor de c, P(X=A) calculada pelo modelo 1, P(X=B) calculada pelo modelo 1, P(X=A) calculada pelo modelo 2, P(X=B) calculada pelo modelo 2 e o resultado real.

Olá lambda

Uma das ferramentas estatísticas que melhor se adequa é a Análise de Tabelas de Contingência, em que um dos métodos tradicionais mais usados é o teste do Chi-Quadrado.
Mas julgo que terás de fazer vários testes, cada qual deverás ter uma amostra de tamanho mínimo fixo adequado (julgo que amostras de tamanho 20 será o suficiente para cumprir todos os pressupostos associados à aplicação de um teste Chi-Quadrado).

Farias o seguinte:

1. Escolhes quais os valores para c (ou alguns), que façam sentido no problema. Sejam por exemplo k valores possíveis.
2. Para cada valor de c escolhido, fazes 20 experimentos. Terás no total 20 k experimentos.
3. Aplicas o teste do Chi-Quadrado para cada modelo e cada valor de c escolhido; onde os valores observados são as Frequências absolutas dos resultados A e B, e os Valores esperados são as Probabilidades de A e B.
4. Terás então no total 2 k testes de Chi-Quadrado - k testes para o modelo 1 e k testes para o modelo 2.
5. Uma das técnicas mais simples será para cada modelo calculares o p-value médio dos k testes do modelo respectivo.
6. O melhor p-value médio entre os dois modelos decidirá o melhor modelo.
7. o tamanho fixo das amostras é importante para que os p-values médios tenham as mesmas condições de design equilibrado.

Espero ter ajudado. Bom estudo

_________________
http://www.matematicaviva.pt/
F. Martins