Switch to full style
Responder

Método Linearização y=ax+b

16 mai 2018, 15:32

Me deparei com uma situação e gostaria de comprovar se esse método de linearização é efetivo e/ou se já foi desenvolvido.
Trata-se de uma aproximação da reta por soma de vetorial, onde calculando-se o ponto médio (xm,ym) da distribuição é possível determinar o vetor resultante colinear à reta y=ax+b.
O método tem pequenas variações comparado ao dos mínimos quadrados (MMQ), porém com uma abordagem mais intuitiva uma vez que não necessita de operações matriciais ou cálculo da diferença ao quadrado, como necessário no MMQ.
Segue uma ilustração do método (Perdoe-me a falta de habilidade com a linguagem matemática)

Metodo Vetorial.jpg

Re: Método Linearização y=ax+b

18 mai 2018, 16:59

Sei que há muitos métodos de regressão linear (basta ver a página da wikipédia sobre o assunto) mas o sei sobre regressão linear é quase nada (só o método dos quadrados mínimos e pouco mais). Portanto não lhe posso dizer nada sobre a originalidade do seu método. Pode ser novo (o que é pouco provável dada a simplicidade deste), podem ter descoberto sérios inconvinientes no método (e por isso o método não ser do conhecimento geral) ou então já existe e está na lista dos muitos métodos de regressão linear existentes.
Aquilo que posso fazer é apontar algumas vantagens e desvantagens do seu método. As vantagens você já as expôs algumas: é mais simples de explicar e calcular embora em relação ao cálculo no MMQ não é assim tão mais complicado: \(a=\frac{\sum_{x_i>\overline{x}}(y_i-\overline{y})}{\sum_{x_i>\overline{x}}(x_i-\overline{x})}\) no seu método enquanto \(a=\frac{\sum x_i(y_i-\overline{y})}{\sum x_i(x_i-\overline{x})}\) no MMQ e o b calcula-se da mesma maneira em ambos os métodos: \(b=\overline{y}-a\overline{x}\) (nota: \(\overline{x}\) e \(\overline{y}\) são as médias dos \(x_i's\) e \(y_i's\) respetivamente).
Quanto às desvantagens vejo duas, ambas pelo mesmo motivo. Uma é que a reta obtida \(y=ax+b\) (nomeadamente a inclinação \(a\)) varia de modo descontínuo em função dos valores \(x_i's\) e \(y_i's\), isto porque ao valiar o \(x_n\) contínuamente, este faz o \(\overline{x}\) variar, podendo dar-se o caso de um dado \(x_i\) passar de \(x_i>\overline{x}\) para \(x_i<\overline{x}\) ou vice-versa. A outra desvantagem é que uma vez calculada a reta \(y=ax+b\) para um conjunto de dados \(x_i's\) e \(y_i's\) o facto de juntar mais um dado \((x_{n+1},y_{n+1})\) em consonância com a reta (i.e. \(y_{n+1}=ax_{n+1}+b\)), este vai alterar a reta (o que não se passa com o MMQ), novamente pelo mesmo problema: a média \(\overline{x}\) vai variar e pode eventualmente dar-se o caso de um dado \(x_i\) passar de \(x_i>\overline{x}\) para \(x_i<\overline{x}\) ou vice-versa.

Re: Método Linearização y=ax+b

21 mai 2018, 04:41

Agradeço pelo comentário Rui Carpentier.

Gostaria de esclarecer alguns pontos que podem ter ficado com a explicação um pouco confusa na figura do método no post anterior e já puxando a resposta para os questionamentos sobre as desvantagens do método.

Para se ter o valor médio de x e y é necessário que todos os pontos estejam definidos, ou seja, o número de pontos/amostras não pode variar. Caso contrário, o ponto médio irá variar devido ao tamanho "n" do campo amostral. No caso da adição de mais pontos/amostras ao experimento será necessário recalcular as médias de x e y, pois pelo ponto médio que serão definidos os pontos acima (+) e abaixo (-).

Postei a seguir alguns cálculos comparativos entre o Método Vetorial e o MMQ de alguns experimento que coletei na internet. Como poderá ser observado, em verde estão os valores maiores(+) que a a média e em vermelho os menores(-), bem como ao se dividir o campo amostral em duas partes se obtém o mesmo coeficiente linear "a" para ambas partições (+ ou -).

MV calc 1.jpg

MV calc 2.jpg

Re: Método Linearização y=ax+b

22 mai 2018, 14:33

cecfonseca Escreveu:(...)
Para se ter o valor médio de x e y é necessário que todos os pontos estejam definidos, ou seja, o número de pontos/amostras não pode variar. Caso contrário, o ponto médio irá variar devido ao tamanho "n" do campo amostral. No caso da adição de mais pontos/amostras ao experimento será necessário recalcular as médias de x e y, pois pelo ponto médio que serão definidos os pontos acima (+) e abaixo (-).
(...)

Não sei se isso é uma objeção à minha resposta. É óbvio que quando se introduzem novos dados as médias têm que ser refeitas. O aspecto/problema que estou a chamar à atenção é que, mesmo que os novos dados encaixem prefeitamente na reta de regressão linear obtida com os dados anteriores, a nova reta obtida com a introdução desses dados poderá ser diferente. Isso é um pouco paradoxal, imagine que para um conjunto de dados é calculado que a melhor aproximação para y é x/2, depois introduz-se novos dados em que y é o metade de x e essa deixa de ser a melhor aproximação para y. Num exemplo concreto, para os dados \((x_1;y_1)=(-4;-1)\), \((x_2;y_2)=(1;9)\), \((x_3;y_3)=(3;-8)\) temos \((\overline{x};\overline{y})=(0;0)\) e vamos, pelo seu método, obter a reta \(y=x/4\), no entanto se juntarmos o dado \((x_4;y_4)=(8;2)\) (que está na reta), passamos a ter \((\overline{x};\overline{y})=(2;1/2)\) e a reta será \(y=-x\). Isso não acontece com o MMQ, pois a reta é calculada de modo a minimizar a soma dos quadrados dos erros: \(\sum (y_i-ax_i-b)^2\). Assim sendo, a introdução de novos dados com \(y_i=ax_i+b\) não vai alterar essa soma pelo que a reta de regressão linear mantem-se a mesma.

Para terminar deixo alguns dados para calcular pelos dois métodos e comparar como exercício (é claro que este exemplo é bastante artificial mas o objetivo é vincar as diferenças entre os dois métodos):
\((x_1;y_1)=(-2;-1-4K)\), \((x_2;y_2)=(-1;0)\), \((x_3;y_3)=(0;1+5K)\) e \((x_4;y_4)=(7;-K)\) (tome como K um número bastante grande, K=1000000 por exemplo).

Re: Método Linearização y=ax+b

22 mai 2018, 23:48

Rui Carpentier Escreveu:
cecfonseca Escreveu:(...)
Num exemplo concreto, para os dados \((x_1;y_1)=(-4;-1)\), \((x_2;y_2)=(1;9)\), \((x_3;y_3)=(3;-8)\) temos \((\overline{x};\overline{y})=(0;0)\) e vamos, pelo seu método, obter a reta \(y=x/4\), no entanto se juntarmos o dado \((x_4;y_4)=(8;2)\) (que está na reta), passamos a ter \((\overline{x};\overline{y})=(2;1/2)\) e a reta será \(y=-x\). Isso não acontece com o MMQ, pois a reta é calculada de modo a minimizar a soma dos quadrados dos erros: \(\sum (y_i-ax_i-b)^2\). Assim sendo, a introdução de novos dados com \(y_i=ax_i+b\) não vai alterar essa soma pelo que a reta de regressão linear mantem-se a mesma.

Para terminar deixo alguns dados para calcular pelos dois métodos e comparar como exercício (é claro que este exemplo é bastante artificial mas o objetivo é vincar as diferenças entre os dois métodos):
\((x_1;y_1)=(-2;-1-4K)\), \((x_2;y_2)=(-1;0)\), \((x_3;y_3)=(0;1+5K)\) e \((x_4;y_4)=(7;-K)\) (tome como K um número bastante grande, K=1000000 por exemplo).


Boa noite, Rui!

Os dados fornecidos para linearização não são compatíveis com uma reta y=ax+b, como pode ser observado nos pontos fornecidos (-4;-1), (1;9), (3,-8), (8,2) e confirmados pelo coeficiente de correlação da reta (CORR) o qual deve ser aproximar de |1|.
Pelo MMQ o CORR está muito baixo (-0,178), indicando nenhuma ou muito baixa aderência dos pontos à reta.
Mesmo caso se aplica ao segundo exemplo.
Neste caso, pode-se usar a aproximação por um polinômio interpolador ou outro método numérico com de grau maior.

Re: Método Linearização y=ax+b

23 mai 2018, 15:00

cecfonseca Escreveu:(...)
Os dados fornecidos para linearização não são compatíveis com uma reta y=ax+b, como pode ser observado nos pontos fornecidos (-4;-1), (1;9), (3,-8), (8,2) e confirmados pelo coeficiente de correlação da reta (CORR) o qual deve ser aproximar de |1|.
Pelo MMQ o CORR está muito baixo (-0,178), indicando nenhuma ou muito baixa aderência dos pontos à reta.
Mesmo caso se aplica ao segundo exemplo.
Neste caso, pode-se usar a aproximação por um polinômio interpolador ou outro método numérico com de grau maior.


Certo, o meu objetivo foi arranjar os dados de modo a tornar o mais visível a alteração da reta: de y=x/4 para y=-x+7/4 (faltava o coeficiente constante na resposta anterior). Claro que isso foi feito à custa da correlação dos dados. Com dados mais correlacionadas a diferença é menor (mas existe). Pegemos no exemplo que dei com uma pequena alteração: \((-4;-1)\), \((1;\frac{1}{4}+\alpha)\), \((3;\frac{3}{4}-\alpha)\) com o dado extra \((8;2)\), sendo \(\alpha\) um parâmetro à escolha (no exemplo anterior tinhamos \(\alpha = 9-\frac{1}{4}\)). Feitas as contas com o seu método, passamos da reta \(y=x/4\) (sem o dado extra) para a reta \(y=\left(\frac{1}{4}-\frac{\alpha}{7}\right)x+\frac{2\alpha}{7}\) (com o dado extra). Claro que quanto mais correlacionados estiverem os dados (neste exemplo tal significa que \(\alpha\) tende para zero) mais próximas estão as duas retas.
No outro exemplo que dei o objetivo era semelhante: mostrar quão díspares podem ser as retas de regressão pelos dois métodos (MMQ e o seu), mas isso foi novamente feito à custa da correlação entre dados. Acredito (mas nem vou tentar demonstrar) que fixado um mínimo para o módulo do coeficiente de correlação linear (CCL) isso vai impôr limites a quanto podem diferir as retas nos dois métodos. De facto, se o CCL for 1 ou -1 as retas coincidem.

PS: Não creio que esteja a pensar tal, mas em todo o caso peço-lhe que não leve estas respostas como uma tentativa de bota abaixo. Estou apenas a fazer o papel de advogado do diabo (fundamental em ciência): procurar e apontar falhas nas novas descobertas de modo a serem corrigidas.

Re: Método Linearização y=ax+b

23 mai 2018, 23:11

Rui Carpentier,

O meu objetivo é demonstrar uma nova maneira de se pensar em linearização de dados experimentais, apresentando o método para ser colocado à prova.
Agradeço seus comentários que só contribuíram para enriquecer o debate sobre as vantagens e deficiências do método.
Responder