Tuesday 28 November 2017

Exponentially weighted moving average prediction


Explorando a média ponderada ponderada exponencial A volatilidade é a medida mais comum de risco, mas vem em vários sabores. Em artigo anterior, mostramos como calcular a volatilidade histórica simples. (Para ler este artigo, consulte Usando a volatilidade para avaliar o risco futuro.) Usamos os dados reais do estoque do Google para computar a volatilidade diária com base em 30 dias de dados de estoque. Neste artigo, melhoraremos a volatilidade simples e discutiremos a média móvel exponencialmente ponderada (EWMA). Histórico vs. Volatilidade implícita Primeiro, vamos colocar essa métrica em um pouco de perspectiva. Existem duas abordagens gerais: volatilidade histórica e implícita (ou implícita). A abordagem histórica pressupõe que o passado é um prólogo que medimos a história na esperança de que ela seja preditiva. A volatilidade implícita, por outro lado, ignora a história que resolve pela volatilidade implícita nos preços de mercado. Espera que o mercado saiba melhor e que o preço de mercado contenha, mesmo que implicitamente, uma estimativa consensual da volatilidade. Se nos concentrarmos apenas nas três abordagens históricas (à esquerda acima), elas têm duas etapas em comum: Calcular a série de retornos periódicos Aplicar um esquema de ponderação Primeiro, nós Calcular o retorno periódico. Isso é tipicamente uma série de retornos diários onde cada retorno é expresso em termos continuamente compostos. Para cada dia, tomamos o log natural da razão dos preços das ações (ou seja, preço hoje dividido pelo preço de ontem, e assim por diante). Isso produz uma série de retornos diários, de u i para u i-m. Dependendo de quantos dias (m dias) estamos medindo. Isso nos leva à segunda etapa: é aqui que as três abordagens diferem. No artigo anterior (Usando a Volatilidade Para Avaliar o Risco Futuro), mostramos que sob algumas simplificações aceitáveis, a variância simples é a média dos retornos ao quadrado: Observe que isto soma cada um dos retornos periódicos, então divide esse total pela Número de dias ou observações (m). Então, é realmente apenas uma média dos retornos periódicos quadrados. Dito de outra forma, cada retorno ao quadrado é dado um peso igual. Portanto, se alfa (a) é um fator de ponderação (especificamente, 1 / m), então uma variância simples se parece com isso: O EWMA Melhora na Variância Simples A fraqueza desta abordagem é que todos os retornos ganham o mesmo peso. O retorno de ontem (muito recente) não tem mais influência na variância do que nos últimos meses. Esse problema é corrigido usando-se a média móvel exponencialmente ponderada (EWMA), na qual os retornos mais recentes têm maior peso na variância. A média móvel exponencialmente ponderada (EWMA) introduz lambda. Que é chamado de parâmetro de suavização. Lambda deve ser inferior a um. Sob essa condição, em vez de pesos iguais, cada retorno ao quadrado é ponderado por um multiplicador da seguinte forma: Por exemplo, RiskMetrics TM, uma empresa de gestão de risco financeiro, tende a usar um lambda de 0,94 ou 94. Neste caso, o primeiro Mais recente) é ponderado por (1-0.94) (. 94) 0 6. O próximo retomo quadrado é simplesmente um lambda-múltiplo do peso anterior neste caso 6 multiplicado por 94 5.64. E o terceiro dia anterior peso é igual a (1-0,94) (0,94) 2 5,30. Esse é o significado de exponencial em EWMA: cada peso é um multiplicador constante (isto é, lambda, que deve ser menor que um) do peso dos dias anteriores. Isso garante uma variância que é ponderada ou tendenciosa em direção a dados mais recentes. (Para saber mais, consulte a Planilha do Excel para a Volatilidade do Google.) A diferença entre simplesmente volatilidade e EWMA para o Google é mostrada abaixo. A volatilidade simples pesa efetivamente cada retorno periódico em 0,196, como mostrado na coluna O (tivemos dois anos de dados diários sobre os preços das ações, ou seja, 509 retornos diários e 1/509 0,196). Mas observe que a Coluna P atribui um peso de 6, então 5.64, então 5.3 e assim por diante. Essa é a única diferença entre a variância simples e EWMA. Lembre-se: Depois de somar toda a série (na coluna Q) temos a variância, que é o quadrado do desvio padrão. Se queremos a volatilidade, precisamos nos lembrar de tomar a raiz quadrada dessa variância. Sua significativa: A variância simples nos deu uma volatilidade diária de 2,4, mas a EWMA deu uma volatilidade diária de apenas 1,4 (veja a planilha para detalhes). Aparentemente, volatilidade Googles estabeleceu-se mais recentemente, portanto, uma variância simples pode ser artificialmente elevado. A variação de hoje é uma função da variação dos dias de Pior Você observará que nós precisamos computar uma série longa de pesos exponencial declinando. Nós não faremos a matemática aqui, mas uma das melhores características do EWMA é que toda a série convenientemente reduz a uma fórmula recursiva: Recursivo significa que as referências de variância de hoje (ou seja, é uma função da variação de dias anteriores). Você pode encontrar esta fórmula na folha de cálculo também, e produz o mesmo resultado exato que o cálculo de longhand Diz: A variância de hoje (sob EWMA) é a variância de ontem (ponderada por lambda) mais o retorno ao quadrado de ontem (pesado por um lambda negativo). Observe como estamos apenas adicionando dois termos juntos: ontem variância ponderada e ontem ponderada, retorno ao quadrado. Mesmo assim, lambda é o nosso parâmetro de suavização. Um lambda mais alto (por exemplo, como o RiskMetrics 94) indica um declínio mais lento na série - em termos relativos, vamos ter mais pontos de dados na série e eles vão cair mais lentamente. Por outro lado, se reduzimos o lambda, indicamos maior decaimento: os pesos caem mais rapidamente e, como resultado direto da rápida decadência, são usados ​​menos pontos de dados. (Na planilha, lambda é uma entrada, para que você possa experimentar com sua sensibilidade). Resumo A volatilidade é o desvio padrão instantâneo de um estoque ea métrica de risco mais comum. É também a raiz quadrada da variância. Podemos medir a variância historicamente ou implicitamente (volatilidade implícita). Ao medir historicamente, o método mais fácil é a variância simples. Mas a fraqueza com variância simples é todos os retornos obter o mesmo peso. Então, enfrentamos um trade-off clássico: sempre queremos mais dados, mas quanto mais dados temos, mais nosso cálculo é diluído por dados distantes (menos relevantes). A média móvel exponencialmente ponderada (EWMA) melhora a variância simples atribuindo pesos aos retornos periódicos. Fazendo isso, podemos usar um grande tamanho de amostra, mas também dar maior peso a retornos mais recentes. (Para ver um tutorial de filme sobre este tópico, visite o Bionic Turtle.) EWMA 101 A abordagem EWMA tem um recurso atraente: requer relativamente pouco dados armazenados. Para atualizar nossa estimativa em qualquer ponto, só precisamos de uma estimativa prévia da taxa de variância e do valor de observação mais recente. Um objetivo secundário da EWMA é acompanhar mudanças na volatilidade. Para valores pequenos, observações recentes afetam prontamente a estimativa. Para valores próximos de um, a estimativa muda lentamente com base em mudanças recentes nos retornos da variável subjacente. O banco de dados RiskMetrics (produzido pela JP Morgan e disponibilizado ao público) utiliza a EWMA para atualizar a volatilidade diária. IMPORTANTE: A fórmula EWMA não assume um nível de variância médio de longo prazo. Assim, o conceito de volatilidade significa reversão não é capturado pelo EWMA. Os modelos ARCH / GARCH são mais adequados para esta finalidade. Lambda Um objetivo secundário do EWMA é acompanhar mudanças na volatilidade, portanto, para valores pequenos, observação recente afeta prontamente a estimativa e para valores próximos a um, a estimativa muda lentamente para mudanças recentes nos retornos da variável subjacente. O banco de dados RiskMetrics (produzido pela JP Morgan) e disponibilizado ao público em 1994, utiliza o modelo EWMA para atualizar a estimativa diária de volatilidade. A empresa descobriu que em toda uma gama de variáveis ​​de mercado, este valor fornece a previsão da variância que mais se aproxima da taxa de variação realizada. As taxas de variação realizadas num determinado dia foram calculadas como uma média igualmente ponderada dos 25 dias subsequentes. Da mesma forma, para calcular o valor ótimo de lambda para o nosso conjunto de dados, precisamos calcular a volatilidade realizada em cada ponto. Existem vários métodos, então escolha um. Em seguida, calcule a soma de erros quadrados (SSE) entre EWMA estimativa e volatilidade realizada. Finalmente, minimizar o SSE variando o valor lambda. Parece simples É. O maior desafio é concordar com um algoritmo para calcular a volatilidade realizada. Por exemplo, o pessoal da RiskMetrics escolheu os 25 dias subseqüentes para calcular a taxa de variação realizada. No seu caso, você pode escolher um algoritmo que utiliza os preços Volume diário, HI / LO e / ou OPEN-CLOSE. FAQ Q 1: Podemos usar EWMA para estimar (ou prever) a volatilidade mais do que um passo à frente A EWMA não representa uma volatilidade média de longo prazo e, portanto, para qualquer horizonte de previsão além de um passo, a EWMA retorna um Valor constante: The Exponentially Weighted Moving Average Hunter, J. Stuart (1986, ASQC) Princeton, NJ Jornal de Qualidade Tecnologia Vol. 18 N ° 4 QICID: 5536 Outubro de 1986 pp. 203-210 Lista 10,00 Membro 5,00 POR UM TEMPO LIMITADO, O ACESSO A ESTE CONTEÚDO É GRATUITO Você precisará fazer login. Novo na ASQ Cadastre-se aqui. As técnicas do gráfico de controle de Shewhart e CUSUM encontraram ampla aplicação nas indústrias de manufatura. No entanto, a qualidade da peça também foi muito melhorada por medições rápidas e precisas de itens individuais e por melhorias no controle dinâmico automático da máquina. Uma conseqüência é uma semelhança crescente nos problemas de controle enfrentados pelo engenheiro de controle de qualidade da peça e seu compatriota nas indústrias de processo contínuo. O objetivo deste trabalho é expor uma técnica de gráfico de controle que pode ser de valor tanto para os engenheiros de fabricação quanto para os engenheiros de controle de qualidade de processo contínuo: o gráfico de controle da média móvel ponderada exponencialmente (EWMA). A EWMA tem suas origens nos primeiros trabalhos dos econometristas, e embora seu uso no controle de qualidade tenha sido reconhecido, continua a ser uma ferramenta largamente negligenciada. O gráfico EWMA é fácil de traçar, fácil de interpretar, e seus limites de controle são fáceis de obter. Além disso, o EWMA conduz naturalmente a uma equação empírica de controle dinâmico. Gráfico de controle Shewhart, Controle de processo, Gráfico de média móvel, Previsão, Gráfico de controle de soma cumulativa (CUSUM), Gráficos de controle Modelo EWMA O que é: Um gráfico EWMA (Exponentially Weighted Moving-Average) é um gráfico de controle para dados de variáveis Tanto quantitativa como contínua na medição, tal como uma dimensão medida ou tempo). O gráfico apresenta os valores da média móvel ponderada, um factor de ponderação é escolhido pelo utilizador para determinar como pontos de dados mais antigos afectam o valor médio em comparação com os mais recentes. Como o gráfico EWMA usa informações de todas as amostras, ele detecta mudanças de processo muito menores do que um gráfico de controle normal. Como com outros gráficos de controle, os gráficos EWMA são usados ​​para monitorar processos ao longo do tempo. Por que usá-lo: Aplica fatores de ponderação que diminuem exponencialmente. A ponderação para cada ponto de dados mais antigo diminui exponencialmente, dando muito mais importância a observações recentes, enquanto ainda não descarta observações mais antigas inteiramente. O grau de diminuição da pesagem é expresso como um factor de alisamento constante, um número entre 0 e 1 pode ser expresso como uma percentagem, pelo que um factor de alisamento de 10 é equivalente a 0,1. Alternativamente, pode ser expresso em termos de N períodos de tempo, onde. Por exemplo, N19 é equivalente a 0,1. A observação num período de tempo t é designada Yt, e o valor da EMA em qualquer período de tempo t é designado St. S1 é indefinido. S2 pode ser inicializado de várias maneiras diferentes, mais comumente ajustando S2 a Y1, embora existam outras técnicas, tais como a definição de S2 para uma média das primeiras 4 ou 5 observações. A proeminência do efeito de inicialização S2 na média móvel resultante depende de valores menores, tornando a escolha de S2 relativamente mais importante do que valores maiores, uma vez que um maior desacelera as observações mais antigas mais rapidamente. A vantagem dos gráficos EWMA é que cada ponto plotado inclui várias observações, então você pode usar o Teorema do Limite Central para dizer que a média dos pontos (ou a média móvel neste caso) é normalmente distribuída e os limites de controle são claramente definidos. Onde usá-lo: Os gráficos x-axes são baseados no tempo, de modo que os gráficos mostram um histórico do processo. Por esse motivo, você deve ter dados que são tempo-ordenado que é, entrou na seqüência a partir da qual ele foi gerado. Se não for esse o caso, então tendências ou mudanças no processo podem não ser detectadas, mas sim atribuídas a uma variação aleatória (causa comum). Quando usá-lo: EWMA (ou Exponentially Weighted Moving Average) Os gráficos são geralmente usados ​​para detectar pequenas mudanças na média do processo. Eles vão detectar mudanças de .5 sigma para 2 sigma muito mais rápido do que Shewhart gráficos com o mesmo tamanho da amostra. Eles são, no entanto, mais lentos na detecção de grandes mudanças na média do processo. Além disso, os testes de execução típicos não podem ser usados ​​devido à dependência inerente de pontos de dados. Os gráficos EWMA podem também ser preferidos quando os subgrupos são do tamanho n1. Neste caso, um gráfico alternativo pode ser o Individual X Chart. Caso em que você precisa estimar a distribuição do processo para definir seus limites esperados com limites de controle. Ao escolher o valor de lambda usado para ponderação, recomenda-se usar valores pequenos (como 0,2) para detectar pequenos deslocamentos e valores maiores (entre 0,2 e 0,4) para mudanças maiores. Um gráfico EWMA com lambda 1.0 é um gráfico de X-bar. Gráficos EWMA também são usados ​​para suavizar o efeito do ruído conhecido, incontrolável nos dados. Muitos processos contábeis e processos químicos se encaixam nesta categorização. Por exemplo, enquanto as flutuações diárias nos processos contábeis podem ser grandes, elas não são puramente indicativas de instabilidade do processo. A escolha de lambda pode ser determinada para tornar o gráfico mais ou menos sensível a essas flutuações diárias. Como usá-lo: Interpretação de um gráfico EWMA Caso padrão (média não-errante) Sempre olhe primeiro o gráfico Range. Os limites de controle no gráfico EWMA são derivados do intervalo médio (ou faixa de movimento, se n1), portanto, se o gráfico de intervalo estiver fora de controle, então os limites de controle no gráfico EWMA são sem sentido. De pontos de controle. Se houver algum, então as causas especiais devem ser eliminadas. Lembre-se que o Range é a estimativa da variação dentro de um subgrupo, então procure por elementos de processo que aumentariam a variação entre os dados de um subgrupo. Depois de analisar o gráfico Range, interprete os pontos no gráfico EWMA em relação aos limites de controle. Executar Os testes nunca são aplicados a um gráfico EWMA, uma vez que os pontos plotados são inerentemente dependentes, contendo pontos comuns. Nunca considere os pontos no gráfico EWMA em relação às especificações, uma vez que as observações do processo variam muito mais do que as médias móveis ponderadas exponencialmente. Se o processo mostrar controle relativo aos limites estatísticos por um período de tempo suficiente (tempo suficiente para ver todas as possíveis causas especiais), então podemos analisar sua capacidade em relação aos requisitos. Capacidade só é significativo quando o processo é estável, uma vez que não podemos prever o resultado de um processo instável. Wandering Mean Chart Procure fora dos pontos de controle. Estes representam uma mudança no curso esperado do processo, em relação ao seu comportamento passado. O gráfico não é muito sensível a mudanças sutis em um processo de derivação, uma vez que aceita algum nível de deriva como sendo a natureza do processo. Lembre-se que os limites de controle são baseados em um erro de previsão exponencialmente suavizado para observações passadas, de modo que quanto maiores forem as derivações anteriores, mais insensível será o gráfico para detectar mudanças na quantidade de deriva. Suavização exponencial para previsões de séries temporais Postado por Preetam Jinka Em 10 de junho de 2017 10:49:00 AM série de tempo anomalia detecção é um problema complicado com abundância de métodos práticos. É fácil encontrar-se perder em todos os tópicos que engloba. Aprendê-los é certamente um problema, mas implementá-los é muitas vezes mais complicado. Um elemento-chave da detecção de anomalias é a previsão - tendo o que você sabe sobre uma série de tempo, seja com base em um modelo ou sua história, e tomar decisões sobre os valores que chegam mais tarde. Você já sabe como fazer isso. Imagine que alguém lhe pediu para prever os preços de um determinado estoque, ou a temperatura local nos próximos dias. Você poderia extrair a sua previsão, e as chances são a sua muito boa. Seu cérebro funciona surpreendentemente bem para problemas como este, e nosso desafio é tentar fazer com que os computadores façam o mesmo. Se você fizer um curso introdutório sobre séries temporais, aprenderá a prever, ajustando um modelo a alguns dados de amostra e, em seguida, usando o modelo para prever valores futuros. Na prática, especialmente quando os sistemas de monitoramento, youll achar que esta abordagem não funciona bem, se em todos os sistemas reais raramente se encaixam modelos matemáticos. Há uma alternativa. Você pode fazer algo muito mais simples com suavização exponencial. Primeiro, vamos dar uma olhada rápida em que tipos de séries de tempo que poderia estar trabalhando com. Suponha que você tenha medido a métrica cpu. idle em um sistema e tenha observações que são plotadas abaixo. Neste caso, a série de tempo não é particularmente interessante. Os valores variam de um montante razoável, mas no geral os seus valores bastante estáveis ​​e mais pairar cerca de 130 ou assim. De uma perspectiva de análise de séries temporais, isto é considerado bastante parado. Se você tentou prever o próximo valor, sua melhor suposição provavelmente seria em torno de 130. É impossível estar exatamente certo com uma previsão como esta, mas escolher um valor como 130 parece ser o menos incorreto. Suavização A suavização exponencial refere-se à utilização de uma média móvel exponencialmente ponderada (EWMA) para suavizar uma série temporal. Se você tem alguma série de tempo x t. Você pode definir uma nova série de tempo s t que é uma versão suavizada de x t. S t x t (1) s t 1 Heres um gráfico de uma série de tempo estacionária, como o exemplo anterior, juntamente com um par de versões suavizadas. Observe como a quantidade de suavização muda com. O peso de alisamento. Quanto menor o peso, menor a influência de cada ponto na série temporal suavizada. Leia nossa postagem em outro blog sobre como as médias móveis ponderadas exponencialmente funcionam para obter mais detalhes. Suponha que você tivesse sua série de tempo x t junto com uma versão suavizada s t. Você gostaria de prever, ou prever, o próximo valor para x t. Que é x t 1. Isso é mais simples do que você pode pensar Você pode apenas usar o último valor que você calculou para o EWMA, s t. Funciona desta maneira porque nossa série de tempo suavizada é a EWMA de nossa série original, e por causa da forma como as médias (e as expectativas) funcionam, s t acaba por ser uma boa previsão. Prever o próximo valor é chamado de previsão de um passo adiante. Este método não funciona sempre bem. Lembre-se, você fez uma suposição importante para esta série de tempo: a sua estacionária. O que acontece quando não há Estacionaridade, tendência e sazonalidade Há muitas maneiras de caracterizar uma série de tempo, mas também focar em três simples que estão intimamente relacionados: estacionariedade, tendência e sazonalidade. Estacionaridade refere-se à estabilidade dos valores de uma série de tempo. Por simplicidade, vamos apenas dizer que consideramos uma série de tempo para ser estacionária se ele tem uma média constante. Uma série de tempo estacionária não terá qualquer tipo de padrão crescente ou decrescente, e seus pontos geralmente flutuam em torno do mesmo valor, a média. É por essa característica que uma EWMA simples, que estima a média, é tão útil para as previsões. Tendência refere-se a um movimento de longo prazo de uma série de tempo em uma determinada direção. Com tendência linear, os pontos da série de tempo seguirão aproximadamente uma linha. Também é possível ter tendências de ordem superior, como a tendência quadrática onde os pontos seguem uma parábola. Sazonalidade refere-se a um padrão periódico. Um grande exemplo de uma série temporal sazonal é a temperatura em um local específico. Uma série de tempo pode ter várias estações com períodos diferentes A Curva Keeling. Que traça a concentração medida de CO 2 na atmosfera, tem uma tendência positiva e sazonalidade. Você pode notar algo interessante acontecendo com a série suavizada com o menor peso. Ele tende a ficar atrás de nossos dados originais, porque os valores mais recentes têm menor influência. Isto é especialmente notável com as séries temporais sazonais. Isto é importante Porque você está usando os valores suavizados para prever, qualquer desvio significativo nos valores suavizados irá eliminar sua previsão. Se você notar que sua série de tempo não está parado, você terá que encontrar algo diferente de um EWMA simples para fazer sua previsão. Double and triple exponential smoothing No final dos anos 1950, Charles Holt reconheceu a questão com o modelo EWMA simples com séries temporais com tendência. Ele modificou o modelo de suavização exponencial simples para considerar uma tendência linear. Isto é conhecido como suavização exponencial de Holts. Este modelo é um pouco mais complicado. Consiste em dois EWMAs: um para os valores suavizados de x t. E outro para sua inclinação. Os termos nível e tendência também são usados. Observe como os valores suavizados são muito melhores ao seguir a série de tempo original com dupla suavização exponencial. (1) (1) (b) Isso significa que você obterá previsões muito melhores. Para prever com este modelo, você tem que fazer um pequeno ajuste. Porque há um outro termo para a inclinação, você terá que considerar que na previsão. Suponha que você está tentando prever o valor em m etapas de tempo no futuro. A fórmula para a previsão de m - step-ahead, F t m. É F t m s t m b t. Observe como é essencialmente a fórmula de uma linha. E se a sua série de tempo não tem uma tendência linear, mas sim algum tipo de sazonalidade Para isso, você precisará de mais um EWMA. Holts estudante, Peter Winters, estendeu o seu modelo de professores, introduzindo um termo adicional para fator na sazonalidade. Este modelo, com nível, tendência e componentes sazonais, é conhecido como Holt-Winters. É também referido como suavização exponencial tripla. Observe como há outra variável L. que depende do período da sazonalidade e tem que ser conhecida antecipadamente. A fórmula de previsão m - step-ahead para isso é F t m (s t m b t) g t L m. Resumo Detecção de anomalias em tempo real é realmente um problema de previsão desde que você não pode saber o que esperar no presente, a menos que você use o passado para prever. A previsão de dados de séries temporais pode ficar muito sofisticada e complicada, mas muitas técnicas simples e eficientes, como uma EWMA, podem dar a maior parte do benefício com uma pequena fração do custo, esforço e complexidade. Técnicas mais complexas podem ser boas para casos muito específicos, mas vêm ao custo de perder generalidade e exigir muito mais ajustes e seleção de parâmetros, o que pode ser surpreendentemente delicado fazer bem. (1) (t t t t t t t t t t t t t t t t t t t t t t t t t t t

No comments:

Post a Comment