Teorema de Shannon–Hartley

Na teoria da informação, o Teorema de Shannon–Hartley determina a taxa máxima na qual as informações podem ser transmitidas através de um canal de comunicação de uma determinada largura de banda na presença de ruído. É uma aplicação do teorema da codificação de canal com ruído para o caso arquétipo de um canal de comunicações analógico de tempo contínuo e sujeito a ruído Gaussiano. O teorema estabelece a capacidade de canal de Shannon para um link de comunicação, um limitante para a quantidade máxima de informação livre de erros por unidade de tempo, que pode ser transmitida com uma determinada largura de banda na presença do ruído de interferência, supondo que a potência de sinal é limitada, e que o processo de ruído Gaussiano é caracterizado por uma energia conhecida ou densidade espectral de potência. A lei é assim denominada em homenagem a Claude Shannon e Ralph Hartley.

Enunciado do teorema editar

O teorema Shannon–Hartley enuncia a capacidade do canal C, ou seja, limitante superior teórico mais justo da taxa de informação dos dados que podem ser transmitidos, a uma taxa de erro arbitrariamente baixa, usando uma potência de sinal recebido média S através de um canal de comunicação analógico sujeito a ruído branco aditivo Gaussiano de potência N:

C=B\log _{2}\left(1+{\frac {S}{N}}\right)

onde

C é a capacidade do canal em bits por segundo, um limitante superior teórico do taxa de bit da rede (taxa de informação, às vezes denotada por I), excluindo códigos corretores de erros;

B é a largura de banda do canal, em hertz (largura da banda passante no caso de um filtro de banda passante do sinal);

S é a potência média do sinal recebido sobre a largura de banda (no caso de uma banda passante modulada por portadora, muitas vezes denotado C), medida em watts (ou volts ao quadrado);

N é a potência média do ruído e da interferência sobre a largura de banda, medida em watts (ou volts ao quadrado); e

S/N é a razão sinal-ruído (SNR) ou a taxa portadora-ruído (CNR) do sinal de comunicação para o ruído e a interferência no receptor (expresso como uma razão linear de potência, não como decibéis logarítmicos).

Desenvolvimento histórico editar

Durante o final da década de 1920, Harry Nyquist e Ralph Hartley desenvolveram um punhado de idéias fundamentais relacionadas com a transmissão de informações, particularmente no contexto do telégrafo como um sistema de comunicações. No momento, esses conceitos eram poderosos avanços individualmente, mas eles não eram parte de uma teoria abrangente. Na década de 1940, Claude Shannon desenvolveu o conceito de capacidade de canal, baseado em parte nas idéias de Nyquist e Hartley e, em seguida, formulou uma teoria completa da informação e sua transmissão.

Taxa de Nyquist editar

Em 1927, Nyquist determinou que o número de pulsos independentes que podem ser colocados por meio de um canal de telégrafo por unidade de tempo é limitado a duas vezes a largura de banda do canal. Em símbolos,

f_{p}\leq 2B\,

onde f_p é a freqüência de pulso (pulsações por segundo) e B é a largura de banda (em hertz). A quantidade 2B mais tarde veio a ser chamado de taxa de Nyquist, e transmitir à um taxa limite de 2B pulsos por segundo, como sinalização na taxa de Nyquist. Nyquist publicou seus resultados em 1928, como parte de seu artigo "Certain topics in Telegraph Transmission Theory."

Lei de Hartley editar

Durante 1928, Hartley, formulou uma forma de quantificar a informação e a sua taxa de linha (também conhecida como taxa de sinalização de dados R bits por segundo).^[1] Este método, mais tarde conhecido como lei de Hartley, tornou-se um importante precursor para a noção mais sofisticada de capacidade de canal de Shannon.

Hartley argumentou que o número máximo de níveis de pulsos distinguíveis que podem ser transmitidos e recebidos de forma confiável através de um canal de comunicação, é limitado pela faixa dinâmica da amplitude do sinal e pela precisão com que o receptor pode distinguir níveis de amplitude. Especificamente, se a amplitude do sinal transmitido é restrita ao intervalo [−A ... +A] volts, e a precisão do receptor é de ±ΔV volts, então o número máximo de pulsos distintos M é dado por

M=1+{A \over \Delta V}.

Tomando informação por impulso em bits/pulso como sendo o logaritmo na base 2 do número de mensagens distintas M que podem ser enviadas, Hartley^[2] construiu uma medida da taxa de linha R como:

R=f_{p}\log _{2}(M),\,

onde f_p é a frequência do pulso, também conhecida como a taxa de símbolos, em símbolos/segundo ou baud.

Hartley, em seguida, combinou a quantificação acima com a observação de Nyquist de que, o número de pulsos independentes que podem ser enviados através de um canal de largura de banda B hertz era 2B pulsos por segundo, para chegar à sua medida quantitativa para taxa de linha alcançável.

A lei de Hartley é às vezes citada apenas como uma proporcionalidade entre a largura de banda analógica, B, em Hertz, e o que hoje é chamado largura de banda digital, R, em bits/s.^[3] Outras vezes ela é citada de forma mais quantitativa, como uma taxa de linha alcançável de R bits por segundo:^[4]

R\leq 2B\log _{2}(M).

Hartley não conseguiu chegar a exatamente como o número M deve depender das estatísticas de ruído do canal, ou como a comunicação poderia ser feita de forma confiável, mesmo quando pulsos de símbolos individuais não pudesse ser distinguido em M níveis; com estatísticas de ruído Gaussiano, os designers de sistema tiveram que escolher um valor muito conservador para M para atingir uma baixa taxa de erro.

O conceito de uma capacidade livre de erros teve que esperar por Claude Shannon, que construiu, baseado nas observações de Hartley sobre uma medida logarítmica da informação, e sobre as observações de Nyquist acerca do efeito das limitações de largura de banda.

O resultado da taxa de Hartley pode ser visto como a capacidade de um canal M-ário com 2B símbolos por segundo, livre de erros. Alguns autores se referem a ela como uma capacidade. Mas tais canais livres de erros são uma idealização, e se M for escolhido pequeno o suficiente para tornar o canal ruidoso quase sem erro, o resultado é necessariamente menor do que a capacidade de ruído de canal com largura de banda B de Shannon, que é o resultado de Hartley–Shannon que se seguiu mais tarde.

Teorema da codificação de canal ruidoso e capacidade editar

Os desenvolvimentos de Claude Shannon no campo da teoria da informação durante a II Guerra Mundial propiciaram o próximo grande passo na compreensão de como toda a informação pode ser confiavelmente transmitida através de canais ruidosos. Desenvolvido a partir dos fundamentos dos trabalhos de Hartley, o teorema da codificação de canal ruidoso de Shannon (1948) descreve a eficiência máxima possível para métodos de correção de erros versus níveis de interferência de ruído e corrupção de dados.^[5]^[6] A prova do teorema mostra que um código corretor de erros construído aleatoriamente é essencialmente tão bom quanto o melhor código possível; o teorema é provado através da estatística de tais códigos aleatórios.

O teorema de Shannon mostra como calcular a capacidade do canal a partir de uma descrição estatística de um canal, e estabelece que, dado um canal ruidoso com capacidade C e informações transmitidos a uma taxa de linha R, então se

R<C\,

então existe uma técnica de codificação que permite fazer com que a probabilidade de erro no receptor seja arbitrariamente pequena. Isto significa que, teoricamente, é possível a transmissão de informações quase sem erro até quase o limite de C bits por segundo.

A recíproca também é importante. Se

R>C\,

a probabilidade de erro no receptor cresce sem limite, à medida que a taxa cresce. Portanto, nenhuma informação útil pode ser transmitida além da capacidade do canal. O teorema aborda a situação rara em que a taxa e a capacidade são iguais.

O teorema de Shannon–Hartley estabelece que a capacidade do canal é para um canal de largura de banda finita, contínua no tempo, para o ruído Gaussiano. Ele conecta com o resultado obtido por Hartley com o teorema de capacidade de canal de Shannon de forma que é equivalente à especificação do M na fórmula de taxa de linha de Hartley, em termos de um sinal-para-ruído, mas obtendo confiabilidade através de codificação corretora de erro em vez de através níveis de pulso confiavelmente distintos.

Se houvesse tal coisa como um canal analógico livre de erros, poder-se-ia transmitir quantidades ilimitadas de dados livre de erros sobre ele, por unidade de tempo (Nota: Um canal analógico de largura de banda infinita não pode transmitir quantidades ilimitadas de dados livre de erros, sem uma potência infinita sinal). Canais reais, no entanto, estão sujeitos às limitações impostas tanto pela largura de banda finita quanto pelo ruído não-nulo.

Então, como largura de banda e o ruído afetam a taxa na qual as informações podem ser transmitidas através de um canal analógico?

Surpreendentemente, limitações de largura de banda por si só não impõem um limite máximo na taxa de informação. Isso é porque é ainda possível que o sinal assuma uma quantidade indefinidamente grande de níveis diferentes de voltagem em cada pulso de símbolo, com cada nível ligeiramente diferente a ser atribuído um significado diferente ou sequência de bits. Se combinarmos tanto ruído e limitações de largura de banda, no entanto, vemos que há um limite para a quantidade de informação que pode ser transferida por um sinal com potência limitada, mesmo quando técnicas de codificação multi-nível inteligentes são utilizadas.

No canal considerado pelo teorema de Shannon–Hartley, o ruído e o sinal são combinados por adição. Isto é, o receptor mede um sinal de que é igual à soma do sinal de codificação de informações desejadas e de uma variável aleatória contínua que representa o ruído. Esta adição cria incerteza quanto ao sinal original. Se o receptor tem algumas informações sobre o processo aleatório que gera o ruído, pode-se, em princípio, recuperar a informação no sinal original, considerando todos os estados possíveis do processo de ruído. No caso do teorema de Shannon–Hartley, o ruído é considerado ser gerado por um processo Gaussiano com variância conhecida. Uma vez que a variância de um processo Gaussiano é equivalente à sua potência, costuma-se chamar essa variância de "a potência de ruído".

Esse canal é chamado de Canal de Ruído Branco Aditivo Gaussiano, porque o ruído Gaussiano é adicionado ao sinal; "branco" significa igual quantidades de ruído em todas as frequências dentro da largura de banda do canal. Tais ruídos podem surgir tanto a partir de fontes aleatórias de energia e também de codificação e medição de erro no emissor e no receptor, respectivamente. Uma vez que somas de variáveis Gaussianas aleatórias independentes são, elas próprias, variáveis aleatórias Gaussianas, isto convenientemente simplifica a análise, supondo-se que tais fontes de erro são também Gaussianas e independentes.

Implicações do teorema editar

Comparação da capacidade de Shannon com a lei de Hartley editar

Comparando-se a capacidade de canal para a taxa de informação da lei de Hartley, podemos encontrar o número efetivo de níveis distintos de M:^[7]

2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)

M={\sqrt {1+{\frac {S}{N}}}}.

A raiz quadrada efetivamente converte a relação de potência de volta para uma relação de tensão, de modo que o número de níveis é aproximadamente proporcional à razão entre sinal amplitude RMS para o desvio padrão do ruído.

Esta semelhança na forma entre a capacidade Shannon e a lei de Hartley não deve ser interpretada de forma que M níveis de pulso podem ser, literalmente, enviados, sem qualquer confusão; mais níveis são necessários, para permitir codificação redundante e correção de erro, mas a taxa de dados de rede que pode ser abordada com codificação é equivalente a usar essa M na lei de Hartley.

Formas alternativas editar

Caso dependente da freqüência (cor do ruído) editar

Na versão simples acima, o sinal e o ruído são totalmente não-correlacionados, caso em que S + N é a potência total do sinal e ruído recebidos juntos. Uma generalização da equação acima para o caso em que o ruído aditivo não é branco (ou que a S/N não é constante com frequência sobre a largura de banda) é obtido através do tratamento do canal como estreito, independente dos canais Gaussianos em paralelo:

C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df

onde

C é a capacidade do canal em bits por segundo;

B é a largura de banda do canal, em Hz;

S(f) é o espectro de potência do sinal

N(f) é o espectro de potência do ruído

f é a freqüência em Hz.

Nota: o teorema se aplica somente ao ruído do processo estacionário Gaussiano. O modo como esta fórmula introduz ruído dependente da frequência não é possível descrever todos os processos de ruídos de tempo-contínuo. Por exemplo, considere um processo de ruído que consiste em adicionar uma onda aleatória, cuja amplitude é de 1 ou -1 em qualquer ponto no tempo, e um canal que adiciona tal onda da fonte de sinal. As componentes de frequencia dessa onda são altamente dependentes. Embora esse ruído possa ter uma alta potência, é bastante fácil de transmitir um sinal contínuo com muito menos energia do que seria necessário se as bases de ruído fossem uma soma de ruídos independentes em cada faixa de freqüência.

Aproximações editar

Para pequenas ou grandes e constantes de sinal-para-ruído, a capacidade fórmula pode ser aproximada:

Se S/N >> 1, então

C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)}

onde

\mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.

Da mesma forma, se S/N << 1, então

C\approx 1.44\cdot B\cdot {S \over N}.

Nesta aproximação de SNR baixa, a capacidade é independente da largura de banda se o ruído é branco, de densidade espectral de

N_{0}

watts por hertz, em cujo caso o total de potência de ruído é

B\cdot N_{0}

.

C\approx 1.44\cdot {S \over N_{0}}

Exemplos editar

Em uma SNR de 0 dB (Sinal de potência = potência de ruído) a Capacidade em bits/s é igual à largura de banda em hertz. É possível transmitir a utilização de sinais que estão abaixo do nível de ruído de fundo. No entanto, a taxa de erro irá crescer muito rapidamente.
Se o SNR é de 20 dB, e a largura de banda disponível é de 4 kHz, o que é apropriado para comunicações telefônicas, então C = 4 log₂(1 + 100) = 4 log₂ (101) = 26.63 kbit/s. Observe que o valor de S/N = 100 é equivalente à relação sinal / ruído de 20 dB.
Se a exigência é a de transmitir a 50 kbit/s e uma largura de banda de 10 kHz é usada, então o mínimo, S/N necessária é dada por 50000 = 10000 log₂(1+S/N) para C/B = 5, S/N = 2⁵ -1 = 31, correspondente a um SNR de 14.91 dB (10 x log₁₀(31)).
Como dito acima, a capacidade do canal é proporcional à largura de banda do canal e para o logaritmo do SNR. Isso significa capacidade de canal pode ser aumentado linearmente ao aumentar o canal de largura de banda de um dado fixo SNR exigência ou, com largura de banda fixa, usando de ordem superior modulações que precisam de muito alta SNR para operar. Como a taxa de modulação aumenta, a eficiência espectral melhora, mas ao custo do SNR exigência. Assim, há um aumento exponencial do SNR exigência de se adotarmos uma 16QAM ou 64QAM (ver: Quadrature amplitude modulation); no entanto, a eficiência espectral melhora.
No MIMO. Quando o número de antena vigas são o aumento da capacidade de canal também fica maior. A correlação entre o número de antenas MIMO e a taxa de transferência ainda não é linear.

Veja também editar

Notas editar

↑ R. V. L. Hartley (julho de 1928). «Transmission of Information» (PDF). Bell System Technical Journal
↑ D. A. Bell (1962). Information Theory; and its Engineering Applications 3rd ed. New York: Pitman
↑ Anu A. Gokhale (2004). Introduction to Telecommunications 2nd ed. [S.l.]: Thomson Delmar Learning. ISBN 1-4018-5648-9
↑ John Dunlop and D. Geoffrey Smith (1998). Telecommunications Engineering. [S.l.]: CRC Press. ISBN 0-7487-4044-9
↑ C. E. Shannon (1998) [1949]. The Mathematical Theory of Communication. [S.l.]: Urbana, IL:University of Illinois Press
↑ C. E. Shannon (janeiro de 1949). «Communication in the presence of noise» (PDF). Proc. Institute of Radio Engineers. 37 (1): 10–21
↑ John Robinson Pierce (1980). An Introduction to Information Theory: symbols, signals & noise. [S.l.]: Courier Dover Publications. ISBN 0-486-24061-4

Referências editar

Herbert Taub, Donald L. Schilling (1986). Principles of Communication Systems. [S.l.]: McGraw-Hill
John M. Wozencraft and Irwin Mark Jacobs (1965). Principles of Communications Engineering. New York: John Wiley & Sons

Ligações externas editar

Na linha de livro: Teoria da Informação, de Inferência e Algoritmos de Aprendizagem, por David MacKay - dá um divertida e completa introdução à teoria de Shannon, incluindo duas provas de noisy-teorema da codificação de canal. Este texto discute o estado-da-arte de métodos de codificação teoria, tais como baixa densidade de paridade de códigos de verificação, e Turbo códigos.
MIT Notícia Limite de Shannon

[1] R. V. L. Hartley (julho de 1928). «Transmission of Information» (PDF). Bell System Technical Journal

[2] D. A. Bell (1962). Information Theory; and its Engineering Applications 3rd ed. New York: Pitman

[3] Anu A. Gokhale (2004). Introduction to Telecommunications 2nd ed. [S.l.]: Thomson Delmar Learning. ISBN 1-4018-5648-9

[4] John Dunlop and D. Geoffrey Smith (1998). Telecommunications Engineering. [S.l.]: CRC Press. ISBN 0-7487-4044-9

[5] C. E. Shannon (1998) [1949]. The Mathematical Theory of Communication. [S.l.]: Urbana, IL:University of Illinois Press

[6] C. E. Shannon (janeiro de 1949). «Communication in the presence of noise» (PDF). Proc. Institute of Radio Engineers. 37 (1): 10–21

[7] John Robinson Pierce (1980). An Introduction to Information Theory: symbols, signals & noise. [S.l.]: Courier Dover Publications. ISBN 0-486-24061-4

[1]

[2]

[3]

[4]

[5]

[6]

[7]