Investigation on the high-order approximation of the entropy bias

Autor(es)

Ramos, Antonio M. T. ^{[1, 2]} ; Casagrande, Helder L. ^[1] ; Macau, Elbert E. N. ^{[1, 3]}

Afiliação do(s) autor(es)

^[1] Natl Inst Space Res INPE, BR-12227010 Sao Jose Dos Campos, SP - Brazil

^[2] Itau Asset Management, Quantitat Res, BR-04538132 Sao Paulo - Brazil

^[3] Fed Univ Sao Paulo UNIFESP, Inst Sci & Technol, BR-12247014 Sao Jose Dos Campos, SP - Brazil

• Tipo de documento: Artigo Científico
• Fonte: PHYSICA A-STATISTICAL MECHANICS AND ITS APPLICATIONS; v. 549, JUL 1 2020.
• Citações Web of Science: 0

Resumo

The estimation of entropy from experimental data has a considerable bias when the discretization of the variable domain is comparable to the sample size. In this case, the source of the bias is the difference between the a priori distribution and the observed distribution from sampled data. In this paper, we estimate the entropy bias considering an infinite sum of central moments of the binomial distribution using two probability mass functions. We analyze the bias in the light of the ratio between the number of the partition of the domain and the sample size. The main motivation of this study is improving statistical hypothesis testing in which probabilities are conceived beforehand. We examine the adequacy of high-order approximation according to the ratio between the sample size and the number of domain partitions. Finally, we expand the analysis to the entropy-derived mutual information and present an application for network reconstruction. (C) 2020 Published by Elsevier B.V. (AU)

• Processo FAPESP: 11/50151-0 - Fenômenos dinâmicos em redes complexas: fundamentos e aplicações
• Beneficiário: Elbert Einstein Nehrer Macau
• Modalidade de apoio: Auxílio à Pesquisa - Temático
• Processo FAPESP: 14/14229-2 - Dinâmica não linear e caótica com distribuição espacial e sua caracterização via uso do enfoque de Redes Complexa
• Beneficiário: Antônio Mário de Torres Ramos
• Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
• Processo FAPESP: 15/07373-2 - Desenvolvimento de quantificadores através de técnicas de Teoria da Informação e modelos gráficos probabilísticos com aplicações na região amazônica
• Beneficiário: Antônio Mário de Torres Ramos
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Pós-Doutorado
• Processo FAPESP: 15/50122-0 - Fenômenos dinâmicos em redes complexas: fundamentos e aplicações
• Beneficiário: Elbert Einstein Nehrer Macau
• Modalidade de apoio: Auxílio à Pesquisa - Temático