Pelee-Text plus plus : A Tiny Neural Network for Scene Text Detection

Autor(es)

Cordova, Manuel ^[1] ; Pinto, Allan ^[1] ; Pedrini, Helio ^[1] ; Torres, Ricardo da Silva ^[2]

Afiliação do(s) autor(es)

^[1] Univ Estadual Campinas, Inst Comp, BR-13083852 Campinas - Brazil

^[2] NTNU Norwegian Univ Sci & Technol, Fac Informat Technol & Elect Engn, Dept ICT & Nat Sci, N-6009 Alesund - Norway

• Tipo de documento: Artigo Científico
• Fonte: IEEE ACCESS; v. 8, p. 223172-223188, 2020.
• Citações Web of Science: 0

Resumo

Scene text detection has become an important field in the computer vision area due to the increasing number of applications. This is a very challenging problem as textual elements are commonly found in ``noisy{''} and complex natural scenes. Another issue refers to the presence of texts encoded into different languages within the same image. State-of-the-art solutions rely on the use of deep neural network approaches or even ensembles of them. However, such solutions are associated with ``heavy{''} models, which are computationally expensive in terms of memory and storage footprints, which hampers their use in real-time mobile applications. In this work, we introduce Pelee-Text++, a lightweight neural network architecture for multi-lingual multi-oriented scene text detection, especially tailored to running on devices with computational restrictions. Additionally, to the best of our knowledge, this is the first work to evaluate the performance of text detection methods in commercial smartphones. Over this scenario, Pelee-Text++ processes 2.94 frames per second and it is the only evaluated approach that did not cause memory issues on smartphones, even using an input image of 1024 x 1024 pixels. Our proposal achieves a promising trade-off between efficiency and effectiveness, with a model size of 27 Megabytes and F-measure of 91.20%, 85.78%, 81.72%, 80.30%, 82.53% and 66.51% on ICDAR 2011, ICDAR 2013, ICDAR 2015, MSRA-TD500, ReCTS 2019 and Multi-lingual 2019 datasets, respectively. (AU)

• Processo FAPESP: 17/20945-0 - EMU concedido no processo 16/50250-1: local positioning system
• Beneficiário: Sergio Augusto Cunha
• Modalidade de apoio: Auxílio à Pesquisa - Programa Equipamentos Multiusuários
• Processo FAPESP: 19/17729-0 - Abordagens conduzidas por dados para análise de partidas de futebol: uma perspectiva de e-Science
• Beneficiário: Paulo Roberto Pereira Santiago
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Processo FAPESP: 16/50250-1 - O segredo de jogar futebol: Brasil versus Holanda
• Beneficiário: Sergio Augusto Cunha
• Modalidade de apoio: Auxílio à Pesquisa - Temático
• Processo FAPESP: 19/22262-3 - Reconstrução em grande volume: sistema de alta precisão para detecção de posição em esportes
• Beneficiário: Paulo Roberto Pereira Santiago
• Modalidade de apoio: Auxílio Organização - Reunião Científica
• Processo FAPESP: 19/16253-1 - Desvendando o segredo do futebol Brasileiro e Holandês, capturando elementos de estilo de jogo e estratégias de sucesso
• Beneficiário: Allan da Silva Pinto
• Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
• Processo FAPESP: 14/12236-1 - AnImaLS: Anotação de Imagem em Larga Escala: o que máquinas e especialistas podem aprender interagindo?
• Beneficiário: Alexandre Xavier Falcão
• Modalidade de apoio: Auxílio à Pesquisa - Temático
• Processo FAPESP: 15/24494-8 - Comunicação e processamento de big data em nuvens e névoas computacionais
• Beneficiário: Nelson Luis Saldanha da Fonseca
• Modalidade de apoio: Auxílio à Pesquisa - Temático