“Handwriting still is an essential communication and documentation tool. Thus, in this digital era, it is common to find handwritten content recorded as image data. The off-line handwriting recognition is the task of converting a handwritten text image into a digital format that is understood by the computer. Currently, one of the main challenges in the handwriting recognition area lies in identifying complete lines of handwritten text. The advances brought by deep learning and especially the recent developments in recurrent neural networks as optical models in handwriting recognition systems have led to significant progress. However, we believe that there’s still room for improvements and one clear target is the architectural structure of these models. The main goal of this dissertation is to investigate alternative optical modeling approaches that can contribute to the optimization of offline and unconstrained handwriting recognition systems. In particular, we studied new architectural representations for a recognition system based on the Multidimensional Long Short-Term Memory (MDLSTM) in the hybrid Artificial Neural Network-Hidden Markov Model scheme. The MDLSTM architecture was elaborated to enhance the recognition performance and decrease the recognition time. Accordingly, we present modifications regarding the recurrent and convolutional aspects based on a state-of-the-art MDLSTM model. Since the results reported in the literature for deeper MDLSTM architectures relies on optimizing the network width with a fixed depth, we investigate the trade-off between both these hyper-parameters to obtain an optimal topology. The system was evaluated with English and French handwritten text lines from the IAM and RIMES databases respectively. As the main contribution, we show that the new hierarchical approach is able to maintain a robust recognition performance and still present significant speedups compared to a state-of-the-art MDLSTM architecture. The full handwriting recognition system including a decoder with linguistic knowledge presents competitive results compared to previous research on the considered benchmarks.”
“Análise de regressão é uma ferramenta estatística que investiga a relação entre duas ou mais variáveis. Dentre os tipos de regressão existentes, a Regressão Quantílica se divide em paramétrica e não paramétrica. Na utilização da regressão quantí- lica paramétrica (RQ), podem existir parâmetros desconhecidos. Entretanto, além de ser possível estimar estes parâmetros, a forma do relacionamento entre as variáveis dependentes e explicativas é conhecida. Enquanto na regressão quantílica não paramétrica (RQNP) a forma de função à ser estimada é desconhecida e os parâmetros são desconhecido, logo, precisam ser estimados. Os modelos de re- gressão usuais são utilizados em problemas envolvendo dados clássicos pontuais. Entretanto, autores têm introduzido modelos de regressão para análise de dados simbólicos (ADS). O primeiro modelo de RQ para dados simbólicos do tipo inter- valo foi proposto por Fagundes et al.,(2006). O primeiro objetivo deste trabalho é desenvolver três modelos de regressão para ADS. A primeira abordagem utiliza um modelo não paramétrico no centro e na amplitude no intervalo. A segunda abordagem utiliza um modelo paramétrico no centro e não paramétrico na am- plitude do intervalo. A terceira, utiliza um modelo não paramétrico no centro e paramétrico na amplitude do intervalo. Quando se deseja utilizar o modelo de RQNP é necessário estimar o valor do parâmetro Largura de Banda presente no kernel, e dado que realizar tal estimação é uma tarefa complexa, Li et al. (2013) desenvolveram um modelo baseado em validação cruzada capaz de realizar de forma otimizada a seleção automática da LB. Entretanto, estudos mostram que abordagens de computação inteligente são capazes de alcançar maior e ciência na estimação de parâmetros de diversos tipos de problema do mundo real. Neste contexto, o segundo objetivo deste trabalho é utilizar Algoritmos Genéticos (AG) para estimar o parâmetro LB na RQNP obtendo maior taxa de acerto em relação ao modelo RQNP simples presente na literatura e em seguida, propor um modelo de AG para estimar o parâmetro LB da RQNP com maior e ciência em relação à estimação realizada pelo AG existente na literatura. Experimentos utilizando conjuntos de dados reais e simulados foram executados para avaliar o desempenho dos modelos propostos.”
Análise de Regressão é uma ferramenta estatística que tem como objetivo explicar e modelar o relacionamento entre variáveis através de modelos matemáticos. Os problemas de regressão são divididos em duas categorias, paramétricos (i.e., linear), e não-paramétricos (i.e., não-linear). Regressão de Vetores de Suporte, do inglês Support Vector Regression (SVR) é uma técnica de regressão não paramétricas que chamando a atenção de pesquisadores devido a sua capacidade de resolver problemas complexos de forma eficaz. Entretanto, para que a SVR possa realizar a estimação de valores com baixo taxa de erro é preciso realizar ajustes nos seus parâmetros: ε, taxa de erro que indica o quanto distante os dados previsto estão em relação aos vetores de suporte; C, valor de custo para gerar os vetores de suporte; e γ, parâmetro da função de Kernel que serve para suavizar as curvas de densidade da estimação dos valores. Algoritmos de otimização são técnicas computacionais que tem como objetivo fazer otimização de parâmetros de funções objetivo a fim de minimizar ou maximar os valores dessas funções. De forma geral, os algoritmos de otimização são classificados em mono-objetivo e multi-objetivo. Algoritmos de otimização mono-objetivo são aqueles que tem como proposito a minimização/maximação de uma função, e.g., erro de regressão R2. Dentre esses algoritmos, os mais utilizados e na literatura são, o Otimização por Enxames de Partículas (PSO), Otimização por Colonia de Abelhas Artificias (ABC) e Otimização por Cardumes de Peixes Artificias (FSS). Contudo, tendo em vista que a maioria dos problemas do mundo real está relacionado à resolução de mais de uma função objetivo não triviais, abordagens multi-objetivo vem sendo aplicadas para otimizar duas ou mais funções ao mesmo tempo. Nesse contexto, os resultados da regressão tendem a ser mais assertivo pois a busca pelos parâmetros dessas funções se torna mais abrangente, evitando enviesamento ou preferência à apenas uma função. Dos algoritmos de otimização multi-objetivo, utilizou-se o Algoritmo Evolucionário baseado no Pareto 2 (SPEA2), o Algoritmo Evolucionário Multi- objetivo Baseado na Decomposição com Alocação Dinâmica de Recursos (MOEA/D-DRA); o Otimização por Enxames de Partículas Multi-objetivo com Limitação de Velocidade (SMPSO); e, por fim, o algoritmo Otimização Multi-Objetivo baseado em Cardumes Artificiais (MOFSS). O Coeficiente de Determinação Estatística (R2) e a Raiz do Erro Médio Quadrático(REMQ) foram utilizadas como funções objetivo para realizar a minimização. Para validar a primeira e segunda propostas, aplicou-se dados simulados com e sem outliers e dados provenientes de problemas reais.