Gustavo Moreira Calixto, Alan César Belo Angeluci, Elias Cunha Bitencourt

Investigando Modelos de IA: GPT-4, Sabiá-3 e DeepSeek-R1 na Interpretação de Notícias Históricas sobre a Ditadura Militar no Brasil

Introduction

Investigando modelos de ia: gpt-4, sabiá-3 e deepseek-r1 na interpretação de notícias históricas sobre a ditadura militar no brasil. Estudo avalia GPT-4, Sabiá-3 e DeepSeek-R1 na interpretação de notícias históricas da Ditadura Militar brasileira. Destaca vieses algorítmicos e a importância de dados curados para LLMs e soberania digital.

Abstract

Este estudo analisa como grandes modelos de linguagem (LLMs) — ChatGPT (OpenAI), Sabiá-3 (MaritacaAI) e DeepSeek (China) — interpretam textos históricos brasileiros referentes ao período da ditadura militar (1964–1985). Utilizando um conjunto de dados curado, composto por dezesseis matérias de jornais processadas por OCR e previamente classificadas quanto à sua orientação (favorável, crítica ou neutra), o estudo selecionou três textos representativos para uma análise detalhada. Avaliou-se as respostas dos modelos a partir de um prompt de sentimento político, por meio de similaridade cosseno, frequência lexical e TF-IDF class-based (c-TF-IDF). Os resultados revelam convergência semântica entre os modelos, mas divergência significativa nas estratégias discursivas. O ChatGPT tende a neutralizar enquadramentos ideológicos, o DeepSeek foca na desconstrução retórica, enquanto o Sabiá-3 privilegia uma interpretação literal, frequentemente deixando de captar críticas implícitas ou nuances históricas. Esses padrões estão relacionados à arquitetura dos modelos, ao design linguístico e, especialmente, à qualidade e curadoria dos dados de treinamento. Apesar de ser um modelo brasileiro, o Sabiá-3 apresenta limitações interpretativas, sugerindo que dados nacionais de treinamento, por si só, são insuficientes sem uma mediação historiográfica crítica. Os achados levantam preocupações quanto a vieses algorítmicos, soberania digital e às políticas culturais imbricadas nas tecnologias de IA. A pesquisa reforça a importância de corpora historicamente informados e criteriosamente curados na formação de LLMs voltados a línguas sub-representadas. Trabalhos futuros ampliarão o conjunto de dados e investigarão como o design de prompts e a versionamento dos modelos influenciam os resultados interpretativos.

Review

This study offers a timely and highly relevant investigation into how leading large language models (LLMs) interpret complex historical narratives, specifically focusing on texts related to Brazil's military dictatorship. The choice of models – ChatGPT (OpenAI), Sabiá-3 (MaritacaAI), and DeepSeek (China) – provides a valuable comparative lens across diverse linguistic and cultural origins. The methodological rigor, employing a curated dataset of OCR-processed historical newspaper articles classified by political orientation, coupled with analytical techniques like cosine similarity, lexical frequency, and c-TF-IDF, is commendable. This approach effectively uncovers nuanced interpretative patterns and highlights critical challenges in the application of AI to sensitive historical contexts, particularly for under-represented languages like Portuguese. The findings reveal significant insights into the "black box" of LLM interpretation, demonstrating semantic convergence yet profound divergence in discursive strategies among the models. The observation that ChatGPT tends to neutralize ideological framing, DeepSeek focuses on rhetorical deconstruction, and Sabiá-3 leans towards a literal interpretation, often missing implicit critiques, is particularly illuminating. This detailed breakdown provides concrete evidence of how architectural design, linguistic engineering, and crucially, the quality and critical curation of training data influence interpretive outcomes. The study's most striking contribution may be its analysis of Sabiá-3, a Brazilian model, showing its interpretative limitations, thereby challenging the assumption that national training data alone guarantees historical accuracy without critical historiographical mediation. While the study is robust in its methodology and insightful in its findings, the reliance on a relatively small dataset (sixteen articles, with only three selected for detailed analysis) could be perceived as a limitation for generalizing across the entire period of the dictatorship. Nevertheless, the detailed qualitative and quantitative analysis performed on these selected texts provides a strong foundation. The proposed future work — expanding the dataset and investigating the impact of prompt design and model versioning — directly addresses these potential limitations and promises to further enrich the field. Overall, this research makes a crucial contribution to understanding algorithmic bias, digital sovereignty, and the cultural politics embedded within AI technologies, reinforcing the urgent need for critically curated and historically informed corpora in the development of LLMs for specialized domains and less-resourced languages.

Full Text

Comments

You need to be logged in to post a comment.