Análise quantitativa de texto

6.1 Nuvem comparativa entre grupos

Quando o corpus tem uma variável de agrupamento (partido, período, tema, etc.), a nuvem comparativa mostra lado a lado os termos mais distintivos de cada grupo, pontuados por TF-IDF calculado tratando cada grupo como um “documento”. Aceita 2, 3 ou mais grupos.

# Nosso corpus tem 5 temas distintos: todos entram na comparativa.
ac_plot_wordcloud_comparative(
  corpus,
  group     = tema,
  max_words = 25,
  title     = "Termos distintivos por tema"
)
#> Warning in wordcloud_boxes(data_points = points_valid_first, boxes = boxes, :
#> Some words could not fit on page. They have been removed.
#> Warning in wordcloud_boxes(data_points = points_valid_first, boxes = boxes, :
#> Some words could not fit on page. They have been removed.
#> Warning in wordcloud_boxes(data_points = points_valid_first, boxes = boxes, :
#> Some words could not fit on page. They have been removed.
#> Warning in wordcloud_boxes(data_points = points_valid_first, boxes = boxes, :
#> Some words could not fit on page. They have been removed.
#> Warning in wordcloud_boxes(data_points = points_valid_first, boxes = boxes, :
#> Some words could not fit on page. They have been removed.

O layout usa ggwordcloud com facets quando disponível (backend = "auto"), e cai em geom_text com jitter reproduzível quando não. A semente do posicionamento é controlada por seed = 42L. Cores vêm de ac_palette() por padrão: uma por grupo.

9.1 Trocando o peso: PMI em vez de contagem

A rede padrão pondera arestas pela contagem de coocorrências: termos frequentes tendem a dominar. O PMI (pointwise mutual information) mede o quanto duas palavras aparecem juntas acima do esperado por acaso; revela pares surpreendentes, mesmo que raros.

if (requireNamespace("ggraph", quietly = TRUE)) {
  ac_plot_cooccurrence(cooc, top_n = 25, weight = "pmi") +
    ggplot2::labs(
      title    = "Rede de coocorrência ponderada por PMI",
      subtitle = "Destaca pares associados além do esperado por acaso"
    )
}

9.2 Trocando o layout

O layout controla como os nós são posicionados no plano. O padrão "fr" (Fruchterman-Reingold) minimiza cruzamentos; "kk" (Kamada-Kawai) respeita distâncias de grafo; "circle" alinha tudo num anel: útil para corpora pequenos onde a topologia importa menos que a legibilidade.

if (requireNamespace("ggraph", quietly = TRUE)) {
  ac_plot_cooccurrence(cooc, top_n = 25, layout = "circle") +
    ggplot2::labs(
      title    = "Rede de coocorrência: layout circular",
      subtitle = "Todas as palavras num anel; arestas mostram o grafo cru"
    )
}

9.3 Coocorrência como matriz (heatmap)

Quando a rede fica saturada de arestas, um heatmap das top-N palavras pode ser mais legível: linhas e colunas são termos, e a intensidade da célula é a coocorrência. Não requer ggraph.

top_tokens <- ac_top_terms(ac_count(corpus_limpo), n = 12)$token
cooc_mat   <- cooc[cooc$word1 %in% top_tokens & cooc$word2 %in% top_tokens, ]

ggplot2::ggplot(cooc_mat,
                ggplot2::aes(word1, word2, fill = cooc)) +
  ggplot2::geom_tile(color = "white") +
  ggplot2::scale_fill_gradient(low = "#F1F5F9", high = ac_palette(1)) +
  ggplot2::labs(
    title    = "Matriz de coocorrência (top 12 termos)",
    subtitle = "Alternativa ao grafo quando a rede fica densa",
    x = NULL, y = NULL, fill = "cooc."
  ) +
  theme_ac() +
  ggplot2::theme(
    axis.text.x = ggplot2::element_text(angle = 45, hjust = 1)
  )

10. Legibilidade e diversidade lexical

Duas perguntas distintas sobre a forma do texto, independente do conteúdo:

• Legibilidade (ac_readability()): o texto é fácil de ler? Adapta o índice de Flesch para português (Martins et al., 1996), combinando palavras por frase e sílabas por palavra. Útil para comparar, por exemplo, a complexidade de um manual técnico com a de um texto de divulgação para o público geral.
• Diversidade lexical (ac_lexical_diversity()): o vocabulário é rico ou repetitivo? A TTR cai mecanicamente quando o texto cresce, porque palavras começam a se repetir. O C de Herdan (Herdan, 1960) atenua esse efeito, mas não o elimina (Tweedie & Baayen, 1998); o MTLD foi a medida menos sensível ao tamanho do texto entre as avaliadas por McCarthy & Jarvis (2010), que a recomendam para comparar textos de tamanhos diferentes.

avaliacoes <- data.frame(
  id = paste0("rev", 1:4),
  texto = c(
    "Este produto é incrível. Funciona perfeitamente bem e chegou rápido.",
    "O manual técnico especifica que a calibração requer ajuste periódico do sensor piezoelétrico conforme a norma vigente, o que demanda qualificação especializada do operador responsável pela manutenção preventiva do equipamento.",
    "Bom. Chegou. Funciona. Recomendo.",
    "A experiência de uso revelou inconsistências na usabilidade da interface, comprometendo a jornada do consumidor e gerando fricção considerável ao longo do processo de integração do dispositivo ao ecossistema existente."
  ),
  stringsAsFactors = FALSE
)
corpus_aval <- ac_corpus(avaliacoes, text = texto, docid = id)

ac_readability(corpus_aval)
#> # A tibble: 4 × 6
#>   doc_id n_palavras n_frases n_silabas flesch nivel        
#>   <chr>       <int>    <int>     <dbl>  <dbl> <chr>        
#> 1 rev1           10        2        24   40.7 dificil      
#> 2 rev2           30        1        84  -18.5 muito dificil
#> 3 rev3            4        4        10   36.3 dificil      
#> 4 rev4           30        1        81  -10.0 muito dificil

Como ler esta tabela

1. Onde olhar. Olhe a coluna flesch (quanto maior, mais fácil de ler) e a coluna nivel, que traduz o número em palavras. As colunas n_palavras, n_frases e n_silabas mostram de onde o número veio.

2. O que este exemplo mostra. As duas avaliações curtas ficam em difícil: rev1 com 40,7 e rev3 com 36,3. O manual técnico (rev2, −18,5) e o texto corporativo (rev4, −10,0) caem em muito difícil, com valores negativos: os dois têm uma frase só de 30 palavras e quase 3 sílabas por palavra.

3. Em palavras simples. O índice pune duas coisas: frases longas e palavras longas. rev2 e rev4 têm as duas; por isso ficam muito abaixo das avaliações curtas.

4. Cuidado. O índice não tem teto nem piso (dá negativo), e as faixas de nivel foram calibradas em livros didáticos (Martins et al., 1996), não em avaliações de produto. Até “Bom. Chegou. Funciona. Recomendo.” sai difícil (36,3): com só 4 palavras, a média de 2,5 sílabas por palavra pesa demais na fórmula. Use o índice para comparar textos do mesmo tipo, não para dar uma nota isolada.

ac_lexical_diversity(corpus_aval)
#> # A tibble: 4 × 6
#>   doc_id n_tokens n_types   ttr herdan_c  mtld
#>   <chr>     <int>   <int> <dbl>    <dbl> <dbl>
#> 1 rev1         10      10 1        1      10  
#> 2 rev2         30      25 0.833    0.946  50.4
#> 3 rev3          4       4 1        1       4  
#> 4 rev4         30      25 0.833    0.946  50.4

Como ler esta tabela

1. Onde olhar. Olhe a coluna mtld junto com n_tokens (quantas palavras o texto tem). ttr é a fração de palavras diferentes (1 = nenhuma repetida).

2. O que este exemplo mostra. rev2 e rev4 têm 30 palavras, 25 diferentes, e MTLD de 50,4. Já rev1 e rev3 têm MTLD igual ao próprio número de palavras (10 e 4): nenhuma palavra se repete neles.

3. Em palavras simples. O MTLD responde “quantas palavras, em média, o autor escreve antes de começar a se repetir” (McCarthy & Jarvis, 2010). Quando o texto acaba antes de qualquer repetição, a resposta possível é só “o texto inteiro”, e por isso o valor coincide com o tamanho.

4. Cuidado. Com textos tão curtos o MTLD não mede riqueza de vocabulário. Ele foi validado em textos de cerca de 100 a 2.000 palavras (McCarthy & Jarvis, 2010) e fica instável abaixo de ~100 (Koizumi, 2012). Os 4 exemplos (4 a 30 palavras) servem para mostrar o cálculo, não para comparar os autores; e não existem faixas universais de “MTLD alto” ou “baixo”.

ac_plot_lexical_diversity(ac_lexical_diversity(corpus_aval), group_col = "doc_id",
                           metric = "mtld", type = "bar")

Uma visão alternativa, útil quando há muitos documentos: um scatter plot de legibilidade por diversidade lexical, cruzando as duas métricas da seção num só gráfico, para ver se textos difíceis de ler também tendem a ser lexicalmente mais ricos (ou se as duas dimensões são independentes).

leg  <- ac_readability(corpus_aval)
div  <- ac_lexical_diversity(corpus_aval)
cruz <- merge(leg, div, by = "doc_id")

ggplot2::ggplot(cruz, ggplot2::aes(x = flesch, y = mtld, label = doc_id)) +
  ggplot2::geom_point(color = ac_palette(1), size = 3) +
  ggplot2::geom_text(vjust = -1, size = 3.2) +
  ggplot2::labs(
    title = "Legibilidade vs. diversidade lexical",
    subtitle = "Cada ponto é um documento; eixos sem relação necessária entre si",
    x = "Flesch (legibilidade)", y = "MTLD (diversidade lexical)"
  ) +
  theme_ac()

11. Lei de Zipf: o corpus se comporta como linguagem natural?

A Lei de Zipf (Zipf, 1949) prevê que a frequência de uma palavra é inversamente proporcional ao seu ranking: a palavra mais comum aparece aproximadamente duas vezes mais que a segunda mais comum, três vezes mais que a terceira, e assim por diante. É um diagnóstico clássico para saber se um corpus é “normal” (não dominado por um único termo repetido artificialmente, como aconteceria em dados malformados ou com erro de coleta).

freq_aval <- ac_count(corpus_aval, drop_punct = TRUE)
ac_plot_zipf(freq_aval)

Como ler este gráfico

1. Onde olhar. Cada ponto é uma palavra: no eixo horizontal, a posição dela no ranking (1 = a mais frequente); no vertical, quantas vezes aparece. Os dois eixos estão em escala logarítmica. A linha tracejada é a Lei de Zipf ideal, desenhada a partir do primeiro ponto: por isso o ponto 1 sempre cai em cima dela. Compare os pontos seguintes com a linha.

2. O que este exemplo mostra. A palavra mais frequente é do (6 vezes), seguida de a (3), que cai bem na linha. Depois os pontos param de descer e formam um patamar plano em 1: das 62 palavras diferentes, a maioria aparece uma única vez.

3. Em palavras simples. No começo, o corpus se comporta como a lei prevê (a 2ª palavra aparece metade das vezes da 1ª). O patamar no fim é o “chão”: nenhuma palavra pode aparecer menos de 1 vez.

4. Cuidado. O patamar em 1 é inevitável em corpus pequeno e não indica problema nos dados. A Lei de Zipf é uma tendência que aparece em corpora grandes (Piantadosi, 2014); com 4 textos curtos, só a parte inicial da curva é comparável. Note também que as palavras mais frequentes são do e a: este exemplo não passou por ac_clean(), então as stopwords estão lá.

Quando o corpus tem grupos, ac_plot_zipf(freq_tbl, by = "grupo") faceta um painel por grupo, útil para comparar se todos os subcorpora têm comportamento igualmente “natural” ou se algum se destoa (por exemplo, por ter sido coletado de uma fonte com vocabulário mais técnico ou repetitivo). Um exemplo com duas fontes bem diferentes: textos jornalísticos variados vs. um manual técnico que repete o mesmo vocabulário especializado.

grupos_zipf <- data.frame(
  id = paste0("doc", 1:12),
  texto = c(
    "O presidente anunciou um pacote de medidas economicas para estimular o crescimento.",
    "A prefeitura inaugurou um novo parque publico no bairro central da cidade.",
    "Cientistas descobriram uma nova especie de inseto na floresta amazonica.",
    "O time local venceu a partida decisiva do campeonato estadual de futebol.",
    "A exposicao de arte contemporanea atraiu milhares de visitantes no fim de semana.",
    "Pesquisadores desenvolveram uma vacina experimental contra uma doenca rara.",
    "O sistema deve ser configurado conforme o manual tecnico do equipamento.",
    "Configure o equipamento tecnico seguindo o manual de configuracao tecnica.",
    "O manual tecnico especifica a configuracao tecnica do sistema tecnico.",
    "Consulte o manual tecnico para configurar corretamente o sistema tecnico.",
    "A configuracao tecnica do equipamento segue o manual tecnico padrao.",
    "O equipamento tecnico requer configuracao conforme manual tecnico oficial."
  ),
  fonte = rep(c("noticias", "manual_tecnico"), each = 6),
  stringsAsFactors = FALSE
)
corpus_zipf_grupo <- ac_corpus(grupos_zipf, text = texto, docid = id, meta = fonte)
freq_zipf_grupo   <- ac_count(corpus_zipf_grupo, by = "fonte", drop_punct = TRUE)
ac_plot_zipf(freq_zipf_grupo, by = "fonte")

Como ler este gráfico

1. Onde olhar. Um painel por grupo. Ignore o primeiro ponto de cada painel (a linha é desenhada a partir dele, então ele sempre fica em cima). Olhe os pontos 2 a 10: se ficam acima da linha, as palavras seguintes se repetem mais do que a Lei de Zipf prevê.

2. O que este exemplo mostra. Em manual_tecnico, os pontos 2 a 9 ficam bem acima da linha: depois de tecnico (9 vezes) vêm manual e o (6 cada) e várias palavras com 3 ou 4 ocorrências. Em noticias, os pontos 2 e 3 caem em cima da linha, e a partir do 7º tudo está no patamar de 1: quase todas as palavras aparecem uma vez só.

3. Em palavras simples. O manual repete o mesmo punhado de termos o tempo todo (vocabulário concentrado); as notícias variam muito de palavra (vocabulário espalhado). É o que se espera de um texto técnico e formulaico comparado a notícias de assuntos diversos.

4. Cuidado. Com 6 textos curtos por grupo, compare os grupos entre si, não cada um com a linha (Piantadosi, 2014). E repare em A maiúsculo entre as mais frequentes de noticias: sem ac_clean(), “A” e “a” contam como palavras diferentes.

12. Concordância (KWIC) e colocações

Frequência bruta não mostra como uma palavra é usada. Duas ferramentas complementares respondem a essa lacuna: KWIC mostra o contexto de cada ocorrência individual; colocações medem, de forma agregada, quais pares de palavras andam juntos mais do que o acaso explicaria. São técnicas distintas que respondem perguntas diferentes, então cada uma tem sua própria subseção abaixo.

Corpus de exemplo para as duas: três registros fictícios de atendimento ao cliente.

atendimento <- data.frame(
  id = paste0("call", 1:3),
  texto = c(
    "o cliente reclamou que o produto chegou com defeito de fabrica",
    "outro cliente relatou defeito no produto depois de uma semana de uso",
    "o produto sem defeito foi elogiado pelo cliente no final da ligacao"
  ),
  stringsAsFactors = FALSE
)
corpus_atend <- ac_corpus(atendimento, text = texto, docid = id)

ac_kwic(corpus_atend, pattern = "defeito", window = 4)
#> # A tibble: 3 × 5
#>   doc_id position before                keyword after                    
#>   <chr>     <int> <chr>                 <chr>   <chr>                    
#> 1 call1         9 o produto chegou com  defeito de fabrica               
#> 2 call2         4 outro cliente relatou defeito no produto depois de     
#> 3 call3         4 o produto sem         defeito foi elogiado pelo cliente

ac_collocations(corpus_atend, n = 2, measure = "pmi", min_count = 1)
#> # A tibble: 31 × 3
#>    collocation      count association
#>    <chr>            <int>       <dbl>
#>  1 chegou com           1        5.13
#>  2 da ligacao           1        5.13
#>  3 elogiado pelo        1        5.13
#>  4 final da             1        5.13
#>  5 foi elogiado         1        5.13
#>  6 reclamou que         1        5.13
#>  7 uma semana           1        5.13
#>  8 no final             1        4.13
#>  9 cliente reclamou     1        3.54
#> 10 cliente relatou      1        3.54
#> # ℹ 21 more rows

colocacoes <- ac_collocations(corpus_atend, n = 2, measure = "pmi", min_count = 1)
colocacoes_top <- utils::head(colocacoes, 8)

ggplot2::ggplot(colocacoes_top,
                ggplot2::aes(x = association, y = reorder(collocation, association))) +
  ggplot2::geom_col(fill = ac_palette(1)) +
  ggplot2::labs(
    title = "Colocações mais associadas (PMI)",
    x = "PMI", y = NULL
  ) +
  theme_ac()

13. Análise temporal/diacrônica

Quando o corpus tem datas, perguntas que antes eram estáticas (quanto um termo aparece?) passam a ter uma dimensão temporal (quando ele aparece mais?). É essencial para cobertura jornalística, séries de atendimento ao cliente, ou qualquer corpus com carimbo de data (Welbers, Van Atteveldt & Benoit, 2017).

ac_temporal() é deliberadamente genérica: a coluna numérica agregada (value_col) pode ser a saída de qualquer outra função do pacote (score de ac_sentiment(), índice de ac_readability(), contagem de um termo de ac_count()…), desde que exista uma coluna de data no mesmo data.frame. Dois parâmetros controlam a agregação:

• unit: o tamanho da janela de tempo: "day", "week", "month" (padrão) ou "year".
• stat: como agregar os valores dentro de cada janela: "mean" (padrão), "sum" ou "n" (conta documentos, ignorando value_col).

No exemplo abaixo, sentimento já é o score de ac_sentiment() pré-calculado para 8 notícias fictícias, cada uma com sua data de publicação:

noticias <- data.frame(
  data       = as.Date("2024-01-01") + c(0, 10, 20, 35, 50, 65, 80, 95),
  sentimento = c(0.2, 0.1, -0.1, -0.4, -0.3, 0.0, 0.3, 0.5)
)
serie <- ac_temporal(noticias, date_col = "data", value_col = "sentimento",
                      unit = "month", stat = "mean")
serie
#> # A tibble: 4 × 3
#>   period       value n_docs
#>   <date>       <dbl>  <int>
#> 1 2024-01-01  0.0667      3
#> 2 2024-02-01 -0.35        2
#> 3 2024-03-01  0.15        2
#> 4 2024-04-01  0.5         1

Como ler esta tabela

1. Onde olhar. Cada linha é um período (aqui, um mês; period é o primeiro dia dele). Olhe primeiro n_docs (quantas notícias caíram no mês) e só depois value (a média do sentimento naquele mês).

2. O que este exemplo mostra. Janeiro tem 3 notícias e média ≈ 0,07; fevereiro cai para −0,35 (2 notícias); março volta a 0,15 (2) e abril chega a 0,50, mas com 1 notícia só.

3. Em palavras simples. O sentimento fica neutro em janeiro, piora em fevereiro e se recupera em março e abril.

4. Cuidado. Um mês com 1 documento não tem “média”: é aquele documento. O 0,50 de abril pode ser só uma notícia muito positiva. Antes de falar em tendência, confira se todos os períodos têm documentos suficientes; se não tiverem, use uma unidade de tempo maior (unit = "year", por exemplo).

ac_plot_temporal(serie, ylab = "Sentimento médio")
#> Warning in simpleLoess(y, x, w, span, degree = degree, parametric = parametric,
#> : span too small.  fewer data values than degrees of freedom.
#> Warning in simpleLoess(y, x, w, span, degree = degree, parametric = parametric,
#> : pseudoinverse used at 19723
#> Warning in simpleLoess(y, x, w, span, degree = degree, parametric = parametric,
#> : neighborhood radius 60.455
#> Warning in simpleLoess(y, x, w, span, degree = degree, parametric = parametric,
#> : reciprocal condition number 0
#> Warning in simpleLoess(y, x, w, span, degree = degree, parametric = parametric,
#> : There are other near singularities as well. 3654.8

Como ler este gráfico

1. Onde olhar. Os pontos azuis são os valores mensais da tabela acima, ligados por uma linha azul. A linha tracejada cinza é a tendência suavizada (LOESS; Cleveland, 1979), que ignora as oscilações de curto prazo.

2. O que este exemplo mostra. Os pontos descem de janeiro para fevereiro e sobem em março e abril. Os avisos logo acima do gráfico (“span too small”, “pseudoinverse used”) são o próprio loess() dizendo que tem pontos de menos para estimar a curva.

3. Em palavras simples. Queda no começo do período e recuperação depois.

4. Cuidado. Com 4 pontos, a linha tracejada é pouco confiável: ela precisa de vários pontos em cada trecho da série para suavizar (Cleveland, 1979). Aqui, confie nos pontos, não na curva. Com séries longas (dezenas de períodos, cada um com vários documentos), a curva passa a ser útil.

Uma visão alternativa, mais direta para comparar poucos períodos entre si, é o gráfico de barras:

ggplot2::ggplot(serie, ggplot2::aes(x = period, y = value)) +
  ggplot2::geom_col(fill = ac_palette(1)) +
  ggplot2::geom_hline(yintercept = 0, color = "grey40", linetype = "dashed") +
  ggplot2::labs(
    title = "Sentimento médio por mês",
    subtitle = "Barras tornam mais fácil comparar período a período",
    x = NULL, y = "Sentimento médio"
  ) +
  theme_ac()

14. Escalonamento Wordscores: posicionar documentos numa escala

Às vezes queremos posicionar documentos num espectro contínuo (favorável↔︎ desfavorável, satisfeito↔︎insatisfeito) sem codificar manualmente todos eles. O método Wordscores (Laver, Benoit & Garry, 2003) faz isso em duas etapas, de forma parecida com uma régua calibrada por exemplos conhecidos:

1. Aprender a régua. Você fornece um pequeno conjunto de documentos com posição já conhecida (aqui, a nota de 1 a 5 que o cliente deu à avaliação). O método observa quais palavras aparecem mais em notas altas e quais aparecem mais em notas baixas, construindo um “escore” implícito para cada palavra do vocabulário.
2. Aplicar a régua. Para cada documento sem nota conhecida (os “virgens”), o método olha o vocabulário usado e calcula uma média ponderada dos escores de palavra aprendidos na etapa 1 — produzindo uma posição estimada no mesmo espectro, sem nunca ter visto uma nota para aquele texto.

O exemplo abaixo usa sete avaliações de produto com nota conhecida (de 1 a 5, incluindo duas em cada extremo para dar ao método mais vocabulário de referência) e duas avaliações sem nota, uma claramente entusiasmada e outra deliberadamente mediana, para ver se o método recupera essa diferença só pelo texto.

resenhas <- data.frame(
  id = paste0("r", 1:9),
  texto = c(
    # Referencia: nota 5
    "produto excelente, superou todas as expectativas, qualidade impecavel, recomendo muito a todos",
    "amei esse produto, chegou rapido, funciona perfeitamente, melhor compra que fiz esse ano",
    # Referencia: nota 4
    "muito bom, chegou no prazo e funciona bem, pequenos detalhes a melhorar mas vale a pena",
    # Referencia: nota 3
    "produto regular, cumpre o basico, nada de especial mas tambem nao decepciona",
    # Referencia: nota 2
    "nao funcionou muito bem, qualidade deixou a desejar, esperava mais pelo preco pago",
    # Referencia: nota 1
    "pessimo, quebrado na caixa, com defeito serio, decepcao total com essa compra",
    "produto horrivel, nao recomendo a ninguem, dinheiro jogado fora, qualidade pessima",
    # "Virgens": sem nota, a estimar so pelo vocabulario
    "simplesmente perfeito, superou expectativas, qualidade impecavel, recomendo de olhos fechados",
    "produto ok, atende o basico, nem bom nem ruim, mediano"
  ),
  stringsAsFactors = FALSE
)
corpus_resenhas <- ac_corpus(resenhas, text = texto, docid = id)

# r1, r2, r3, r4, r5, r6, r7 tem nota conhecida; r8 e r9 sao "virgens"
notas <- c(r1 = 5, r2 = 5, r3 = 4, r4 = 3, r5 = 2, r6 = 1, r7 = 1)
wordscores <- ac_wordscores(corpus_resenhas, notas, rescale = "mv")
wordscores
#> # A tibble: 9 × 4
#>   doc_id score score_raw is_reference
#>   <chr>  <dbl>     <dbl> <lgl>       
#> 1 r1     4.71       4.23 TRUE        
#> 2 r2     5.29       4.65 TRUE        
#> 3 r3     4.18       3.83 TRUE        
#> 4 r4     3.03       2.98 TRUE        
#> 5 r5     2.14       2.33 TRUE        
#> 6 r6     0.552      1.16 TRUE        
#> 7 r7     1.45       1.82 TRUE        
#> 8 r8     4.30       3.92 FALSE       
#> 9 r9     3.53       3.35 FALSE

ac_plot_wordscores(wordscores)

Como ler este gráfico

1. Onde olhar. Cada ponto é uma avaliação, posicionada no eixo horizontal pelo escore estimado. Verde = avaliação com nota conhecida (referência); cinza = avaliação sem nota (virgem), que o método estimou. Compare a coluna score da tabela com as notas que você conhece.

2. O que este exemplo mostra. Primeiro teste, nas referências: r3 (nota 4) sai em ≈ 4,18, r4 (nota 3) em ≈ 3,03 e r5 (nota

   2. em ≈ 2,14, perto das notas verdadeiras. Segundo teste, nos dois virgens: r8 (“simplesmente perfeito”) fica em ≈ 4,30, entre as referências de nota 4 e 5, e r9 (“nem bom nem ruim, mediano”) em ≈ 3,53, entre as de nota 3 e 4.

3. Em palavras simples. Sem nunca ver uma nota de r8 ou r9, o método os colocou em lugares que fazem sentido, só pelo vocabulário. r9 não cai exatamente em 3 porque contém “bom”, que nas referências só aparece numa avaliação de nota 4: o método conta palavras e não entende o “nem”.

4. Cuidado. O escore é uma posição relativa às referências, não uma nota. Os escores brutos (score_raw) vão só de ≈ 1,16 a ≈ 4,65, porque palavras comuns a todas as avaliações (“produto”, “qualidade”) puxam tudo para o centro; o rescale = "mv" (Martin & Vanberg, 2008) estica a escala ancorando nas referências extremas. Evite "lbg" com poucos virgens: com só 2, a transformação de Laver, Benoit & Garry (2003) sempre os coloca a ≈ 0,71 desvio-padrão para cada lado da média deles, seja qual for o texto (por isso a função avisa).

Uma alternativa que aparece com frequência em relatórios, mas que exige cuidado, é o gráfico de barras:

wordscores$doc_id <- factor(wordscores$doc_id, levels = wordscores$doc_id[order(wordscores$score)])

ggplot2::ggplot(wordscores, ggplot2::aes(x = score, y = doc_id, fill = is_reference)) +
  ggplot2::geom_col() +
  ggplot2::scale_fill_manual(
    values = c(`TRUE` = "#1b7837", `FALSE` = "#737373"),
    labels = c(`TRUE` = "Referência", `FALSE` = "Estimado"),
    name = NULL
  ) +
  ggplot2::labs(title = "Escores Wordscores (barras)", x = "Escore", y = NULL) +
  theme_ac()

Como ler este gráfico

1. Onde olhar. O ranking é o mesmo do gráfico de pontos. A diferença está no que o olho lê: o comprimento de cada barra, medido a partir do zero.

2. O que este exemplo mostra. r6 tem a barra mais curta (≈ 0,55) e r2 a mais longa (≈ 5,29). Pela figura, r8 parece ter “o dobro” de r5.

3. Em palavras simples. Essa leitura está errada. A escala do Wordscores não tem um zero com significado: 0 não quer dizer “nenhuma satisfação”, e a barra de r6 só é curta porque a escala pode passar um pouco das notas de referência.

4. Cuidado. Use barras só para quantidades com zero real, como contagens. Para posições numa escala, prefira o gráfico de pontos: Cleveland (1985) recomenda dot plots justamente quando o eixo não começa num zero significativo.

15. Dicionários multi-categoria, emoções e validação

Nem toda análise baseada em dicionário é positivo/negativo. ac_dictionary() generaliza a lógica de ac_sentiment() para qualquer conjunto de categorias (temas, enquadramentos, emoções), no espírito do General Inquirer (Stone et al., 1966) e de “Text as Data” (Grimmer & Stewart, 2013): você define as categorias e as palavras de cada uma, e o pacote conta. Esta seção tem três partes: o dicionário em si (15.1), uma camada especializada para emoções (15.2), e a validação contra codificação humana que toda análise de dicionário publicável precisa ter (15.3).

Corpus de exemplo: seis registros de atendimento cobrindo problemas de entrega e de produto, às vezes os dois no mesmo registro.

atendimento2 <- data.frame(
  id = paste0("call", 1:6),
  texto = c(
    "a entrega atrasou muito e o rastreio nao atualizava ha dias",
    "o produto chegou com defeito e veio quebrado da fabrica",
    "entrega rapida produto excelente superou expectativas",
    "o rastreio mostrava entrega prevista mas o pacote nunca chegou",
    "produto perfeito funciona bem sem nenhum problema",
    "entrega no prazo mas o produto veio com defeito de fabricacao"
  ),
  stringsAsFactors = FALSE
)
corpus_atend2 <- ac_corpus(atendimento2, text = texto, docid = id)

dict <- ac_build_dictionary(
  entrega = c("entrega", "atrasou", "atrasada", "rapida", "rastreio", "prazo"),
  produto = c("defeito", "quebrado", "perfeito", "excelente")
)
resultado_dict <- ac_dictionary(corpus_atend2, dict)
resultado_dict
#> # A tibble: 6 × 6
#>   doc_id total_tokens entrega_n produto_n entrega_prop produto_prop
#>   <chr>         <int>     <int>     <int>        <dbl>        <dbl>
#> 1 call1            11         3         0        0.273       0     
#> 2 call2            10         0         2        0           0.2   
#> 3 call3             6         2         1        0.333       0.167 
#> 4 call4            10         2         0        0.2         0     
#> 5 call5             7         0         1        0           0.143 
#> 6 call6            11         2         1        0.182       0.0909

long_dict <- data.frame(
  doc_id   = rep(resultado_dict$doc_id, 2),
  categoria = rep(c("entrega", "produto"), each = nrow(resultado_dict)),
  prop      = c(resultado_dict$entrega_prop, resultado_dict$produto_prop)
)

ggplot2::ggplot(long_dict, ggplot2::aes(x = doc_id, y = prop, fill = categoria)) +
  ggplot2::geom_col(position = "stack") +
  ggplot2::scale_fill_manual(values = ac_palette(2)) +
  ggplot2::labs(
    title = "Composição temática por documento",
    x = NULL, y = "Proporção de tokens", fill = "Categoria"
  ) +
  theme_ac()

lexico_emocao <- data.frame(
  termo  = c("excelente", "perfeito", "defeito", "quebrado", "atrasou"),
  emocao = c("alegria",   "alegria",  "tristeza", "raiva",   "raiva"),
  stringsAsFactors = FALSE
)
ac_emotion(corpus_atend2, lexicon = lexico_emocao)
#> # A tibble: 6 × 8
#>   doc_id total_tokens alegria_n raiva_n tristeza_n alegria_prop raiva_prop
#>   <chr>         <int>     <int>   <int>      <int>        <dbl>      <dbl>
#> 1 call1            11         0       1          0        0         0.0909
#> 2 call2            10         0       1          1        0         0.1   
#> 3 call3             6         1       0          0        0.167     0     
#> 4 call4            10         0       0          0        0         0     
#> 5 call5             7         1       0          0        0.143     0     
#> 6 call6            11         0       0          1        0         0     
#> # ℹ 1 more variable: tristeza_prop <dbl>

humano <- tibble::tibble(
  doc_id    = resultado_dict$doc_id,
  categoria = c("produto", "produto", "entrega|produto", "entrega", "produto", "entrega|produto")
)
ac_dictionary_validate(resultado_dict, humano)
#> # A tibble: 2 × 12
#>   categoria     n    vp    fp    fn    vn concordancia precisao recall    f1
#>   <chr>     <int> <int> <int> <int> <int>        <dbl>    <dbl>  <dbl> <dbl>
#> 1 entrega       6     3     1     0     2        0.833     0.75    1   0.857
#> 2 produto       6     4     0     1     1        0.833     1       0.8 0.889
#> # ℹ 2 more variables: gwet_ac1 <dbl>, krippendorff_alfa <dbl>

16. Análise de correspondência (CA): um mapa de grupos e termos

Quando queremos visualizar em 2D como o vocabulário difere entre grupos, sem assumir um número de tópicos latentes (como em ac_lda()), a Análise de Correspondência (Greenacre, 2007) posiciona grupos e termos no mesmo espaço geométrico. A distância até a origem indica quão distintivo (vs. genérico) é um termo ou grupo; grupos próximos entre si têm vocabulário parecido, e termos próximos entre si são usados de forma parecida.

categorias <- data.frame(
  id = paste0("d", 1:9),
  texto = c(
    "entrega atrasou rastreio sumiu pedido",
    "pedido atrasou entrega demora atendimento",
    "rastreio parado entrega demora pedido",
    "produto quebrado defeito troca",
    "produto defeito demora troca atendimento",
    "veio quebrado produto troca defeito",
    "atendimento educado resolveu rapido",
    "suporte resolveu troca rapido atendimento",
    "atendimento demora mas resolveu educado"
  ),
  categoria = rep(c("entrega", "produto", "atendimento"), each = 3),
  stringsAsFactors = FALSE
)
corpus_cat <- ac_corpus(categorias, text = texto, docid = id, meta = categoria)
ca <- ac_ca(corpus_cat, by = "categoria", min_count = 2)
ac_plot_ca(ca)

Como ler este gráfico

1. Onde olhar. Pontos verdes = categorias de atendimento; triângulos roxos = palavras. Comece pela origem (o cruzamento das linhas cinzas, no centro): ela representa o “perfil médio” do corpus. Depois veja em que direção, a partir da origem, cada palavra e cada categoria estão.

2. O que este exemplo mostra. As três categorias ficam em direções diferentes: atendimento em cima, entrega à direita, produto embaixo à esquerda. As palavras exclusivas de cada uma ficam na mesma direção e afastadas do centro (educado, rapido, resolveu junto de atendimento; atrasou, entrega, pedido, rastreio junto de entrega). demora, que aparece nas três categorias, fica perto da origem; troca, usada em produto e em atendimento, fica entre as duas.

3. Em palavras simples. Quanto mais longe do centro, mais característica de um grupo é a palavra; perto do centro, a palavra é de todo mundo. Palavras com o mesmo perfil caem no mesmo ponto, e o gráfico junta os rótulos delas.

4. Cuidado. Neste tipo de mapa (“simétrico”) a distância entre uma palavra e uma categoria não tem interpretação direta; leia a relação pela direção a partir da origem (Greenacre, 2007, cap. 8-9). Compare distâncias só entre categorias ou só entre palavras. E veja os dois eixos: aqui eles explicam 54,7% e 45,3% da variação, então nenhum dos dois sozinho conta a história.

Quando o mapa fica poluído de termos, uma alternativa é olhar só as coordenadas dos grupos, sem os termos: útil quando a pergunta é apenas “quão diferentes os grupos são entre si”:

ggplot2::ggplot(ca$row_coords, ggplot2::aes(x = dim1, y = dim2, label = unit)) +
  ggplot2::geom_hline(yintercept = 0, color = "grey80") +
  ggplot2::geom_vline(xintercept = 0, color = "grey80") +
  ggplot2::geom_point(color = ac_palette(1), size = 4) +
  ggplot2::geom_text(vjust = -1, fontface = "bold") +
  ggplot2::scale_x_continuous(expand = ggplot2::expansion(mult = 0.25)) +
  ggplot2::scale_y_continuous(expand = ggplot2::expansion(mult = 0.25)) +
  ggplot2::labs(
    title = "Análise de correspondência: só grupos",
    subtitle = "Distância entre pontos reflete dissimilaridade de vocabulário"
  ) +
  theme_ac()