4. Seis formas de olhar para o mesmo cluster
4.1 Dendrograma: a árvore das fusões
Mostra a ordem em que documentos foram unidos e a altura de cada fusão. Cortes altos separam grupos sólidos; cortes baixos indicam agrupamentos frouxos.
Como ler este gráfico
Onde olhar. Os documentos estão na base, coloridos pelo cluster. Leia de baixo para cima: cada “telhado” junta dois grupos, e a altura do telhado (eixo vertical) diz quão diferentes eram os grupos que ele juntou. Telhado baixo = documentos parecidos; telhado alto = junção forçada.
O que este exemplo mostra. O telhado mais alto, em ≈ 2,27, separa os 8 documentos de
democracia(azul-escuro, à esquerda) dos 8 demercado(à direita). O bloco de democracia termina de se juntar em ≈ 1,52; o de mercado só em ≈ 1,74, e ele se divide antes em dois ramos, laranja (d09, d10, d12, d14) e verde-azulado (d11, d13, d15, d16).Em palavras simples. A primeira divisão do corpus é democracia × mercado. Dentro de mercado há uma segunda divisão quase tão forte, e é por isso que, pedindo 3 grupos, o algoritmo separa mercado em dois.
Cuidado. No método de Ward a altura não é a distância entre dois documentos: é o quanto a fusão aumenta a variação dentro dos grupos (Murtagh & Legendre, 2014). Compare alturas entre si, não as leia como distâncias. E a ordem das folhas na base dentro de um mesmo ramo é arbitrária.
4.2 Projeção PCA: a geometria do corpus
Cada documento vira um ponto no plano das duas componentes principais. Documentos com vocabulário parecido ficam próximos; a cor mostra a divisão do algoritmo.
Como ler este gráfico
Onde olhar. Cada ponto é um documento, colorido pelo cluster. Pontos próximos = vocabulário parecido. O subtítulo diz quanto da variação cada eixo resume (PC1: 17,8%; PC2: 11,5%).
O que este exemplo mostra. O eixo horizontal (PC1) separa os dois temas: os 8 documentos de democracia (azul-escuro) ficam amontoados à esquerda, tão juntos que os rótulos se sobrepõem; os de mercado ficam todos à direita. O eixo vertical (PC2) espalha só os de mercado: os laranja (cluster 2) embaixo, os verde-azulados (cluster 3) em cima.
Em palavras simples. Democracia é um bloco homogêneo; mercado é mais variado, e a variação dele tem uma direção, que é justamente a divisão entre os clusters 2 e 3.
Cuidado. Os dois eixos juntos mostram menos de 30% da variação: a maior parte das diferenças entre documentos não aparece neste plano. Confie nas separações nítidas (como a da esquerda × direita) e não interprete distâncias pequenas entre pontos próximos.
4.3 Mapa de calor: a assinatura da separação
Ordena os documentos pelo dendrograma e desenha a matriz de dissimilaridade inteira. Blocos escuros na diagonal são o carimbo de qualidade de um clustering bem-sucedido.
Como ler este gráfico
Onde olhar. Cada célula compara dois documentos; a cor é a dissimilaridade (escuro = parecidos, claro = diferentes). A diagonal é sempre escura (cada documento comparado consigo mesmo). Procure quadrados de cinza mais escuro ao longo da diagonal: cada um é um grupo de documentos parecidos entre si.
O que este exemplo mostra. Há dois quadrados: d05 a d07 no canto superior esquerdo (democracia) e d09 a d15 no canto inferior direito (mercado), com tons de cinza médio por dentro. Os dois retângulos fora da diagonal, que cruzam democracia com mercado, são quase brancos: esses documentos não têm nenhuma palavra em comum. Dentro do quadrado de mercado, d09-d14 e d13-d15 formam dois quadrados menores, um pouco mais escuros.
Em palavras simples. A separação entre os temas é total; a separação interna de mercado em dois subgrupos existe, mas é mais fraca.
Cuidado. Em textos curtos quase todos os pares são bem diferentes, então mesmo dentro de um grupo as células ficam cinza, não escuras. Compare o tom dentro dos quadrados com o tom entre eles, não com o preto da diagonal.
4.4 Termos mais distintivos por cluster
Este gráfico responde à pergunta que interessa depois de rodar o modelo: “o que cada grupo fala de diferente?”. Juntamos a etiqueta do cluster ao TF-IDF e mostramos os 8 termos mais fortes por grupo.
tokens_com_cluster <- corpus |>
ac_clean() |>
ac_count() |>
left_join(clust$assignments, by = "doc_id") |>
group_by(cluster, token) |>
summarise(n = sum(n), .groups = "drop") |>
rename(doc_id = cluster) |>
mutate(doc_id = paste0("Cluster ", doc_id))
tfidf_cluster <- ac_tf_idf(tokens_com_cluster)
top_por_cluster <- tfidf_cluster |>
group_by(doc_id) |>
slice_max(tf_idf, n = 8) |>
ungroup() |>
mutate(token = tidytext::reorder_within(token, tf_idf, doc_id))
ggplot(top_por_cluster, aes(tf_idf, token, fill = doc_id)) +
geom_col(show.legend = FALSE) +
tidytext::scale_y_reordered() +
facet_wrap(~ doc_id, scales = "free") +
scale_fill_manual(values = ac_palette(clust$k)) +
labs(
title = "Termos mais distintivos por cluster (TF-IDF)",
subtitle = "O 'o que cada grupo fala de diferente'",
x = "TF-IDF", y = NULL,
caption = "acR • pos-clustering"
) +
theme_ac()
Como ler este gráfico
Onde olhar. Um painel por cluster, com as 8 palavras de maior TF-IDF (as mais características daquele grupo em relação aos outros). Compare os painéis entre si: o que um grupo diz que os outros não dizem?
O que este exemplo mostra. O Cluster 1 traz democracia, cidadania, participacao, voto. O Cluster 2 traz livre, produtividade, eficiência, concorrência, privatizacao. O Cluster 3 traz capital, investimento, crescimento, privado, juros.
Em palavras simples. O tema
mercadotem duas vertentes no corpus: uma de eficiência e concorrência (cluster 2) e outra de investimento e crescimento (cluster 3). A divisão que o dendrograma e o gráfico de projeção mostraram tem conteúdo, não é ruído.Cuidado. Os nomes dos grupos são interpretação sua, a partir dessas palavras; o algoritmo só entrega números. Leia alguns documentos de cada cluster antes de batizá-los, e lembre que mercado aparece nos dois painéis de mercado: palavras compartilhadas podem aparecer em mais de um grupo.
4.5 Curva de silhueta: escolhendo k visualmente
Quando o k automático parecer arbitrário, olhe para a
curva. A silhueta média de cada k diz o quão coeso
é o agrupamento naquele número de grupos. Picos claros são bons; platôs
indicam que a divisão seguinte é quase tão boa quanto.
if (requireNamespace("cluster", quietly = TRUE)) {
ks <- 2:6
sils <- vapply(ks, function(k_try) {
ac_cluster_documents(corpus, k = k_try)$silhouette
}, numeric(1))
df_sil <- data.frame(k = ks, silhueta = sils)
ggplot(df_sil, aes(k, silhueta)) +
geom_line(color = ac_palette(1), linewidth = 1.1) +
geom_point(size = 3.5, color = ac_palette(1)) +
geom_point(
data = df_sil[which.max(df_sil$silhueta), ],
aes(k, silhueta),
size = 6, shape = 21, stroke = 1.4,
fill = "white", color = ac_palette(1)
) +
scale_x_continuous(breaks = ks) +
labs(
title = "Silhueta média por número de grupos",
subtitle = "Circulo vazado = k escolhido automaticamente",
x = "k (número de clusters)", y = "Silhueta média"
) +
theme_ac()
}
Como ler este gráfico
Onde olhar. Cada ponto é um número de grupos (k) testado, e a altura é a silhueta média: o quanto, em média, cada documento está mais perto do próprio grupo do que do grupo vizinho (de −1 a 1; maior = grupos mais nítidos). O círculo vazado é o k que a função escolheu, o de maior silhueta.
O que este exemplo mostra. K = 3 vence com ≈ 0,128, mas k = 2 (≈ 0,124) e k = 5 (≈ 0,123) estão praticamente empatados: as diferenças estão na terceira casa decimal. Note também a escala do eixo vertical: tudo está entre 0,11 e 0,13.
Em palavras simples. O corpus não aponta com clareza um número de grupos. A escolha automática de k = 3 é frágil, e a decisão deve vir também da leitura dos termos de cada grupo (seção 4.4).
Cuidado. O valor absoluto da silhueta importa. Kaufman & Rousseeuw (1990, p. 88) leem a silhueta média acima de 0,70 como estrutura forte, de 0,51 a 0,70 razoável, de 0,26 a 0,50 fraca e até 0,25 como ausência de estrutura substancial: todos os valores aqui estão nessa última faixa, mesmo com os dois temas sendo recuperados sem erro (seção 6). A causa é o tamanho dos textos: com 6 palavras por documento, a distância até o próprio grupo e até o vizinho ficam parecidas. Reporte a silhueta junto com os grupos.
4.6 Hard vs. soft: comparando com LDA
Este é o gráfico mais didático da vignette: mostra lado a lado como hard clustering e LDA veem o mesmo corpus. À esquerda, cada linha do heatmap é um documento e cada coluna, o cluster ao qual ele pertence (binário: 0 ou 1). À direita, cada linha é o mesmo documento e cada coluna é a proporção γ do tópico LDA, que pode variar continuamente entre 0 e 1.
# Gibbs com alpha baixo: adequado a textos curtos de tema único
# (ver vignette("lda"), seção 3)
lda_fit <- ac_lda(corpus, k = 2, seed = 42, method = "Gibbs",
control = list(alpha = 0.1, iter = 2000, burnin = 500))
hard <- clust$assignments |>
mutate(valor = 1, tipo = paste0("Cluster ", cluster)) |>
select(doc_id, tipo, valor)
soft <- lda_fit$documents |>
mutate(tipo = paste0("Tópico ", topic), valor = gamma) |>
select(doc_id, tipo, valor)
plot_df <- bind_rows(
hard |> mutate(painel = "Hard clustering\n(1 = pertence)"),
soft |> mutate(painel = "LDA (soft)\n(gamma = proporção)")
) |>
mutate(doc_id = factor(doc_id, levels = rev(sort(unique(doc_id)))))
ggplot(plot_df, aes(tipo, doc_id, fill = valor)) +
geom_tile(color = "white") +
facet_wrap(~ painel, scales = "free_x") +
scale_fill_gradient(low = "#F1F5F9", high = ac_palette(1), name = "Valor") +
labs(
title = "Hard vs. soft: a mesma pergunta, duas respostas",
subtitle = "Cluster da uma etiqueta; LDA da proporções por documento",
x = NULL, y = NULL,
caption = "acR • ac_cluster_documents vs. ac_lda"
) +
theme_ac() +
theme(axis.text.x = element_text(angle = 30, hjust = 1))
Como ler este gráfico
Onde olhar. Os dois painéis têm uma linha por documento. À esquerda, cada linha tem uma célula escura: o cluster do documento. À direita, cada célula é a proporção γ do documento atribuída a cada tópico do LDA; ela pode ser um tom intermediário quando o documento mistura temas.
O que este exemplo mostra. À direita, cada linha também tem uma única célula escura: os 8 documentos de democracia ficam ≈ 0,98 no Tópico 2, e os 8 de mercado ≈ 0,98 no Tópico 1. Não há tons intermediários.
Em palavras simples. Aqui o LDA concorda com o clustering porque cada documento foi escrito sobre um único tema: não há mistura a mostrar. O γ só fica “dividido” quando o texto de fato fala de mais de um assunto, como os casos ambíguos da
vignette("lda"), seção 8.Cuidado. Γ mede pertencimento misto (que fração do texto é de cada tópico), não incerteza sobre qual é o “grupo verdadeiro” do documento (Airoldi et al., 2014). Com o ajuste padrão do LDA (
method = "VEM"), este corpus dá γ ≈ 0,50/0,50 para todo documento, um modelo que não aprendeu nada; por isso o exemplo usa Gibbs com α baixo. E o painel da esquerda tem 3 colunas e o da direita 2: o que se compara é a forma das linhas, não o número de colunas.
