Como impor restrições a modelos de decisão de crédito com machine learning (ML)

Giampaolo Levorato, Senior Data Scientist, Provenir & Dr. Mark Thackham, Head of Data Science, Provenir

Um número cada vez maior de financiadores tem adotado modelos avançados de aprendizagem de máquina (ML) para decisões de crédito. Os modelos de ML (como Random Forest, XGBoost, LightGBM e redes neurais) são mais preditivos e precisos quando comparados à regressão logística utilizada como padrão em análises de crédito tendo em vista sua capacidade de capturar relações não lineares altamente complexas. Sem uma configuração cuidadosa durante o treinamento, contudo, tanto a explicabilidade quanto o poder de generalização do modelo podem ser afetados. Isso é crucial, uma vez que os modelos de decisão de crédito devem atender a dois critérios:

• Explicabilidade: os mecanismos do modelo devem ser transparentes para os usuários e prover conclusões acionáveis para clientes com crédito recusado; e 
• Generalização: os modelos não devem sobreajustar os dados de treinamento e devem apresentar um alto poder de generalização, i.e., devem alcançar alta performance em novos dados (de produção).

Este artigo explica a importância de se aplicar restrições monotônicas e de interação ao treinar modelos de ML a fim de atender a esses critérios.

Muitas jurisdições exigem que os financiadores expliquem como e por que uma solicitação de crédito foi recusada, estipulando que os financiadores forneçam códigos de ação adversa com os principais motivos da recusa. Explicações corretas sobre por que a previsão de um modelo levou um financiador a recusar o crédito torna os modelos de ML transparentes (não há a imprecisão de uma “caixa preta” quanto aos mecanismos de previsão do modelo) e acionáveis (o crédito recusado do cliente tem ações claras e tangíveis sobre as medidas que podem ser tomadas para melhorar suas perspectivas de obter crédito). Vejamos um exemplo concreto de explicabilidade: se o atributo em um modelo cujo impacto mais negativo para quem tem crédito recusado for o “número de buscas de crédito nos últimos seis meses”, então o código de ação adversa poderiaser “o número de buscas de crédito nos últimos seis meses é muito alto”. Isso mostra transparência e indica uma ação clara para os clientes que, para melhorarem sua credibilidade, precisam reduzir suas buscas de crédito. Assim, os solicitantes podem se conscientizar mais facilmente dos fatores que os impedem de ter melhores pontuações e melhorar sua credibilidade.

A transparência garante ainda aos financiadores que as decisões de crédito sejam baseadas em atributos explicáveis e defensáveis e não usem atributos protegidos por lei como sexo, religião ou etnia. 

Há diversos métodos de explicabilidade para interpretar decisões de modelos complexos. Dois dos mais populares são:

1. Local Interpretable Model-Agnostic Explanations (LIME)
2. SHapley Additive exPlanation (SHAP)

O LIME aproxima modelos complexos de ML com um modelo local mais simples e fácil de explicar. Como o LIME utiliza um modelo proxy com foco no impacto local dos atributos, não se pode empregá-lo na geração de códigos de ação adversa, os quais devem ser gerados com o modelo de ML adotado para decisão de crédito (e não um proxy).

O SHAPquantifica a contribuição de cada atributo para uma previsão feita por um modelo de ML (atributos com maiores contribuições para a previsão do modelo têm um SHAP superior), tornando as previsões do modelo transparentes. Todavia, a transparência não leva diretamente à ação necessária para uso em códigos de ação adversa. Para usar os valores SHAP na derivação de códigos de ação adversa é necessário impor as seguintes restrições ao treinamento do modelo:

1. restrições de não-interação e
2. restrições de monotonicidade.

Por que as restrições do modelo são necessárias?

Para entender a necessidade de tais restrições, é útil observar um gráfico de dependência SHAP que mostra o efeito de um único atributo nas previsões feitas pelo modelo (o gráfico abaixo foi produzido a partir de uma árvore de decisão com gradient boosting treinada em um conjunto de dados de risco de crédito com o objetivo de estimar a probabilidade de inadimplência dos solicitantes de empréstimos).

Os cartões de crédito alternativos são cartões projetados para consumidores recém-chegados ao crédito (NTC) com histórico de crédito reduzidos ou nulo, inclusive estudantes universitários, imigrantes e pessoas de baixa renda, para ajudar a criar crédito e melhorar a credibilidade. Diferentemente dos cartões de crédito tradicionais, estes não requerem uma investigação de crédito e, muitas vezes, vêm acompanhados de recursos como educação financeira, pagamentos automáticos e recompensas para ajudar os usuários a criar crédito e, ao mesmo tempo, promover o uso responsável do cartão. Os cartões de crédito alternativos podem ser um ótimo ponto de entrada para os 1,4 bilhão de adultos que não têm conta bancária em todo o mundo.

Por que são populares:

Os cartões de crédito alternativos oferecem aos credores uma oportunidade de atrair novos usuários que normalmente não se qualificariam para os cartões de crédito tradicionais devido a um histórico creditício limitado ou inexistente ou baixo score de crédito. Ao oferecer cartões que ensinam os usuários a construir crédito, com limites de gastos baixos e pagamentos automáticos, os credores podem ajudar os consumidores a estabelecer um bom crédito e criar um relacionamento com eles para futuros produtos financeiros.

Como oferecê-los:

Talvez não seja surpreendente o fato de que os dados alternativos sejam a chave para os cartões de crédito alternativos. Dados alternativos referem-se a todas as informações financeiras que não estão incluídas em um relatório de crédito, como contas de serviços públicos, pagamentos de aluguel, histórico de emprego e, às vezes, até mesmo mídias sociais. Como esses cartões são criados para consumidores sem os dados tradicionais dos bureaus, os credores podem criar seus próprios modelos de pontuação de crédito integrando uma grande quantidade de dados alternativos em seus motores de decisão. Se você tem dados alternativos, você tem a base para cartões de crédito alternativos.

Figura 1 – Gráfico de dependência SHAP para o Atributo 1

A primeira observação é que o padrão é não monotônico: à medida que os valores do Atributo 1 aumentam, a qualidade de crédito melhora, até que se preveja uma deterioração.

A primeira ação necessária é aplicar restrições de monotonicidade, que impõem previsões de modelo para aumentar ou diminuir monotonicamente em relação a um atributo quando todos os outros atributos permanecem inalterados. No exemplo acima, valores mais altos do Atributo 1 correspondem a mais qualidade de crédito. Desvios da monotonicidade (que podem ocorrer frequentemente quando as restrições de atributos monotônicos não são aplicadas) raramente representam um padrão genuíno, e sim geralmente indicam um sobreajuste excessivo aos dados de treino, comprometendo o poder de generalização do modelo.

A aplicação de restrições de monotonicidade não é suficiente para que os valores SHAP retornem códigos de ação adversa. De fato, os atributos podem ser correlacionados até certo ponto: quando os recursos interagem entre si em um modelo de ML, a previsão não pode ser expressa como a soma dos efeitos dos atributos, porque o efeito de um atributo depende do valor de outros.

O gráfico de dependência SHAP a seguir mostra como o efeito de Atributo 1 depende do Atributo 2: a interação entre ambos aparece como um padrão vertical distinto de coloração.

Figura 2 – Gráfico de dependência SHAP mostrando interação entre Atributo 1 e Atributo 2

A segunda ação que precisa ser tomada é impor restrições de não-interação, que permitem isolar o comportamento do modelo em relação a cada atributo independente de todos os outros atributos, fornecendo uma imagem clara de como um atributo individual prediz o risco. Assim, a previsão do modelo corresponde à soma de cada efeito individual.

Quando as restrições de monotonicidade e denão-interação são aplicadas, os valores SHAP podem ser usados para retornar códigos de ação adversa (alguns benefícios adicionais são processos de treinamento mais rápidos, maior poder de generalização do modelo e cálculos de importância de atributos mais fáceis de interpretar). O gráfico de dependência SHAP a seguir mostra o efeito do Atributo 1 na previsão do modelo após a aplicação de ambas as restrições: pode-se notar que há uma relação monotônica de um para um entre os valores do atributo e os valores SHAP.

Figura 3 – Gráfico de dependência SHAP do Atributo 1 depois com restrições monotônicas e de interação aplicadas

O Provenir AI adota uma abordagem cuidadosa para o desenvolvimento do modelo de ML, prevenindo o sobreajuste e fornecendo modelos totalmente transparentes e acionáveis, favorecendo o acesso dos consumidores ao financiamento e, simultaneamente, permitindo que os financiadores cumpram as regulamentações financeiras.