1-Olá Professor. O tema de indicadores é bastante delicado quando precisamos elabora-los num processo de compras. Poderia nos explicar como demonstrar numa compra os indicadores de resultados: eficácia, eficiência e efetividade?
Thiago: Antes de qualquer coisa, é importante delimitar que o gestor deve escolher bem os indicadores que utilizará. Conheço vários casos em que indicadores são criados com o mero intuito de satisfazer a necessidade de informar que existem, mas viram apenas uma burocracia se cumprir, sem direcionarem nenhuma tomada de decisão. Isso é um tremendo erro!
Desse feito, acho importante conceituarmos os seguintes três tipos de indicadores:
Eficácia é a relação entre os resultados obtidos e os resultados pretendidos: fazer da melhor maneira, isto é, atingir os resultados esperados.
Eficiência é relação entre os resultados obtidos e os recursos empregados: fazer da melhor maneira utilizando a menor quantidade possível de recursos.
Efetividade: é fazer o que tem que ser feito, tendo capacidade de atingir objetivos, utilizando bem os recursos disponíveis; capacidade de ser eficaz (objetivos) e eficiente (usar bem os recursos) ao mesmo tempo; realizar a coisa certa para transformar a situação existente. Os indicadores de efetividade avaliam o impacto;
Percebo uma tendência de focar nos indicadores de eficiência, pois conseguimos observar com maior facilidade os recursos que são diretamente utilizados nas compras públicas: tempo, pessoas, recursos financeiros, etc. É muito comum encontrarmos indicadores de tempo de tramitação de processos. Isso já foi meta do CNJ e atualmente consta do planejamento estratégico da Secretária de Gestão do Ministério do Planejamento, Desenvolvimento e Gestão SEGES/MPDG. Da mesma forma, a CGU recentemente fez todo um estudo sobre a economicidade do processo de compras com base na diferença entre a estimativa de custos e o valor final após a realização do pregão. O problema desse tipo de indicador é que ele gera um moral hazard (risco moral): sabendo da avaliação, as estimativas iniciais podem ser infladas pelas áreas para não correr o risco de ter uma redução muito pequena do custo final frente ao estimado. Isso traduz um problema mais amplo dos indicadores de eficiência: eles transmitem pouco a qualidade do que está sendo realizado.
Já no caso dos indicadores de eficácia, são raros os exemplos concretos. Tivemos uma palestra nesse sentido na ENAP com um professor da George Washington University e ele abordou esse ponto. De forma bem humorada, ele contou que pouco importa você fazer a compra toda regular, com o preço mais barato já pago e no menor tempo possível se a satisfação do usuário não for atendida. A coisa mais simples, que é a satisfação do usuário, é completamente ignorada. Vemos que uma prática tão comum no setor privado não foi incorporada no setor público. Em toda compra que realizamos na internet, ou em toda revisão numa concessionária, recebemos um formulário para responder sobre a satisfação como cliente. Acredito que esse tipo de indicador é muito mais importante.
Os indicadores de efetividade poderiam demonstrar se os impactos da velocidade das compras ou de um pagamento maior (por exemplo, decorrente de uma especificação mais robusta quanto à qualidade) melhoraram a satisfação do usuário, gerando inputs para a tomada de decisão de futuras contratações.
2- Na sua opinião, qual o indicador mais difícil de ser mensurado?
Thiago: Essa pergunta é bastante interessante e vou investir um tempo nessa resposta. Como disse anteriormente, existem vários exemplos de indicadores de tempo do processo de compras. Eu não acho que seja um indicador útil se não for qualificado. Como vou comparar o tempo de um pregão de compra de lápis, caneta e borracha com a compra de equipamentos de biometria? Ademais, ainda temos casos de pregões com vários itens que tendem a demorar mais do que pregões com poucos itens, sendo que para o órgão é menos trabalhoso ter poucos pregões.
Logo, para ser um direcionador da atuação do gestor, é necessário agrupar os objetos por similaridade. O que permitiria estudar, por exemplo, o ponto ótimo do agrupamento de itens dentro de determinado objeto.
Evoluindo nesse ponto, percebo que usar esse indicador isoladamente em um órgão não explora toda a potencialidade. O ideal seria que tivemos esses estudos centralizados, um IBGE das compras públicas, que pudessem estabelecer padrões e coletar dados para divulgar os indicadores e fornecer fonte segura de informações para os gestores públicos. Talvez o ideal seria a ENAP ou a CGU assumir essa tarefa. O laborioso colega Franklin Brasil tem ideias muitos interessantes nessa linha.
Essa padronização é importantíssima. Ilustro: certo órgão, para apurar o indicador de prazo para realizar os pregões, acresceu as compras feitas por adesão às atas de registro de preços de outros órgãos por entender que essas substituem os pregões que seriam realizados pelo próprio órgão.
Um outro indicador bem complicado é o de economicidade das compras. Não raro os estudos tratam a diferença entre o valor estimado e o valor final do pregão como uma medida de sucesso da licitação. Enquanto isso seria válido no caso da pesquisa de preços ter sido realizada com propostas de fornecedores, esse número é totalmente esquizofrênico se a pesquisa foi feita com preços praticados em outros órgãos, ou seja, uma diferença muito grande denotaria não um sucesso, mas um fracasso da pesquisa de preços. De novo, mais um qualificador necessário no indicador, que seria melhor tratado numa avaliação multiorganizacional do que isoladamente.
Acrescento ainda o indicador de custos do processo de compras. Pude conhecer um excelente estudo disponibilizado pela professora Cecília Costa da PR-DF que, considerando o esforço temporal de cada etapa da compra, calcula o custo do processo. Como esse custo é fortemente influenciado pela folha de pagamentos, o que me indica que comprar caneta no Senado seja mais caro que no Ministério do Planejamento do que no Poder Judiciário ainda que os tempos de tramitação sejam os mesmos? No caso, eu prefiro imaginar que o orçamento total do órgão foi dividido nos seus macroprocessos, compras sendo um deles, e apurar qual percentual do orçamento é aplicado em cada atividade.
3-Muitas vezes ao descrever o objeto de licitação vejo que há dificuldade na descrição da qualidade do objeto, como exemplo descrever a caneta “Bic”. Sempre digo que basta pensar no que a caneta faz, escrever. Podemos utilizar esses parâmetros de indicadores para descrição da qualidade do objeto?
Thiago: Essa pergunta é excelente. Sem adentrar em outra discussão super relevante que é a pré-qualificação de marcas, entendo que esses indicadores de qualidade podem ser aplicados sim. Um exemplo bem trivial é a compra de café. É raro eu encontrar um órgão que esteja satisfeito com a sua compra de café e continuamos comprando café da mesma forma.
Enfatizo que para gerar uma legitimidade no atual modelo de compras, fortemente descentralizado, poder-se-ia realizar uma ampla pesquisa de marcas indicadas pelos “usuários” da compra em múltiplos órgãos ou ainda uma avaliação da qualidade dos produtos entregues. Note que esse conceito não tem nada de novo. No estudo do marketing, sabemos bem que produtos que não têm qualidade e serviços que não se preocupam com a satisfação do usuário não sobrevivem no mercado concorrencial. Porém, continuamos a permitir a sobrevida ou a desova desses produtos no setor público quando não adotamos essas práticas.
4-Entre os temas debatidos atualmente no âmbito das compras públicas está a Qualidade do Gasto Público. Se você tivesse que construir um indicador para verificar a “qualidade do gasto” de determinada contratação, se for possível, quais seriam os parâmetros que você consideraria para construção desse indicador?
Thiago: Essa discussão é instigante. Muitas vezes temos a tendência de firmar um indicador mais fácil de apurar mas que não reflete a realidade do gasto público realmente. Exemplo: Tenho objetivo que toda criança tenha livro didático para um programa educacional. Poderia definir indicadores de quantidade de livros comprados ou quantidade de criança sem livro, mas não avaliamos o impacto dessa aquisição na educação das crianças.
Nas contratações diretamente ligadas ao Planejamento Estratégico, essa observação é mais fácil. Exemplo: A Justiça Eleitoral tem um parque de 530 mil urnas. Obviamente, a reposição por obsolescência é feita de forma escalonada. Posso acompanhar, de cada modelo de urna, como se comporta o índice de quebra ou a necessidade de substituição durante a votação ou realização de eleição em urna de lona e tomar a decisão quanto à necessidade de contratação de serviços de manutenção ou reposição das urnas. Ou seja, se o meu objetivo é realizar a eleição de forma célere e com segurança, preciso das urnas funcionando nas votações. Um aumento do índice de quebras me demonstraria que as contratações de manutenção e compra não foram bem realizadas.
Nas contratações de suporte, essa aferição é mais complexa mas ainda assim possível. Inicialmente deve-se ter clareza do objetivo daquela contratação. Exemplo: ao efetuar a contratação de determinado mobiliário, o tempo de reposição foi alterado ? O índice de quebra foi menor ?
Obviamente, esse acompanhamento deve ser de longo prazo. A estrutura de governança pode definir como estudos seriam realizados e até conjugados para a melhoria de qualidade, num esforço transorganizacional.
5-Um indicador utilizado como exemplo no livro Transformando o Sistemas de Indicadores (2015), da Fundação Nacional da Qualidade é o IDF (Índice de Desempenho dos Fornecedores). Em tese esse índice seria calculado pela razão entre lotes de produtos aceitos e lotes de produtos entregues deduzindo cinco pontos para cada não conformidade. Tendo apenas como exemplo o referido indicador; considerando os princípios da administração pública e as restrições técnico-legais um índice de desempenho de fornecedores (IDF) seria aplicável ao contexto da Administração Pública Brasileira e como um órgão ou entidade poderia se beneficiar desse tipo de indicador?
Thiago: Entendo que sim, mas não de forma direta. Outra prática da iniciativa que não adotamos fortemente nas contratações públicas é desenvolver nossa cadeia de fornecedores. Notamos que uma indústria automobilística, uma montadora seleciona e desenvolve seus fornecedores de freios ou suspensão, cobrando destes resultados e qualidade. Enquanto o serviço público não é uma atividade industrial, mesmo o setor de serviços precisa de insumos para execução. Escolas, por exemplo, credenciam malharias para fornecer seus uniformes.
Diante desse contexto, entendo que a solução seria utilizar mais fortemente a solução do credenciamento. Gosto de pensar na licitação de forma holística e dividir em duas grandes decisões: quem vai me fornecer e quanto eu vou pagar, vez que a decisão do que eu vou receber já foi tomada no planejamento da contratação.
Na escolha do fornecedor, se meu objetivo é desenvolvê-los, não vejo proveito em escolher um, se eu posso escolher todos. Especialmente quando eu dou apenas 8 dias úteis para ele se preparar. Houve uma banalização do conceito de bem comum, o que não acho errado, mas não foram escalonados concomitantemente os prazos de publicação do edital.
Por isso, poder-se-ia manter as especificações permanentemente divulgadas, como uma espécie de catálogo, bem como as condições de participação ou fornecimento. Um breve parêntese: reflita como é difícil para um fornecedor acompanhar as especificações de toda a administração pública quando o CATMAT é ignorado e os órgãos se vinculam única e exclusivamente pelos editais.
Em suma, acho que a administração não conseguiria utilizar de forma ampla esse indicador de desempenho de fornecedor, mas poderia adotar mais fortemente o mecanismo de credenciamento como medida de desenvolver a divulgação àqueles que querem vender para o setor público, uma vez que as condições seriam transparentes e com regras bem definidas.
6-Sabe-se que muitos problemas na qualidade de produtos ou serviços contratados decorrem da gestão e fiscalização ineficiente do contrato; nesse sentido, quais seriam os parâmetros importantes, que auxiliariam na construção de indicadores que para avaliar se determinado órgão faz ou não uma boa gestão de seus contratos?
Thiago : Na minha opinião, o indicador mais importante é se a necessidade do destinatário do objeto desse contrato foi atendida com qualidade. Os contratos que utilizam o Instrumento de Medição de Resultados (IMR), recém-criado pela IN 05/2017 SEGES/MPDG, já têm essa lógica apesar da maioria dos órgãos assumir indicadores de eficácia como tempo de atendimento de demanda ou disponibilidade do serviço.
7-Hoje um tema bastante debatido são as Compras Governamentais Sustentáveis. Você acredita que os indicadores de sustentabilidade utilizados em organizações privadas podem também ser utilizados por órgãos e entidades do Governo, ou há alguma ressalva sobre o tema?
Thiago: Entendo que é possível a utilização desses indicadores mas é preciso fazer algumas ressalvas. Inicialmente, são poucos os estudos acadêmicos e reconhecidos em muitas das áreas da sustentabilidade. Por exemplo: como se calcula a economia da instalação de usina fotovoltaica? Qual o consumo de água nas cadeias produtivas dos bens e serviços que utilizamos? Entendo que a administração poderia formar parceria com as universidades para fomentar pesquisas nesse sentido. Outro ponto controverso é a acreditação das entidades que elaboram esses índices. O setor público tem mais facilidade em aceitar avaliações feitas pelo Inmetro mas dificuldade em avaliar outros casos. Nesse sentido, defendo que o primeiro passo é criar regras para essa acreditação/certificação das questões ligadas à sustentabilidade bem como apoiar ações de autorregulação do setor, como vêm sendo defendido, por exemplo, para os fundos de pensão pela ABRAPP.
8-Sabe-se que os indicadores se prestam para diversos fins, entre eles a tomada de decisão. Que tipo de indicador você acha que ajudaria o gestor a pensar sobre terceirizar ou não determinada atividade?
Thiago: Essa pergunta está bem alinhada com a recomendação do TCU no sentido que os órgãos devam definir sua estratégia de terceirização, no âmbito da governança das aquisições.
Em sentido amplo, se as variáveis dos custos de pessoal tiverem o mesmo valor (salário, benefícios, etc), terceirizar será mais caro pois, via de regra, além desses custos, remunera-se os custos administrativos e de capital da empresa. Logo, a terceirização deve ser vista como medida de mitigação de riscos de descontinuidade do serviço e busca de eficiência, nos termos de Ronald Coase (1937) diria que prevê a decisão de terceirizar sempre, a menos que os custos transacionais/administrativos sejam muito elevados. Tipo: supervisionar o resultado de um terceirizado frente a contratar um empregado internamente.
Inicialmente, vamos separar a conversa da terceirização de atividades com dedicação exclusiva de mão de obra das demais terceirizações. No primeiro caso, é importante contextualizar que a ideia de terceirizar vem de muito tempo, com o enfoque que a administração deve concentrar recursos nas suas atividades finalísticas. Enquanto isso é válido em contratações de serviços de limpeza e vigilância, essa visão fica embaçada quando estudos a terceirização nos órgãos. Por exemplo, no STF, os cargos efetivos são divididos em cerca de 20 especialidades enquanto os terceiros são alocados em 108 especialidades diferentes. Logo, inegável que parte dessa força de trabalho substitui a atuação de servidores em serviços menos “nobres” com vistas a produzir ganhos de produtividade. Esse ponto precisa ser revisitado periodicamente para aferir se essa estratégia de terceirização contínua válida. Mesmo com a implantação de sistemas de tramitação de processos, como o Pje e o SEI, continuamos a ver os órgãos com contratações de serviços de mensageria. Ou ainda com a entrada de novos servidores nos órgãos, vemos a contratação de terceiros para serviços de apoio administrativo com atividades descritas como elaboração documentos em softwares editores de texto, criar planilhas eletrônicas ou fazer buscar na internet, atividades que fazem parte do dia a dia de qualquer servidor atualmente.
O contraponto nesse sentido é o engessamento causado pelo concurso público. Definimos no momento de entrada o que o servidor vai fazer os próximos 30 anos. Eventualmente, a necessidade pode ser alterada, como aconteceu, por exemplo, nos casos de taquígrafos. Logo, essa estratégia de terceirização é influenciada pela maneira que os cargos efetivos são providos, levando que as novas demandas de serviços técnicos sejam atendidas por terceirização (mais fácil) do que por provimento de cargos efetivos (mais difícil). Diante desse quadro, uma melhoria nesses mecanismos de ingresso pode permitir que a entrada ocorra em cargo amplo e que as demandas sejam atendidas como solução de gestão de pessoas, fortalecendo as escolas de governo.
Diante desse contexto, o gestor deve considerar: qual o nível de disponibilidade que almeja da prestação de serviços? As premissas que justificaram a terceirizaçãocontinuam válidas? Existem atividades que poderiam ser absorvidas, ainda que com mudanças da forma de execução, pelos servidores a partir do desenvolvimento de novas competências ou mudanças das rotinas de trabalho? Qual o custo administrativo que eu teria para administrar o contrato?
Na terceirização sem a dedicação exclusiva de mão de obra, buscamos alocar recursos temporariamente ou aproveitar a expertise da empresa como acontece em contratações de call center, fábricas de software ou serviços de logística. Esses modelos, via de regra, serão mais eficientes que a execução direta ou com dedicação exclusiva nos casos de baixa ou média necessidade de disponibilidade. Logo, esse deve ser o indicador avaliado pelo gestor: Qual o nível de disponibilidade que necessito dos serviços?
9-Uma técnica muito utilizada por organizações não governamentais é o benchmarking. Ele pode ser utilizado para diversos propósitos. Entre eles comparar o desempenho com outras organizações e até governos com objetivo de aprimorar processos e produtos e resultados. Como exemplo temos indicadores das Nações Unidas que comparam países. Do ponto de vista prático, você acha que a criação desse tipo de indicadores padronizados (genéricos), que fossem aplicáveis para todas as unidades de compras e que permitissem a comparação entre essas unidades seria viável na Administração Pública Federal Brasileira?
Thiago Excelente pergunta. Respondo com um grande: SIM! Temos uma dificuldade enorme em fazer esse tipo de avaliação. Um caso de sucesso, na minha opinião, é o relatório Justiça em Números do CNJ. Ali, existe um diagnóstico muito bem feito e padronizado do Poder Judiciário Brasileiro. Da mesma forma, o Departamento de Pesquisas Judiciárias tem excelentes pesquisas publicadas que carecem que os gestores as conheçam, estudem e apliquem os cenários ali indicados. Não existe a necessidade de querer se reinventar, se propor novos cenários, a cada mudança de gestão, sem levar em conta as avaliações já realizadas, o que causa um grande impacto nas áreas de compras.
Delineado esse contexto e em linha com a resposta da pergunta anterior, essa padronização é essencial para que o desempenho possa ser medido e que as decisões sejam tomadas a partir dele. Esse é um grande problema do nosso setor público: não “punimos” ou premiamos os gestores em relação ao atingimento das metas estabelecidas (acredito que já superamos a fase da inexistência das metas).
Essa padronização deve considerar as particularidades já mencionadas aqui como a característica do objeto e a sua recorrência e, no segundo momento, permitir a tomada de decisões.
10-Existem muitas tentativas de se monitorar e avaliar o desempenho na administração pública, desde o desempenho de políticas públicas até o desempenho do servidor público (vide PL 116). Nesse sentido, você acredita que um sistema de medição de desempenho para as compras governamentais seria capaz de proporcionar mudanças significativas na forma de determinado órgão ou entidade contratar? Quais seriam?
Thiago: Antes de definir os indicadores, precisamos ter diretrizes claras dos modelos de contratação. Não posso comparar a contratações diferentes mesmo que o objeto pareça semelhante. Um órgão compra vacina de gripe para distribuir e aplicar nos municípios do Amazonas é diferente que comprar vacina para aplicar em um órgão do mesmo estado.
Logo, vejo os cadernos de logística como boas ferramentas de apresentação dos modelos, vantagens e diretrizes para cada um e dos indicadores de avaliação. Assim, órgão com modelos semelhantes poderiam validar seu desempenho.
Ou seja, esse conjunto de modelos e respectivas vantagens, diretrizes e indicadores que podem ajudar a promover mudanças em buscas de contratações mais eficientes.
https://comunidades.enap.gov.br/mod/forum/discuss.php?d=112#p322
