Vigência e desafios da Lei de Responsabilidade Fiscal, Jurimetria e Tribunais de Contas: um estudo quantitativo sobre o Tribunal de Contas do Município de São Paulo

Gilson Piqueras Garcia
Tribunal de Contas do Município de São Paulo – TCMSP, São Paulo, SP, Brasil

Publicado na revista Cadernos da Escola Paulista de Contas Públicas do TCESP -1 Sem. 2020 https://www.tce.sp.gov.br/epcp/cadernos/index.php/CM/article/view/109

RESUMO

O tema geral deste trabalho é a aplicação da Lei de Responsabilidade Fiscal (LRF) pelo Tribunal de Contas do Município de São Paulo (TCMSP).  O problema ou questão de pesquisa é: como tem sido aplicada a LRF no âmbito do TCMSP? O objetivo deste estudo é mostrar como a LRF tem sido aplicada pelo TCMSP, utilizando diferentes categorias analíticas, como o artigo da LRF mencionado no julgado, o tipo de processo e o órgão investigado. A hipótese que se pretende provar verdadeira é aquela na qual o uso da Jurimetria produz informações relevantes, tanto para o processo legislativo como para o planejamento de auditorias dos Tribunais de Contas. Esta é uma pesquisa exploratória, que utiliza metodologia quantitativa, a Jurimetria (Estatística aplicada ao Direito) e técnica documental. Os resultados mostram as proporções das diferentes categorias analíticas nos julgados do TCMSP que citam a LRF. A análise dos dados mostra que poucas categorias analíticas concentram grandes proporções do total. A principal conclusão é a que o estudo quantitativo da aplicação da LRF, por meio da Jurimetria, pode direcionar os esforços do processo de revisão legislativa e do planejamento de auditorias dos Tribunais de Contas, melhorando sua eficiência e eficácia.

Palavras-chave: Lei de Responsabilidade Fiscal. LRF. Jurimetria. Tribunais de Contas. Tribunal de Contas do Município de São Paulo. TCMSP.

ABSTRACT

The general theme of this work is the application of the Fiscal Responsibility Law (LRF) by the Court of Accounts of the Municipality of São Paulo (TCMSP). The research problem or question is: How has LRF been applied under the TCMSP? The purpose of this study is to show how the LRF has been applied by the TCMSP, using different analytical categories, such as the LRF article mentioned in the judgment, the type of case and the investigated entety. The hypothesis that is intended to prove true is that the use of Jurimetrics produces relevant information, both for the legislative process and for the planning of audits by the Courts of Accounts. This is an exploratory research, which uses quantitative methodology, Jurimetrics (Statistics applied to Law) and documentary technique. The results show the proportions of the different analytical categories in the TCMSP judgments that cite the LRF. The data analysis shows that few analytical categories concentrate large proportions of the total. The main conclusion is that the quantitative study of the application of the LRF, through Jurimetrics, can direct the efforts of the legislative review process and audit planning of the Courts of Accounts, improving its efficiency and effectiveness.

Keywords: Fiscal Responsibility Law. LRF. Jurimetrics. Courts od Accounts. Court of Accounts of the Municipality of São Paulo. TCMSP.

INTRODUÇÃO

No ano de 2020, estão sendo comemorados os 20 anos de vigência da Lei de Responsabilidade Fiscal (LRF). Houve, portanto, tempo suficiente para o desenvolvimento de um estudo quantitativo da aplicação da LRF pelos tribunais. O estudo da aplicação das leis pelos tribunais é fundamental, na medida em que é um instrumento de retroalimentação de informações, para o aperfeiçoamento da legislação. Produz também informação relevante na construção de matrizes de risco para planejamento de auditorias, o que melhora a eficiência e eficácia dos Tribunais de Contas, cada vez mais cobradas pela sociedade. Este estudo empírico é feito por meio da Jurimetria, que é a aplicação de métodos estatísticos ao Direito. Por meio dela é possível obter informações relevantes e científicas, fazer inferências sobre a população de julgados a partir de amostras, como a descrição de parâmetros populacionais e a existência de relações de causa e efeito, com uma probabilidade conhecida de certeza (nível de significância) e, também, com uma margem de erro conhecida. Nunes e Pereira (2013) analisam como o uso da Jurimetria pode melhorar a qualidade das leis:

Uma vez editada, a lei nova exige ainda um esforço adicional do Poder Judiciário e dos aplicadores do Direito, na sua interpretação e aplicação.
[…]
Por mais cautela que se tenha na elaboração de uma lei, ela sempre conterá um espaço de liberdade que deverá ser preenchido no momento de seu cumprimento. Os estudos empíricos do Direito, assim, assumem papel de grande relevância, pois permitem que saibamos como os cidadãos e os julgadores portam-se diante de uma lei já existente e como provavelmente se portarão frente a uma nova lei.
[…]
Um dos meios econômicos e rápidos para investigar essa realidade é a Jurimetria, disciplina que estuda o funcionamento da ordem jurídica através da Estatística, descrevendo as características do Direito em operação e inferindo associações capazes de explicar o comportamento e as reações dessa ordem. Fazendo uso de amostragens e estudos inferenciais, essa técnica é capaz de investigar grandes populações e identificar relações de associação e causalidade que elucidem as razões dos sucessos e fracassos de nossas práticas correntes. O plano concreto do Direito precisa ser estudado porque as decisões dos tribunais, os contratos e todos os atos diariamente criados aos milhares na ordem jurídica brasileira não são uma consequência mecânica da lei, mas constituem o resultado de um complexo e rico processo de coordenação de fatores jurídicos, sociais, econômicos e psicológicos, que contêm informações abundantes a respeito dos desafios a serem enfrentados pelos legisladores.

O objeto deste trabalho é aplicação da Lei de Responsabilidade Fiscal (LRF) pelo Tribunal de Contas do Município de São Paulo (TCMSP). A hipótese que se pretende provar verdadeira é a que o uso da Jurimetria produz informações relevantes, tanto para o processo legislativo como para o planejamento de auditorias dos Tribunais de Contas. A pergunta de partida é: como tem sido aplicada a LRF no âmbito do TCMSP? Este estudo se justifica na medida em que a análise da aplicação das leis é fundamental para o aperfeiçoamento do processo legislativo e para a melhoria da eficiência e eficácia dos Tribunais de Contas, pois pode contribuir para a construção de matrizes de risco baseadas em evidências para o planejamento de auditorias. O objetivo deste trabalho é mostrar como a LRF tem sido aplicada pelo TCMSP, utilizando diferentes unidades de análise como o artigo da LRF mencionado no julgado, o tipo de processo e o órgão investigado.

1 REFERENCIAL TEÓRICO

Tem sido observado um interesse cada vez maior pelos estudos empíricos do Direito. Como exemplo, pode-se mencionar a Society for Empirical Legal Studies (SELS), sediada na Cornell University Law School, que publica o Journal of Empirical Legal Studies (JELS).

A análise empírica do sistema jurídico tem uma longa tradição, ainda que irregular, na academia. Muitos realistas jurídicos da década de 1930 deixaram sua marca com estudos empíricos. Um número crescente de estudiosos contemporâneos reconhece o valor da análise empírica na compreensão do sistema jurídico e seu papel na sociedade. A JELS fornece uma saída para a publicação de trabalhos empíricos de alta qualidade, apoiando e incentivando esse crescente campo de estudo.

Atualmente, existe uma lacuna na literatura de ciências sociais e jurídicas que muitas vezes deixa acadêmicos, advogados e formuladores de políticas sem conhecimento básico dos sistemas legais ou com impressões falsas ou distorcidas. Até mesmo dados descritivos simples sobre o funcionamento dos tribunais e dos sistemas jurídicos geralmente faltam. A reforma e o debate intelectual procederam anteriormente em um vácuo empírico. Os tribunais e os advogados muitas vezes não sabem o que fazer das descobertas empíricas, em parte porque raramente as encontram. JELS preenche esta lacuna.

Chegou a hora de estudos empíricos do sistema jurídico. Com a explosão da tecnologia da informação, as fontes de dados no sistema jurídico estão melhorando em qualidade e acessibilidade. Em comparação com apenas alguns anos atrás, hoje os pesquisadores podem acessar facilmente os conjuntos de dados originais. (JOURNAL OF EMPIRICAL LEGAL STUDIES, 2020).

Na mesma linha, existe no Brasil a Revista de Estudos Empíricos do Direito (REED), publicada pela Escola de Direito de São Paulo, da Fundação Getúlio Vargas.

A Revista de Estudos Empíricos em Direito tem por missão fomentar uma cultura de pesquisa empírica no universo do Direito. Trata-se de uma revista acadêmica que objetiva, por meio da publicação de pesquisas empíricas e de reflexões teóricas sobre pesquisa, contribuir para uma maior abertura da academia jurídica a toda uma produção de diversas disciplinas que se debruçam sobre algum aspecto do Direito.
Há por detrás deste projeto a crença de que tanto o aporte de dados de pesquisa empírica quanto uma reflexão metodológica e epistemológica sobre esse tipo de pesquisa podem ser fatores de grande contribuição o avanço do conhecimento do Direito enquanto fenômeno social. (REVISTA DE ESTUDOS EMPÍRICOS DO DIREITO, 2.020).

Este movimento em direção ao campo empírico pode ser considerado uma revolução científica no Direito, talvez pela dificuldade de separar a figura do operador do Direito da figura do cientista, pois há séculos textos jurídicos sustentam suas teses em argumentos de autoridade ou reverencialismo, onde citações de juristas de renome seriam consideradas suficientes para confirmar hipóteses, ou ainda, estes textos recorrem ao manualismo, no qual a articulação de citações de clássicos da literatura jurídica, muitas vezes com discussões filosóficas, recorrendo apenas a elaborações da razão pura, sem evidências no mundo real, é considerada o bastante para poder afirmar que proposições são verdadeiras.

Em muitos destes textos, a Jurisprudência é utilizada para defender teses, normalmente pinçando uma ou poucas decisões no sentido defendido, sem se preocupar com evidência científica relevante e a real proporção destas decisões na população de julgados, que só pode ser obtida com estudos estatísticos. Conforme Oliveira (2004, p. 4):

Falando de uma maneira bem simples, uma coisa é um advogado elaborando um parecer, como foi dito. Outra coisa é um acadêmico sustentando uma tese. No primeiro caso, a  lealdade do parecerista é, principalmente, com o interesse do seu cliente; já a do mestrando ou doutorando deverá ser com a verdade.

A Jurimetria é o ramo dos estudos empíricos do Direito com abordagem quantitativa e que utiliza a Estatística para transformar dados empíricos em informações relevantes, com um nível de certeza (significância) e margem de erro conhecidos. O termo Jurimetria foi utilizado pela primeira vez em 1949, numa publicação do autor estadunidense, Lee Lovinger, que publicou posteriormente dois outros trabalhos clássicos sobre o tema (LOVINGER, 1949, 1961, 1963).

Advogados e juízes geralmente se empenham em tentar aplicar os princípios ou analogias de casos, estatutos e regulamentos a novas situações. Os cientistas geralmente estão envolvidos na coleta de dados experimentais e estatísticos e na análise matemática deles. Escritores sobre jurisprudência estão envolvidos na análise filosófica de conceitos e ideias jurídicas
[…]
A jurisprudência está envolvida em fazer perguntas como: Qual é a natureza da lei? Qual é o fim ou objetivo da lei? O que é propriedade? Por que as pessoas devem cumprir promessas? Por que devemos punir criminosos? Por que um homem deve ser responsabilizado por negligência? Essas são perguntas que buscam respostas definitivas, como o “Porquê” de uma criança curiosa. Essas não são perguntas que podem ser feitas ou respondidas por qualquer disciplina científica. Na medida em que existem respostas para perguntas como essas, as respostas são as de filosofia, ética, estética ou teologia. Em resposta a essas perguntas, o homem pode oferecer apenas especulação, preferência ou fé. As questões sem resposta da vida pertencem ao domínio da filosofia e a jurisprudência é a filosofia do Direito.

Por outro lado, na ciência, uma pergunta não tem sentido a menos que seja possível encontrar alguma operação pela qual uma resposta possa ser dada a ela. Embora a forma certamente não seja determinativa, é provável que as questões da ciência, em contraste com as da filosofia, sejam do “Como?” variedade: como você sabe disso? Como você faz isso? As questões da ciência não buscam respostas definitivas, mas apenas respostas imediatas, sujeitas a correção e modificação adicionais à medida que perguntas adicionais são formuladas’
[..]
Assim, o termo “Jurimetria” foi sugerido, e está ganhando algum uso, como designação para as atividades que envolvem investigação científica de problemas jurídicos.(LOEVINGER, 1949, p. 5-8).

Loevinger foi influenciado pela corrente Realismo Jurídico, originária dos Estados Unidos, que se preocupa com a aplicação da lei e suas consequências, o campo do ser, em oposição ao Positivismo, dominante na Europa continental, que se preocupa com aspectos abstratos, o campo do dever ser.

No Brasil, em 2011, foi fundada a Associação Brasileira de Jurimetria (ABJ). Seu presidente publicou uma das primeiras e mais influentes obras sobre Jurimetria (NUNES, 2016).

O que é Jurimetria?

Os avanços da computação possibilitaram uma nova forma de encarar as normas e a sua aplicação que se baseia em dados e, consequentemente, em Estatísticas. Por isso, ela pode ser genericamente definida como “a Estatística aplicada do Direito”.

Por outro lado, essa definição não esclarece aspectos práticos importantes. Quando se faz Jurimetria, busca-se dar concretude às normas e instituições, situando no tempo e no espaço os processos, os juízes, as decisões, as sentenças, os tribunais, as partes etc. Quando se faz Jurimetria, enxerga-se o Judiciário como um grande gerador de dados que descrevem o funcionamento completo do sistema. Quando se faz Jurimetria, estuda-se o Direito através das marcas que ele deixa na sociedade.

Por causa dessa relação direta com o funcionamento do judiciário, os agentes do Direito sempre podem se beneficiar de um diálogo com os jurimetristas. Se o jurista pergunta “Devemos começar o cumprimento de pena em segunda instância?”, o jurimetrista perguntará “Em quantos casos isso seria injusto?”. Se o tribunal questiona “Qual tipo de processo é mais complicado?”, o jurimetrista perguntará “Qual é o tipo de processo que demora mais?”. Se o advogado pergunta “Em quanto indenizar-se-á o dano moral?”, o jurimetrista perguntará “Quanto se pagou em casos similares?”.

Todos esses questionamentos são naturalmente quantitativos. (ASSOCIAÇÃO BRASILEIRA DE  JURIMETRIA, 2020)

2 METODOLOGIA

Esta pesquisa é exploratória, e quantitativa. A técnica utilizada neste estudo é a pesquisa documental com fonte primária. Foram pesquisados julgados na sessão de jurisprudência no sítio eletrônico do Tribunal de Contas do Município de São Paulo (TCMSP), usando-se a expressão Lei de Responsabilidade Fiscal. A pesquisa resultou numa população de 157 julgados. A partir dela, calculou-se uma amostra de 112 julgados, para fazer inferências com 95% de certeza e margem de erro de 5% sobre os parâmetros da população.

3 RESULTADOS

A Figura 1 mostra a primeira página do resultado da pesquisa na sessão de Jurisprudência do sítio eletrônico do TCMSP, com a expressão Lei de Responsabilidade Fiscal.

Figura 1 – Pesquisa no sítio eletrônico do TCMSP

Fonte: SÃO PAULO (2020)

A busca foi realizada em 15 de abril de 2020 e resultou numa população de 157 julgados do ano 2000 ao ano 2019. Em seguida, calculou-se o tamanho da amostra necessário para fazer inferências sobre os parâmetros populacionais com um nível de confiança de 95% e uma margem de erro de 5%. A Figura 2 mostra a fórmula utilizada.

Figura 2 – Cálculo do tamanho da amostra para proporções

Fonte: AGRONONIK; HIRAKATA, 2011, p. 383 apud LUVIZOTTO, GARCIA, 2020, p. 63.

Onde:
n: tamanho da amostra;
p: proporção esperada;
Z: valor da distribuição normal para determinado nível de confiança;
N: tamanho da população;
ε: margem de erro (tamanho do intervalo de confiança).

No presente estudo os valores são os seguintes:

p = 0,5
Z= 1,96 (para nível de confiança de 95%)
N = 157
ε = 0,05 (5%)

Conforme Agranonik e Hirakata (2011 apud LUVIZOTTO, GARCIA, 2020, p. 63), quando não existem proporções esperadas encontradas na literatura ou não foram realizados estudos piloto para estimar proporções, hipóteses deste estudo, a solução para o problema é supor que p = 0,5 (50%), levando a um valor da amostra a favor da segurança.

Em Suporte ao Minitab 19 (2019, apud LUVIZOTTO, GARCIA, 2020, p. 61) encontramos a definição de nível de confiança:

O nível de confiança representa a porcentagem de intervalos que iriam incluir o parâmetro populacional se você reunisse amostras da mesma população, repetidas vezes. Um nível de confiança de 95% normalmente funciona bem. Isso indica que, se você tiver coletado uma centena de amostras e tiver calculado 95% de intervalos de confiança, você esperaria que aproximadamente 95 dos intervalos contivessem o parâmetro populacional […]

A Figura 3 abaixo ilustra o conceito de nível de confiança, onde µ é o parâmetro referente à média populacional.

Figura 3 – Nível de Confiança

Fonte: SUPORTE AO MINITAB 19, 2019 apud LUVIZOTTO, GARCIA, 2020, p. 62.

A linha horizontal representa o valor fixo da média desconhecida da população. Os intervalos de confiança verticais sobrepostos à linha horizontal contêm o valor da média da população. O intervalo de confiança totalmente abaixo da linha horizontal não contém esse valor. Um nível de confiança de 95% indica que 19 em 20 amostras (95%) da mesma população produzem intervalos de confiança contendo o parâmetro da população (SUPORTE AO MINITAB 19, 2019 apud LUVIZOTTO, GARCIA, 2020, p. 62).

Correa (2003, p. 97) define intervalo de confiança:

A estimação por pontos de um parâmetro não possui uma medida do possível erro cometido na estimação, daí surge a ideia de construir os intervalos de confiança, que são baseados na distribuição amostral do estimador pontual.

Uma maneira de expressar a precisão da estimação é estabelecer limites que, com certa probabilidade, incluam o verdadeiro valor do parâmetro da população. Esses limites são chamados “limites de confiança”: determinam um intervalo de confiança, no qual deverá estar o verdadeiro valor do parâmetro. Logo, a estimação por intervalo consiste na fixação de dois valores tais que (1 – α) seja a probabilidade de que o intervalo, por eles determinado, contenha o verdadeiro valor do parâmetro.

O resultado obtido, aplicando a equação da Figura 2, foi n = 112. Em seguida, foi selecionada uma amostra aleatória simples (AAS), por meio de números aleatórios, de 112 julgados da população de 157 julgados encontrados no sítio do TCMSP sobre a LRF. Utilizando esta amostra, estimamos vários parâmetros (proporções) da população. Como o tamanho da amostra foi calculado a favor da segurança, a margem de erro (ε) de 5% se refere a proporções acima de 20%. Para proporções menores a margem de erro é menor, conforme Tabela 1.

Tabela 1 – Margem de erro (ε) em função da proporção (p) ou frequência relativa (%)

Fonte: do autor.

A Tabela 2 mostra a frequência absoluta e relativa (%) de citação de diversos artigos da LRF nos julgados do TCMSP em que a LRF foi mencionada. Os totais das frequências absolutas e relativas são diferentes, respectivamente, do tamanho da amostra (112) e de 100% porque nem todos os julgados citam artigos da LRF e alguns julgados citam mais de um artigo.

Tabela 2 – Frequência absoluta e relativa (%) de citações de artigos da LRF em julgados do TCMSP em que a LRF foi mencionada.

Fonte: do autor

A Tabela 3 mostra a frequência absoluta e relativa (%) do tipo de processo nos julgados do TCMSP em que a LRF mencionada.

TABELA 3 – Frequência absoluta e relativa (%) do tipo de processo nos julgados do TCMSP em que a LRF foi mencionada.

Fonte: do autor

O número total de julgados (população) do sítio eletrônico do TCMSP é de 9.608. A Tabela 4 apresenta as frequências absolutas e relativas (%), na população total do TCMSP, dos três tipos de processo mais frequentes da Tabela 3.

Tabela 4 – Frequências absolutas e relativas (%) de tipos de processo na população total de julgados do TCMSP

Fonte: do autor

A Tabela 5 mostra a frequência absoluta e relativa (%) dos órgãos investigados em julgados do TCMSP em que a LRF foi mencionada. Os totais das frequências absolutas e relativas são diferentes, respectivamente, do tamanho da amostra (112) e de 100% porque na Tabela 5 foram listados apenas os órgãos com três ou mais observações.

Tabela 5 – Frequência absoluta e relativa (%) dos órgãos investigados nos julgados do TCMSP em que a LRF foi mencionada.

Fonte: do autor

A Tabela 6 apresenta as frequências absolutas e relativas (%), na população total de julgados do TCMSP, dos cinco órgãos mais frequentes da Tabela 5.

Tabela 6 – Frequências absolutas e relativas (%) de órgãos na população total de julgados do TCMSP.

Fonte: do autor

A Figura 4 mostra a quantidade por ano de julgados do TCMSP em que a LRF foi mencionada.

Figura 4 – Quantidade por ano de julgados do TCMSP em que a LRF foi mencionada.

Fonte: do autor

A Tabela 7 mostra a frequência absoluta e relativa (%) de processos quanto à regularidade nos julgados do TCMSP em que a LRF foi mencionada. É importante ressaltar que a maioria destes julgados, além de irregularidades em relação a LRF, decide sobre irregularidades em relação a outras normas. Além disto, existem processos que não têm como objeto o julgamento de irregularidades.

Tabela 7 – Frequência absoluta e relativa (%) de processos quanto à regularidade nos julgados do TCMSP em que a LRF foi mencionada.

Fonte: do autor

A Tabela 8 mostra a frequência absoluta e relativa (%), quanto à votação de julgados do TCMSP em que a LRF foi mencionada.

Tabela 8 – Frequência absoluta e relativa (%), quanto à votação de julgados do TCMSP em relação à LRF.

Fonte: do autor

A Tabela 9 mostra a frequência absoluta e relativa (%) de julgados com citações das leis federais 8.666 e 4.320 em que a LRF foi mencionada.

Tabela 9 – Frequência absoluta e relativa (%) de julgados com citações das leis federais 8.666/93 e 4.32/64 do TCMSP em que a LRF foi mencionada.

Fonte: do autor

4 ANÁLISE DOS RESULTADOS

A LRF trata do papel dos Tribunais de Contas na Seção VI, Da Fiscalização da Gestão Fiscal:

Art. 59. O Poder Legislativo, diretamente ou com o auxílio dos Tribunais de Contas, e o sistema de controle interno de cada Poder e do Ministério Público, fiscalizarão o cumprimento das normas desta Lei Complementar, com ênfase no que se refere a: (Vide ADIN 2324)

I – atingimento das metas estabelecidas na lei de diretrizes orçamentárias;

II – limites e condições para realização de operações de crédito e inscrição em Restos a Pagar;

III – medidas adotadas para o retorno da despesa total com pessoal ao respectivo limite, nos termos dos arts. 22 e 23;

IV – providências tomadas, conforme o disposto no art. 31, para recondução dos montantes das dívidas consolidada e mobiliária aos respectivos limites;

V – destinação de recursos obtidos com a alienação de ativos, tendo em vista as restrições constitucionais e as desta Lei Complementar;

VI – cumprimento do limite de gastos totais dos legislativos municipais, quando houver.

• 1o Os Tribunais de Contas alertarão os Poderes ou órgãos referidos no art. 20 quando constatarem:

I – a possibilidade de ocorrência das situações previstas no inciso II do art. 4o e no art. 9o;

II – que o montante da despesa total com pessoal ultrapassou 90% (noventa por cento) do limite;

III – que os montantes das dívidas consolidada e mobiliária, das operações de crédito e da concessão de garantia se encontram acima de 90% (noventa por cento) dos respectivos limites;

IV – que os gastos com inativos e pensionistas se encontram acima do limite definido em lei;

V – fatos que comprometam os custos ou os resultados dos programas ou indícios de irregularidades na gestão orçamentária.

• 2o Compete ainda aos Tribunais de Contas verificar os cálculos dos limites da despesa total com pessoal de cada Poder e órgão referido no art. 20.
• 3o O Tribunal de Contas da União acompanhará o cumprimento do disposto nos §§ 2o, 3o e 4o do art. 39. (BRASIL, 2000).

Na Tabela 2, é possível observar que, dos sete artigos citados no artigo 59 da LRF, nenhum artigo tem um percentual importante de observações (artigo 4º, 4,5%; artigo 9º, 2,7%; artigo 59, 0,9%; artigos 20, 22, 23, 31 e 39, 0%). O próprio artigo 59 tem apenas uma observação (0,9%). Isto pode indicar a atenção dos jurisdicionados do TCMSP com os artigos da LRF passíveis de fiscalização pelos Tribunais de Contas.

O Manual de Fiscalização do TCMSP tem um item específico com relação à LRF:

6.10. Acompanhamento da LRF

Efetuar os acompanhamentos da Lei de Responsabilidade Fiscal verificando:
– se a arrecadação até o fim de cada bimestre alcançou a previsão constante das metas bimestrais (art.13 da LRF), procedendo ao alerta (art. 59, I, da LRF), em caso negativo;
[…]
– se as despesas com pessoal encontram-se dentro do limite previsto (artigos 18 a 20 da LRF);
– se as publicações exigidas (artigos 52 a 55 da LRF) foram efetuadas no prazo e na forma exigida pela Secretaria do Tesouro Nacional e se houve divulgação em meio eletrônico. (SÃO PAULO, 2016, p. 63).

Na Tabela 2, é possível observar que, dos nove artigos citados no Manual de Fiscalização do TCMSP, apenas o artigo 18 tem um percentual importante de observações (22,3%). Os outros oito artigos têm um baixo percentual de observações (artigo 55, 3,6%; artigo 54, 2,7%; artigos 52 e 53, 1,8%; artigo 59, 0,9%; artigos 13, 19 e 20, 0%). O artigo 18 não está entre aqueles que a LRF no seu artigo 59 menciona explicitamente como passíveis de fiscalização pelos Tribunais de Contas, o que pode ser causa do seu alto percentual de observações.

A LRF tem 75 artigos, mas apenas 26 foram encontrados na busca, conforme pode ser observado na Tabela 2. Dos 26 artigos citados, apenas dois (16 e 18) são responsáveis por quase metade (42,8%) das citações. Se forem considerados os outros cinco artigos mais citados (4, 42, 50, 55 e 72), chega-se a mais de dois terços (67,1%) das citações.

O artigo 18, Capítulo IV – Da Despesa Pública, Seção II – Das Despesas com Pessoal, Subseção I – Definições e Limites, é citado em 22,3% dos julgados. Dos 25 julgados que citam o artigo 18, 16 (64%) se referem ao tipo de processo análise de licitação ou contrato. Outros cinco (20%) se referem ao tipo de processo balanço. Portanto, dois tipos de processo concentram 84% das ocorrências. Ainda, dos 25 julgados, 11 (44%) se referem à Secretaria Municipal de Educação (SME) como órgão investigado e cinco (20%) à Prefeitura Municipal de São Paulo (PMSP). Dois órgãos concentram, portanto, 64% dos julgados. É importante observar que os cinco julgados referentes ao tipo de processo balanço são os mesmos, cujo órgão investigado é a PMSP.

O artigo 16, Capítulo IV – Da Despesa Pública, Seção I – Da Geração de Despesa, apesar de não citado no Manual de Fiscalização do TCMSP, é responsável por ter irregularidades investigadas em 20,5% dos julgados: dos 23 julgados que citam o artigo 16, 10 (43,5%) se referem ao tipo de processo análise de licitação ou contrato e outros sete (30,4%) se referem ao tipo de processo acompanhamento de licitação ou contrato. Pode ser observado, portanto, que apenas dois tipos de processo concentram 73,9% dos julgados que citam o artigo 16.

Usando uma abordagem indutiva, isto é, caminhando do polo empírico para o polo teórico, por meio de pesquisa bibliográfica, foram encontrados dois trabalhos (GARCIA, 2007 e OLIVEIRA, 2010) os quais discutem exclusivamente o artigo 16 da LRF e um trabalho (DI PIETRO, 2015) o artigo 18, isto reforça o indício de que se trata de dois artigos polêmicos, os quais devem ser estudados com maior profundidade.

Na Tabela 3, pode ser observado que apenas três tipos de processo (análise, balanço e acompanhamento) são responsáveis por 73,1% dos julgados do TCMSP que citam a LRF. Das Tabelas 3 e 4, podem ser comparadas as percentagens por tipo de processo entre os julgados da LRF e a população total de julgados. Enquanto para as análises (34,8% e 36,4%) e acompanhamentos (14,2% e 15,5%), os valores são muito próximos (diferença inferior a 2%), para os balanços a percentagem é quase oito vezes maior nos julgados que citam a LRF (24,1% e 3,1%).

Na Tabela 5, pode ser observado que apenas cinco tipos de órgão (CMSP, PMSP, SME, SSO e SMC) são responsáveis por 55,4% dos julgados que citam a LRF. Das Tabelas 5 e 6, podem ser comparadas as percentagens por órgão entre os julgados que citam a LRF e a população total de julgados. Enquanto para a SME (12,5% e 11,4%) os valores são muito próximos (diferença inferior a 2%), para os outros órgãos (CMSP, PMSP, SSO e SMC) a percentagem é muito maior nos julgados que citam a LRF. Por isto, enquanto os cinco órgãos mais frequentes na LRF representam um percentual 55,4%, na população total de julgados este percentual cai para 19,4%.

Os resultados apresentados na Tabela 2 mostram como a LRF tem sido aplicada no TCMSP, o que é o objetivo deste trabalho. Informações deste tipo, se pesquisadas em todos os Tribunais de Contas, são de vital importância no processo legislativo, ao se proceder à revisão da LRF.

As Tabelas 2 a 6 mostram resultados que têm informações vitais para a construção de matrizes de risco no planejamento de auditorias, o que melhora a eficiência e eficácia dos Tribunais de Contas. De fato, ao saber os artigos mais citados, os tipos de processo mais presentes e os órgãos mais investigados, quando se analisam julgados que citam a LRF, os Tribunais de Contas podem direcionar os recursos escassos de auditoria para zonas de maior risco.

Os resultados apresentados nas Tabelas 2 a 9 e na Figura 4 podem ser utilizados em estudos qualitativos posteriores, nos quais a teoria do Direito talvez possa explicar estes resultados. Também, estudos quantitativos (jurimétricos) posteriores poderão investigar, por meio de Inferência Estatística (testes de hipóteses), relações de dependência entre as diversas categorias analíticas presentes nas tabelas (artigo da LRF citado, tipo de processo, órgão investigado, ano do processo, regularidade, votação e menção a outras leis federais).

CONSIDERAÇÕES FINAIS

O objetivo deste trabalho foi atingido, uma vez que os resultados mostraram como a LRF tem sido aplicada no TCMSP, o que respondeu à pergunta de partida. Os resultados apresentados são relevantes tanto para o aperfeiçoamento do processo legislativo como para a construção de matrizes de risco no planejamento de auditorias dos Tribunais de Contas, contribuindo para melhorar sua eficiência e eficácia, o que prova que a hipótese inicial é verdadeira.

Este é um estudo exploratório. Sua limitação é ser apenas quantitativo. Ele responde a perguntas do tipo “Como?”. Por isto, ele pode ser um ponto de partida para trabalhos qualitativos posteriores. Eles responderão a perguntas do tipo “Por quê?”. Por que os artigos 16 e 18 são muito mais citados do que os outros nos julgados do TCMSP que mencionam a LRF? Por que apenas dois tipos de processo (análise e balanço) e dois órgãos investigados (SME e PMSP) concentram a maioria dos julgados em que o artigo 18 é citado? Por que apenas dois tipos de processo (análise e acompanhamento) concentram a maioria dos julgados em que o artigo 16 é citado? Por que a proporção de balanços e de quatro órgãos investigados (CMSP, PMSP, SSO e SMC) é muito maior nos julgados que citam a LRF do que na população geral de julgados? Por que o número de julgados do TCMSP que citam a LRF tem crescido ao longo do tempo?

Uma discussão qualitativa, ligando os resultados empíricos deste trabalho com a Teoria do Direito, poderá colocar luz sobre estas questões. O papel da pesquisa quantitativa Estatística em Direito, ou Jurimetria, é descrever como tem sido sua aplicação, para indicar pontos relevantes para a Teoria fornecer explicações.

REFERÊNCIAS BIBLIOGRÁFICAS

ASSOCIAÇÃO BRASILEIRA DE JURIMETRIA. O que é Jurimetria. Disponível em: https://abj.org.br/o-que-e-Jurimetria/ Acesso em: 10 maio 2010.

BRASIL. Lei Complementar n. 101. Estabelece normas de finanças públicas voltadas para a responsabilidade na gestão fiscal e dá outras providências. Brasília, 4 maio 2000.

CORREA, S.M.B.B. Probabilidade e Estatística. 2ª ed. Belo Horizonte: PUC Minas Virtual, 2003.

DI PIETRO, M. S. Z. Terceirização municipal em face da Lei de Responsabilidade Fiscal. Fórum de Contratação e Gestão Pública – FCGP. Belo Horizonte, ano 14, n. 161, p. 36-44, maio 2015.

GARCIA, F. A. O Art. 16 da Lei de Responsabilidade Fiscal e o seu Impacto na Fase Interna das Contratações Administrativas Revista de Direito Administrativo. Fundação Getúlio Vargas. Rio de Janeiro, v. 244, p. 125-136, 2007.

JOURNAL OF EMPIRICAL LEGAL STUDIES. Disponível em: https://onlinelibrary.wiley.com/page/journal/17401461/homepage/productinformation.html. Acesso em: 10 maio 2010.

LOEVINGER, L. Jurimetrics: The Next Step Forward. Minnesota Law Review, v.33, p.455-493, abr. 1949.

LOEVINGER, L. Jurimetrics: The Methodology of Legal Inquiry. Law and Contemporary Problems. p. 5-35, 1963. Disponível em: https://scholarship.law.duke.edu/lcp/vol28/iss1/2. Acesso em 07. Jan. 2020.

LOEVINGER, L. Jurimetrics: Science and Prediction in the Field of Law. Minnesota Law Review, p. 255-275, 1961.

LUVIZOTTO, C. L.; GARCIA, G. P. A Jurimetria e sua aplicação nos tribunais de contas: análise de estudo sobre o Tribunal de Contas da União (TCU). Revista Controle. Fortaleza, v. 18, n. 1, p. 46-73, jan./jun. 2020.

NUNES, M. G.. Jurimetria: como a Estatística pode reinventar o Direito. São Paulo: Revista dos Tribunais, 2016.

NUNES, M. G.; RAMOS, A. L. C. Estratégias para um ordenamento jurídico mais inteligível, barato e eficaz. JOTA, 04 dez. 2018. Disponível em: https://www.jota.
info/especiais/estrategias-para-um-ordenamento-juridico-mais-inteligivel-barato-e-eficaz-04122018. Acesso em: 21 ago. 2019.

OLIVEIRA, A. S. Lei de Responsabilidade Fiscal: art. 16. Subsídios para Interpretação. Revista Controle. Fortaleza, v. 8, n. 1, p. 109-118, set. 2010.

OLIVEIRA, L. Não fale do Código de Hamurábi! A pesquisa sócio-jurídica na pós-graduação em Direito. In: OLIVEIRA, L. Sua Excelência o Comissário e outros ensaios de Sociologia jurídica. Rio de Janeiro: Letra Legal, 2004, p. 1-26.

REVISTA DE ESTUDOS EMPÍRICOS DO DIREITO. Disponível em: https://reedrevista.org/reed/about. Acesso em: 10 maio 2010.

SÃO PAULO. Tribunal de Contas do Município de São Paulo. Manual de Fiscalização. São Paulo, versão 3, 20 jun. 2016.

SÃO PAULO. Tribunal de Contas do Município de São Paulo. Disponível em: https://portal.tcm.sp.gov.br/Acordao/Index. Acesso em: 15 abr. 2020.