No XV Congresso Brasileiro de Informática em Saúde (CBIS) de 2016, realizado pela SBIS – Sociedade Brasileira de Informática em Saúde, a 2iM Inteligência Médica foi classificada como relato de caso com apresentação oral. Resolvemos adaptar o artigo inscrito no Congresso sob o título de “Avaliação de Desempenho de Especialidades Médicas através do Modelo e Software GPS.2im©” para um post que ora publicamos neste blog. Por haver se consolidado como uma poderosa ferramenta de avaliação de desempenho e, consequentemente, governança clínica, esta publicação visa aprofundar o conhecimento sobre a metodologia e o software e de seu alcance na gestão da qualidade em saúde.

Autores:

César Abicalaffe
Mestre em Economia da Saúde, Universidade de York, Inglaterra.

Rosane Helena Greiffo
Mestre em Engenharia Biomédica, Universidade Tecnológica Federal do Paraná, Brasil.

Angelo da Silva Cabral
Mestrando em Estatística, Universidade Federal do Paraná, Brasil.

Jovaldo Rodrigues Savian
MBA em Gestão Hospitalar, Centro Universitário Internacional, Paraná, Brasil.

César Augusto Miggiolaro
MBA, Gestão de Projetos, Universidade Positivo, Curitiba, Paraná, Brasil.

Resumo: Objetivo:

Apresentar a análise anual da avaliação de desempenho de especialidades médicas de um hospital privado no Brasil que utiliza a metodologia e o software GPS.2iM© para avaliação de seu corpo clínico. Método: O módulo de avaliação de desempenho gerado pelo software GPS.2iM© utiliza a comparação entre três indicadores: Índice de Performance, Variação de Desempenho e Variação de Melhoria das especialidades num período de 12 meses no ano de 2015. Resultados: A avaliação permitiu identificar as especialidades que tiveram resultados negativos e positivos em ambas as variações. Conclusão: A software GPS.2iM© se mostrou uma poderosa ferramenta de avaliação de desempenho e, consequentemente, governança clínica.

Palavras-chave:
Avaliação de Desempenho Profissional; Governança Clínica; Gestão em Saúde.

Introdução

Em todo mundo sistemas públicos e privados de saúde têm discutido estratégias para aprimorar a qualidade da atenção em saúde, visto que diversos estudos indicam a falta de qualidade como uma das mais importantes causas de falência dos sistemas de saúde (1-2).

O Institute of Medicine (IOM) defende que, em geral, a qualidade da saúde pode ser alcançada ao se atribuir destaque à três dimensões: qualidade clínica, atenção centrada no paciente e a eficiência na prestação dos serviços (3).

Programas que envolvem setores públicos e privados da saúde representam importantes movimentos pró-qualidade e consolidam a concepção de que a qualidade na assistência em saúde é um conceito multidimensional e a entrega de valor em saúde está ligada diretamente à qualidade; reforça que o custo é um componente da qualidade, portanto, fundamental de ser avaliado; e ainda infere que também o Brasil está envolvido, assim como vários outros países, em investir recursos para medir a qualidade dos serviços em saúde prestados (4-5-6).

Dentro desse contexto, a avaliação de desempenho em saúde tornou-se uma temática constante e relevante no fomento de discussões sobre a melhoria da qualidade do cuidado (7). De forma geral, avaliar o desempenho implica em analisar sistematicamente a atuação/performance do profissional/instituição/sistema de saúde em função das atividades que realiza, das metas estabelecidas e dos resultados alcançados (8-9).

Considera-se que um modelo ideal para gestão da performance em saúde deve ser: focado no paciente; encontrar-se estruturado nas dimensões da qualidade na saúde; estimular o comprometimento do médico ou prestador com o sistema em que está inserido; estimular estes profissionais com incentivos expressivos o suficiente para motivar mudanças na sua forma de prestar serviço; e criar o sentido de responsabilidade no cuidado à saúde que extrapola o momento do atendimento (10-11).

Guiada pelo princípio de aperfeiçoamento constante, a empresa 2iM desenvolveu uma solução, composta de modelo e software, para a Gestão da Performance em Saúde, que foi denominada de GPS.2iM©. Seu foco está na avaliação do desempenho de profissionais, prestadores e sistemas de saúde, a fim de nortear ações que conduzam à melhoria contínua da qualidade e possa buscar, também, o alinhamento do modelo aos projetos recentes discutidos no contexto brasileiro e propostos pelo Ministério da Saúde e pela Agência Nacional de Saúde Suplementar (ANS). Esta solução encontra-se em aplicação prática desde 2011 em mais de 20 clientes, entre eles hospitais e operadoras de planos de saúde e SUS.

Como parte da solução GPS.2iM© um dos módulos se refere ao de avaliação anual do desempenho após um ciclo mensal de monitoramento. Este módulo permite comparar o índice de performance (indicador composto que refere a qualidade) das especialidades e dos médicos com seus pares (variação de desempenho) e com ele mesmo ao longo do tempo (variação de melhoria). Este relatório anual é mais uma das ferramentas de apoio à gestão baseada em evidências e em robustos cálculos estatísticos. Portanto, o presente artigo tem por objetivo apresentar a análise anual da avaliação de desempenho de especialidades médicas de um hospital privado através do modelo e software GPS.2iM©.

Descrição do Modelo e Software de Avaliação GPS.2iM©

O modelo GPS.2iM© mostrou-se altamente aplicável em qualquer setor da saúde, e.g. planos de saúde, hospitais e o SUS, desde que suas premissas sejam seguidas. São elas: centralidade no paciente; avaliação multidimensional da qualidade através de indicadores agrupados nas dimensões de estrutura, eficiência, efetividade e experiência do paciente; uso de indicadores relevantes, sólidos cientificamente e viáveis; simplicidade para entendimento do processo de avaliação através de um número mínimo, mas relevante de indicadores; e um modelo de avaliação ético (9).

Para Implantação do modelo GPS.2iM©, estes preceitos são discutidos e assimilados durante a fase “Alinhamento Conceitual” que se estabelece entre o Comitê de Gestão por parte do Contratante e equipe técnica 2iM. Conforme apresentado na figura 1:

A fase denominada Modelagem consiste na definição dos indicadores simultaneamente à integração dos dados coletados e recebidos.

Para ponderação e agrupamento dos indicadores é necessário que estes sejam alocados nas principais dimensões de qualidade (estrutura, eficiência, efetividade e experiência do paciente). Estas dimensões devem ser ponderadas de acordo com o planejamento estratégico da instituição responsável pelo programa. Além disso, para que o processo de monitoramento e avaliação seja completo, cada indicador tem um respectivo parâmetro ou benchmark, denominado no modelo de “banda ideal”. Estas bandas são ajustadas, quando necessário, pelo risco assistencial dos pacientes atendidos, e um percentual do peso é definido e aplicado para formar um score do respectivo indicador. A soma dos scores individuais de cada indicador, recebe um valor, de 0 a 100, denominado Índice de Performance. Desta forma infere-se que este índice é a medida que traduz a qualidade da assistência prestada (9).

Em paralelo à construção dos indicadores acontece a extração de dados e importação no GPS.2iM©. São utilizadas diferentes fontes, tais como planilhas, arquivos texto, xml (Extensible Markup Language), dados de custo-utilização, dados de prontuário eletrônico, dados advindos de fontes externas como internet. Após reunir todos os dados necessários se inicia o processo de integração com os dados do ERP (Entreprise Resource Plannig). A captura e tratamento dos dados constituem a base de todo o processo avaliativo, transformando dados em informação.

A próxima etapa é executar os algoritmos de inteligência nestes dados, para processamento e cálculo dos indicadores. Todos os indicadores gerados são criticados em termos de relevância, solidez científica e viabilidade, seguindo o recomendado pelo NCQA (National Committee for Quality Assurance) (11).

Técnicas e ferramenta de “analytics” são utilizadas para este fim, exemplificado na figura 2:

A divulgação e monitoramento do desempenho acontece mensalmente, e a avaliação de desempenho é feita após um ciclo de monitoramento, geralmente no final de 12 meses. O modelo GPS.2iM© contempla um robusto software para agregação dos dados e geração dos scorecards para acesso, via internet, pelos avaliados e gestores. A figura 3 contém um exemplo de dashboard, ou painel de controle, que o avaliado tem acesso através de login e senha exclusivos.

Este painel, que é a tela inicial do avaliado ao acessar o sistema, apresenta informações rápidas e estratégicas, sempre referentes ao último mês do período configurado para a pesquisa. É possível visualizar o índice de performance, já comparando o avaliado com seus pares, o desempenho por domínio e o desempenho isolado de cada indicador num período de tempo. Além disso, o modelo fornece rastreabilidade dos dados que geraram o indicador (dados do numerador e denominador), cada indicador possui sua ficha técnica para que o profissional ou prestador avaliado entenda claramente o que e como é o seu processo de avaliação.

Ao clicar na opção “detalhes”, o avaliado tem acesso a todos os indicadores que compõem sua avaliação. A figura 4 traz um exemplo da performance do indicador “Média de Permanência por Especialidade”, cujos resultados do cálculo do indicador são de 20,29 dias para o mês de agosto de 2015 para a especialidade do avaliado. Este valor comparado com o benchmark do indicador, representa 60% da pontuação do mesmo, sendo que para atingir 100% da pontuação a especialidade necessitaria ter uma média de no máximo 7,74 dias para a sua especialidade.

Já a figura 5, refere-se a performance geral do avaliado comparado aos seus pares e sua média no período.

O acesso para Gestores permite a visualização de todos os programas eleitos pela instituição contratante, além de cada especialidade e avaliados separadamente e comparativamente. Também na tela inicial do Gestor, o software GPS.2iM© possibilita acesso à alertas e informações rápidas e estratégicas, tais como: Avaliados com menor performance dentro do período selecionado; Especialidades que ficaram abaixo da média proposta; Total de acessos ao programa entre outras. Estas informações são sempre referentes ao último mês do período configurado para a pesquisa, como demonstrado na figura 6:

Com o fim de ampliar as perspectivas do Modelo GPS.2iM© como ferramenta de apoio à gestão, o software também disponibiliza um módulo de avaliação anual aprimorada das especialidades. Esta análise, em especial, se fundamenta no cruzamento de informações referentes ao índice de performance geral do modelo comparada ao índice de performance das especialidades, e evidencia informações relativas à variação de desempenho e variação de melhoria das especialidades avaliadas ao longo do período em questão, no que é possível observar e comparar o desempenho geral aos níveis e agrupamentos das especialidades. A forma de análise e resultado do relatório são o produto deste artigo.

Métodos

A empresa 2iM conta hoje com pouco mais de 60 programas de avaliação de desempenho dispostos em mais de 20 clientes entre hospitais, operadoras de plano de saúde e SUS. Para a implementação deste artigo foi adotado como foco da pesquisa um hospital privado que já utiliza o modelo e software GPS.2iM© há mais de 3 anos.

Este hospital, membro da ANAHP, situa-se na região do estado de São Paulo, conta com aproximadamente 300 leitos distribuídos entre internação e Unidade de Terapia Intensiva, que se dividem no atendimento de 32 especialidades com acolhimento completo e integrado aos pacientes. Na tabela 1 é possível verificar a totalidade das especialidades oferecidas, bem como o quantitativo de médicos separados por especialidade avaliados de forma completa para fins dos resultados do artigo.

O hospital utiliza quatro programas GPS.2iM©, sendo eles: GPS.Enfermagem, GPS. Corpo Clínico, GPS.Equipes Hospitalares e GPS.Grupo de Desenvolvimento. Para elaboração deste estudo sobre variação de desempenho e variação de melhoria de especialidades médicas, foi escolhido o modelo GPS.Equipes Hospitalares. E o período de análise foi de janeiro a dezembro de 2015. Neste ano foram avaliadas as 32 especialidades oferecidas, sendo 7 clínicas e 25 cirúrgicas. Estiveram distribuídos dentro destas especialidades um total de 556 médicos no ano de 2015. Dentro das 32 especialidades foram definidos 45 indicadores, cuja análise conjunta determina o índice de performance das especialidades, sendo 7 indicadores de estrutura, 11 indicadores de eficiência, 16 indicadores de efetividade e 11 indicadores de satisfação, conforme apresentado na tabela 2.

Os dados utilizados nesta pesquisa são parte integrante do 2iM DB (Banco de Dados 2iM), os quais, conforme cláusula contratual assinada por todos os clientes, são desidentificados e compartilhados com demais dados com a mesma característica. Obedecendo rigorosamente o código de conduta da Empresa 2iM, em hipótese alguma será identificado nome de médicos, beneficiários, clientes e prestadores. Os dados acumulados no 2iM DB servirão para aplicação de análises estatísticas e epidemiológicas a fim de possibilitar o cálculo de padrões de comparações de índices nacionais em saúde permitindo assim, utilizar-se do mesmo para benchmark quando necessário.

Portanto, o artigo apresenta a análise anual da avaliação de desempenho de especialidades médicas de um hospital privado através do modelo e software GPS.2iM, fundamentando o relatório a partir da Variação de Desempenho e Variação de Melhoria.

Descrição do Método de Cálculo Utilizado para Avaliação de Desempenho Anual das Especialidade Médicas no Modelo GPS.2iM©

O conceito literal de desempenho diz respeito ao modo como alguém ou alguma coisa se comporta em relação ao todo levando-se em conta sua eficiência, seu rendimento. Portanto, assumiremos que Variação de Desempenho se refere à performance da especialidade avaliada em relação aos resultados do modelo e software GPS.2iM© no período de 12 meses. Já melhoria, tem conceito literal como sendo algum tipo de alteração que pode tornar algo melhor. Diante disso, assumiremos que Variação de Melhoria se refere à performance da especialidade avaliada em relação ao seu próprio desempenho dentro de um período de 12 meses. O método de cálculo descrito serve de modelo para revisão e melhoria do módulo de avaliação anual do modelo e software GPS.2iM©.

A análise foi gerada a partir de 3 indicadores compostos: Índice de Performance (IP), que representa a nota final e anual, de 0 a 100 do avaliado, conseguida a partir da composição dos diversos indicadores de desempenho; Variação de Desempenho (VD), que é performance da especialidade em relação ao benchmark (que se trata da meta definida pelo gestor, que neste caso foi de 75%); e Variação de Melhoria (VM), que é performance da especialidade em relação ao seu próprio desempenho. O modelo GPS.2iM© utiliza para a análise o cálculo adaptado da metodologia de avaliação CMS (Center for Medicare and Medicaid Services, EUA) (8) a partir das fórmulas:

Variação de desempenho: foi utilizada a taxa de variação relativa (em percentual), comparando o escore médio da especialidade no ano em relação ao escore médio do modelo, conforme Equação 1.

Variação de melhoria: foi realizada uma análise de regressão linear através do método de mínimos quadrados. Essa técnica procura encontrar a reta com a menor soma dos quadrados das diferenças entre os valores observados (pontos) e os valores estimados (reta), sendo, por esse motivo, a reta que melhor se ajusta aos dados a partir da Equação 2:

Esta fórmula permite identificar a taxa de variação relativa (em percentual) entre o primeiro e o último mês, mas avaliado em relação aos valores estimados pela reta, ao invés dos valores originais (pontos).

Resultados

O relatório anual, gerado pelo modelo e software GPS.2iM©, com informações sobre a variação de desempenho e variação de melhoria, analisadas separadamente e em conjunto, auxiliam o gestor na tomada de decisão relativa aos casos críticos, que neste artigo se referem à performance das especialidades médicas comparadas ao modelo de avaliação como um todo e também comparadas em relação ao seu próprio desempenho no período de 2015.

Esta análise permite, ainda, visualizar especialidades que tiveram resultados acima ou abaixo da média neste mesmo período e que merecem especial atenção por parte do Gestor.

No Modelo o Gestor visualiza dados referentes à variação de Desempenho, Variação de melhoria, performance mediana, e também qual o benchmark definido pela instituição. A partir disso são gerados os resultados da avaliação anual de desempenho, que são representados no gráfico 1.

Variação de Desempenho

Na análise de variação de desempenho, conforme dados apresentados no gráfico 3, percebe-se que apenas 4 especialidades avaliadas obtiveram resultados positivos para esta avaliação, sendo elas Reumatologia, Geriatria, Alergia e Imunologia, Coloproctologia. Outras duas especialidades apontaram resultados próximos de zero, Pneumologia e Cirurgia de Mão. Todas as demais, (26 especialidades), Mastologia, Endocrinologia, Oftalmologia, Cirurgia de Cabeça e Pescoço, Pediatria, Dermatologia, Cardiologia, Ortopedia e Traumatologia, Infectologia, Angiologia e Cirurgia Vascular, Gastroenterologia, Cirurgia Pediátrica, Hematologia e Hemoterapia, Cirurgia Plástica, Cirurgia Buco-Maxilo-Facial, Clínica Médica, Ginecologia e Obstetrícia, Neurocirurgia, Cirurgia Geral, Neurologia, Cirurgia Cardiovascular, Otorrinolaringologia, Neurologia, Cancerologia e Urologia, exibiram resultados negativos. Além disso, o gráfico revela que para as especialidades que apresentaram variação de desempenho negativa, também se observa performance mediana inferior às demais.

Estes dados induzem a pensar que estas 26 especialidades evidenciam desempenho inferior às demais quanto à performance geral da organização. Este relatório apresenta, ao gestor, o desempenho das especialidades no decorrer do período de 12 meses em 2015, permitindo para o ano seguinte uma reavaliação de sua atuação e conduta, compreensão das causas, assistenciais e administrativas, que possam ser responsáveis pelo baixo desempenho, e desenvolvimento de ações com o fim de estimular o alcance das metas estabelecidas e melhora de seu desempenho possibilitando o engajamento do avaliado.

Variação de Melhoria

Os resultados apontados para a avaliação referente à Variação de Melhoria, também contidas no gráfico 3, revelam uma tendência maior para valores positivos. Observa-se que das 32 especialidades avaliadas, 24 apresentaram valores proeminentes, com destaque para 4 delas que tiveram resultados entre 11% e 37%, são elas Mastologia (37%), Cirurgia de Cabeça e Pescoço (23%); Oftalmologia (16%) e Reumatologia (12%). As demais 20 especialidades (Cirurgia Geral, Geriatria, Coloproctologia, Cirurgia Cardiovascular, Endocrinologia, Nefrologia, Otorrinolaringologia, Angiologia e Cirurgia Vascular, Gastroenterologia, Cancerologia, Cirurgia Pediátrica, Cirurgia Plástica, Ginecologia e Obstetrícia, Dermatologia, Ortopedia e Traumatologia, Cirurgia de Mão, Cirurgia Torácica, Pneumologia, Urologia, Alergia e Imunologia). Outras 3 especialidades revelaram valores para variação de melhoria próxima de zero, são elas: Neurologia, Neurocirurgia e Clínica Médica. Já as demais 5 especialidades: Pediatria, Cardiologia, Hematologia e Hemoterapia, Cirurgia Buco-Maxilo-Facial e Infectologia exibiram resultados ineficientes, isto é, sem evolução ou decréscimo da variação de melhoria, entre 1% e 7% negativos.

Destes resultados, é possível considerar que 24 especialidades que apresentaram crescimento de seu índice de performance, progrediram quanto aos processos referentes ao gerenciamento clínico e assistencial, bem como na avaliação da experiência do paciente e ainda prestou uma atenção segura em termos mensuráveis.

Resultados Relativos à Análise Conjunta de Variação de Desempenho e Variação de Melhoria

Quando analisados conjuntamente os dados referentes à Variação de Desempenho e Variação de Melhoria é possível obter uma visão mais aprofundada das especialidades tidas como pontos críticos no relatório. Entre elas, definida como melhor exemplo, destaca-se a especialidade Mastologia, cuja variação de desempenho (avaliação da especialidade em relação ao modelo GPS.2iM©), apresentou o resultado negativo de maior relevância em relação ao modelo, no entanto, sua varação de melhoria, isto é, quando a especialidade foi avaliada quanto aos seus próprios resultados dentro do período em análise, obteve o maior resultado positivo neste quesito entre as especialidades avaliadas. No que fica destacado que a especialidade Mastologia tem melhorado significativamente seus próprios resultados.

Estas informações revelam ao gestor que, apesar desta especialidade ter demonstrado desempenho negativo em relação ao modelo, a especialidade tem atingido paulatinamente os objetivos propostos pela equipe para melhora da qualidade do serviço prestado. Outras especialidades nesta mesma condição são Neurocirurgia e Neurologia.

Dentro deste mesmo método de investigação, o relatório anual de desempenho, demonstrou que as especialidades Cirurgia Buco-Maxilo-Facial, Infectologia, Hematologia e Hemoterapia, Cardiologia e Pediatria apresentaram resultados negativos tanto na variação de desempenho quanto na variação de melhoria, estes dados permitem pensar que estas especialidades tiveram resultado inferior às demais quanto à média da performance alcançada por domínio e comportamento do desempenho atingido por indicador. Portanto, devem ser alvo de efetivo monitoramento, garantindo a busca por resultados uniformes em relação ao modelo e também quanto ao seu próprio desempenho.

O relatório anual de avaliação de desempenho, por meio de cruzamento e tratamento de dados suportados por cálculos estatísticos, consegue otimizar a grande quantidade de informações visualizadas e permite potencializar a análise do gestor e do próprio avaliado.

A análise anual possibilita uma reavaliação da atuação e conduta das especialidades, compreensão das causas assistenciais e administrativas responsáveis pelo baixo desempenho, e também o desenvolvimento de ações com o fim de estimular o alcance das metas estabelecidas para o benchmark.

Conclusão

A grande maioria das instituições hospitalares nacionais não coleta, mede e registra sistematicamente informações sobre a qualidade dos serviços, e caso o façam, raramente estes dados são analisados de forma conjunta e associada. No entanto, progressivamente os processos de avaliação da qualidade tem sido uma demanda, não apenas das agências acreditadoras, mas dos gestores hospitalares, utilizando esta avaliação como estratégia de governança clínica e engajamento do corpo clínico como estratégia de melhorias de eficiência e efetividade do hospital.

Mais do que um dever particular de um médico, de um gestor ou serviço de saúde, a busca contínua pela melhoria da qualidade exige um processo formal de monitoramento e avaliação. É consenso entre dirigentes da área da saúde a necessidade em adotar sistemas de informação para medição da qualidade e desempenho das equipes de saúde, no entanto, muitas iniciativas são frustradas em função da falta de sistemas integrados e focados na gestão da clínica e não apenas no faturamento, além da falta de um modelo adequado de medição. A solução GPS.2iM© propõem, a partir da integração de dados vindos de diferentes sistemas e planilhas, a utilização de um modelo baseado em evidência para criação de indicadores compostos agrupados nas dimensões da qualidade e o seu rigoroso e sistêmico acompanhamento para que sejam utilizados como ferramenta de avaliação de desempenho, governança clínica e para aplicação de incentivos baseado na performance e na entrega de valor assistencial.

O módulo de avaliação anual proposto no modelo, possibilita o cruzamento de informações sobre o índice de performance das equipes e dos avaliados, e as analisa de forma separada e também conjuntamente, através de dois tipos de variação: a de desempenho e a de melhora. O resultado desta avaliação, feita após um ciclo de monitoramento, que dura 12 meses, se caracteriza como importante ferramenta de apoio à gestão para a tomada de decisões e governança clínica, além de atender às demandas das principais acreditadoras do Brasil e do mundo.

Referências Bibliográficas

[1] Busse R, Nimptsch U, Mansky T. Measuring, monitoring, and managing quality in Germany’s hospitals. Health Aff (Millwood). Epub 2009, Mar-Apr;28(2):294-304.[1] Busse R, Nimptsch U, Mansky T. Measuring, monitoring, and managing quality in Germany’s hospitals. Health Aff (Millwood). Epub 2009, Mar-Apr;28(2):294-304.

[2] Ministério da Saúde (Brasil), Departamento de Monitoramento e Avaliação do SUS.Programa de avaliação para a qualificação do sistema único de saúde. Brasília, 2011.

[3] Institute of Medicine, Rewarding provider performance (aligning incentives in medicare), Washington, D.C., National Academies Press, 2007, 248 pp.

[4] Kotaka F, Pacheco ML, Higaki Y. Evaluation by users of hospitals which participate in the hospital quality program of the State of São Paulo, Brazil. Revista de Saúde Pública. 1997 Apr;31(2):171-7.

[5] Gestão de Performance em Saúde GPS.2iM©. White paper.(Brasil) Curitiba, novembro de 2013, 04-30 pp.[5] Gestão de Performance em Saúde GPS.2iM©. White paper.(Brasil) Curitiba, novembro de 2013, 04-30 pp.

[6] National Committee for Quality Assurance (NCQA). The healthcare effectiveness data an information set; HEDIS. Washington, 2010.

[7] Abicalaffe CL. Pagamento por performance: o desafio de avaliar o desempenho em saúde. DOC. Rio de Janeiro. 2015. 147 a 196 pp.

[8] Carvalho, FMA. Método constant market share. In: Santos, ML.; Vieira, WC. Métodos quantitativos em economia. Viçosa: UFV, 2004. cap. 8, p. 225-242.

[9] Abicalaffe CL. Pagamento por performance: o desafio de avaliar o desempenho em saúde. DOC. Rio de Janeiro. 2015. 147 a 196 pp.[9] Abicalaffe CL. Pagamento por performance: o desafio de avaliar o desempenho em saúde. DOC. Rio de Janeiro. 2015. 147 a 196 pp.

[10] Cintho, L.M.M. Machado, R.R. Moro, C.M.C. Métodos para Avaliação de Sistema de Informação em Saúde. J. Health Inform. 2016 Abril-Junho; 8(2):41-8

[11] National Committee for Quality Assurance (NCQA). HEDIS & Quality Measurement. Washington, 2011).