1 Análise de Insumo-Produto Multirregional (MIOM)

A principal novidade da versão 1.0.0 é a introdução dos modelos de Insumo-Produto Multirregional (MIOM). Isso permite que analistas vão além das economias individuais e estudem as interdependências entre diferentes nações ou regiões.

A nova classe miom() cria um modelo multirregional que herda toda a performance e funcionalidade da classe iom() de região única, adicionando ferramentas especializadas para análise regional:

• Comércio Bilateral: Extraia facilmente fluxos comerciais entre regiões específicas.
• Multiplicadores Regionais: Calcule multiplicadores intra-regionais, inter-regionais e de transbordamento (spillover).
• Medidas de Interdependência: Quantifique o quanto as regiões dependem umas das outras.

Veja abaixo como você pode analisar as interdependências do comércio global usando o conjunto de dados world_2000 (que agora faz parte do pacote complementar {fiodata}):

library(fio)

# Carrega o conjunto de dados mundial multirregional
miom_world <- fiodata::world_2000

# Obtém o comércio bilateral do Brasil para a China
miom_world$get_bilateral_trade("BRA", "CHN")[1:5, 1:2]
#>                                                BRA_Agriculture, Hunting, Forestry and Fishing
#> CHN_Agriculture, Hunting, Forestry and Fishing                                    0.868486382
#> CHN_Mining and Quarrying                                                          0.677175460
#> CHN_Food, Beverages and Tobacco                                                   0.784219678
#> CHN_Textiles, leather and footwear                                                0.137408834
#> CHN_Pulp, paper, printing and publishing                                          0.003052195
#>                                                BRA_Mining and Quarrying
#> CHN_Agriculture, Hunting, Forestry and Fishing              0.001110208
#> CHN_Mining and Quarrying                                    1.703217354
#> CHN_Food, Beverages and Tobacco                             0.005707213
#> CHN_Textiles, leather and footwear                          0.129627291
#> CHN_Pulp, paper, printing and publishing                    0.015560710

# Calcula a interdependência regional
miom_world$get_regional_interdependence() |> head()
#>   country self_reliance total_spillover_out total_spillover_in
#> 1     AUS      1.968515           0.3168527        0.006511634
#> 2     AUT      1.614535           0.4900724        0.004048698
#> 3     BEL      1.649908           0.7652207        0.011148228
#> 4     BRA      1.918948           0.2328115        0.004065824
#> 5     CAN      1.650380           0.4280919        0.007634451
#> 6     CHN      2.342241           0.2867934        0.016735715
#>   interdependence_index
#> 1             0.1609602
#> 2             0.3035377
#> 3             0.4637960
#> 4             0.1213225
#> 5             0.2593898
#> 6             0.1224440

Para uma visão completa sobre a classe miom e seus métodos, confira a vignette: Análise Multirregional de Insumo-Produto.

2 Fechando o Modelo

Modelos de insumo-produto são tradicionalmente “abertos”, tratando as famílias e o governo como externos ao sistema de produção. A versão 1.0.0 introduz o método close_model(), que permite “internalizar” esses setores.

Ao mover o consumo das famílias ou do governo da demanda final para a matriz de transações intermediárias, você pode capturar melhor os efeitos “induzidos” de choques econômicos — por exemplo, como um aumento na produção leva a salários mais altos, que por sua vez estimulam mais consumo.

iom_br <- fiodata::br_2020

# Fecha o modelo para o consumo das famílias
iom_br$close_model("household")

# Os coeficientes técnicos e multiplicadores agora incluem os efeitos induzidos
iom_br$compute_tech_coeff()
iom_br$compute_leontief_inverse()
iom_br$compute_multiplier_output()

3 Acesso Direto a Dados

Para facilitar ainda mais o início de sua análise, adicionamos download_wiod(). Esta função permite baixar tabelas da World Input-Output Database (WIOD) diretamente de sua fonte oficial e carregá-las no R. Combinado com a velocidade de processamento do {fio}, isso reduz significativamente o tempo entre a coleta de dados e a obtenção de insights.

Para um exemplo completo sobre como trabalhar com dados do WIOD, confira a vignette: Trabalhando com WIOD.

4 {fiodata}

À medida que o pacote cresceu, os conjuntos de dados integrados atingiram um tamanho que excedeu as recomendações do CRAN. Para manter o {fio} leve e rápido de instalar, movemos os conjuntos de dados (br_2020 e world_2000) para um pacote complementar separado: {fiodata}.

Ao instalar o {fio}, instale também o {fiodata} para acompanhar nossos exemplos e acessar os conjuntos de dados:

install.packages("fiodata")

5 Agradecimentos

Este lançamento não seria possível sem o robusto ecossistema de pacotes R e Rust. Agradecimentos especiais aos desenvolvedores dos projetos extendr e faer, que fornecem a base para a arquitetura híbrida do {fio}.

Para uma lista completa de mudanças, consulte o arquivo NEWS.md. Bons estudos!

1 A ECONOMIA COMO CIÊNCIA EXATA

Ainda em sua introdução, os autores argumentam sobre a posição da ciência econômica como ciência exata ou humana:

A primeira pergunta que surge na mente do leigo é se a economia trata-se de ciência exata ou ciência do campo das chamadas humanidades (ciências humanas). Se tivéssemos de escolher entre um enquadramento ou outro, diríamos que a economia pertence ao campo das ciências humanas. No entanto, ela ocupa uma posição especial dentre as ciências humanas: uma parte das contribuições científicas dos economistas acadêmicos utiliza-se do método das ciências exatas. Assim, pode-se afirmar seguramente que há um campo exato no âmbito das investigações feitas pelos economistas. Nem todos os estudos oferecidos pelos economistas, no entanto, afiguram-se um esforço em ciência exata. Mas uma parte importante deles, aliás, a mais expressiva, emprega os métodos matemáticos rigorosos típicos das ciências naturais exatas que têm na física o modelo central.

Esses métodos exatos teriam como objeto as normas sociais, reforçadas nas leis penais, que “englobam todo tipo de comportamento regular e padronizado, igual para todos os indivíduos dentro de um grupo”. Entretanto, os próprios autores reconhecem o alcance limitado da ciência econômica no estudo dessas normas sociais:

Para o economista, basta uns poucos tipos de instituições, vistas como tipos estilizados, como a propriedade privada (que induz os agentes a respeitarem direitos de propriedade e contratos) e o agente otimizador (que maximiza utilidade ou lucro), ou então o comunismo (que os coage a aceitarem a propriedade coletiva) e o agente cooperador. Boa parte do trabalho teórico do economista remete a uns poucos tipos de instituições sociais. Para o paradigma da economia teórica, interessa o agente otimizador.

Questiono, primeiramente, se há coerência em tentar especificar um campo exato dentro de uma ciência humana como fizeram os autores. Não digo com isso que não existem, pelo menos no horizonte da experiência humana em que nos encontramos, leis no âmbito das humanidades — elas não só existem, como são estudadas por filósofos e representadas na arte¹ ao longo das eras. Da maior delas, Sêneca já tratava em suas cartas a seu sogro Paulinus:

A maior parte dos mortais, Paulino, lamenta a maldade da Natureza, porque já nascem com a perspectiva de uma curta existência e porque os anos que lhes são dados transcorrem rápida e velozmente. De modo que, com a exceção de uns poucos, para os demais, em pleno esplendor da vida é que justamente esta os abandona. (Sêneca 2008)

O tempo do indivíduo é restringido aos seus sempre insuficientes anos; seu lugar no universo, confinado em um única rocha em meio à infinitude do cosmos; preso ao chão pela gravidade; cativo à superfície pelo próprio ar; refém da necessidade de consumir. Entretanto, esse consumo que menciono não se refere à ideia de economia de troca que alguns téoricos colocam como ordenação natural e espontânea que independe do espaço social, da historicidade e das especificidades de cada sociedade. Me refiro unicamente ao alimento que todo animal precisa para sobreviver. Esse é, de fato, o consumo que é lei natural. A adoção do comportamento maximizador como lei natural representa uma dentre as várias generalizações e extrapolações dessa natureza que são o centro da crítica ao paradigma, não a matematização em si.

Quando os autores colocam que o objeto dos métodos exatos na economia são “todo tipo de comportamento regular e padronizado, igual para todos os indivíduos dentro de um grupo”, eles falham em enxergar que há pouquíssimos desses comportamentos regulares e padronizados. O comportamento regular é: o homem busca alimento para sobreviver. Já o homem conhece o preço de equilíbrio do alimento e irá demandá-lo mais se ele estiver abaixo desse preço não é uma lei natural. Se o mecanismo de convergência ao equilíbrio macroeconômico é todo ancorado no microfundamento do comportamento padronizado racional, a macroeconomia do paradigma já se torna frágil e qualquer desenvolvimento e conclusão obtida a partir daí, seja lá o quanto complexo e matematicamente avançado o seja, será viesada.

Há de se enfatizar que o paradigma não está sozinho nessas extrapolações. Por exemplo, Keynes padroniza o comportamento humano com o animal spirit; Hayek supõe a invariabilidade do espírito humano e a universalidade, no espaço e no tempo, das leis que regem a economia em uma sociedade qualquer. Barbieri e Feijó (2013) vão pelo mesmo caminho ao defender a existência de uma realidade objetiva que é separada do sujeito que a investiga:

Há algo além de um exercício puramente mental envolvido no trabalho do cientista social, pois viceja uma realidade objetiva que deve ser racionalmente estudada. Assim como nas ciências naturais, no campo da investigação social também se deve separar o conhecimento que se formula dos fatos, por um lado, da realidade externa e objetiva em si mesma, por outro. Com isso, a tradicional separação entre as ideias que se elaboram sobre a realidade e essa realidade em si mesma estende-se também para o domínio da ciência social. A separação, usual nas ciências físicas, entre sujeito e objeto, parcialmente violada apenas na mecânica quântica, também se aplica ao campo dos estudos sociais.

A existência de uma única realidade objetiva é um pressuposto da abordagem positivista e instrumento do método das ciências exatas. Nelas, o pesquisador adota uma posição de neutralidade — é um mero obserador passivo. Tal realidade não existe na ciência social. Esta admite que a realidade pode ser vista a partir de várias perspectivas e o pesquisador social sabe que sua observação e suas conclusões são carregadas de valores. Por exemplo, supor a neutralidade do pensamento de Hayek, que escreve O Caminho da Servidão em 1944 sob a influência do totalitarismo nazi-fascistas, de um lado, e dos soviéticos do outro; ou a de Marx, que escreve O Capital na era das fábricas-prisões panópticas é preocupante.

A roupagem de ciência exata fornece, sem sombra de dúvidas, um criativo e elegante disfarce à ciência econômica. Entretanto, à medida em que essa visão requer a adoção de hipóteses insustentáveis, não é de espantar que, após séculos de desenvolvimento de teoria econômica, as crises ainda tomem os economistas de surpresa.

Foi assim em 2008. No ano seguinte ao crash, Paul Krugman escreveu em seu artigo ao New York Times:

As I see it, the economics profession went astray because economists, as a group, mistook beauty, clad in impressive-looking mathematics, for truth. […] the central cause of the profession’s failure was the desire for an all-encompassing, intellectually elegant approach that also gave economists a chance to show off their mathematical prowess. Unfortunately, this romanticized and sanitized vision of the economy led most economists to ignore all the things that can go wrong. They turned a blind eye to the limitations of human rationality that often lead to bubbles and busts; to the problems of institutions that run amok; to the imperfections of markets — especially financial markets — that can cause the economy’s operating system to undergo sudden, unpredictable crashes; and to the dangers created when regulators don’t believe in regulation. (Krugman 2009)

Essa ilusão é tão enraizada no paradigma que os economistas, tanto na academia quanto no mercado, achavam que tinham todas as soluções². Obviamente, não as tinham. Agora, suponha que minha argumentação até este ponto esteja completamente equivocada e exista, de fato, um núcleo exato na ciência econômica. Daí temos que a teoria do paradigma não o representa, uma vez que, como destaca Krugman, não tem sido útil para realizar previsões. Naturalmente, não limito minha crítica a uma posição instrumentalista: a teoria do paradigma falha também em explicar os fenômenos sociais. Tome a teoria do crescimento, por exemplo. Por décadas foram desenvolvidos modelos — temos a formulação seminal de Solow em 1956, ainda univariada; a otimização dinâmica com Ramsey-Cass-Koopmans na década de 60; a tantativa de explicação por capital humano com Lucas na década de 80; externalidades e depois inovação tecnológica com Romer. Apesar de toda elegância e notação digna de teses acadêmicas das exatas, nenhum desses trabalhos foram capazes de explicar as perguntas mais básicas acerca do crescimento econômico, notadamente os problemas conhecidos como catching up, falling behind e forging ahead. Portanto, o paradigma falha tanto a partir de um olhar instrumentalista quanto convencionalista.

Acredito que a crítica de Krugman seja muito pertinente e responda bem à questão inicial levantada: se a economia é uma ciência social, ela não pode ser investigada a partir de uma suposta realidade objetiva, nem deduzida a partir de condições iniciais e leis universais. Nesse sentido, Herscovici (2002) destaca os limites da espitemologia popperiana na análise econômica:

Na maior parte dos casos, para tornar uma lei universal, é preciso esvaziá-la de seu conteúdo histórico. O formalismo que resulta dessa operação caracteriza-se pelo fato de que, se uma lei científica quer explicar todos os sitemas possíveis, ela não tem condições de explicar nenhum sistema real, nas suas especificidades históricas e sociais.

Essas críticas não são estranhas aos autores. Ainda na introdução da obra eles tratam de se blindar:

Parece ingenuidade imaginar que o agente econômico seja sempre um sujeito dotado de plena racionalidade, informação perfeita, que atue em mercados completos (com mercadorias contingentes oferecidas para todos os estados possíveis da natureza), que tenha clareza de seus objetivos e que procure sempre o melhor resultado para si no curto prazo, sem se preocupar com as consequências remotas de suas escolhas e sem se importar com os demais. Inclusive, o paradigma da economia tem sido criticado pela ingenuidade de seus supostos comportamentais em sua análise. Mas, em muitos casos, a pecha de ingenuidade caracteriza melhor a situação de quem faz esse tipo de crítica do que os modelos dos economistas teóricos em si mesmos, pois as hipóteses arroladas anteriormente, a bem da verdade, são apenas simplificações de livros-textos introdutórios. A fronteira do conhecimento teórico em economia há muito aprendeu a lidar com hipóteses comportamentais bem mais arrojadas e realistas do que essas. Assim é que os economistas teóricos atuais sabem perfeitamente modelar agentes com racionalidade limitada, informação imperfeita, mercados incompletos, agentes indecisos e com objetivos múltiplos, e que levam em conta o bem-estar de outras pessoas.

Ora, uma hora dizem que basta para os economistas algumas instituições, dentre elas o agente otimizador; noutra dizem que tal agente já fora superado. Pior, travar que os “economistas teóricos atuais sabem ” a indecisão me parece duplamente incoerente. Primeiro porque, por definição, não existe tal coisa como “modelo perfeito”. Em segundo, a indecisão, a incerteza, é estocástica por hipótese. Se assume a incerteza, não se perfeitamente a modela. Mas vão além:

Pode-se também criticar os supostos do paradigma econômico por considerar apenas o modelo de concorrência perfeita. Outra crítica irrelevante, pois, variegadas (sic) estruturas de mercados, da concorrência perfeita ao monopólio, começaram a ser estudadas já no século XIX, e a partir do fim dos anos 1920 o conhecimento teórico aprofundou-se com a consideração de estruturas intermediárias como concorrência monopolística e oligopólio. Os supostos da concorrência perfeita foram questionados e repensados pela influência da crítica dos economistas da chamada escola austríaca de economia, mas não somente por ela, e substituídos pela visão do agente econômico com comportamento ativo na exploração do mercado e descoberta de oportunidades. O modelo básico de monopólio foi questionado e reexaminado, em um contexto dinâmico da economia, pelo renomado Joseph Schumpeter.

Ignorando que Schumpeter era crítico do individualismo metodológico do paradigma, chamo atenção à questão da falseabilidade no campo das ciências exatas. Os autores, ao mesmo em que propõem uma visão positivista da ciência econômica, a invalidam cientificamente dentro da própria filosofia popperiana ao blindar o paradigma do princípio da falseabilidade. Segundo os autores, não se pode questionar a adoção da hipótese concorrencial, apesar de ainda se encontrar nos manuais e na produção acadêmica; A problemática conhecida como Controvérsia de Cambridge que, dentre outras coisas, crítica ao uso de funções de produção também é infundada porque a economia hoje trabalha com outras matemáticas — mas todo os manuais de microeconomia, da graduação a pós, são construindo sobre otimização lagrangeana em funções de produção. Como pode a lei ser atemporal e mudar tanto? Como pode ser universal e estar apenas na fronteira do conhecimento? A concorrência perfeita era uma lei universal antes e agora não é mais? A fronteira do conhecimento de hoje será lei universal ou terá o mesmo destino das anteriores? Ao mudar a demarcação das hipóteses para defender a teoria, o paradigma se torna não falseável e, portanto, deixa de ser uma teoria científica e se torna dogma.

De maneira bem clara e um tanto quanto contraditória, os autores colocam o núcleo do paradigma do equilíbrio maximizador, alvo das críticas das demais escolas de pensamento, como verdade incontestável:

Metodólogos tradicionais preocupam-se sobremaneira com a confrontação empírica da teoria e que o mundo real possa efetivamente funcionar como juiz de última instância na validação e eventual descrédito de teorias econômicas. O paradigma da economia adere a um método que realmente dá muita importância à avaliação empírica. Contudo, nesse tocante, cabem duas observações importantes: (1) nem tudo o que é produzido pelo paradigma deve ser testado empiricamente; (2) nem todas as teorias são criadas para serem testadas. O paradigma da economia pode, portanto, ser concebido como formado por um núcleo contendo apenas contribuições de matemática pura e um cinturão periférico de teorias que produzem conclusões testáveis empiricamente.

Não se tratando de uma contradição sutil, eles tratam de tentar esquivar-se delas logo a seguir, confundindo, mais uma vez, a economia — como um fenômeno que não pode ser dissociado de suas especificidades sociais —, por abstração matemática pura:

Metodólogos popperianos radicais iriam se revoltar quanto à ideia de teorias econômicas que nunca se confrontam com a evidência empírica. Mas, de fato, no núcleo matemático do paradigma econômico, os economistas matemáticos (ou matemáticos econômicos) trabalham como se estivessem no ambiente do matemático puro. Nenhum metodólogo, por mais estremado que seja, consideraria a matemática inócua por não se confrontar com os fatos empíricos. Da economia matemática pura também não se deve exigir que se construa alguma ponte conectando os modelos abstratos com algum procedimento de averiguação nos fatos observados.

Os autores comparam frequentemente o paradigma da economia com o paradigma quântico-relativista da física moderna. Entretanto, basta um exame superficial para notar as diferenças: o que é dado como teoria foi abandonado? Pelo contrário, o corpo de conhecimento é amplamente conhecido e estudado. Não está escondido apenas “na fronteira do conhecimento”, como os autores alegam que os elementos que absolvem a teoria econômica das críticas se encontram. Os resultados encontrados por Einstein no início do séc. XX ainda são usados para encontrar corpos no cosmos, de planetas a buracos-negros, e a cada experimento eles são colocados a teste e permanecem com capacidade de explicação e previsão. A falseabilidade não trabalha com verdades absolutas. O conhecimento científico é momentâneo e não permanente. Uma teoria só pode ser qualificada como científica e significativa enquanto puder ser testada e desmentida.

Mas os autores não permitem sua contestação e o entrincheiramento continua com argumentos ad-hominem: se um economista é crítico à economia como ciência exata, então ele não compreende matemática:

Vejamos o problema da incompreensão da matemática. Os críticos do uso da matemática na economia, em geral, não são economistas matemáticos. Muitos deles não tiveram uma formação profissional em matemática. Enveredaram por outras áreas. Não quer dizer que não tenham sido bons estudantes de matemática. Marshall, por exemplo, um crítico da matemática na economia, cujo emprego, para ele, não deveria ser abusivo, mostrou-se, antes de concentrar-se na economia, um excelente matemático. Até mesmo Carl Menger, o pai da escola austríaca, totalmente crítico ao uso da matemática na economia, ao que consta, fora um bom estudante de matemática no ensino médio. Keynes foi um crítico da matemática, contudo, bom matemático, mesmo sem ter a mente e a experiência de um matemático profissional. Inclusive, ele graduou-se, com distinção, nessa disciplina

O que obviamente é um argumento absurdo. Imagine criticar Foucault dizendo: “os críticos do estado policial, em geral, não são policiais. Muitos deles não tiveram uma formação profissional no militarismo”. E seguem invalidando as críticas ao paradigma:

É perfeitamente compreensível a visão contrária à matemática desses expoentes clássicos da economia científica. Até porque eles estavam presos ao desenvolvimento matemático de sua época. O problema é quando, hoje em dia, os membros das escolas legadas por eles apegam-se às mesmas críticas ao uso da matemática, sustentando-as em uma visão tosca e atrasada da matemática. Criticam, por exemplo, que as variáveis econômicas não obedecem a relações funcionais. Mas quem disse que a economia matemática atual emprega funções? Os economistas do paradigma amiúde trabalham com correspondências, mapas e outras técnicas matemáticas muito mais poderosas do que as funções. Criticam o uso da matemática na economia com base no argumento de que as variáveis econômicas não descrevem uma trajetória bem comportada; de forma que não podem ser acompanhadas por curvas contínuas e suaves, isto é, diferenciáveis em todos os pontos. Quem disse que o paradigma atual tenha de lançar a hipótese de diferenciabilidade e que só emprega o cálculo diferencial e integral? Na verdade, os economistas atuais do paradigma trabalham com análise convexa, que prescinde a diferenciabilidade das funções, tomando apenas a hipótese bem mais fraca da convexidade. Não se impõe mais a existência de curvas contínuas. Trabalha-se com descrições bem mais gerais e flexíveis, como a de semicontinuidade superior (upper semicontinuos) etc. O uso do cálculo em economia matemática há muito foi substituído pela análise convexa, pela topologia e pela topologia diferencial.

Pois bem, tomemos o prefácio de uma obra de economia matemática avançada:

In recent years, the usual optimisation techniques, which have proved so useful in microeconomic theory, have been extended to incorporate more powerful topological and differential methods, and these methods have led to new insights into the qualitative behaviour of general economic systems. These developments have necessarily resulted in an increase in the degree of formalism in the publications in the academic economic theory journals; a formalism which can often deter graduate students. My hope is that the progression of ideas presented here will familiarise the student with the geometric concepts underlying these topological methods, and, as a result, make modern mathematical economics and general equilibrium theory more accessible. (Schofield 2018)

Não é uma questão de limitação matemática ou de uma absurda hierarquia da matemática — como se topologia foi melhor que cálculo, ou algo do tipo —, mas uma questão de proposições. Não importa se a teoria estuda a otimização do consumidor e da firma ou o equilíbrio geral walrasiano por topologia ou cálculo, mas é o próprio equilíbrio, o próprio comportamento maximizador que está em crítica, e não a matemática que é utilizada para demonstrá-lo.

2 O ECONOMISTA PROGRAMADO

Então, por que os teóricos do paradigma da ciência econômica continuam se prendendo a conceitos tão problemáticos? Em Sistemas de Ensino e Sistemas de Pensamento, Pierre Bourdieu coloca o sistema educacional como um dos instrumentos mais eficazes de integração moral e lógica da sociedade, que tem como produto o indivíduo “programado” — homogêneo em percepção, pensamento e ação:

Caso se admita que a cultura e, neste caso particular, a cultura erudita em sua qualidade de código comum é o que permite a todos os detentores deste código associar o mesmo sentido às mesmas obras e, de maneira recíproca, de exprimir a mesma intenção significante por intermédio das mesmas palavras, dos mesmos comportamentos e das mesmas obras, pode-se compreender por que nos termos de uma participação de um senso comum entendido como condição da comunicação. (Bourdieu 2015)

Talvez, lógica semelhante tenha se apropriado da produção científica. Aparentemente alheios à problemática, os autores parecem celebrar o pensamento homogêneo na ciência econômica:

Sem explicá-lo por enquanto, é suficiente dizer que o paradigma kuhniano da economia é aquilo que os estudantes de graduação são obrigados a aprender nas disciplinas teóricas. Todo estudante de macroeconomia estuda os livros-textos escritos por autores como Blanchard, Boyes, Dornbusch, […]. Então constata-se, no Brasil e no ``mundo livre”, que os estudantes são submetidos à mesma formação, pois, em que pese as diferenças de abordagem, de estilo e de profundidade, todos esses manuais didáticos de teoria econômica assemelham-se entre si em muitos aspectos. Em todos eles, vicejam as instituições da propriedade privada, do contrato, do agente maximizador etc. como pressupostos dos modelos teóricos. Todos abordam os problemas econômicos com álgebra e gráficos, e desenvolvem modelos de equilíbrio. Essa formação homogênea dos estudantes é característica da prática científica que Kuhn denomina de ciência normal. Típica em ciências com paradigmas consolidados. O paradigma da economia submete os estudantes à mesma formação teórica básica. É claro que o treinamento assemelhado leva os profissionais formados nesse ambiente a atuarem de uma maneira padronizada no trabalho com suas teorias e no teste empírico delas. (Barbieri e Feijó 2013)

Se usarmos de licença poética para estendermos a teoria dos campos de Bourdieu à comunidade científica, podemos imaginar a produção acadêmica localizada no subcampo de produção erudita e os editores dos journals no campo do poder. Em ordem de se obter maior capital simbólico, os produtores devem publicar nos periódicos de maior prestígio. Consequentemente, a produção se submete ao pensamento padronizado desejado pelo campo do poder. Ora, os dados que nos permitem raciocinar de tal forma são fornecidos pelos próprios autores:

[…] em uma das mais prestigiadas revistas de economia (se não a mais prestigiada do mundo), mais de metade (54%) dos artigos versavam sobre modelos matemáticos sem quaisquer dados, quase um quarto deles (24,6%) era sobre análise empírica, usando-se inferência estatística em dados publicados ou com base em simulação e experimentos artificiais. Apenas 21,4% dos artigos da American Economic Review dedicavam-se a outros temas, dos quais apenas 11,6% diziam respeito a modelos sem matemática e sem dados. Vejam-se as 31 revistas internacionais de economia mais prestigiadas, que receberam da CAPES a classificação A1, das tops internacionais. Vinte delas concentram-se sobremaneira em artigos com teorias matemáticas e eventuais testes econométricos; cinco dedicam-se a publicar ensaios em economia aplicada e duas estão voltadas à econometria (Journal of Applied Econometrics, Journal of Econometrics). Outras três distribuem-se entre história do pensamento econômico (History of Political Economy), estudos em metodologia da economia (Journal of Economic Methodology) e resenhas (Journal of Economic Literature). Apenas uma única revista A1 publica temas de escolas econômicas não inseridas no paradigma (Journal of Post Keynesian Economics). Então, das 31 revistas de economia classificadas como A1 tem-se apenas uma única dedicada a uma escola de pensamento econômico à margem do paradigma da ciência econômica, a qual prioriza trabalhos na linha do chamado pós-keynesianismo. Considera-se ainda que estudos fora desse paradigma, incluindo-se também economia marxiana, austríaca, institucional etc., podem ser aceitos para publicação em ao menos mais três revistas A1: Cambridge Journal of Economics, Journal of Economic Methodology e History of Political Economy.

Tudo isso aponta para a tese de Bourdieu de que ``os espíritos modelados encontram-se predispostos a manter com seus pares uma relação de cumplicidade e comunicação imediatas”. É a maneira comum de se abordar problemas comuns. Se fecham em seus símbolos, signos, linguagem e pensamento comuns; se fecham para abordagens e críticas dos que não utilizam seu repertório comum. E é por esse mecanismo que os economistas continuam sendo pegos de calças curtas por crises que teimam em os encontrar desprevinidos.

1 Instalação fácil para RStudio, Quarto e Positron

Atualmente, não há repositórios oficiais para RStudio, Quarto ou Positron no Linux. Isso significa que os usuários precisam baixar os binários dos sites oficiais e instalar manualmente. Mas eu queria a mesma experiência dos usuários de macOS, que contam com a distribuição dos softwares da Positron via Homebrew. Existem alguns PPAs não oficiais para o RStudio, mas não encontrei nenhum para o Quarto ou Positron. Então decidi criar o meu próprio e compartilhar com vocês!

O que este projeto faz é buscar as URLs das versões mais recentes do RStudio, Quarto e Positron em seus respectivos sites ou releases do Github, baixar os arquivos, enviá-los para o Sourceforge e finalmente criar um PPA que pode ser usado para instalar essas ferramentas no Ubuntu, Fedora e outras distribuições Linux.

2 Suporte

• Pacotes .deb para distribuições baseadas em Ubuntu e Debian.
  • RStudio (amd64)
  • Quarto (amd64 e arm64)
  • Positron (amd64 e arm64)
• Pacotes .rpm para distribuições baseadas em Fedora e Red Hat.
  • RStudio (x86_64)
  • Positron (x86_64 e aarch64)
  • Quarto (x86_64)

3 Instalação no Debian/Ubuntu

Para habilitar este repositório e instalar a versão mais recente do RStudio, Quarto ou Positron:

1. Adicione o repositório (amd64):

   echo "deb [trusted=yes] https://downloads.sourceforge.net/project/r-tools-ppa/deb_amd64 stable main" | sudo tee /etc/apt/sources.list.d/r_tools_ppa.list
   sudo apt update

   Ou para arm64:

   echo "deb [trusted=yes] https://downloads.sourceforge.net/project/r-tools-ppa/deb_arm64 stable main" | sudo tee /etc/apt/sources.list.d/r_tools_ppa.list
   sudo apt update

2. Instale um pacote (ex: RStudio):

   sudo apt install rstudio

4 Instalação no Fedora/Red Hat

Para habilitar este repositório e instalar a versão mais recente do RStudio, Quarto ou Positron:

1. Baixe o arquivo do repositório:

   sudo curl -L -o /etc/yum.repos.d/r_tools_ppa.repo \
     https://sourceforge.net/projects/r-tools-ppa/files/rpm_x86_64/repo.txt/download

   Ou para arquitetura aarch64:

   sudo curl -o /etc/yum.repos.d/r_tools_ppa.repo \
     https://sourceforge.net/projects/r-tools-ppa/files/rpm_aarch64/repo.txt/download

2. Atualize e instale (ex: RStudio):

   sudo dnf update
   sudo dnf install rstudio

1 VAMOS PEGAR ALGUNS DADOS

Você já ouviu falar do conjunto de dados presidents? Do pacote {datasets}, ele armazena as avaliações trimestrais de aprovação dos presidentes dos EUA de 1945 a 1974. Será que existe alguma relação com o índice de preços ao consumidor (CPI), PIB real, taxa de desemprego ou taxas de juros? Vamos descobrir!

# convert to dataframe
presi <- data.frame(
  date = zoo::as.Date(zoo::as.yearqtr(time(presidents))),
  ratings = as.vector(presidents)
) |>
  na.omit()

# get CPI and funds rates from FRED
quantmod::getSymbols(
  c("CPIAUCSL", "FEDFUNDS", "GDPC1", "UNRATE"),
  src = "FRED"
)

[1] "CPIAUCSL" "FEDFUNDS" "GDPC1"    "UNRATE"  

# convert to time series
series <- lapply(list(CPIAUCSL, FEDFUNDS, GDPC1, UNRATE), function(serie) {

  # serie name
  serie_name <- names(serie)
  # convert to dataframe
  data.frame(
    date = zoo::as.Date(zoo::as.yearmon(time(serie))),
    value = as.vector(serie)
  ) |>
    setNames(c("date", serie_name))
})

# merge datasets
presi_merged <- Reduce(
  function(x, y) merge(x, y, by = "date"),
  c(list(presi), series)
)

# visualize
kbl(head(presi_merged), booktabs = TRUE, digits = 2) |>
  kable_styling(latex_options = c("striped", "scale_down"))

# plot
presi_merged |>
  tidyr::pivot_longer(-date) |>
  ggplot(aes(x = date, y = value)) +
  geom_line() +
  scale_x_date(date_labels = "%Y") +
  facet_wrap(~name, nrow = 5, scales = "free_y")

2 ERRO #1: NÃO TESTAR SIGNIFICÂNCIA

O primeiro, e frequentemente único, recurso para seleção de variáveis e especificação de modelos entre aqueles não iniciados em análise de séries temporais é o coeficiente de correlação de Pearson . Se tentarmos usá-lo, teremos os seguintes resultados (Tabela 2):

# Pearson correlation
cor(subset(presi_merged, select = -date)) |>
  kbl(booktabs = TRUE, digits = 2) |>
  kable_styling(latex_options = c("striped", "scale_down"))

De acordo com a regra de bolso para interpretar o tamanho do efeito do coeficiente de correlação de Pearson¹, CPI, taxas de juros e PIB têm alta correlação com a aprovação presidencial, enquanto a taxa de desemprego tem correlação pequena.

Mesmo que fosse apropriado usar o coeficiente de correlação de Pearson para selecionar variáveis, seria necessário realizar um teste para verificar se o coeficiente encontrado é estatisticamente significativo. Neste caso, podemos verificar que a correlação de 10% entre aprovação presidencial e taxa de desemprego não é significativa. Ignorar testes de significância resulta em interpretações errôneas, levando o analista a encontrar relações onde, na verdade, não existem.

# p-values for t-test
sapply(subset(presi_merged, select = -c(date, ratings)), function(serie) {
  cor.test(presi_merged$ratings, serie)$p.value
}) |>
  kbl(booktabs = TRUE, digits = 2) |>
  kable_styling(latex_options = c("striped", "scale_down"))

Quando se trata de estatística inferencial, fazer qualquer afirmação exige a realização de testes de hipótese. Exceto em casos extremos que impedem a estimação de algum coeficiente, na maioria dos casos, é possível obter alguma medida estatística, como em regressões, análise de variância, correlações, etc. No entanto, obter um número não significa que ele é válido ou pode ser utilizado.

O coeficiente de correlação calculado a partir de uma amostra () é uma estimativa pontual de um parâmetro populacional (). Como qualquer estimativa baseada em amostra, possui variabilidade amostral e, portanto, deve ser acompanhado de um intervalo de confiança (IC) que reflita a incerteza dessa estimativa e forneça um intervalo de valores plausíveis para o verdadeiro parâmetro populacional. Esse valor é um ponto central (média) em torno do qual o intervalo de confiança para o valor verdadeiro é construído.

Se, devido à variabilidade amostral, (por exemplo, com intervalo de confiança de ), então não há evidência estatística para afirmar que o valor médio de 0,05 é diferente de zero.

3 ERRO #2: USAR O COEFICIENTE DE CORRELAÇÃO DE PEARSON

Na seção Seção 2, eu disse “mesmo que fosse apropriado”, porque não é. O coeficiente de Pearson é inadequado para avaliar a correlação entre duas séries temporais porque viola pressupostos fundamentais do coeficiente de Pearson.

Primeiro, viola a independência das observações. Um dos pressupostos de é a independência das observações dentro de cada variável e entre variáveis. Séries temporais, por natureza, geralmente apresentam autocorrelação, ou seja, uma observação está correlacionada com .

Segundo, ignora o relacionamento entre defasagens. A correlação entre duas séries temporais e pode não ser contemporânea. Uma série pode influenciar a outra com algum atraso (por exemplo, correlacionada com , mas não com ). O coeficiente de Pearson mede apenas a relação linear no mesmo ponto do tempo, ignorando essas relações defasadas.

Existem algumas formas válidas de identificar a relação entre duas séries temporais. Uma das mais simples é a análise do correlograma cruzado. Ela permite identificar não apenas a relação contemporânea, mas também a relação em cada defasagem da série temporal.

Agora vamos observar o correlograma cruzado entre a série temporal da taxa de desemprego e a aprovação presidencial:

ccf(
  presi_merged[["UNRATE"]],
  presi_merged[["ratings"]],
  main = ""
)

Se fosse apropriado analisar as duas séries temporais diretamente, veríamos que, embora não haja correlação contemporânea significativa — como vemos pela correlação dentro do intervalo de confiança em lag 0 —, elas aparecem a partir de , o que significaria que a taxa de desemprego de 2 meses atrás impacta a aprovação presidencial atual.

1 Anyway …

Se você chegou até aqui, recomendo que arrume algo mais interessante pra fazer da vida. No próximo post (talvez) eu trago como fazer esse troço todo na prática com nosso queridão #RStats.

1 Motivação

Me ocorreu uma analogia sobre aprender um idioma estrangeiro: é impossível aprender uma nova língua traduzindo palavra por palavra. Não é apenas uma questão de vocabulário. Cada idioma tem sua própria gramática, verbos frasais, dicção, expressões, ritmo etc. Esse tipo de questão também aparece ao aprender uma nova linguagem de programação e acho que importar pacotes é um bom, ainda que simples, exemplo disso.

2 Chamando Uma Função De Um Pacote

# procurar por medidas de machine learning que contenham "AUC" no pacote {mlr3}
mlr3::mlr_measures$keys("auc")

[1] "classif.auc"       "classif.mauc_au1p" "classif.mauc_au1u"
[4] "classif.mauc_aunp" "classif.mauc_aunu" "classif.mauc_mu"  
[7] "classif.prauc"    

# cansado: chamada explícita do {ggplot2}
t1 = mtcars |>
  dplyr::mutate(hp_by_cyl = hp / cyl)

# animado: anexando o namespace do {ggplot2}
library(dplyr)

Anexando pacote: 'dplyr'

Os seguintes objetos são mascarados por 'package:stats':

    filter, lag

Os seguintes objetos são mascarados por 'package:base':

    intersect, setdiff, setequal, union

t2 = mtcars |>
  mutate(hp_by_cyl = hp / cyl)

# são equivalentes?
all.equal(t1, t2)

[1] TRUE

# desanexando dplyr
detach("package:dplyr")

# anexando apenas mutate():
library(dplyr, include.only = "mutate")

# inspecionando módulos em {pandas}
import pandas
dir(pandas)

['ArrowDtype', 'BooleanDtype', 'Categorical', 'CategoricalDtype', 'CategoricalIndex', 'DataFrame', 'DateOffset', 'DatetimeIndex', 'DatetimeTZDtype', 'ExcelFile', 'ExcelWriter', 'Flags', 'Float32Dtype', 'Float64Dtype', 'Grouper', 'HDFStore', 'Index', 'IndexSlice', 'Int16Dtype', 'Int32Dtype', 'Int64Dtype', 'Int8Dtype', 'Interval', 'IntervalDtype', 'IntervalIndex', 'MultiIndex', 'NA', 'NaT', 'NamedAgg', 'Period', 'PeriodDtype', 'PeriodIndex', 'RangeIndex', 'Series', 'SparseDtype', 'StringDtype', 'Timedelta', 'TimedeltaIndex', 'Timestamp', 'UInt16Dtype', 'UInt32Dtype', 'UInt64Dtype', 'UInt8Dtype', '__all__', '__builtins__', '__cached__', '__doc__', '__docformat__', '__file__', '__git_version__', '__loader__', '__name__', '__package__', '__path__', '__spec__', '__version__', '_built_with_meson', '_config', '_is_numpy_dev', '_libs', '_pandas_datetime_CAPI', '_pandas_parser_CAPI', '_testing', '_typing', '_version_meson', 'annotations', 'api', 'array', 'arrays', 'bdate_range', 'col', 'compat', 'concat', 'core', 'crosstab', 'cut', 'date_range', 'describe_option', 'errors', 'eval', 'factorize', 'from_dummies', 'get_dummies', 'get_option', 'infer_freq', 'interval_range', 'io', 'isna', 'isnull', 'json_normalize', 'lreshape', 'melt', 'merge', 'merge_asof', 'merge_ordered', 'notna', 'notnull', 'offsets', 'option_context', 'options', 'pandas', 'period_range', 'pivot', 'pivot_table', 'plotting', 'qcut', 'read_clipboard', 'read_csv', 'read_excel', 'read_feather', 'read_fwf', 'read_hdf', 'read_html', 'read_iceberg', 'read_json', 'read_orc', 'read_parquet', 'read_pickle', 'read_sas', 'read_spss', 'read_sql', 'read_sql_query', 'read_sql_table', 'read_stata', 'read_table', 'read_xml', 'reset_option', 'set_eng_float_format', 'set_option', 'show_versions', 'test', 'testing', 'timedelta_range', 'to_datetime', 'to_numeric', 'to_pickle', 'to_timedelta', 'tseries', 'unique', 'util', 'wide_to_long']

# o que está anexado à symbol table?
print(*globals(), sep = "\n")

__name__
__doc__
__package__
__loader__
__spec__
__builtins__
r
pandas

# importar pandas
import pandas

# o que está anexado à symbol table?
print(*globals(), sep = "\n")

__name__
__doc__
__package__
__loader__
__spec__
__builtins__
r
pandas

# isso resultará em NameError: name 'DataFrame' is not defined
DataFrame(
  {
    "capital": ["Vitoria", "São Paulo", "Rio de Janeiro"],
    "state": ["Espírito Santo", "São Paulo", "Rio de Janeiro"]
  }
)

NameError: name 'DataFrame' is not defined

# isso funciona
pandas.DataFrame(
  {
    "capital": ["Vitoria", "São Paulo", "Rio de Janeiro"],
    "state": ["Espírito Santo", "São Paulo", "Rio de Janeiro"]
  }
)

          capital           state
0         Vitoria  Espírito Santo
1       São Paulo       São Paulo
2  Rio de Janeiro  Rio de Janeiro

# importando todo o {pandas} para a symbol table
from pandas import *

# symbol table atualizada
print(*globals(), sep = "\n")

__name__
__doc__
__package__
__loader__
__spec__
__builtins__
r
pandas
NA
ArrowDtype
BooleanDtype
Categorical
CategoricalDtype
CategoricalIndex
DataFrame
DateOffset
DatetimeIndex
DatetimeTZDtype
ExcelFile
ExcelWriter
Flags
Float32Dtype
Float64Dtype
Grouper
HDFStore
Index
IndexSlice
Int8Dtype
Int16Dtype
Int32Dtype
Int64Dtype
Interval
IntervalDtype
IntervalIndex
MultiIndex
NaT
NamedAgg
Period
PeriodDtype
PeriodIndex
RangeIndex
Series
SparseDtype
StringDtype
Timedelta
TimedeltaIndex
Timestamp
UInt8Dtype
UInt16Dtype
UInt32Dtype
UInt64Dtype
api
array
arrays
bdate_range
col
concat
crosstab
cut
date_range
describe_option
errors
eval
factorize
from_dummies
get_dummies
get_option
infer_freq
interval_range
io
isna
isnull
json_normalize
lreshape
melt
merge
merge_asof
merge_ordered
notna
notnull
offsets
option_context
options
period_range
pivot
pivot_table
plotting
qcut
read_clipboard
read_csv
read_excel
read_feather
read_fwf
read_hdf
read_html
read_iceberg
read_json
read_orc
read_parquet
read_pickle
read_sas
read_spss
read_sql
read_sql_query
read_sql_table
read_stata
read_table
read_xml
reset_option
set_eng_float_format
set_option
show_versions
test
testing
timedelta_range
to_datetime
to_numeric
to_pickle
to_timedelta
tseries
unique
wide_to_long

# agora isso funciona
DataFrame(
  {
    "capital": ["Vitoria", "São Paulo", "Rio de Janeiro"],
    "state": ["Espírito Santo", "São Paulo", "Rio de Janeiro"]
  }
)

          capital           state
0         Vitoria  Espírito Santo
1       São Paulo       São Paulo
2  Rio de Janeiro  Rio de Janeiro

# desanexando {pandas}
for name in vars(pandas):
    if not name.startswith('_'):
        del globals()[name]

KeyError: 'annotations'

# anexando apenas DataFrame()
from pandas import DataFrame

# symbol table atualizada
print(*globals(), sep = "\n")

__name__
__doc__
__package__
__loader__
__spec__
__builtins__
r
pandas
NA
ArrowDtype
BooleanDtype
Categorical
CategoricalDtype
CategoricalIndex
DataFrame
DateOffset
DatetimeIndex
DatetimeTZDtype
ExcelFile
ExcelWriter
Flags
Float32Dtype
Float64Dtype
Grouper
HDFStore
Index
IndexSlice
Int8Dtype
Int16Dtype
Int32Dtype
Int64Dtype
Interval
IntervalDtype
IntervalIndex
MultiIndex
NaT
NamedAgg
Period
PeriodDtype
PeriodIndex
RangeIndex
Series
SparseDtype
StringDtype
Timedelta
TimedeltaIndex
Timestamp
UInt8Dtype
UInt16Dtype
UInt32Dtype
UInt64Dtype
api
array
arrays
bdate_range
col
concat
crosstab
cut
date_range
describe_option
errors
eval
factorize
from_dummies
get_dummies
get_option
infer_freq
interval_range
io
isna
isnull
json_normalize
lreshape
melt
merge
merge_asof
merge_ordered
notna
notnull
offsets
option_context
options
period_range
pivot
pivot_table
plotting
qcut
read_clipboard
read_csv
read_excel
read_feather
read_fwf
read_hdf
read_html
read_iceberg
read_json
read_orc
read_parquet
read_pickle
read_sas
read_spss
read_sql
read_sql_query
read_sql_table
read_stata
read_table
read_xml
reset_option
set_eng_float_format
set_option
show_versions
test
testing
timedelta_range
to_datetime
to_numeric
to_pickle
to_timedelta
tseries
unique
wide_to_long
name

1 O PROCESSO DE AJUSTE E O SOBREAJUSTE

Considere uma função de ajuste , um conjunto de pontos com , variáveis de decisão ou parâmetros e imagem . Diferentemente da abordagem clássica, em que, no caso do modelo clássico de regressão linear, há um modelo teórico de coeficientes estimados por mínimos quadrados ordinários (MQO) que é garantido pelo teorema de Gauss-Markov ser o melhor estimador linear não viesado (BLUE), em machine learning o objetivo é encontrar, de forma iterativa, um meta-modelo que melhor aproxima a função usando a informação contida em , ou seja, queremos ajustar uma função de regressão aos nossos dados de forma que tenha o menor erro de aproximação .

Para verificar o quão bem o modelo se aproxima da função real , é necessário uma função de perda que, no caso de regressão, será a perda quadrática ou a perda absoluta . Esses valores são agregados pela média para formar as funções de custo erro médio quadrático (MSE) e erro médio absoluto (MAE).

Dada a função de perda, pode-se definir o risco associado ao modelo de função de ajuste em que é a função densidade de probabilidade conjunta. Como não temos a função real mas procuramos uma função estimada que se aproxime dela, temos que é o erro de generalização ou risco condicional associado ao preditor.

Então, podemos estimar o erro de generalização do modelo. Como não conhecemos a distribuição , a substituímos pela amostra de teste e ficamos com Se substituirmos a amostra teste pela amostra treino usada para ajustar o modelo, teremos o chamado erro de resubstituição Naturalmente, nesse caso estaríamos usando os dados de treino tanto para treinar o preditor quanto para estimar o erro de generalização, o que nos levaria a uma estimativa enviesada do erro de generalização. Caso usássemos essa estimativa para seleção de modelos, esse viés favoreceria modelos mais adaptados à amostra.

O problema é que nesses modelos, dadas suficientes iterações, o erro de resubstituição tende a zero. Isso acontece porque conforme o preditor se adapta cada vez mais aos dados de treinamento ele irá memorizar a relação entre o conjunto de pontos e a imagem , ou seja, irá se ajustar perfeitamente ao formato da função a ser modelada. E não necessariamente um modelo perfeitamente ajustado se traduz na capacidade de predição de dados futuros (fora da amostra).

De forma geral, espera-se que o preditor reduza seu viés durante o treino apenas o suficiente para que seja capaz de generalizar sua predição para fora da amostra em um nível ótimo de acurácia. A partir desse ponto, a redução no viés é penalizada com o aumento da variância, ou seja, com a redução de sua capacidade de prever dados futuros. A esse processo se dá o nome de overfitting ou sobreajuste. Isso quer dizer que não podemos considerar a performance do preditor em se desejamos estimar honestamente a performance real do modelo.

2 REAMOSTRAGEM

Uma forma de se corrigir esse problema é dividindo a amostra em um conjunto para treino e outro conjunto para teste de forma que e . Assim, pode-se treinar o modelo em para se obter e calcular seu erro de generalização usando os dados de . Essa abordagem é chamada de hold-out e ela é de simples implementação e utilização, uma vez que as observações do conjunto teste são completamente independentes das observações com as quais o modelo foi treinado. A estimativa do erro de generalização então se torna Dois problemas permanecem:

1. É necessária uma amostra grande, uma vez que deve-se ter dados suficientes tanto na amostra treino para ajustar um modelo adequado, quanto na amostra teste para realizar uma avaliação de performance estatisticamente válida.

2. Esse método não é suficiente para detectar variância e instabilidades na amostra treino. Modelos mais complexos, especialmente não lineares, podem produzir resultados muito diferentes com mudanças pequenas nos dados de treino.

É exatamente para lidar com essas situações que foram desenvolvidas as técnicas de reamostragem. Todas essas tecnicas geram repetidamente subconjuntos de treino e teste com o dataset disponível, ajustam um modelo com cada conjunto de treino e atestam sua qualidade no conjunto de teste correspondente. A estimativa do erro de generalização então se torna O erro de generalização dado na equação (1) depende tanto do tamanho da amostra usada para treinar quanto para testar o modelo ajustado. Portanto, devemos garantir que o tamanho da amostra usado para verificar o erro de generalização de um modelo estimado a partir de data points seja próximo de n. Se, por exemplo, o conjunto de treino for muito menor que a amostra total o erro será superestimado, uma vez que muito menos informação foi usada para calcular o estimador.

Da mesma forma, a qualidade do estimador do erro de generalização obtido em (2) a partir de uma estratégia de reamostragem também depende muito do tamanho dos conjuntos em relação à amostra original, da quantidade de subconjuntos utilizados e da estrutura de dependência entre os subconjuntos — novamente, modelos mais complexos são mais sensíveis a alterações no dataset e a variância entre os subconjuntos tende a ser maior. O erro do estimador é geralmente medido pelo erro médio quadrático (MSE): Esse estimador também pode ser representado como a soma do quadrado do viés e a variância: Sendo que o viés expressa a diferença média entre um estimador e o valor real, enquanto a variância mede a dispersão média do estimador. Essas quantidades são definidas da seguinte forma: e

3 POR FIM

Com essa introdução, espero que os conceitos tenham ficado mais claros e que tenha ajudado um pouco na compreensão da meta modelagem. Tenho certeza que eu não verei os resultados da mesma forma na próxima que vez que aplicar técnicas de reamostragem para seleção e tuning de meus modelos!

1 QUAL A BOA DO VSCODE?

A maioria das funcionalidades implementadas pela extensão do R ou pelo Language Server já estão detalhadas no post do Kun Ren, então, se ainda não leu, corre lá! Aqui vou demonstrar algumas funcionalidades gerais e extensões que salvam minha vida no dia-a-dia.

2 CONFIGURAÇÃO

Para começar você só precisa do VSCode e das extensões R e R-LSP. Mas compartilho aqui o setup que considero fornecer a melhor experiência:

1. Visual Studio Code e suas extensões:

• VSCode: a IDE
• vscode-R: extensão para suporte à linguagem R
• vscode-r-lsp: R Language Server Protocol Client para VSCode ¹

2. Pacotes:

• languageserver (Lai 2020): implementação de Language Server Protocol para R
• httpgd (Rupprecht 2021) (recomendado): dispositivo gráfico de servidor http assíncrono para R

3. Python & Radian:

• Python (recomendado): requisito para instalação do Radian, implementado em Python
• Radian (recomendado): console alternativo para R, com edição multilinha e rich syntax highlighting

4. Pandoc: conversor universal de documentos, responsável por converter arquivos em R Markdown (.Rmd) para html. Você não precisou de instalar antes porque o instalador do RStudio já vem com uma versão do Pandoc incluído.

3 PRIMEIROS PASSOS

Com o VSCode instalado, você verá a tela de boas vindas, que se parece com isso:

A primeira coisa a se notar é que o conceito de projeto do RStudio (.Rproj) não existe no VSCode. Você tem uma pasta e pronto, todos os caminhos relativos apontam para ela. Configurações específicas para a pasta podem ser definidas em um arquivo .json no diretório.

Na barra lateral, o explorer te dará a opção de abrir uma pasta (um projeto) ou clonar um repositório. Abrindo minha pasta do Advent of Code 2020, você verá meus diretórios e arquivos à esquerda. Há códigos em Python e em R. Posso abrí-los e organizá-los da forma que eu quiser. Os terminais ficam logo abaixo e também podem ser movidos para qualquer outra parte.

As extensões podem ser instaladas pelo menu à esquerda. O próprio VSCode irá recomendar a instalação de extensões quando você abrir algum tipo de arquivo que não tenha interpretador ou formatter instalado, por exemplo.

Importante: não instale a extensão RTools junto com as extensões citadas acima, pois não são complementares e irá causar conflitos.

Com as extensões instaladas, vamos às configurações. Primeiro, abra a command palette com ctrl+shift+p. Através dela você poderá acessar diversos comandos e atalhos no VSCode, como:

• criação de novo terminal (R, Python etc)
• lançar os RStudio addins
• compilar arquivos RMarkdown (knit .Rmd)
• acessar configurações e teclas de atalho
• instalar pacotes
• formatar arquivos e MUITOS outros

Acessando as configurações do VSCode, podemos configurar tanto o editor quanto suas extensões:

Aqui estão as que utilizo atualmente. Altere conforme necessário e sua preferência.

{
    // VSCode setup
    "terminal.integrated.shell.windows": "C:\\WINDOWS\\System32\\WindowsPowerShell\\v1.0\\powershell.exe",
    "editor.formatOnPaste": true, // recomendado
    "editor.formatOnType": true, // recomendado
    "diffEditor.ignoreTrimWhitespace": false,
    "files.autoSave": "off",

    // Python setup
    "python.pythonPath": "C:\\...\\anaconda3\\python.exe",
    "jupyter.alwaysTrustNotebooks": true,

    // R setup
    "[r]": { // obrigatório
        "editor.defaultFormatter": "REditorSupport.r-lsp"
    },
    "files.associations": { // obrigatório
        "*.rmd": "markdown",
        "*.Rmd": "rmd"
    },
    "r.sessionWatcher": true, // default
    "r.bracketedPaste": true, // obrigatório
    "r.rterm.windows": "C:\\...\\anaconda3\\Scripts\\radian.exe", // caso tenha instalado o Radian
    "r.rpath.windows": "C:\\...\\R\\R-4.0.3\\bin\\R.exe", // obrigatório
    "r.lsp.debug": true, // obrigatório
    "r.alwaysUseActiveTerminal": true, // obrigatório
    "r.rtermSendDelay": 0,
}

Também são necessárias algumas configurações no .Rprofile:

# opções
options(
  # permitir RStudio Addins no command pallet
  vsc.rstudioapi = TRUE,
  # gráficos interativos com o {httpgd}
  vsc.use_httpgd = TRUE,
  # alterar o schema de highlight no console Radian
  radian.color_scheme = "native",
  # adicionar code completion após $
  languageserver.server_capabilities = list(
    signatureHelpProvider = list(triggerCharacters = list("(", ",", "$")),
    completionProvider = list(
      resolveProvider = TRUE, triggerCharacters = list(".", ":", "$")
    )
  )
)

Importante: não instalar o {httpgd} ou deixar de incluir essa configuração no .Rprofile vai fazer com que seus gráficos sejam plotados numa janela com tamanho fixo, sem a possibilidade de manuipular o tamanho do plot interativamente.

4 POR FIM

E é isso! Tem ainda um monte de coisas para explorar mas já dá pra ter uma ideia do potencial da ferramenta. Pra quem fica empolgado com anúncio de rainbow parenthesis, eu acho que vale a pena fazer um teste :p

1 INTRODUÇÃO

O workflow padrão de um projeto de machine learning consiste em:

1. dividir sua amostra em treino e teste (split);
2. escolher o algoritmo¹ apropriado para o tipo de tarefa;
3. passar a amostra de treino ao algoritmo para criar um modelo do relacionamento entre a variável de resposta (output features) e as explicativas (input features);
4. passar os dados de testes ao modelo treinado para produzir predições;
5. comparar as predições com os dados da amostra;
6. mensurar a performance do modelo através de medidas de acurácia estabelecidas.

O processo de repetir esse workflow várias vezes, separando a amostra treino em várias partes diferentes e usando outras como fake test samples é chamado de resampling, um processo vital para a etapa de calibragem e para evitar o overfitting.

Dependendo dos dados, do tipo de tarefa e algoritmo escolhido, podem ser necessários vários filtros, como normalização, feature selection e tratamento de outliers ou dados faltantes. Para esses casos, o {mlr3} tem novas soluções que se destacam com muita vantagem em relação não só ao seu predecessor {mlr} como também a outros frameworks de machine learning em R, como o {caret} e o {tidymodels}.

2 DIRETO AO PONTO

Para conhecer as funcionalidades básicas do pacote, usaremos um dos datasets inclusos no R, o swiss. Esse dataset consiste na medição padronizada da fertilidade e indicadores socioeconômicos de 47 províncias da Suíça em 1888.

# criando dataframe
data = swiss

# overview
skimr::skim(data)

Dentre as variáveis disponíveis, podemos escolher modelar a mortalidade infantil Infant.Mortality baseada nas demais features, que são:

• Fertility: Medida de fertilidade. Assim como a mortalidade infantil, está escalonada entre 0-100.
• Agriculture: Percentual de homens envolvidos em agricultura como ocupação.
• Examination: Percentual de alistados bem avaliados nos exames do exército.
• Education: Percentual dos alistados com educação superior ao primário.
• Catholic: Percentual de católicos (em oposto a protestantes).

O workflow começa pela criação da task, que é um objeto que contém os dados e informações sobre a tarefa a ser executada, como a variável de resposta² e as demais features, além de seus tipos. Como queremos realizar predições para uma variável numérica contínua, é uma tarefa de regressão.

# importando pacote
library(mlr3verse)

# criando task
task_swiss = TaskRegr$new(
  id = "swiss",
  backend = data,
  target = "Infant.Mortality"
)

Notou algo estranho? Como o {mlr3} trabalha com a classe R6, seu manuseio é mais parecido com outras linguagens orientadas a objeto, como o Python. Essa classe tem duas propriedades especiais:

• Métodos pertencem a objetos e são chamados na forma objeto$metodo() e não como funções genéricas como foo(). Esse é o paradigma OOP (programação orientada à objetos). No caso acima, não há uma função para criar uma task como task_regr_new(), mas um método new() associado ao objeto TaskRegr;

• Os objetos da classe R6 são mutáveis, ou seja, eles são modificados no local (modify-in-place) e, portanto, têm semântica de referência. Isso significa que eles não são copiados a cada modificação, como os data frames comuns (classe S3), o que é um fator de alocação de memória e, consequentemente, lentidão.

O efeito colateral é que isso não é muito familiar para pessoas que não conhecem outras linguagens de programação além do R e no início pode parecer pouco natural e confuso.

Criado o objeto, podemos acessá-lo para verificar e visualizar as informações ali contidas:

# verificando
task_swiss

── <TaskRegr> (47x6) ───────────────────────────────────────────────────────────
• Target: Infant.Mortality
• Properties: -
• Features (5):
  • dbl (3): Agriculture, Catholic, Fertility
  • int (2): Education, Examination

# visualizando
autoplot(task_swiss, type = "pairs")

Podemos ver que apenas a fertilidade é linearmente correlacionada com a mortalidade infantil — quanto maior a fertilidade, maior a mortalidade —, e podemos esperar que tenha maior peso nas predições. As demais variáveis não apresentam correlação linear significativa com a variável de resposta. Entretanto, apresentam correlação moderada ou forte entre si, mas não a ponto de apresentar colinearidade, o que demandaria tratamento.

Agora selecionamos o algoritmo³ que será usado para treinar o modelo. Escolhi aqui o XGBoost. A lista completa pode ser acessada por essa lista estática, por essa lista dinâmica ou pela função mlr3extralearners::list_mlr3learners(). Como mencionado anteriormente, os algoritmos não são implementados pelo ecossistema do {mlr3} e nas listas citadas constam os pacotes onde os algoritmos foram implementados e que devem ser baixados para o seu uso.

# definindo o learner
l_xgboost = lrn("regr.xgboost")

# checando
l_xgboost

── <LearnerRegrXgboost> (regr.xgboost): Extreme Gradient Boosting ──────────────
• Model: -
• Parameters: nrounds=1000, nthread=1, verbose=0, verbosity=0
• Validate: NULL
• Packages: mlr3, mlr3learners, and xgboost
• Predict Types: [response]
• Feature Types: logical, integer, and numeric
• Encapsulation: none (fallback: -)
• Properties: hotstart_forward, importance, internal_tuning, missings, offset,
validation, and weights
• Other settings: use_weights = 'use'

Vamos entender o que o objeto l_xgboost nos diz.

1. Model: Vazio, pois ainda não há um modelo treinado;
2. Parameters: Os hiperparâmetros a serem escolhidos e tunados para performance do modelo;
3. Packages: O pacote onde o algorítmo foi implementado e de onde será importado pelo {mlr3};
4. Predict Type: Se response a predição é retornada como 0 ou 1, no caso de classificação, ou num valor para variável de resposta, no caso de regressão — neste caso, será a mortalidade infantil escalonada no intervalo [1, 100]. Se “prob”, para classificação, a predição retorna a probabilidade entre 0 e 1;
5. Feature Type: Os tipos de variáveis que o algoritmo é capaz de manipular. No caso do XGBoost, por exemplo, apenas variáveis numéricas podem ser utilizadas. Isso quer dizer que os fatores devem ser convertidos em valores binários (i.e. 0 ou 1), ou seja, deve-se tornar a matriz esparsa — no caso de um fator sexo, por exemplo, na fase de pre-processamento seriam criadas as colunas sexo.masculino, com valores de 1 ou 0, e sexo.feminino, também com 1 ou 0;
6. Properties: Propriedades e capacidades adicionais do algoritmo. Neste caso, o XGBoost possui a capacidade de computar e retornar os valores da importância das features para o modelo; a capacidade de trabalhar com dados faltantes (missings); a capacidade de computar e retornar os pesos associados às features.

Como pode ver em parameters, não há nenhum hiperparâmetro configurado. Podemos acessá-los da seguinte maneira:

# acessando hiperparâmetros
head(as.data.table(l_xgboost$param_set))

                  id    class lower upper               levels nlevels
              <char>   <char> <num> <num>               <list>   <num>
1:             alpha ParamDbl     0   Inf               [NULL]     Inf
2:     approxcontrib ParamLgl    NA    NA           TRUE,FALSE       2
3:        base_score ParamDbl  -Inf   Inf               [NULL]     Inf
4:           booster ParamFct    NA    NA gbtree,gblinear,dart       3
5:         callbacks ParamUty    NA    NA               [NULL]     Inf
6: colsample_bylevel ParamDbl     0     1               [NULL]     Inf
   is_bounded special_vals   default storage_type    tags
       <lgcl>       <list>    <list>       <char>  <list>
1:      FALSE    <list[0]>         0      numeric   train
2:       TRUE    <list[0]>     FALSE      logical predict
3:      FALSE    <list[0]>       0.5      numeric   train
4:       TRUE    <list[0]>    gbtree    character   train
5:      FALSE    <list[0]> <list[0]>         list   train
6:       TRUE    <list[0]>         1      numeric   train

Como o tunning de hiperparâmetros não é o assunto, vamos apenas configurar algumas coisas básicas para demonstrar como essas informações são acessadas e modificadas. O método para isso é o param_set$values:

# hiperparâmetros
l_xgboost$param_set$values = list(
  # mandando o algoritmo treinar mais lentamente
  eta = 0.1,
  # limitando profundidade da árvore
  max_depth = 5,
  # quantidade máxima de iterações
  nrounds = 100,
  # necessário com versões atuais do xgboost
  verbose = 1
)

# verificando
l_xgboost

── <LearnerRegrXgboost> (regr.xgboost): Extreme Gradient Boosting ──────────────
• Model: -
• Parameters: eta=0.1, max_depth=5, nrounds=100, verbose=1
• Validate: NULL
• Packages: mlr3, mlr3learners, and xgboost
• Predict Types: [response]
• Feature Types: logical, integer, and numeric
• Encapsulation: none (fallback: -)
• Properties: hotstart_forward, importance, internal_tuning, missings, offset,
validation, and weights
• Other settings: use_weights = 'use'

3 TREINO E PREDIÇÃO

As próximas etapas são o treino e a predição — trataremos de tunning e resampling nos próximos posts. Primeiramente, o split do dataset em treino e teste. Para isso, usaremos a função sample() em dois métodos do objeto task_swiss, o row_ids e nrow. O primeiro enumera os índices de cada linha:

# método row_ids
task_swiss$row_ids

 [1]  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
[26] 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47

Enquanto o segundo retorna a quantidade de linhas do dataset:

# método row_ids
task_swiss$nrow

[1] 47

Assim, podemos selecionar os índice do dataset em duas amostras aleatórias:

# garantindo reprodutibilidade
set.seed(1)

# índices para amostra treino
train_set = sample(task_swiss$row_ids, 0.7 * task_swiss$nrow)

# índices para amostra teste
test_set = setdiff(task_swiss$row_ids, train_set)

# verificando
head(train_set)

[1]  4 39  1 34 23 14

Com os índices selecionados, podemos realizar nosso treino apenas nos 70% escolhidos aleatoriamente da amostra, sem copiar os dados e alocar memória desnecessariamente:

# treino
l_xgboost$train(task_swiss, row_ids = train_set)

# verificando
l_xgboost$model

##### xgb.Booster
call:
  xgboost::xgb.train(params = pv[names(pv) %in% formalArgs(xgboost::xgb.params)], 
    data = xgb_data, nrounds = pv$nrounds, evals = pv$evals, 
    custom_metric = pv$custom_metric, verbose = pv$verbose, print_every_n = pv$print_every_n, 
    early_stopping_rounds = pv$early_stopping_rounds, maximize = pv$maximize, 
    save_period = pv$save_period, save_name = pv$save_name, callbacks = pv$callbacks %??% 
        list())
# of features: 5 
# of rounds:  100 

Como podemos ver, na primeira iteração o modelo obteve rmse⁴. de 17.7, o que é alto considerando a escala [1-100] da mortalidade infantil. Ao longo do treino, o erro foi reduzido até 0.03, o que não significa que sua performance permaneça nesse nível quando extrapolado para a amostra teste ou novos dados, mas é um bom sinal. O esperado é que a performance real do modelo, após ser aplicado à amostra teste, fique entre a iteração inicial e final. Se ficar melhor do que a performance do teste, alguma coisa certamente está errada.

Vamos verificar qual a performance real após realizarmos as predições na amostra teste. Primeiro, passamos os índices de teste ao objeto do learner com o modelo e chamamos o método predict() para obter as predições.

# predições
preds = l_xgboost$predict(task_swiss, row_ids = test_set)

# verificando
preds

── <PredictionRegr> for 15 observations: ───────────────────────────────────────
 row_ids truth response
       8  24.9 19.90614
      11  24.5 19.05639
      13  19.1 18.36767
     ---   ---      ---
      40  20.5 20.66445
      43  20.0 21.60975
      47  19.3 19.03525

No objeto com as predições, são armazenados tanto os valores preditos pelo modelo response quanto os valores da amostra truth. Esses valores então podem ser comparados para calcular a acurácia do modelo através do método score():

# acurácia
preds$score(list(
  msr("regr.rmse"),
  msr("regr.mae")
))

regr.rmse  regr.mae 
 2.419703  1.889676 

# visualizando
autoplot(preds)

A rmse do modelo na amostra teste ficou em apenas 2.59 unidades, o que é uma performance muito boa!

4 INTERPRETAÇÃO

Como o XGBoost possui a propriedade de feature importance, podemos extraí-la com o método importance():

# feature importance
l_xgboost$importance()

  Fertility    Catholic Agriculture Examination   Education 
 0.43614832  0.37091549  0.09587702  0.07577311  0.02128606 

# visualizando
barplot(l_xgboost$importance())

Entretanto, somente a importância não nos descreve o relacionamento da feature com a variável de resposta, nem mesmo sua direção, sendo uma medida muito pobre de interpretação. Discutiremos técnicas de interpretação em outras postagens.

1 OS DADOS

Coloco aqui duas opções para buscar esses dados:

1. Manualmente, navegando em ftp://ftp.mtps.gov.br/pdet/microdados/RAIS/2017/ES2017.7z
2. De forma programática via Python.

Escolhi o Python aqui porque não conheço um pacote no CRAN² que lide com compressão 7zip — se souber, por favor, indique nos comentários! Se escolher baixar e descompactar via script, podemos executar códigos Python através do R com o {reticulate}:

# ativando python
library(reticulate)

# escolhendo o ambiente
use_condaenv("base")

Depois de ativar o ambiente Python, vamos baixar e descompactar a base de dados para uma pasta chamada data dentro do diretório do nosso projeto. Se você baixou manualmente, crie a pasta data e cole o arquivo lá.

# importando módulos
import urllib.request as rq
import py7zr

# baixando dados
url = "ftp://ftp.mtps.gov.br/pdet/microdados/RAIS/2017/ES2017.7z"
rq.urlretrieve(url, "data/rais.7z")

# descompactando
rais = py7zr.SevenZipFile("data/rais.7z", mode="r")
rais.extractall(path="data/")
rais.close()

Vamos precisar também da tabela do Código Brasileiro de Ocupações para entendermos as profissões das pessoas analisadas. Depois de fazer o download, coloque na pasta data junto com o arquivo da Rais.

Com os dados baixados, vamos importá-los, conhecê-los e começar a extrair sentido deles.

# pacotes
library(tidyverse)

# importando a Rais
# como os dados possuem caracteres especiais (acentos),
# é necessário alterar o encoding para LATIN1
data = read_delim("data/ES2017.txt", delim = ";",
                  locale = readr::locale(encoding = "LATIN1"),
                  col_names = FALSE,
                  skip = 1)

# escolhendo as variáveis de interesse e renomeando colunas
# também vamos precisar substituir vírgulas por pontos
# se preferir, realize essa etapa via encoding
data = data %>%
  select(X8, X20, X26, X31, X35, X38) %>%
  rename("cod_profissao" = X8,
         "idade" = X20,
         "municipio" = X26,
         "cod_raca" = X31,
         "rem_media" = X35,
         "sexo" = X38) %>%
  mutate(rem_media = as.numeric(str_replace_all(rem_media, ",", ".")),
         sexo = as.integer(sexo),
         idade = as.integer(idade))

# importando tabela CBO
cbo = read_delim("data/CBO2002.csv", delim = ";",
                 locale = readr::locale(encoding = "LATIN1"),
                 col_names = c("cod_profissao", "profissao"),
                 col_types = c("d", "c"),
                 skip = 1)

# juntando ambas tabelas e filtrando apenas Vitória
data = data %>%
  inner_join(cbo, by = "cod_profissao") %>%
  filter(municipio == 320530)

Nossos dados agora têm essa cara:

# visualizando dataframe
head(data)

# A tibble: 6 × 7
  cod_profissao idade municipio cod_raca rem_media  sexo profissao              
          <dbl> <int>     <dbl> <chr>        <dbl> <int> <chr>                  
1        717020    42    320530 04            909.     1 Servente de obras      
2        715210    28    320530 02           1167.     1 Pedreiro               
3        717020    63    320530 02           1022.     1 Servente de obras      
4        717020    59    320530 02            880.     1 Servente de obras      
5        517410    29    320530 08           1880.     1 Porteiro de edifícios  
6        715115    61    320530 08              0      1 Operador de escavadeira

2 DIFERENÇAS NO AGREGADO

Primeiramente, vamos tentar entender o que temos em mãos em termos de amostra:

# quantidade de homens e mulheres
data %>%
  ggplot(aes(x = factor(sexo),
             fill = factor(sexo),
             label = scales::number(..count..))) +
  geom_bar() +
  geom_label(stat = "count",
             show.legend = FALSE,
             color = "grey30") +
  scale_y_continuous(labels = scales::number) +
  scale_fill_manual(name = "sexo",
                    labels = c("homens", "mulheres"),
                    values = c("lightblue", "salmon")) +
  labs(x = "",
       y = "quantidade",
       title = "QUANTIDADE DE HOMENS E MULHERES",
       subtitle = "amostra da cidade de Vitória-ES",
       caption = "fonte: Rais/2017") +
  theme_minimal() +
  theme(text = element_text(family = "Century Gothic",
                            color = "grey30"),
        axis.text.x = element_blank())

Temos praticamente a mesma quantidade de homens e mulheres em nossa amostra. Podemos, antes de realizar qualquer outra análise e aplicar quaisquer filtros, calcular a remuneração média:

# remuneração média
aggregate(data = data, rem_media ~ sexo, FUN = mean)

  sexo rem_media
1    1  3925.187
2    2  2846.727

No agregado, a renda média dos homens em Vitória é quase 40% maior que a das mulheres e mesmo quando consideramos a mediana ainda é quase 30% maior. Podemos verificar se essa diferença é significativa com um teste t, mas antes devemos verificar se seus pré-requisitos são atendidos.

# quartis
boxplot_data = data %>%
  group_by(sexo) %>%
  summarise(stats = list(fivenum(rem_media))) %>%
  unnest(cols = c(stats))

# boxplot
data %>%
  ggplot(aes(
    x = factor(sexo),
    y = rem_media,
    fill = factor(sexo)
  )) +
  geom_boxplot() +
  geom_label(
    data = boxplot_data,
    aes(x = factor(sexo), y = stats, label = scales::number(stats)),
    nudge_x = 0.25,
    show.legend = FALSE
  ) +
  coord_cartesian(ylim = c(0, 5000)) +
  scale_y_continuous(labels = scales::number) +
  scale_fill_manual(
    name = "sexo",
    labels = c("homens", "mulheres"),
    values = c("lightblue", "salmon")
  ) +
  labs(
    x = "",
    y = "remuneração média",
    title = "DISTRIBUIÇÃO DA REMUNERAÇÃO MÉDIA ENTRE HOMENS E MULHERES",
    subtitle = "amostra da cidade de Vitória-ES",
    caption = "fonte: Rais/2017"
  ) +
  theme_minimal() +
  theme(
    text = element_text(
      family = "Century Gothic",
      color = "grey30"
    ),
    axis.text.x = element_blank()
  )

# histograma
data %>%
  ggplot(aes(
    x = rem_media,
    fill = factor(sexo)
  )) +
  geom_histogram(binwidth = 500) +
  coord_cartesian(xlim = c(0, 20000)) +
  scale_y_continuous(labels = scales::number) +
  scale_x_continuous(labels = scales::number) +
  scale_fill_manual(
    name = "sexo",
    labels = c("homens", "mulheres"),
    values = c("lightblue", "salmon")
  ) +
  labs(
    x = "remuneração média",
    y = "quantidade",
    title = "DISTRIBUIÇÃO DA REMUNERAÇÃO MÉDIA ENTRE HOMENS E MULHERES",
    subtitle = "amostra da cidade de Vitória-ES",
    caption = "fonte: Rais/2017"
  ) +
  theme_minimal() +
  theme(text = element_text(
    family = "Century Gothic",
    color = "grey30"
  ))

# qqplot
# os dados estarão em cima da reta caso sejam distribuídos normalmente
par(mfrow = c(1, 2))

qqnorm(data[data$sexo == 1, ]$rem_media,
  main = "Q-Q PLOT: HOMENS")
qqline(data[data$sexo == 1, ]$rem_media)

qqnorm(data[data$sexo == 2, ]$rem_media,
  main = "Q-Q PLOT: MULHERES")
qqline(data[data$sexo == 2, ]$rem_media)

# garantir reprodutibilidade
set.seed(1)

# quantidade de amostras
n = 1000

# médias
medias = rep(NA, n)

# tirando amostras e calculando as médias
for (i in 1:n) {
  medias[i] = mean(
    sample(data[data$sexo == 1, ]$rem_media,
      size = 30, replace = TRUE
    )
  )
}

# qqplot
qqnorm(medias)
qqline(medias)

# visualização
hist(medias,
    main = "DISTRIBUIÇÃO DAS MÉDIAS AMOSTRAIS",
    xlab = "médias",
    sub = "seed = 1"
)

# transformando variável `sexo`
data = data %>%
  mutate(sexo = ifelse(sexo == 1, "homem", "mulher"))

# carregando pacote
library(infer)

# calculando estatística t
estatistica_calculada = data %>%
  specify(rem_media ~ sexo) %>%
  calculate(stat = "t", order = c("homem", "mulher"))

# gerando distribuição nula
distr_nula = data %>%
  specify(rem_media ~ sexo) %>%
  hypothesise(null = "independence") %>%
  generate(reps = 100, type = "permute") %>%
  calculate(stat = "t", order = c("homem", "mulher"))

# visualizando distribuição nula e estatística do teste
distr_nula %>%
  visualize(method = "both") +
  shade_p_value(estatistica_calculada, direction = "greater")

# calculando p-valor
distr_nula %>%
  get_p_value(obs_stat = estatistica_calculada, direction = "greater")

# A tibble: 1 × 1
  p_value
    <dbl>
1       0

# carregando pacote
library(effectsize)

# calculando a diferença padronizada
cohens_d(
  data[data$sexo == "homem", ]$rem_media,
  data[data$sexo == "mulher", ]$rem_media
)

Cohen's d |       95% CI
------------------------
0.26      | [0.25, 0.26]

- Estimated using pooled SD.

# interpretando a estatística d
interpret_cohens_d(0.26, "gignac2016")

[1] "small"
(Rules: gignac2016)

rules(
  c(0.2, 0.41, 0.63),
  c("muito pequeno", "pequeno", "moderado", "grande"),
  "Gignac & Szodorai (2016)"
)

# Reference Thresholds (Gignac & Szodorai (2016))

           Label            
----------------------------
       muito pequeno <=  0.2
 0.2 <    pequeno    <= 0.41
0.41 <   moderado    <= 0.63
0.63 <    grande            

3 DIFERENÇAS ENTRE PROFISSÕES

Podemos estender nossa análise verificando em quais profissões há maior e menor divergência na remuneração.

# criando dataframe de diferenças na remuneração
# profissões selecionadas
diferencas = data %>%
  mutate(profissao = case_when(
    str_detect(profissao, "Advogado") ~ "Advogados",
    str_detect(profissao, "Engenheiro") ~ "Engenheiros",
    str_detect(profissao, "Médico") ~ "Médicos",
    str_detect(profissao, "Gerente") ~ "Gerentes",
    str_detect(profissao, "Dirigentes|Diretor") ~ "Diretores",
    str_detect(profissao, "Economista") ~ "Economistas",
    str_detect(profissao, "Analista") ~ "Analistas",
    str_detect(profissao, "Técnico") ~ "Técnicos",
    str_detect(profissao, "Enfermeiro") ~ "Enfermeiros",
    str_detect(profissao,
      "(Professor)(.*)(ensino superior)(.*)") ~ "Prof. Ensino Superior",
    TRUE ~ "Outros"
  )) %>%
  group_by(sexo, profissao) %>%
  summarise(
    renda = mean(rem_media),
    n = n()
  ) %>%
  ungroup() %>%
    pivot_wider(names_from = sexo, values_from = c(renda, n)) %>%
    mutate(dif = renda_homem - renda_mulher) %>%
    arrange(desc(dif))

# visualizando tabela
diferencas

# A tibble: 11 × 6
   profissao             renda_homem renda_mulher n_homem n_mulher   dif
   <chr>                       <dbl>        <dbl>   <int>    <int> <dbl>
 1 Diretores                  13559.        6994.     393      228 6565.
 2 Engenheiros                13997.       10446.    1850      409 3550.
 3 Advogados                   8625.        5658.     244      342 2966.
 4 Economistas                 8251.        5576.     168      184 2675.
 5 Gerentes                    6599.        4463.    3659     3477 2136.
 6 Técnicos                    4790.        2731.   10434    10493 2060.
 7 Analistas                   5647.        4039.    2931     1869 1607.
 8 Prof. Ensino Superior       7384.        6470.    1248     1062  914.
 9 Outros                      3427.        2606.  121362   120682  820.
10 Médicos                     8232.        7704.    1840     1984  528.
11 Enfermeiros                 4166.        4439.     540     2139 -273.

Dentre as profissões selecionadas, apenas a de enfermagem tem remuneração média maior para as mulheres. Os homens levam vantagem em todos os demais. Colocando em gráfico:

# gráfico
diferenca_media = 3925.18 - 2846.727
setas = tibble(
  x1 = c(2.9, 9.6, 8.3),
  x2 = c(3.5, 9.2, 7.4),
  y1 = c(2000, 6000, 0),
  y2 = c(1200, 6300, -270)
)

diferencas %>%
  ggplot(aes(x = reorder(profissao, desc(profissao)), y = dif)) +
  geom_hline(yintercept = diferenca_media, color = "grey85") +
  geom_segment(
    aes(y = diferenca_media, yend = dif, xend = profissao),
    color = "grey85", size = .7
  ) +
  geom_point(aes(size = renda_homem), color = "#F06337") +
  scale_y_continuous(labels = scales::number) +
  scale_size_continuous(labels = scales::number, range = c(1, 10)) +
  annotate("text",
    x = 2.5, y = 2000, size = 3.5, color = "grey85",
    label = "a diferença média é de\nR$ 1.078"
  ) +
  annotate ("text",
    x = 10.5, y = 5500, size = 3.5, color = "grey85",
    label = paste("posições de executivo",
    "é onde a diferença é maior",
    "e é também onde estão\nos maiores salários",
    sep = "\n"
  )) +
  annotate("text",
  x = 9, y = 250, size = 3.5, color = "grey85",
  label = paste(
    "dentre essas profissões,",
    "apenas as enfermeiras",
    "recebem mais que homens",
    sep = "\n"),
  ) +
  geom_curve(
    data = setas, aes(x = x1, y = y1, xend = x2, yend = y2),
    arrow = arrow(length = unit(0.1, "inch")),
    size = 0.3, color = "grey85", curvature = 0.3
  ) +
  coord_flip() +
  labs(
    x = "",
    y = "diferença salarial em R$",
    size = "rem. média\n(homem)",
    title = "desigualdade de gênero",
    subtitle = paste("as disparidades salarias evidenciam o longo caminho na superação da colocação",
    "da mulher como profissional de segunda categoria no mercado de trabalho",
    sep = "\n"),
    caption = "fonte: Rais 2017, Vitória/ES | elaboração: Alberson Miranda"
  ) +
  theme(
    panel.grid = element_blank(),
    plot.background = element_rect(fill = "#002538"),
    panel.background = element_rect(fill = "#002538"),
    text = element_text(
      family = "Century Gothic",
      color = "grey85"
    ),
    axis.text = element_text(color = "grey85", size = 10),
    axis.ticks = element_line(color = "grey85"),
    plot.title = element_text(size = 36, margin = margin(10, 0, 5, 10)),
    plot.subtitle = element_text(
      hjust = 0,
      margin = margin(0, 0, 30, 0),
      size = 16
    ),
    plot.caption = element_text(hjust = 1),
    plot.title.position = "plot",
    panel.border = element_rect(color = "grey85", fill = NA),
    legend.background = element_rect(fill = "#002538"),
    legend.key = element_rect(fill = "#002538")
  )

Dentre essas profissões que escolhemos, vamos analisar o tamanho do efeito para médicos e executivos (dirigentes e diretores).

# calculando estatística t
estatistica_calculada = data %>%
  filter(str_detect(profissao, "Médico")) %>%
  specify(rem_media ~ sexo) %>%
  calculate(stat = "t", order = c("homem", "mulher"))

# gerando distribuição nula
distr_nula = data %>%
  filter(str_detect(profissao, "Médico")) %>%
  specify(rem_media ~ sexo) %>%
  hypothesise(null = "independence") %>%
  generate(reps = 100, type = "permute") %>%
  calculate(stat = "t", order = c("homem", "mulher"))

# calculando intervalo de confiança
percentile_ci = get_ci(distr_nula)

# visualizando distribuição nula e estatística do teste
distr_nula %>%
  visualize(method = "both") +
  shade_p_value(estatistica_calculada, direction = "greater") +
  shade_confidence_interval(endpoints = percentile_ci)

# calculando p-valor
distr_nula %>%
  get_p_value(obs_stat = estatistica_calculada, direction = "greater")

# A tibble: 1 × 1
  p_value
    <dbl>
1       0

 # calculando a diferença padronizada
 cohens_d(
   data[data$sexo == "homem" &
     str_detect(data$profissao, "Médico"), ]$rem_media,
   data[data$sexo == "mulher" &
     str_detect(data$profissao, "Médico"), ]$rem_media
 )

Cohen's d |       95% CI
------------------------
0.12      | [0.06, 0.19]

- Estimated using pooled SD.

 # interpretando a estatística d
 interpret_cohens_d(0.12, "gignac2016")

[1] "very small"
(Rules: gignac2016)

# calculando estatística t
estatistica_calculada = data %>%
  filter(str_detect(profissao, "Dirigentes|Diretor")) %>%
  specify(rem_media ~ sexo) %>%
  calculate(stat = "t", order = c("homem", "mulher"))

# gerando distribuição nula
distr_nula <- data %>%
  filter(str_detect(profissao, "Dirigentes|Diretor")) %>%
  specify(rem_media ~ sexo) %>%
  hypothesise(null = "independence") %>%
  generate(reps = 100, type = "permute") %>%
  calculate(stat = "t", order = c("homem", "mulher"))

# calculando intervalo de confiança
percentile_ci <- get_ci(distr_nula)

# visualizando distribuição nula e estatística do teste
distr_nula %>%
  visualize(method = "both") +
  shade_p_value(estatistica_calculada, direction = "greater") +
  shade_confidence_interval(endpoints = percentile_ci)

 # calculando a diferença padronizada
 cohens_d(
   data[data$sexo == "homem" &
     str_detect(data$profissao, "Dirigentes|Diretor"), ]$rem_media,
   data[data$sexo == "mulher" &
     str_detect(data$profissao, "Dirigentes|Diretor"), ]$rem_media
 )

Cohen's d |       95% CI
------------------------
0.47      | [0.30, 0.63]

- Estimated using pooled SD.

 # interpretando a estatística d
 interpret_cohens_d(0.47, "gignac2016")

[1] "moderate"
(Rules: gignac2016)

4 CONSIDERAÇÕES

A escala de Gignac & Szodorai é apenas uma rule of thumb dentre outras — além dela, duas regras muito usadas são as regras de Cohen (1988) e de Sawilowsky (2009). Pode ser que para a natureza desse problema a interpretação sugerida por essas regras não seja razoável. Nelas, uma estatística d de 0.47 é considerada pequena ou moderada. No entanto, se tratando de disparidades salariais entre gêneros, podemos argumentar que uma taxa de 69% das mulheres com remuneração menor que a do homem médio seja um resultado expressivo, justificando uma escala específica.

De qualquer forma, a desigualdade é escancarada e ainda há várias variáveis a serem exploradas nesse contexto — se adicionarmos raça, qual será o comportamento?

Se você chegou até aqui e tem sugestão de variáveis, escalas para interpretação ou outras profissões para analisarmos, deixe seu comentário que a gente atualiza com um edit!

1 O TESTE

O teste F, dentre suas várias outras aplicações, é usado em conjunto com o teste t de duas amostras — quando é preciso conhecer se as duas populações amostradas têm a mesma variância ou não.

Ele também é um teste paramétrico, o que significa que ele supõe que as populações têm aproximadamente uma certa de distribuição, neste caso a normal. Portanto, temos de primeiramente garantir que essa hipótese seja atendida.

# dados de densidade
d1 = density(homens)
d2 = density(mulheres)

# separando o grid em 2 colunas
par(mfrow = c(1,2))

# visualização
plot(d1,
  main = "Density Plot: homens")
polygon(d1, col = "lightblue")

plot(d2,
  main = "Density Plot: mulheres")
polygon(d2, col = "salmon")

# transformação logarítimica
log_homens = log(homens)
log_mulheres = log(mulheres)

# calculando a variância após transformação
var(log_homens)

[1] 0.5614271

var(log_mulheres)

[1] 0.5229548

# dados de densidade
d3 = density(log_homens)
d4 = density(log_mulheres)

# separando o grid em 2 colunas
par(mfrow = c(1,2))

# visualização
plot(d3,
  main = "Density Plot: log(homens)")
polygon(d3, col = "lightblue")

plot(d4,
  main = "Density Plot: log(mulheres)")
polygon(d4, col = "salmon")

# teste de normalidade
shapiro.test(log_homens)

    Shapiro-Wilk normality test

data:  log_homens
W = 0.98624, p-value = 0.5147

shapiro.test(log_mulheres)

    Shapiro-Wilk normality test

data:  log_mulheres
W = 0.98171, p-value = 0.2071

# graus de liberdade (n-1)
table(data[data$Housing == "rent",]$Sex)

female   male 
    95     84 

# F-statistic para 95º percentil
qf(.95, 83, 94)

[1] 1.419123

# calculando valor crítico
var(log_homens) / var(log_mulheres)

[1] 1.073567

2 O TESTE F NO R

No base R, a sintaxe do teste é muito semelhante a do teste t:

    F test to compare two variances

data:  log_homens and log_mulheres
F = 1.0736, num df = 83, denom df = 94, p-value = 0.7362
alternative hypothesis: true ratio of variances is not equal to 1
95 percent confidence interval:
 0.707196 1.638814
sample estimates:
ratio of variances 
          1.073567 

O sumário do teste nos diz que para que pudéssemos rejeitar a hipótese nula com = 5%, a razão deveria ser na ordem de 1.64 (variância de log_homens maior do que log_mulheres) ou 0.70 (variância de log_homens menor do que log_mulheres). Alternativamente, poderíamos rejeitar a hipótese nula se aumentássemos para 1-0.7362 = 26.38%, o que é uma probabilidade de incorrer no erro tipo II muito alta para ser considerada razoável.

1 O PROBLEMA

Considere uma questão de múltipla escolha com quatro respostas possíveis. A pergunta foi formulada para ser muito difícil, sendo que nenhuma das quatro respostas são consideradas erradas, mas com apenas uma única resposta correta. Foi feito um teste com 400 alunos. O teste tem objetivo de verificar se mais pessoas respondem à pergunta corretamente do que seria esperado apenas devido ao acaso (ou seja, se todos adivinhassem por pura sorte a resposta correta).

Realize o teste de hipóteses (seguindo os 5 passos), sabendo-se que de 400 alunos, 125 responderam corretamente a questão. Use α = 2%.

Acredito que o maior desafio aqui para os alunos iniciantes seja entender o problema e estruturá-lo de uma forma que possa ser respondido com assertividade. A chave está no seguinte trecho:

do que seria esperado apenas devido ao acaso (ou seja, se todos adivinhassem por pura sorte a resposta correta).

A probabilidade de se escolher a resposta certa dentre 4 opções ao acaso é de 25%. Entretanto, 125 dos 400 alunos acertaram a questão, ou seja, 31.25%. O problema então consiste em inferir se a média de 31.25% é significantemente diferente da média esperada, 25%, dado o tamanho da amostra e sua variância. Isso pode ser alcançado com o teste t para uma amostra.

2 UM POUCO DE SIMULAÇÃO

Antes de entrarmos no teste em si, sabemos que ele é bem simples de calcular mas nem sempre seu conceito é tão facilmente assimilado. Para auxiliar, vamos simular os dados e tentar colocar de maneira visual o que vamos fazer.

Como são dados binários (acertos ou erros) vamos utilizar 1 para acertos e 0 para erros.

# criando amostra
data = c(rep(1, 125), rep(0, 275))

# para que você chegue nos mesmos números aleatórios do exemplo
set.seed(1)

# randomizando
data = sample(data)

# checando
data

  [1] 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 0 0 1 0 0 0 0 1 1 1 1 0 1 1 1 0 1
 [38] 0 0 1 0 0 0 1 0 1 1 0 0 0 1 0 0 0 0 1 0 1 0 0 0 0 1 1 1 0 0 0 1 0 1 0 0 0
 [75] 1 0 1 0 1 1 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 1 1 0 1 0 1 0 1 1
[112] 0 1 0 0 0 0 0 0 0 0 0 1 0 1 0 1 1 0 1 0 1 1 0 0 1 1 0 1 1 0 0 0 0 0 0 0 0
[149] 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 0 1 0 1 0
[186] 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 0 1 1 0 0 1 1 1 0 0 1 0
[223] 0 0 1 0 0 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 1 0 0 1 0 1 0 0 1
[260] 0 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 0 0 0 0 1 1 1 0 1 0 0 0 0 1
[297] 0 0 0 1 0 0 0 1 1 0 0 0 1 1 0 1 0 0 0 1 0 1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 1
[334] 1 1 0 0 1 1 0 0 1 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1 0 1 1 0 1 1 0 1
[371] 0 0 0 1 0 0 0 0 0 1 0 0 0 0 1 1 0 0 1 0 0 1 0 0 1 0 0 1 1 0

Agora que já temos nosso vetor com os dados aleatórios dos alunos que acertaram e erraram as questões, vamos visualizá-lo:

# gráfico de barras
par(mar = c(2, 2, 0, 0))
barplot(table(data), col = c("lightblue", "salmon"))

A intuição do teste t é dizer se essa diferença entre os acertos e erros ocorre por mero acaso no processo de amostragem ou não. Mas o que isso significa? Neste caso, a média amostral foi de 31.25% com 400 estudantes. As características da distribuição, o desvio padrão e o tamanho da amostra permitem atestar que a diferença entre a média amostral e a média esperada é significante?

Para ilustrar o raciocínio, vamos tomar 10 amostras de 10 estudantes aleatoriamente e observar o comportamento das médias. Essas amostras de 10 estudantes podem ter média de acertos (linha vermelha) muito próxima dos 25% esperados (linha azul) e longe da média dos 400 alunos (linha verde).

# garantir reprodutibilidade
set.seed(3)

# quantidade de amostras
n = 10

# médias
medias = rep(NA, n)

# tirando amostras e calculando as médias
for (i in 1:n) {
  medias[i] = mean(
    sample(data, size = runif(1, min = 0, max = 10), replace = TRUE))
}

# visualização
hist(medias,
     main = "1ª tiragem: 10 amostras de 10 alunos",
     xlab = "média",
     sub = "seed = 3")
abline(v = mean(medias, na.rm = TRUE), col = "red")
abline(v = 0.25, col = "blue")
abline(v = 0.3125, col = "green")
legend("topright", legend = c(
  expression(hat(mu)),
  expression(paste(mu, "= 0.25")),
  expression(paste(mu, "= 0.3325"))),
  col = c("red", "blue", "green"),
  lty = 1)

Mas também é possível realizar outra tiragem de 10 amostras com 10 alunos diferentes e encontrarmos uma média completamente diferente, próxima dos 45%:

# garantir reprodutibilidade
set.seed(4)

# quantidade de amostras
n = 10

# médias
medias = rep(NA, n)

# tirando amostras e calculando as médias
for (i in 1:n) {
  medias[i] = mean(
    sample(data, size = runif(1, min = 0, max = 10), replace = TRUE))
}

# visualização
hist(medias,
     main = "2ª tiragem: 10 amostras de 10 alunos",
     xlab = "média",
     sub = "seed = 4")
abline(v = mean(medias, na.rm = TRUE), col = "red")
abline(v = 0.25, col = "blue")
abline(v = 0.3125, col = "green")
legend("topright", legend = c(
  expression(hat(mu)),
  expression(paste(mu, "= 0.25")),
  expression(paste(mu, "= 0.3325"))),
  col = c("red", "blue", "green"),
  lty = 1)

Conforme vamos aumentando a quantidade de amostras, o desvio padrão se estabiliza e a média amostral vai se aproximando da média populacional. Veja as médias de 50 amostras de 10 alunos, cada:

# garantir reprodutibilidade
set.seed(3)

# quantidade de amostras
n = 50

# médias
medias = rep(NA, n)

# tirando amostras e calculando as médias
for (i in 1:n) {
  medias[i] = mean(
    sample(data, size = runif(1, min = 0, max = 10), replace = TRUE))
}

# separando o grid em 2 colunas
par(mfrow = c(1, 2))

# visualização 1ª tiragem
hist(medias,
     main = "1ª tiragem: 50 amostras de 10 alunos",
     xlab = "média",
     sub = "seed = 3")
abline(v = mean(medias, na.rm = TRUE), col = "red")
abline(v = 0.25, col = "blue")
abline(v = 0.3125, col = "green")

################################################################################

# garantir reprodutibilidade
set.seed(4)

# quantidade de amostras
n = 50

# médias
medias = rep(NA, n)

# tirando amostras e calculando as médias
for (i in 1:n) {
  medias[i] = mean(
    sample(data, size = runif(1, min = 0, max = n), replace = TRUE))
}

# visualização 2ª tiragem
hist(medias,
     main = "2ª tiragem: 50 amostras de 10 alunos",
     xlab = "média",
     sub = "seed = 4")
abline(v = mean(medias, na.rm = TRUE), col = "red")
abline(v = 0.25, col = "blue")
abline(v = 0.3125, col = "green")
legend("topright", legend = c(
  expression(hat(mu)),
  expression(paste(mu, "= 0.25")),
  expression(paste(mu, "= 0.3325"))),
  col = c("red", "blue", "green"),
  lty = 1,
  cex = .7)

Pode-se observar que tomando duas tiragens de 50 amostras de 10 alunos aleatoriamente cada, as médias começam a convergir para a média observada no total dos 400 alunos.

E se aumentarmos para 100 amostras de 10 alunos?

# garantir reprodutibilidade
set.seed(3)

# quantidade de amostras
n = 100

# médias
medias = rep(NA, n)

# tirando amostras e calculando as médias
for (i in 1:n) {
  medias[i] = mean(
    sample(data, size = runif(1, min = 0, max = 10), replace = TRUE))
}

# separando o grid em 2 colunas
par(mfrow = c(1, 2))

# visualização 1ª tiragem
hist(medias,
     main = "1ª tiragem: 100 amostras de 10 alunos",
     xlab = "média",
     sub = "seed = 3")
abline(v = mean(medias, na.rm = TRUE), col = "red")
abline(v = 0.25, col = "blue")
abline(v = 0.3125, col = "green")

################################################################################

# garantir reprodutibilidade
set.seed(4)

# médias
medias = rep(NA, n)

# tirando amostras e calculando as médias
for (i in 1:n) {
  medias[i] = mean(
    sample(data, size = runif(1, min = 0, max = 10), replace = TRUE))
}

# visualização 2ª tiragem
hist(medias,
     main = "2ª tiragem: 100 amostras de 10 alunos",
     xlab = "média",
     sub = "seed = 4")
abline(v = mean(medias, na.rm = TRUE), col = "red")
abline(v = 0.25, col = "blue")
abline(v = 0.3125, col = "green")
legend("topright", legend = c(
  expression(hat(mu)),
  expression(paste(mu, "= 0.25")),
  expression(paste(mu, "= 0.3325"))),
  col = c("red", "blue", "green"),
  lty = 1,
  cex = .7)

Perceba que com 100 amostras aleatórias, as médias já ficam muito próximas dos 33.25% observados em ambas tiragens. Isso acontece porque conforme o número de observações aumenta, o desvio padrão tende a se estabilizar e a incerteza diminui. Seria muito difícil de os primeiros 400¹ alunos terem uma determinada média de acertos e os próximos 50 alunos todos acertassem ou errassem de forma a gerar mudanças no desvio padrão e afetar a média significativamente. É por isso que, em último caso, o teste t é um teste de tamanho de amostra. A pergunta por trás de tudo é: minha amostra é grande o suficiente para que a diferença seja significativa?

Agora, com a intuição do teste em mente, vamos formalizá-lo.

3 O TESTE

Para tornar o processo bem transparente e fixar bem os conceitos, é sempre recomendável utilizar o framework das 5 etapas do teste de hipótese, que são:

4 Ok, mas e no R?

No R, o teste não poderia ser mais simples:

t.test(data, mu = 0.25, conf.level = 0.98)

    One Sample t-test

data:  data
t = 2.6934, df = 399, p-value = 0.00737
alternative hypothesis: true mean is not equal to 0.25
98 percent confidence interval:
 0.2583002 0.3666998
sample estimates:
mean of x 
   0.3125 

Note que 0.25 não está no intervalo de confiança, de forma que podemos rejeitar . Como ilustração, para que não pudessemos rejeitar a hipótese nula, teríamos de aumentar o nível de significância para 1 - p-valor, ou seja, para 99.263%:

t.test(data, mu = 0.25, conf.level = 0.99263)

    One Sample t-test

data:  data
t = 2.6934, df = 399, p-value = 0.00737
alternative hypothesis: true mean is not equal to 0.25
99.263 percent confidence interval:
 0.2499995 0.3750005
sample estimates:
mean of x 
   0.3125 

Ou aumentar a média para 25.83%:

t.test(data, mu = 0.2583, conf.level = 0.98)

    One Sample t-test

data:  data
t = 2.3357, df = 399, p-value = 0.02
alternative hypothesis: true mean is not equal to 0.2583
98 percent confidence interval:
 0.2583002 0.3666998
sample estimates:
mean of x 
   0.3125 

Bem mais fácil do que fazer na mão, não é mesmo?

5 CONCLUSÃO

Agora que temos todo o instrumental, podemos responder a pergunta do rapaz do fórum. O professor, sim, pode ficar orgulhoso, pois podemos rejeitar a hipótese de que a média de acerto de seus alunos foi mero chute. Parabéns à turma! :p

1 ENDEREÇO PROXY

O endereço do servidor proxy fica salvo em um arquivo de configuração que pode ser obtido via navegador. Se você estiver no Windows, terá de acessar o famigerado Internet Explorer, ir em Opções da Internet, Conexões e Configurações da Lan.

Copie e cole o caminho exibido no campo Endereço no navegador e você irá baixar um arquivo .dat com as configurações de proxy. Abra o arquivo em algum leitor¹. No arquivo, busque por “PROXY”, essa variável conterá o endereço do servidor proxy no formato dominio.com:porta.

2 ESCOLHER O MÉTODO DE AUTENTICAÇÃO

Com o endereço proxy em mãos, precisamos escolher como vamos nos autenticar:

1. Digitar a senha a cada push/pull
2. Salvar a senha no .gitconfig

O primeiro método se aplica quando temos preocupação com nossa senha, ou seja, quando o computador é compartilhado ou a configuração é salva em rede, por exemplo.

Quando esse não é o caso, pode-se simplesmente salvar o usuário e senha no arquivo de configuração e o push/pull ocorrerá diretamente.

# abrir o arquivo de configuração
usethis::edit_git_config()

[http]
    proxy = http[s]://dominio.com:porta

[credential]
    helper = wincred

[credential "helperselector"]
    selected = manager

[http]
    proxy = http[s]://usuario:senha@dominio.com:porta