A briga entre os intuitivos e os novos inteligentes.

“Super Crunchers – Why Thinking-by-Numbers Is The New Way To Be Smart” de Ian Ayres (visite o site dele!) relata uma nova categoria de inteligentes. Pessoas que utilizam ferramentas estatísticas e computacionais para extrair informações relevantes de grandes bases de dados e que influenciam decisões tomadas na vida real. O que antes você perguntava a um expert no futuro vc vai consultar uma base de dados. A decisão que era tomada de forma intuitiva vai ser tomada a partir de um experimento de campo realizada de forma estatística.

São inúmeros casos listados no livro como o de Orley Ashenfelter. Ele analisou como um ano a mais na escola influencia o rendimento futuro de gêmeos idênticos. Ele durante anos foi o editor do American Economic Review. Um dia ele resolveu utilizar a sua capacidade de processar números para olhar o mercado de vinhos, tentando criar uma equação que predizesse o valor de um vinho no mercado 10 anos depois dele ser produzido. Para isso ele analisou uma série de variáveis de clima da região de Bordeaux e correlacionou com o valor do vinho 10 anos depois. Ao final ele descrobriu que muito calor e pouca chuva são os fatores fundamentais que influenciam na qualidade de um vinho, chegando na seguinte fórmula.

Qualidade do Vinho (determinado pelo preço) = 12.145 + 0.00117* quantidade de chuva no inverno + 0.0614 * média da temperatura da safra – 0.00386 * quantidade de chuva na colheita.

Os vinhos levam um tempo para maturar, alguem conseguir predizer como será a qualidade de um vinho 10 anos depois é uma ferramenta poderosa para quem quiser comprar os vinhos quando eles estão baratos para estocar e vender depois. E mais ainda, tira o poder dos críticos e do status quo de quem avalia e negocia vinho.

E neste ponto que começou a batalha. Os críticos avaliam os vinhos muito cedo, sem ele estar maduro. Robert Parker, papa dos enólogos, elogiou a safra de 1986 que o Orley criticou e isso virou capa do New York Times em 1990. O status quo estava sendo desafiado por um maluco com uma fórmula matemática. Depois Orley disse que a safra de 1989 seria excepcional, com 3 meses da colheita realizada. Que o vinho seria o mais caro dos últimos 30 anos. No ano subsequente declarou que a safra de 1990 seria melhor que a de 1989. A caixa de pandora estava aberta. Veja o resultado desta briga em http://www.liquidasset.com/ ou em http://www.nbc10.com/money/1484478/detail.html.

E são vários casos Bill James achou que era mais fácil achar novos jogadores de baseball analisando os dados do que viajando todo o país como os olheiros fazem.

Gary Kasparov perdeu de um supercomputador com uma base de dados de 700.000 jogos para analisar, talvez somente com o supercomputador realizando buscas heurísticas o resultado não seria o mesmo.

O casino Harrah’s acompanha todos os jogadores em tempo real. A partir de dados como idade e média da renda da residência do jogar ele prediz quanto dinheiro ele pode perder. Antes de chegar a este ponto algum funcionário aborda o cliente e oferece um jantar. O que seria uma experiência dolorosa passa a ser uma experiência prazerosa garantindo o retorno do cliente (e da sua carteira pronta para ser ordenhada novamente…)

Farecast ajuda os viajantes prevendo o comportamento dos valores das passagens aéreas. Caso vá subir, compre logo, caso a tendência seja de queda, espere mais um pouco.

Peter Pope, trabalhava na prefeitura de Nova York. Depois de descobrir um caso de corrupção na construção civil de escolas, usou os dados das concorrências com fraude para detectar outras fraudes. Duas pessoas a mais foram identificadas e presas. O paper deste caso você encontra aqui.

Usando grupos de controle e comparando o resultado de alguns testes, CapOne descobriu que colocando uma foto de uma mulher sorridente em uma mala direta de oferta de crédito eles poderiam aumentar em 4.9 pontos percentuais a taxa de juros que o retorno da mala seria o mesmo. CapOne roda 28.000 testes de produtos, estratégias de marketing, termos de contratos por ano.

Offermatica, que foi comprada pela Omniture, cria ferramentas para que os sites sejam modificados dinamicamente e a versão com melhor retorno seja automaticamente colocada no ar. Google AdWords faz o mesmo. (O autor utilizou o Google AdWords para escolher o título do livro. O anúncio com melhor índice de cliques se tornou o título.)

Larry Katz deu uma sugestão que economizou US$ 2 bilhões/ano do sistema de seguro desemprego dos EUA. Gastando algum dinheiro a mais em ajuda para que os desempregados procurassem emprego ele conseguiu reduzir o tempo que o desempregado necessitava do benefício. Para chegar no resultado final ele realizou testes com grupos de controle, descobriu qual era o perfil que a ajuda era mais eficiente antes de escalar o projeto para todos os EUA. Contra os fatos obtidos não existiam argumentos.

O programa Progresa é um programa de transferência condicional de renda do governo Mexicano, semelhante ao Bolsa Família. Para garantir a perenidade do programa o ex-presidente Zedillos criou inicialmente um programa pequeno que atingiu 500 vilas. Desta forma ele conseguiu rodar um teste rápido em menos de um ano. Com os dados deste teste ele pretendia que governos posteriores não iriam interromper o programa. Quando o presidente Vicente Fox assumiu, ele mudou o nome do programa e manteve tudo igual. Os dados não mentiam.

Don Berwick já sabia dos erros médicos, mas depois de uma experiência pessoal com a sua esposa percebeu que deveria fazer algo. Procedimentos conhecidos na literatura, baseados em testes estatísticos, não eram utilizados nos hospitais o que acarretava a morte de mais de 98.000 pacientes por ano. Ele lançou uma iniciativa que implementando 6 procedimentos poderiam salvar 100.000 vidas/ano nos hospitais americanos.

O Instituto de Medicina estima que leva algo em torno de 17 anos para que experimentos realizados de forma randômica tenham os seus resultados incorporados na prática médica. Jason Maude quase perdeu uma filha por erro de diagnóstico médico. Depois deste fato ele resolveu criar um sistema de apoio a diagnóstico chamado Isabel. O que mais impressiona é a resistência dos médicos no uso destas tecnologias. Joseph Britto um dos líderes do projeto Isabel uma vez perguntou para seu instrutor de vôo (ele estava aprendendo a pilotar) qual a razão que os pilotos assumiam de forma tranquila o auxilio de sistemas semelhantes a Isabel ao contrário dos doutores. Ele ouviu a seguinte resposta: “It’s very simple, Joseph. Unlike pilots, doctors don’t go with their planes”.

Andrew Martin e Kevin Quinn propuseram um sistema de predição dos votos dos juizes da suprema corte americana. Ted Ruger professor de direito da Universidade de Pennsylvania achou aquilo um absurdo e propôs uma competiçào do sistema deles versus um painel de experts para predizer os votos do ano de 2002. O sistema acertou 75% das vezes e os experts 59.1%. O mais interessante são os parâmetros que o sistema precisa para predizer os votos… (vou deixar a curiosidade no ar para vcs comprarem o livro)

Estes são alguns exemplos, existem mais uma série deles no livro, muito melhor descritos que nestas linhas. A conclusão? Vai vencer a batalha quem usar a intuição para construir as perguntas corretas, indicar os parâmetros para análise (como testar uma hipótese? quais são os parâmetros passíveis de uma correlação?) e usar as ferramentas para validar a intuição. Quem trilhar este caminho de inda a vinda entre a intuição e o processamento dos dados estará na liderança destes novos inteligentes.