Nesta seção, de nosso curso de Programação Científica com Python, vamos te apresentar as principais bibliotecas para se trabalhar com Computação Numérica e Ciência de Dados, que são:
- NumPy
- SciPy
- SymPy
- Matplotlib
- Pandas
- Outros
São ferramentas que serão necessárias você instalar, para dar continuidade em nosso curso.
NumPy - O pacote fundamental da Computação Científica
Essa biblioteca é a base de toda a computação numérica (Numerical Python), que usamos para trabalharmos com Array, especificamente.
Embora tenha muita semelhança com as Listas, os arrays tem uma característica especial de ser possível fazer operações aritméticas com eles, diferente dos outros tipos de sequências.
Com a library do NumPy, vamos aprender a armazenar dados em um array e como manipular essas informações de uma maneira bem fácil. Se é da área de exatas, certamente já ouvir falar em matrizes, que no mundo da computação científica é conhecida por array multidimensional, também tratadas pelo NumPy.
O que é possível fazer com o NumPy:
- Criar, adicionar, remover e ordenas os elementos de um array
- Alterar tamanhos e formatos de arrays e matrizes
- Fazer operações aritméticas com arrays
- Achar elementos máximos, mínimos, médias, soma etc
- Gerar números aleatórios
- Fazer cálculos matemáticos, como raiz quadrada, somatório, funções trigonométricas, hiperbólicas, arredondamentos, expoentes, logaritmos, numéricos completos, Bessel etc
- Álgebra linear
- Estatística
- Operação com bits
Documentação oficial do NumPy:
Como instalar o NumPy:
Se estiver usando o Jupyter notebook, não precisa fazer nada.
Para trabalhar diretamente numa IDE em sua máquina, utilize o pip no terminal de comandos de seu sistema operacional:
- pip3 install numpy
Ou
- pip install numpy
SymPy - Símbolos científicos em Python
Não sei se já percebeu, mas quase tudo em programação é feito através de números e textos, corretos?
Mas, e para exibir o símbolo de uma integral?
E de um somatório? Uma equação ordinária?
Imagine ter que estudar e lidar com uma função que tem trigonometria, logaritmo, números complexos etc, e tudo em uma fração?
É aí que entra a biblioteca SymPy (Symbolic Python). Com ela, além de fazer todos os cálculos possíveis que usualmente fazemos, ele exibe os símbolos (como o da raiz quadrada, a divisão com numerador em cima e denominador embaixo e tudo mais o que você puder fazer no papel, faremos no Python.
- Polinômios (fatorar, decompor, dividir...)
- Cálculo (limite, derivada, integral, série de Taylor)
- Equações (polinomiais, algébricas, diferencial, diofantinas e sistemas)
- Análise Combinatória (combinação, permutação, arranjos, binômio de Newton)
- Fórmulas de Física
- Matemática discreta e Lógica
- Matrizes (determinantes, autovalor/vetor)
- Geometria
- Estatística
- Cristografia
- Gráficos (plot)
Vejam um exemplo bonitinho no Jupyter notebook:
Para instalar o Sympy:
- pip install sympy ou
- pip3 install sympy
Documentação oficial do SymPy:
https://docs.sympy.org/latest/index.html
SciPy - O Python na Computação Científica
As duas bibliotecas anteriores são usadas para cálculos matemáticos, no geral. E são essenciais, afinal a Matemática é a base para toda a ciência, principalmente de exatas.
Mas é com a library SciPy que vamos adentrar, especificamente, nas ciências, com a programação em Python.
Ela se dá especialmente bem com a NumPy, principalmente quando precisamos fazer otimizações e integrações numéricas, tanto que sua estrutura de dados básica é o array multidimensional (matriz).
O SciPy acaba por 'estender' algumas funcionalidades do NumPy, generalizando mais algumas funções, como as da álgebra linear e da transformada de Fourier, por exemplo.
A biblioteca SciPy é mais usada, principalmente, para:
- Equações algébricas
- Equações diferenciais
- Interpolação
- Problemas envolvendo autovalor
- Integração
- Otimização
- Funções e distribuições estatísticas
- Algoritmos fundamentais para todas as ciências
- Processamento de Sinais
- Processamento multidimensional de imagens
- Transformadas de Fourier
- Spatial data structures (sistemas de informações geográficos, computação gráfica, robótica e outras áreas)
Veja um exemplo de uso da SciPy com o software de mapas e informações geográficas ArcGis:
Para instalar o SciPy:
- pip install scipy ou
- pip3 install scipy
Guia oficial do usuário SciPy:
Matplotlib - Gráficos e visualizações de dados
Agora que já aprendemos quais as ferramentas que existem e que usaremos para fazer cálculos numéricos, precisamos de uma maneira para exibir essas informações.
E é aí que entra a poderosa biblioteca Matplotlib, de mathematical plotting library, cujo propósito é o de exibir saídas e visualizações, que é algo bem mais amplo e poderoso do que simplesmente 'exibir gráficos', como veremos ao longo de nosso curso de Programação Científica com Python.
Com pouquíssimas linhas de código seremos capazes de construir os mais diversos tipos de imagens e gráficos, em excelente resolução e de maneira bem flexível e configurável. Se já usou o MATLAB alguma vez, saiba que vai ter tudo o que ele oferece, e muito mais, graças ao poder e versalidade do Python.
A título de curiosidade, essa library foi criado por um neurocientista e biólogo, chamado John Hunter, mostrando que cientistas também podem se tornar exímios programadores. Não sinta medo se aparecer algo estranho ou difícil, em primeiro momento. Com o tempo e prática, vai ver que programar é uma das coisas mais simples e belas de se fazer.
Confesso que foi uma tarefa árdua achar imagens que ilustrassem o que é possível fazer com o Matplotlib:
Por isso, convido todos a digitarem 'matplotlib' no Google imagens e ver a infinidade de possibilidades que essa biblioteca do Python nos fornece:
A biblioteca do Matplotlib nos fornecesse a possibilidade de se criar e trabalhar com:
- Plot de linhas
- Plot scatter (gráficos de dispersão)
- Plot stem (Diagrama de ramos e folhas)
- Plot em 2D e 3D
- Plot de contorno
- Plot polares
- Stack Plot (gráficos de pilha)
- Box Plot (gráficos de caixa)
- Error Plot (margem de erro)
- Violin Plot
- Plot de mapas de cores
- Plot interativos (suportam tratamento de eventos e possibilidade de se mudar os dados de maneira dinâmica)
- Gráficos de barra
- Gráficos de pizza (pie chart)
- Histograma
- Customização de figuras, legendas, rótulos, eixos, títulos, subplots, grids de imagens etc
- Mapas e projeções cartográficas (Basemap e Cartopy)
- Portável e multi-plataforma
- Integração com outras ferramentas, com o LaTeX e o Microsoft Excel
- Qualidade de imagens do nível de publicações científicas
- Total integração com o NumPy
- Integração com o Jupyter Notebook
- Possibilidade de se trabalhar com animações e renderizações rápidas
Para instalar o Matplotlib, acesse o terminal de comando de seu sistema operacional e digite:
pip install matplotlib
ou
pip3 install matplotlib
Veja a documentação oficial do Matplotlib em:
Pandas e a ciência de dados (data science)
Certamente você já ouviu falar em ciência de dados (ou mais especificamente, análise e processamento de dados). Se tornou algo tão grande, tão importante e com tão poucas pessoas que tem conhecimento na área, que é comum de ouvirmos falar até em meios não-acadêmicos, como na TV mesmo ou como propaganda em alguma rede social sua.
Em nosso curso de computação numérica com Python, iremos utilizar a poderosíssima e famosa biblioteca pandas, que vai nos permitir fazer uma vasta gama de operações com todos os tipos de dados que você imaginar.
Iremos aprender a trabalhar com Series e Dataframes (dados em série e tabela de dados), mais precisamente quebrando essas informações, unindo, classificando, agrupando, extraindo estatísticas, percebendo padrões, convertendo dados etc.
Por exemplo, vamos supor que o órgão oficial da sua cidade está coletando informação de onde chove, em 10 locais de sua cidade. Pega informações a cada hora. Ou seja, 240 dados diariamente (10mm de chuva, 15mm de chuva, 0 mm de chuva etc).
Se você pegar um mês desses dados, vai ter mais de 7000 informações, porém não vai conseguir concluir nada. Afinal, você analisou só um mês.
Mas vamos supor que você consiga 20 anos dessas informações. São quase 2 milhões de dados.
Dá pra fazer algo manualmente? Bem inviável, concorda?
É aí que entra a programação em Python e, especificamente, o pandas. Podemos pegar os dados ano a ano e ver como ele se comporta. Que anos choveu mais ou menos? Ou foi estável? É possível notar mudanças climáticas em sua cidade, e usar isso em um artigo acadêmico.
E que tal agora a gente selecionar por mês? Quanto que choveu em cada mês, de cada ano? Tem meses que chovem mais? Certamente, apenas olhando os dados, você saberia dizer que época chove mais, quanto que chove, que meses tem seca (assim, gerar informações para a criação de projetos contra seca ou alagamentos!), e por aí vai.
Veja bem, é possível analisar milhões e milhões de dados desses, com pouquíssimas linhas de código, extrair todo tipo de informação que você possa imaginar e até mostrar isso de maneira gráfica.
O motivo do nome ser pandas é porque pandas são fofos, e é simplesmente apaixonante trabalhar com esta biblioteca:
Documentação do pandas
Adivinha? Para instalar o pandas, digite o comando:
pip install pandas
ou
pip3 install pandas
No terminal de comando de seu sistema operacional.
Machine Learning e a Inteligência Artificial
Assim como a ciência de dados, muitíssimo provavelmente você ouviu falar num campo de estudo e trabalho chamado Machine Learning, ou aprendizado de máquina, em nossa língua.
Em nossa apostila Programação Científica em Python, iremos apresentar uma biblioteca para aprender e trabalhar com Machine Learning, vamos aprender como criar programas que irão detectar padrões em dados, ver coisas que nós humanos não conseguimos ver, através da teoria do aprendizado computacional.
Sim. É possível programarmos e ensinarmos as máquinas a:
- Reconhecer padrões
- Aprender com erros
- Criação de algoritmos
- Fazer previsões
- Tomar decisões
E tudo isso é a base para toda a inteligência artificial.
Ficou satisfeito com o que é possível fazer nas ciências, com o Python?
Pois bem, não mostrei nem 1% do que é possível. Bem vindo ao fantástico mundo da programação.
Chega de moleza com sua máquina, nos próximos tutoriais vamos colocar a mão na massa e aprender como fazer o hardware pegar fogo, de tanto trabalhar e calcular.
