Mapeando o Brasil

WktRaster Plugin para Quantum GIS no GeoInfo

2012-01-13T07:17:00.000-08:00

O GeoInfo é o Simpósio Brasileiro de GeoInformática, que ocorre anualmente. Nele foram apresentados diversos temas que abrangeram diversos tópicos desde bancos de dados espaço-temporais até classificação orientada a objeto. Uma característica interessante do simpósio é que os artigos apresentados ficam disponíveis na página do evento.

Este ano o WktRaster Plugin amadureceu bastante e o PostGIS 2.0 também. Portanto um dos artigos é uma apresentação rápida do plugin mostrando seus objetivos, o que desejamos que ele seja capaz de cumprir e o que ele já consegue proporcionar ao usuário.

Para aqueles que querem ver alguns exemplos de queries envolvendo imagens e vetores, deixo aqui disponibilizada a apresentação em PDF.

Dados de prescipitação TRMM em TIF usando GDAL

2011-12-14T05:07:00.000-08:00

Os dados de prescipitação TRMM podem ser convertidos de hdf para tif utilizando o gdal_translate. Este processo facilita o uso em aplicativos de SIG.

Para isso podemos utilizar o "gdal_translate". Esta ferramenta vem disponível nos pacotes quem incluem a GDAL , como por exemplo,QuantumGIS, FWTools e OSGeo4W.

Apesar do QuantumGIS possuir uma interface gráfica para efetuar este processo, ela não permite que sejam definidos novas coordenadas de canto da imagem. Portanto, é necessária a utilização de linha de comando.

Em um terminal (ou OSGeo4W Shell no Windows) digite:

gdal_translate HDF4_SDS:UNKNOWN:NomeDoArquivo.hdf:0 saida.tif -a_ullr -180 50 180 -50 -a_srs EPSG:4326

Durante a conversão estamos definindo o sistema de coordenadas (WGS 84 Coordenadas geográficas) e a região ocupada pela imagem (-180 a 180 em longitude, -50 a 50 em latitude). Caso estes parâmetros não fossem passados, a ferramenta converteria apenas a matriz, sem georreferenciamento.

Para executar este comando em todos os arquivos de uma pasta (em lote) em sistemas operacionais Linux (com BASH) pode-se utilizar:

for f in *.hdf
do
gdal_translate HDF4_SDS:UNKNOWN:${f}:0 ${f}.tif \
-a_ullr -180 50 180 -50 -a_srs EPSG:4326
done

Visualizar camadas do Postgis do TerraView em outros aplicativos

2011-10-03T12:20:00.000-07:00

O TerraView 4 foi desenvolvido utilizando a TerraLib 4. Esta biblioteca tem uma organização de banco de dados pouco usual, pois separa as representações vetoriais de uma tabela das informações tabulares da mesma.

Apesar disso, o TerraView pode armazenar os dados geográficos utilizando os objetos nativos do PostGIS. Isto permite que os usuários vejam as geometrias em outros softwares, mas não dá acesso aos atributos.

Para visualizar todas as informações numa única tabela, pode-se fazer uso do conceito de "views" do PostgreSQL. Uma "view" é uma tabela dinâmica, produzida à partir de uma consulta. Neste caso, utilizaremos a "view" para juntar as tabelas de geometria e atributos.

Primeiramente, precisamos descobrir em que tabelas cada parte está armazenada. O TerraLib não dá nenhum nome intuitivo às tabelas de geometria, portanto seria difícil adivinhar qual é a tabela correta. Desta forma, pode-se utilizar o comando SQL a seguir para listar todos os relacionamentos entre geometrias e tabelas que o TerraView conhece.

select l.layer_id, l.name, r.geom_table, t.attr_table, t.attr_link  
from te_layer as l, te_representation as r, te_layer_table as t 
where (l.layer_id=t.layer_id) and (l.layer_id=r.layer_id)

A coluna "t.attr_link" é o nome da coluna da tabela de atributos que serve de ligação ao "object_id" da tabela de geometrias.

De posse do nome das duas tabelas onde estão nossos dados e das colunas que os ligam, pode-se criar a "view" que materializa a ligação:

CREATE VIEW pg_rio AS 
SELECT *  FROM polygons6 as g, rio< as t
WHERE t.object_id_6 = g.object_id;

Esta "view" já pode ser visualizada em aplicativos como GvSIG, QGIS e MapServer.

Como resultado secundário deste post, produzi um plugin simples para o Quantum GIS que permite carregar as camadas do TerraLib+PostGIS.

C45IDL - classificador por árvores de decisão

2011-09-26T14:07:00.000-07:00

Como trabalho da disciplina de Reconhecimento de Padrões e Aprendizado Computacional, implementei um classificador supervisionado que utiliza árvores de decisão binárias.

Disponibilizei o código-fonte e os executáveis no site do projeto C45IDL.

A linguagem escolhida foi IDL, que é uma linguagem proprietária. Todos os usuários do ENVI tem todos os requisitos para utilizar o programa. Para os usuários linux existe ainda a possibilidade de utilizá-lo com o GnuDataLanguage (implementação aberta do IDL).

O objetivo do programa é encontrar as melhores decisões para separar as classes que foram apresentadas para ele através de dados de treinamento. No site do projeto tem uma descrição breve de como utilizar o ENVI para produzir o arquivo de ROI no formato que o aplicativo lê. Basicamente deve-se exportar as ROI para ASCII, guardando no arquivo apenas o identificador das amostras e o valor das bandas.

A figura a seguir apresenta a interface do programa. Este algoritmo divide o conjunto de amostras em treinamento em validação. Portanto o "0.7" significa que 70% das amostras será utilizada como treinamento e 30% como validação.

Os parâmetros "Minimum samples per node" e "Maximum percentual error in a node" são critérios para para decidir quando a árvore deve parar de crescer. O "mínimo de amostras por nó" significa que quando o programa chegar a 25 amostras ele não tentará mais diferenciar as classes de treinamento. É um parâmetro necessário mas pouco eficiente.

Já a "proporção máxima de erro" pode ser utilizada para aceitar ruído nos dados de treinamento. Isso significa que ele considera o nó pronto quando chegar a menos de 1% de ruído. Em imagens menos ruidosas o usuário pode querer diminuir isso para 0% ou aumentar no caso de imagens mais ruidosas.

A figura a seguir apresenta o resultado de uma árvore construída com uma imagem Landsat com os parâmetros inalterados.

Caso o usuário forneça os dados de treinamento mas não os de validação, o programa irá apenas tentar gerar a árvore de decisão no formato que o ENVI lê. Caso seja passada também uma imagem a classificar, ele irá gerar uma imagem classificada como saída.

Como de costume, agradeço a todos que puderem testar e contribuir para o aperfeiçoamento do programa.

Nova página do projeto QGIS WktRaster

2011-08-26T16:12:00.000-07:00

O Quantum GIS agora tem um novo sistema de controle de defeitos nos plugins. Portanto, diversos plugins estão migrando para o novo site de forma a permitir aos usuários que reportem problemas e compartilhem experiência de uso.

O projeto WktRaster Plugin for Quantum GIS já está hospedado no endereço:
http://hub.qgis.org/projects/wktraster

Agradeço a todos que possam relatar possíveis problemas com o plugin. Software Livre cresce exatamente por esse relacionamento agradável entre usuários e desenvolvedores.

Referências Bibliográficas perfeitas no OpenOffice e Word

2011-08-08T12:21:00.000-07:00

Os usuários do Firefox podem contar com um grande auxílio na hora de buscar referências bibliográficas para suas pesquisas.

O plugin Zotero do Firefox permite que o usuário crie uma conta para armazenar suas referências no servidor do Zotero. Isso significa que em qualquer máquina que tenha o plugin instalado você terá acesso à todas as suas pastas com referências bibliográficas organizadas e formatadas.

Para a parte de pesquisa, o Zotero permite que durante a busca em sites como o Google Scholar sejam baixados os arquivos de referência no formato EndNote. Isso permite que durante a navegação o usuário armazene as referências diretamente dos sites de buscas. Além disso é mantigo o link para do artigo original, permitindo a sua leitura quando necessário.

Para a formatação no texto, o Zotero tem plugins para Microsoft Word e para o OpenOffice Writer. Ambos funcionam com a definição de estilos, que estão disponibilizados no próprio site do Zotero. Ficamos gratos aos desenvolvedores do estilo ABNT para o Zotero por facilitar muito nossas vidas.

Com isso o Zotero se mostra uma plataforma amigável para gestão de referências com software livre, tornando o OpenOffice um verdadeiro concorrente do Latex para produção científica.

Deixo publicado aqui também um modelo que deve atender aos padrões da Sociedade Brasileira de Computação.

wktraster plugin for Quantum GIS 0.5

2011-08-01T19:04:00.000-07:00

Tenho o prazer de comunicar que estou lançando a versão 0.5 do plugin wktraster.

Nesta versão os principais avanços foram:
- a possibilidade de carregar apenas uma linha da tabela (permitindo ler tabelas onde cada linha é uma imagem pertencente a um mosaico).
- Listagem melhorada de tabelas raster, permitindo carregar tabelas oriundas de processamentos.
- Carregamento de raster melhorado, permitindo cancelar durante o processo e mostrando as etapas da criação das overviews.
- Possibilidade de carregar os retângulos envolventes que compõe as matrizes da tabela.

Além disso a versão sofreu uma forte correção de bugs. Solicito a todos que encontrarem bugs que me enviem e-mail ou o reportem no site do projeto.

Carregamento de uma imagem com opções de overviews:

Lendo apenas uma linha da tabela

Lendo a representação vetorial da tabela

OpenStreetMaps do Brasil

2011-07-19T06:31:00.000-07:00

Com o passar do tempo o OpenStreetMaps está se tornando uma fonte de dados completa. Os grandes centros urbanos do país já possuem informação detalhada. Esta informação, disposta em um banco contínuo pode servir como camada de ruas de todo o país.

Para quem não conhece, o OpenStreetMaps é uma base contribuída cuja precisão é compatível com GPS de navegação. Ou seja, os erros dentro da base devem estar entre 3 a 15 metros.

Na wiki do OpenStreetMaps existem recomendações de como obter o mundo inteiro no formato OSM. Tentando proceder desta forma
existem dois problemas:
1- É necessário converter para o seu banco de dados.
2- É necessário recortar a região de interesse.

Algumas iniciativas deixam este trabalho pronto. A cloudmade.com é uma destas que possui um recorte por países. Portanto é possível descarregar as informações do OpenStreetMaps, em Shapefile, de todo o Brasil, por pouco mais de 100mb.

Celulares Android aplicados ao Sensoriamento Remoto

2011-07-13T14:34:00.000-07:00

Fiz uma apresentação para a turma do mestrado indicando as principais aplicações de um celular com Android para coleta de informações para sensoriamento remoto.

Decidi disponibilizá-la: Celulares Android aplicados ao Sensoriamento Remoto

Compilando para windows com mingw e Qt3 GPL

2011-07-11T06:59:00.000-07:00

Um dos maiores desafios do programador que gosta de Linux é gerar produtos para os usuários windows. Como a Qt é uma biblioteca multi-plataforma, isso é possível.

São necessários para esta tarefa os pacotes: mingw32, qt3-dev-tools, libqt3-mt-dev (em uma instalação Ubuntu 11.04).

Primeiramente, a Qt3 pode ser obtida através do projeto qt-win. É recomendado que o desenvolvedor obtenha o instalador da biblioteca para windows e a instale usando Wine. Para poder utilizar o arquivo a seguir, instale no diretório: C:\qt-win-free-mingw-3.3.4

Em seguida, seguiremos as configurações do mkspecs, conforme a referência descreve. Este arquivo muda muito conforme onde você instalou a Qt e com as versões do compilador e da biblioteca Qt. Portanto, caso precise alterar, siga a referência. Recomenda-se copiar a pasta /usr/share/qt3/mkspecs/win32-g++ para /usr/share/qt3/mkspecs/win32-mingw e colar o arquivo qmake.conf na pasta win32-mingw.

Agora ao utilizar o qmake pode-se utilizar o parâmetro "-spec win32-mingw" para passar para o compilador que você deseja um arquivo executável em windows, ao invés de um executável em linux.

Referências:
Cross compiling Qt/Win Apps on Linux

WktRaster QGIS Plugin 0.4

2011-05-19T14:39:00.000-07:00

Fico feliz em anunciar a nova versão do Plugin WKTRaster para Quantum GIS.
Nesta versão o plugin passa a ser compatível com GDAL 1.8 e Postgis 2.0.
Portanto todos os bugs que existiam de leitura e escrita com a GDAL 1.7 sumiram.

Os primeiros testes são promissores e demonstram que o Quantum GIS já pode ser utilizado para trabalhar com imagens no banco PostgreSQL.

Azimutes e Distâncias

2011-05-18T13:21:00.000-07:00

Alguns anos atrás um amigo precisou olhar um memorial descritivo antigo para entender o processo de subdivisão do loteamento que ocorreu com os anos. No memorial vinham apenas azimutes e distâncias a partir de uma coordenada conhecida.
Como esse problema é algo frequente, escrevi o plugin Azimuth and Distance para o Quantum GIS. O objetivo do plugin é exatamente desenhar geometrias utilizando ângulos e distâncias.
Posteriormente, foi levantado interesse de um programador americano, Fred Laplante em ajudar no plugin e, depois de diversas versões e correções, podemos dizer que consideramos o plugin satisfatório e prático.

Espero que seja útil!

Modelos digitais de elevações 3D

2011-03-12T07:48:00.000-08:00

Durante alguns devaneios brincando com engines de jogos 3D e modelos de elevações percebi que é muito simples transformar dados geográficos raster (geotiff) em modelos x3d de terreno.

Para isso escrevi o script: gdal2x3d

O objetivo deste código é ler um modelo digital de elevações guardado em um tif, hgt, ou similares (lidos pela GDAL) e armazenar a sequência em um ElevationGrid do arquivo x3d.
Dessa forma o modelo gerado pode ser lido por programas de modelagem 3D como o Blender ou game engines como crystal space

Abraços a todos

Instalando wktraster no ubuntu

2011-01-22T17:17:00.000-08:00

Primeiramente, descarregue o postgis 1.5.2 (versão atual do ubuntu maverick) e o wktraster do site do postgis.
Para compilar tudo corretamente são necessárias:
libxml2-dev
postgresql-server-dev-8.4

Descompactando a pasta do postgis-1.5.2 executaremos:

./configure
make

Agora descompactaremos a pasta do wktraster. Nesse passo precisamos dizer para o wktraster onde está aquela pasta que compilamos o postgis.

./configure --with-postgis-sources=/home/mauriciodev/Downloads/carto/postgis-1.5.2
make
sudo make install

O wktraster já está pronto. Agora falta carregar no banco.

su postgres
createdb wktraster
createlang plpgsql wktraster
psql -d wktraster2 -f /usr/share/postgresql/8.4/contrib/postgis-1.5/postgis.sql
psql -d wktraster2 -f /usr/share/postgresql/8.4/contrib/postgis-1.5/spatial_ref_sys.sql
psql -d wktraster -f /usr/share/postgresql/8.4/contrib/rtpostgis.sql

Pronto. Agora podemos carregar dados com o plugin do Quantum GIS.

Eclipse e Qt

2011-01-22T16:26:00.000-08:00

Lembrando que minha IDE preferida é o Eclipse por sua versatilidade, comecei a procurar como fazer integração do Eclipse com a Qt. Essa ferramenta ajuda muito a desenvolver plugins em C++ para o QGIS.

O Eclipse tem uma extensão de integração com a Qt (Qt Eclipse Integration). Este software permite gerenciar o arquivo do qmake dentro do Eclipse.

Para instalar basta mesclar a pasta do Qt Eclipse Integration com a do Eclipse. O software já estará funcionando assim que o Eclipse for reiniciado. Recomenda-se executar o comando "eclipse -clean" para limpar o cache de extensões do Eclipse.

Podemos então criar um projeto indo em "File->New-> Qt Gui project". Esse projeto já é configurado com QMake. Ou seja, o arquivo .pro está lá pronto para ser alterado.

No caso do QGIS foram necessárias algumas alterações no arquivo ".pro".

TEMPLATE = lib
TARGET = QgsImageProcessing
QT += core \
    xml
HEADERS += qgsconvolutionui.h \
    qgsimageprocessingplugin.h
SOURCES += qgsconvolutionui.cpp \
    qgsimageprocessingplugin.cpp
FORMS += qgsconvolutionui.ui
RESOURCES += 
INCLUDEPATH += /usr/include/qgis
DEFINES += GUI_EXPORT= \
    CORE_EXPORT=

Na imagem a seguir fica clara a integração do Eclipse ao editar um arquivo ".ui" (muito parecido com o QtDesigner).

Viajando pelo Brasil com QGIS

2011-01-17T12:03:00.000-08:00

Seu Software de SIG preferido agora também te ajuda nas viagens! Neste post mostro como traçar uma rota das rodovias brasileiras no QGIS e navegar utilizando imagens de satélite do GoogleMaps.
Primeiramente, vamos aos requisitos:
Dados: Banco Contínuo de 1:1.000.000 (disponivel no IBGE)
Softwares: Quantum GIS 1.6+ RoadGraph Plugin (disponivel em win32 e linux) + OpenLayers Plugin (disponivel através do repositório de plugins python)

Obs.: Vale lembrar que o RoadGraph Plugin será incluído no QGIS oficial na versão 1.7

Primeiramente, carregamos nossos dados. A camada de rodovias é chamada ST_Rodovias*. Quando o plugin está instalado (copiando-o para a pasta c:\osgeo4w\apps\qgis\plugins\ no caso do OSGeo4W), já aparece a caixinha de traçado de rotas no canto inferior esquerdo. Clicamos na origem e no destino e o plugin traçará nossa rota conforme a figura.

* Na escala 1.100.000 quase todas as pontes são pontos. Caso quiséssemos contar as pontes também, deveríamos editar a camda ST_Rodovias e incluir os objetos da camada ST_Ponte_Tunel.

Usando o botão direito do mouse sobre a camada "shortest path" podemos exportar para ShapeFile nossa rota. Faremos isso para poder reprojetá-la corretamente.

Agora, podemos carregar o plugin OpenLayers do QGIS.

E o resultado, conforme esperávamos, é uma visualização da rota traçada sobre imagens do Google Maps.

O grande poder desta solução é, por exemplo, descobrir quantos munícipios serão atravessados por estar rotas. Ou quantas cidades passarão a até 100km do percurso. Ou, conforme alguns amigos meus sempre sonharam: Qual é o comprimento total do trecho X ao trecho Y que eles possuem na base deles.
São análises possíveis por estarmos dentro de um software de sig com uma base de dados completa.

Postgis Raster Loader no QGIS

2011-01-05T05:34:00.000-08:00

Esta semana foi lançada a versão 0.3 do plugin WktRaster para o Quantum GIS. A grande melhoria desta versão é o Loader. É uma interface simples para carregar as imagens no banco baseada no código escrito pelo pessoal do Postgis Raster.

No futuro, com as novas versões da GDAL este loader será incrementado com diversas funcionalidades permitidas pelo Postgis Raster. Por hora o único objetivo é colocar o dado no banco de uma maneira eficiente e simples.
O Paolo Cavalini está ajudando bastante nos testes com as versões recentes da GDAL e estamos observando que o Jorge Arevalo está preparando uma versão muito melhorada a ser publicada na GDAL 1.8.
Estaremos aguardando!

QGIS, Raster e Reprojeção

2011-01-05T04:04:00.000-08:00

Reprojetar arquivos matriciais (raster) em tempo de execução (on-the-fly) sempre foi uma tarefa complicada para os desenvolvedores de softwares de SIG. O QuantumGIS, porém, teve uma abordagem diferente. Quando se trata de reprojetar um arquivo matricial ele simplesmente não faz. Isso porque até agora ninguém apontou uma técnica realmente vantajosa de reprojetar raster de maneira eficiente. Então... Como trabalhar?

Entre alguns companheiros temos a seguinte linha: "Nunca se reprojeta o raster on-the-fly". Quem tem muita informação sabe que processar a todo momento alguns gigabytes de memória é perda de tempo. Por isso sempre deixamos os arquivos matriciais já reprojetados para o sistema de referência que será trabalhado.

Se o usuário configurar o Quantum GIS para trabalhar no mesmo sistema de coordenadas que o raster, todos os vetores são reprojetados para este sistema, possibilitando trabalhar com vetores em outros sistemas de coordenadas.Na figura a seguir vemos a transformação "on the fly" habilitada e o projeto (Configurações -> Propriedades do Projeto) configurado para exibir informações em WGS 84 Latitude e Longitude.

Como este é o mesmo sistema de coordenadas utilizado pelo arquivo raster do SRTM utilizado como exemplo, o software reprojetou os vetores (que estavam em EPSG: 900913 Google Mercator) para o sistema do projeto. Sendo este sistema o mesmo que o do raster, o raster é visualizado. Caso não seja o arquivo simplesmente não será exibido.
Na figura abaixo vemos o resultado da sobreposição quando o arquivo raster e o projeto estão no mesmo sistema de coordenadas mas os vetores não.

GML e os softwares

2010-12-09T07:44:00.000-08:00

O GML é o padrão definido pela OGC para dados geográficos vetoriais. É extremamente flexível, o que dificulta um pouco a leitura e escrita neste formato. Isso significa que um determinado usuário pode definir uma estrutura de dados geográficos extremamente complexa e o software terá que entender essa estrutura para ler. Por isso alguns softwares do mercado estão se saindo melhores do que outros.
Um GML costuma ser acompanhado de um arquivo XSD que deve ficar disponibilizado em endereços definidos dentro do arquivo. Esse arquivo pode ser entendido como o arquivo de estrutura do GML, chamado de Schema. É nele que ficam previstas quais classes serão representadas e quais atributos cada classe tem. Portanto, para ler um GML muitos softwares solicitam o arquivo XSD. Dessa forma o software pode ler a estrutura para então saber como funciona aquele arquivo que você está pedindo para abrir. Alguns softwares preferem não ler o XSD e tentar reconhecer padrões no arquivo.
Dessa forma eis o resumo do que alguns softwares conseguem fazer:

ArcGIS: Implementa o Data Interoperability Connection, que é um módulo do FME que consegue ler o GML mas exige que se tenha o XSD.
MapServer, QGIS (Aplicativos GDAL/OGR): Implementam leitores que reconhecem os padrões. A partir da versão 1.8 da GDAL estes softwares receberam uma implementação muito mais detalhada de leitura e escrita, permitindo ler quase todas as complexidades que o padrão pode utilizar.
FME: Existem três opções de escrita no FME. 1. Utilizar o Schema do FME 2. Utilizar o Schema do ArcGIS 3. Utilizar um Schema externo. Ao utilizar um Schema (XSD) externo o usuário corre o risco de encontrar diversas dificuldades. Nos forums do FME eles recomendam que a saída do processamento seja corrigida à posteriori utilizando XSLT, XQuery ou XFMap.Basicamente significa pegar todos os erros que o FME cometeu e consertar através de regras definidas nos padrões citados. Na leitura o FME é bastante flexível (como sempre), reconhecendo o Schema gravado dentro do GML e procurando-o na internet.
OpenJump: Implementa a leitura através do Schema. Também possui um Schema próprio, chamado Jump GML.
gvSIG: Ainda a testar
GeoServer: Ainda a testar

Ainda existem diversos softwares que conseguem compreender GML, mas estes eu considerei os principais. Agradeço qualquer contribuição.

Postgis Raster Plugin para QGIS

2010-12-02T15:20:00.000-08:00

Iniciando a série de matérias sobre o Postgis Raster (anteriormente chamado wktRaster), primeiramente, descreverei o plugin chamado wktRaster.
Este plugin está disponível no repositório de contribuições do Quantum GIS. O objetivo dele é carregar uma camada PostgisRaster. Foi escrito em uma parceria por mim e pelo César (também aqui do blog) durante um artigo que o César estava escrevendo. A interface do plugin é simples e prática, conforme pode ser visto abaixo.

O usuário deve atentar à caixa "Reading mode". Ao carregar um arquivo no Postgis ele pode ficar de duas formas:

Inteiro em uma linha
Dividido em recortes menores

A opção padrão é ler um arquivo inteiro em uma linha. A segunda opção lê o arquivo por pedaços. A terceira opção ignora completamente o nome da tabela e lê o banco de dados completamente.

Em breve, terminarei de escrever a matéria sobre como instalar o Postgis Raster no Ubuntu.

Novos Contribuidores

2010-10-22T06:50:00.001-07:00

Fico feliz em dizer que temos 3 contribuidores voluntários que publicarão informações aqui no blog.
Para deixar algo menos pessoal, trocamos de nome.
O blog agora encontra-se em http://mapeandoobrasil.blogspot.com
Espero que continuem acompanhando.

GDAL 1.6, FME e os datums brasileiros

2010-08-12T07:12:00.000-07:00

Retornando ao problema de configuração de datums brasileiros, estou postando os dois arquivos que considero fundamentais: o de configurar a gdal e o de configurar o fme.
Espero que seja útil.
Arquivo do FME , Arquivo da GDAL

PyDev e QGIS

2009-12-30T06:12:00.000-08:00

Bom, continuando os estudos com o PyDev, recentemente descobri como fazer para o PyDev debugar plugins do QGIS.
A teoria que viabiliza isso é o Remote Debugger. O PyDev inicia um servidor de debug. O seu plugin deve então se conectar ao servidor de debug e avisá-lo que está pronto para ser debugado. O resto é com o PyDev.

Vamos ao passo-a-passo. Primeiramente, vamos fazer o nosso código passar a avisar o servidor de debug do eclipse. Na linha 3 inserimos o plugin do pydev (onde está o arquivo "pydevd.py" no pythonpath para poder ser importado pelo script. Caso sua instalação não esteja no mesmo lugar, deve-se alterar essa linha.
No restante do código chamamos o servidor de debug e dizemos para ele ficar observando este código.

Agora toda vez que executarmos nosso script python o próprio script irá procurar o servidor de debug do eclipse e avisar que ele está sendo executado e que deseja ser debugado.Note que se o servidor não estiver ligado seu programa não funcionará.
Para podermos acompanhar do eclipse o nosso script, abrimos o Eclipse, vamos a perspectiva de DEBUG,e apertar o botão de iniciar o Debug Server.

A partir deste instante, quando o nosso script tentar achar o debug server, ele vai reconhecer aqui tudo que está acontecendo. Pode-se então definir breakpoints e testar passo a passo, observando o comportamento de cada variável.

Espero que seja útil.

E viva o PyDev

2009-12-26T20:33:00.000-08:00

Continuando o assunto do último post, reporto minhas recentes experiências com o Eclipse PyDev.

Ressaltei que a flexibilidade de interpretadores do PyDev era uma característica muito forte. Ele independe completamente de instalação do Python, portanto você pode escolher qual vai usar em cada projeto. Isso se faz particularmente útil com instalações do Osgeo4W.
Este instalador se encarrega de facilitar a instalação de grande parte dos softwares livres para geociências. Com ele é fácil manter seu Quantum GIS e GRASS atualizados. Uma grande dificuldade, porém, é controlar a diferença entre o Python que vem com o Osgeo4W e os outros Pythons que instalamos. O ideal, na maioria dos casos, é utilizar o Python do Osgeo4W.

Bom, para o usuário final, basta criar um arquivo ".bat" que chame as variáveis de ambiente do Osgeo4W. O script "C:\OSGeo4W\bin\o4w_env.bat" já faz isso. Portanto, para o usuário final basta que o desenvolvedor crie um segundo arquivo bat que chama esse arquivo e depois chama o seu próprio script. Solução simples.

Porém, para utilizar um debugger é preciso explicitar para ele exatamente a mesma coisa que o o4w_env.bat explicita para o interpretador. As duas imagens abaixo exibem como fazer isso no menu Window-> Preferences do Eclipse PyDev. Basicamente definimos um novo interpretador chamado "osgeo" que é o executável "C:\OSGeo4W\bin\python.exe". Depois explicamos os paths nativos (lib), importados (sip) e do qgis para o interpretador "osgeo". Esses arquivos em questão são os ".py" e ".pyd" de cada biblioteca.

Por fim dizemos ao interpretador onde encontrar os arquivos ".dll" que essas bibliotecas acessam. Essa informação vai na variável de ambiente "PATH".

Assim nosso eclipse se encarregará de definir o PATH onde os ".dll" se encontram e incluir no PythonPath nossos ".py" e ".pyd" toda vez que o debugger rodar. Agora podemos debugar inclusive plugins de qgis utilizando PyDev.

Eclipse PyDev

2009-11-29T12:12:00.001-08:00

Sempre recomendei o ERIC Python IDE para todos que estão iniciando em python.
Recentemente testei o Eclipse PyDev. Ele tem tudo que o ERIC tem e mais algumas coisinhas.
Exemplos:
-A completação de código do eclipse constrói a API sem você obrigatoriamente mandar.
-O eclipse reconhece todos interpretadores que você colocar disponíveis e define módulos disponíveis para cada um. Ou seja, você pode ter tantas versões do python na mesma máquina quanto queira.

Ainda tem o básico, que todas IDE tem: cores no código, interpretador, debugger, etc.
Ainda testei pouco, mas promete muito. Recomendo a todos pelo menos uma boa olhada.

Terralib, windows e MS Visual C++ Express 2008

2009-11-29T08:29:00.001-08:00

Terralib é uma biblioteca geográfica nacional. Isso por si só já é motivo para interesse de toda a comunidade de desenvolvedores. Adicione o fato de ser mantida pelo INPE, estar em constante desenvolvimento e possuir uma excelente quantidade de algoritmos implementados dentro dela. A pergunta obvia é: Como faço para fazer isso funcionar?

Neste sentido, encontrei um problema quando me pediram para compilar um código escrito utilizando-a na plataforma windows 32bits. Os tutoriais do site do projeto são superficiais e não explicam exatamente como fazer para incluir as dependências. Para piorar tudo, só explica com visual studio 2003. Então aqui vai o tema do post: Compilar programas que usam a terralib com o Microsoft Visual C++ Express 2008 (MSVC 2008, que é grátis!).

Primeiro passo: Descarregue a terralib.

Segundo passo: Descarregue o MSVC 2008.

Bom, agora começaremos a parte complicada.
O processo vai seguir as seguintes etapas:
1- Compilar a terralib importando os arquivos de projeto que vem com ela;
2- Criar um novo projeto para o programa que quero compilar;
3- Configurar esse novo projeto para achar a compilação da terralib; (arquivos .h e .lib)
4- Compilar o projeto.
5- Copiar as DLLs para fazerem o projeto rodar.
Mãos a obra.

1- Compilar a terralib importando os arquivos de projeto que vem com ela;
Chamaremos durante o artigo a pasta de instalação de C:\TERRALIBDIR.
Instale o MSVC 2008.
Pegue o arquivo zipado da terralib e extraia-o em C:\TERRALIBDIR.

Procure (utilizando o "Encontrar" do Windows) arquivos com a extensão ".vcproj"
Ele deve listar os seguintes arquivos:
shapelib.vcproj
libjpeg.vcproj
tiff.vcproj
libspl.vcproj
terralibpdi.vcproj
terralibdtm.vcproj
terralib.vcproj

qwt.vcproj é um arquivo que depende da biblioteca QT que serve para gráficos e plotagens. Eu não consegui compilar essa parte da lib pois não compilei a QT. Uma sugestão é utilizar o QT SDK que instala tudo. Não fiz esses testes.

Abra os arquivos na ordem que estão escritos com o MSVC 2008. Ele irá pedir para importar o arquivo. Claro, pois os desenvolvedores do terralib só prepararam eles com Visual Studio 2003.
No menu Build-> Build Solution. Quando terminar ele vai mostrar se teve sucesso ou não. Caso algum falhe, toda a compilação vai falhar. É o caso de olhar com calma.

2- Criar um novo projeto para o programa que quero compilar;
Primeiramente, abra o MSVC 2008, crie um novo projeto e adicione os arquivos que queremos utilizar.
Lembrando que o nome do projeto amarra qual será o arquivo principal que o MSVC vai chamar. Durante a criação será perguntado se deseja utilizar cabeçalhos précompilados (precompiled headers). Desmarque essa opção conforme a imagem abaixo.

Agora insira os outros arquivos do seu projeto nas pastar headers (.h) e sources (.cpp).

3- Configurar esse novo projeto para achar a compilação da terralib; (arquivos .h e .lib)
Com o botão direito no nome do projeto na barra "Solution Explorer", acesse "Properties"->"Configuration Properties"->"C/C++"
No tópico: "Additional Include Directories" devem ser adicionados todos os diretórios que contém arquivos ".h" da terralib. No nosso caso, procure os diretórios na pasta: "C:\TERRALIBDIR\src\terralib\"
O mínimo que deve-se inserir nesta lista é a pasta: "C:\TERRALIBDIR\src\terralib\kernel" que conté o núcleo da terralib.

Ainda nas propriedades do projeto "Configuration Properties"->"Linker"->"General"
No tópico: "Additional Library Directories" devem ser adicionados todos os diretórios que contém arquivos ".lib" da terralib. No nosso caso, procure os diretórios na pasta: "C:\TERRALIBDIR\Debug\"
O mínimo que deve-se inserir nesta lista é a pasta: "C:\TERRALIBDIR\Debug\terralib" que contém arquivo "terralib.lib".
Por fim, no tópico "Configuration Properties"->"Linker"->"Input"->"Aditional Dependencies", insira o nome "terralib.lib"

4- Compilar o projeto.
E pronto. Seu programa estará pronto para compilar apertando F7.

5- Copiar as DLLs para fazerem o projeto rodar.
Para rodar o programa, será necessário procurar quais DLL ele usa. O jeito simples de fazer isso é rodar o programa várias vezes e cada vez que o windows reclamar de falta de DLL faça a procura da DLL na pasta "C:\TERRALIBDIR\Debug\".

Compacte todos eles juntos (exe e dlls) e mande para o seu amigo mais interessado!
Abraços e até o próximo.

TK e Python

2009-08-28T09:55:00.000-07:00

Uma das grandes vantagens do Python é ser multiplataforma. Desta forma, tudo que você escreve em Python é multiplataforma também, sem nenhuma alteração no código.
Isso torna o Python uma excelente linguagem para controlar coisas do dia-a-dia, substituindo o bash (linux), vbscript (windows), bat (dos) entre outros.

Mas sempre falta alguma coisa: a interface gráfica.

Imagine se você tivesse a força do bash e a facilidade de trabalhar com o sistema do vbscript? Bom, python tem.

A tk é um dos vários frameworks gráficos do python. É provavelmente o mais simples e o que vem instalado por padrão em todas instalações de python. Alguns exemplos de tarefas simples com a TK:

Insira este pedaço para poder usar a Tk. Este código inicializa uma janela principal da TK mas a recolhe. Fiz isso para que o nosso script não tenha uma janela constante e sim pergunte ao usuário as informações quando precisar, usando as caixas de seleção da TK:

import Tkinter
root = Tkinter.Tk()
root.withdraw()

Pedindo ao o usuário abrir um arquivo. Note que os formatos são configurados por pares de strings.

import tkFileDialog
myFormats = [('JPEG / JFIF','*.jpg')]
filename = tkFileDialog.askopenfilename(parent=root,title='Escolha um arquivo',filetypes=myFormats)
if len(filename) >0:
print "Abrindo arquivo ",filename

Pedindo ao usuário para escolher uma pasta. Aqui usamos os.getcwd() para começar na pasta onde o programa estiver rodando.

import tkFileDialog, os
dirname = tkFileDialog.askdirectory(parent=root,initialdir=os.getcwd(),title='Escolha um diretorio')
if len(dirname ) > 0:
print "Abrindo diretorio ", dirname

Exibindo uma mensagem para o usuário:

import tkMessageBox
tkMessageBox.showinfo(parent=root,title="Meu Programa" ,message="Pressione Enter para continuar.")

Finalizando, faremos um exemplo simples de um programa que pede um arquivo, lê ele, troca a palavra "blz" por "beleza" e salva onde você escolher. (exemplo inútil, mas já fiz isso pra consertar tabelas em HTML.

import os, sys, Tkinter, tkMessageBox, tkFileDialog #importa todos os modulos necessarios

#solicitando o arquivo de entrada:
myFormats = [('Text files','*.txt')] #define os tipos de arquivos 
filename = tkFileDialog.askopenfilename(parent=root,title='Escolha um arquivo de texto',filetypes=myFormats)
if len(filename) >0:
print "Abrindo arquivo ",filename
else: sys.exit(0) #Termina o programa

#solicitando o arquivo de saida:
outfilename = tkFileDialog.asksaveasfilename(parent=root,filetypes=myFormats ,title="Guardar alteracoes em...")
if len(outfilename ) > 0:
print "Guardando alteracoes em ", outfilename
else: sys.exit(0)

#executando as trocas
f=open(filename) #abrindo o arquivo
lines=f.readlines() #lendo todas as linhas
f.close() #fechando o arquivo pois jah armazenei as linhas
outf=open(outfilename,'w') #abre o arquivo de saida para escrita
for line in lines: #para cada linha lida
line=line.replace("blz","beleza") #troca naquela linha as palavras que eu quero trocar
outf.write(line)
outf.close()

tkMessageBox.showinfo(parent=root,title="Trocador de Linhas" ,message="Trocas efetuadas.")

Com isto podemos observar a Tk funcionando. Como escondemos o "root" (que era a janela principal), nosso programa será puramente linha de comando com algumas solicitações visuais. Para fazer um programa inteiro em Tk recomenda-se utilizar melhor o "root".

Bom, até a próxima.

GDAL e Sistemas de Coordenadas

2009-08-11T04:45:00.000-07:00

Como vimos anteriormente, uma das grandes aplicações da GDAL é na conversão de coordenadas. Esta semana me peguei querendo uma transformação rápida de coordenadas e utilizei uma sequência de comandos Python no terminal interativo para resolver esse problema.

Uma das vantagens do Python é que no terminal interativo pode-se acompanhar os resultados conforme eles aparecem.

Neste exemplo cada sistema de coordenadas é definido por um objeto da classe "osr.SpatialReference" (Referência Espacial). Para definir os sistemas de coordenadas novamente utilizamos a referência EPSG de cada um destes no método "osr.SpatialReference.ImportFromEPSG()".

Por fim, é criado um objeto "osr.CoordinateTransformation" (Transformação de Coordenadas) partindo de srE para srS. Este objeto vai ser o responsável por transformar todos pares (ou triplas) de coordenadas que eu passar para ele através do método "osr.CoordinateTransformation.TransformPoint(x,y,z)" Repetindo esse comando várias vezes pode-se transformar várias coordenadas. É uma calculadora rápida e precisa de coordenadas. E serve como exemplo de como definir sistemas de referência na GDAL em Python.

Espero que seja útil.
E até o próximo post.

Reprojetando todo o servidor Raster

2009-08-04T14:18:00.000-07:00

function teste {
}
import sys, os
try:
import gdal #gdal <1.6
except:
from osgeo import gdal #gdal >1.6
import os, sys
gdalwarp=r"gdalwarp.exe" #Para funcionar, coloque o gdalwarp dentro do path usando o script set_fw.bat
lista = []

#-->procurando os fotolitos dentro da estrutura de diretorios - inicio
for root, dirs, file in os.walk(os.getcwd()):
for i in file:
if (i[-4:]==".cit" ) or (i[-4:]==".tif"):
if ("Georreferenciados" in root):
lista.append(os.path.join(os.getcwd(),root,i))
#-->procurando os fotolitos dentro da estrutura de diretorios - fim

def corrigeGeo(arquivo): #transforma de centimetros para metro
ds=gdal.Open(arquivo)
georef=ds.GetGeoTransform()
a=[]
for i in range(0,len(georef)):
a.append(georef[i]*0.01)
georef=ds.SetGeoTransform(a)
del ds

print "Iniciando conversoes"
for i in lista:
print i
corrigeGeo(i) #transforma de centimetros para metro
#converte os arquivos listados do fuso 22 Corrego Alegre para fuso 22 WGS e salva em imagens de 1 bit
os.system(gdalwarp+" "+i+" "+i.split(".")[0]+'_WGS.tif'+' -s_srs EPSG:22522 -t_srs EPSG:32722 -co "NBITS=1"')
print "Terminado"

GDAL, Corrego Alegre e definições de DATUM

2009-08-04T13:25:00.000-07:00

No Brasil vivemos uma transição de datum geodésico. Devemos converter os dados de SAD 69 e Córrego Alegre (em diversas materializações) para o SIRGAS 2000. Aqui no Rio Grande do Sul todo o mapeamento é em Córrego Alegre na escala 1:50.000. Então surge um problema: Utilizando as resoluções Resolução 1/2005 e Resolução 23/1989, a transformação de Córrego Alegre para SIRGAS 2000 pode ser feita somando as coordenadas de transformação geocêntrica utilizando a transformação de Molodensky com os parâmetros X=-206,048m Y=168,279m Z=-3,823m.

Porém, no site do IBGE foi dada uma nova forma de transformar. O programa PROGRID utiliza grades de valores e efetua transformações que difereriram em alguns metros das coordenadas calculadas com os parâmetros previstos nas resoluções. Perguntei a um professor meu da graduação e ele me orientou que o PROGRID foi uma solução que buscava obter melhor coerência entre as transformações de coordenadas.

Apesar disso, nenhum software de GIS atualmente adotou essa transformação e não achei nenhuma referência no IBGE falando sobre alguma resolução que oficialize esse método de transformação. Como estou trabalhando com cartas 1:100.000, os 5m de erro absoluto não são relevantes durante a conversão de dados analógicos para digitais.

Depois de contar a história triste que motivou esse estudo, vamos pra parte prática: Tínhamos em torno de 50 arquivos TIF para converter para esta semana e mais uns 500 no servidor aguardando oportunidade. Decidimos automatizar a conversão.

Como prefiro, optamos por utilizar tecnologia aberta, escolhendo a GDAL. Para quem não conhece, esta é a biblioteca principal de programas C/C++ e python para dados geográficos matriciais e vetoriais. Ela vem com diversos programas auxiliares, entre eles, um programa de reprojeção de arquivos matriciais ("gdalwarp"). Utilizei o pacote pré-compilado FWTools em Windows XP durante os testes.

Para definir os parâmetros corretos, deve-se alterar arquivos na pasta "data" da instalação da gdal (no meu caso "C:\Program Files\FWTools2.4.2\data"). O arquivo "data\coordinate_operation.csv" guarda o nome das transformações, o identificador delas e os identificadores dos sistemas de coordenadas (referentes à EPSG). Procurando por "rrego" neste arquivo achei a linha:

1132,Corrego Alegre to WGS 84 (1),transformation,4225,4326,...

Que representa exatamente a transformação pré-definida na GDAL.

Dentro do arquivo "data\coordinate_operation_parameter_value.csv" procurei o identificador 1132 e achei as linhas:

1132,9603,8605,-206,,9001
1132,9603,8606,172,,9001
1132,9603,8607,-6,,9001

Que eu troquei para:

1132,9603,8605,-206.048,,9001
1132,9603,8606,168.279,,9001
1132,9603,8607,-3.823,,9001

E desta forma, minha instalação da GDAL passou a seguir os parâmetros previstos nas resoluções.

Agora meu gdalwarp já fazia as transformações corretamente, mas queríamos transformar muitos arquivos. No próximo post comento o código que eu e César Soares escrevemos para fazer isso em toda a estrutura.

Novamente, agradeço a todos que se interessaram pelas informações aqui postadas pois é esse o objetivo.
Até a próxima!

Qt, Postgis e QGIS

2009-03-05T00:27:00.000-08:00

O Quantum GIS (QGIS) é um software com características promissoras. Primeiramente, é software livre, o que permite muita inovação nele. É escrito em C++, o que o faz superior à maioria dos outros softwares livres de processamento pesado em Java. E por fim, possui uma API aberta ao público em C++ e Python.

Atualmente estou trabalhando em um plugin para o QGIS cujo objetivo é melhorar a automação de Queries do Postgis através da geração de uma interface gráfica para elas automaticamente. A idéia veio de tentar dar ao Postgis algo como o Model Builder do ArcGIS, para gravar rapidamente os processamentos feitos e poder reaproveitá-los.

A idéia é guardar em um XML as informações de parâmetros necessários para um processo que será definido por uma query de PostgreSQL. O resto o script faz. Gera um botão no menu pro proceso, gera uma interface gráfica com campos para os parâmetros e apresenta os resultados em uma caixa de texto.

Dessa forma pode-se resolver problemas como: "Quais os nomes das cidades que tocam o polígono que eu acabei de desenhar?" com um único botão de menu já pronto pra isso.

Ainda falta um bocado de desenvolvimento, mas estarei trabalhando nisso por alguns dias.
Espero que fique bom o resultado. Com sorte resolverei meu problema de "como é que eu fiz daquela vez que eu fiz touch com select name from..." :D

Nota de abertura

2009-02-07T06:39:00.000-08:00

Eu nunca entendi exatamente o objetivo de um blog mas recentemente senti a necessidade de utilizar alguma ferramenta para publicar informações na internet. As opções seriam:
1- criar um site (que seria bem mais útil mas me peguei sendo exigente demais com as hospedagens gratis. "Como assim eles não deixam eu usar postgresql e pmapper? Nem python?")
2- criar um site não tão requintado (que tiraria toda a graça da coisa)
3- criar um blog simples com textos corridos das coisas que eu realmente queria documentar.

No momento me veio à cabeça o problema da língua. Meu público-alvo são as pessoas que trabalham comigo ou que tem interesse pelo meu trabalho. Por isso, português. Para quem não sabe sou Engenheiro Cartógrafo formado no Instituto Militar de Engenharia e trabalho com mapeamento sistemático e desenvolvimento de software para cartografia.

Então aqui estarei escrevendo tudo que achar relevante e muito provavelmente como todo blog, serei redundante pois estas informações estão disponíveis em vários lugares da internet. As vantagens são que o conteúdo será em português e que refletirão experiências que eu vivi, ou seja, estarei disposto a explicá-las.

Agradeço a todos que tiverem interesse em passar por aqui e espero que eu faça algo útil para a comunidade.

Atenciosamente,
Maurício de Paulo