Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 4010 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Lançado o Ubuntu 14.04 – baixe agora

Publicado em: 17/04/2014 às 17:51 | leituras |

Saiu o tão aguardado Ubuntu 14.04. Se você estava na expectiva, é hora de baixar a nova versão do Ubuntu.

Chrome Remote Desktop chega ao Android

Publicado em: 17/04/2014 às 16:14 | leituras |

O Google anunciou hoje a chegada ao Chrome Remote Desktop para Android, um novo aplicativo que permite acessar outros computadores e/ou permitir que outro usuário acesse seu computador de forma segura pela internet.

Fire TV: Conheça o media center (e console de games) da Amazon

Publicado em: 17/04/2014 às 16:03 | leituras |

O Fire TV, apesar do nome, parece bem promissor, mesmo custando US$ 99 (lá fora). Este set-top box já conta com suporte aos populares apps Netflix e Hulu, além do serviço de streaming da Amazon, é claro, entre outros serviços.

UOL Host capacita parceiros para avançar nas PMEs

Publicado em: 17/04/2014 às 13:58 | leituras |

Para este ano, informa Ricardo Dutra, diretor da empresa, a capacitação desses parceiros é o mote. Para isso, destaca, há o investimento na oferta de cursos pela Internet. "Precisamos garantir que o atendimento remoto tenha qualidade em qualquer lugar do país. O treinamento é absolutamente crucial para fidelizarmos os clientes".

SP vai usar tecnologia da polícia de Nova York para controlar crimes

Publicado em: 17/04/2014 às 13:36 | leituras |

Sistema de monitoramento inteligente criminal, baseado em ferramentas de Big Data, será implementado na Secretaria de Segurança estadual de São Paulo pela Microsoft.

Infraestrutura de rede antiga é um dos gargalos da SDN

Publicado em: 17/04/2014 às 11:30 | leituras |

Segundo um levantamento apresentado pela Avaya, o tempo médio para uma janela de manutenção na rede é de 27 dias. A demora, no entanto, causa algumas consequências.

Dez oportunidades de adoção de nuvens públicas

Publicado em: 17/04/2014 às 10:39 | leituras |

CRM, e-mail, desenvolvimento e testes fazem parte da lista de tecnologias que podem migrar para a cloud e permitir melhorias para os negócios.

Heartbleed deixa mais de 50 milhões de dispositivos Android vulneráveis

Publicado em: 16/04/2014 às 15:16 | leituras |

Desde a última semana, a falha de segurança Heartbleed é destaque nos principais veículos de comunicação especializados em tecnologia. Ela já afetou grandes sites e diversos dispositivos ao redor do mundo, entre eles milhões de usuários finais de aparelhos Android.

UFRJ abre inscrições para curso grátis sobre Big Data

Publicado em: 16/04/2014 às 9:18 | leituras |

Segunda edição da Summer School on Big Data é patrocinada pela EMC e terá 150 vagas distribuídas em três minicursos.

Zebra compra divisão de enterprise da Motorola Solutions por US$ 3,4 bi

Publicado em: 15/04/2014 às 17:49 | leituras |

Negócio é para reforçar a posição da companhia em setores-chave, como varejo, manufatura transporte e logística.

Brasil defende governança global de internet

Publicado em: 15/04/2014 às 12:25 | leituras |

Ministro Paulo Bernardo defendeu uma governança global sem dependência dos Estados Unidos.

Heartbleed afeta dispositivos móveis e internet banking

Publicado em: 15/04/2014 às 11:35 | leituras |

Cerca de 390 mil apps do Google Play e 1,3 mil apps conectados a servidores vulneráveis foram encontrados. Entre eles estão bancos, pagamentos online e e-commerce.

AMD cria mini computadores a partir de US$ 40

Publicado em: 14/04/2014 às 15:27 | leituras |

A faixa de preço torna os produtos atraentes para empresas que precisam de uma grande quantidade de computadores com desempenho leve, além de serem especialmente interessantes para os que planejam criar media centers.

Fiesp abre inscrições para programa de startups

Publicado em: 14/04/2014 às 15:19 | leituras |

Pelo Acelera Startup, os dez melhores terão a chance de apresentar seu negócio à uma banca de grandes investidores-anjo do País.

Faltará mão de obra no setor de outsourcing de TI no BrasilNenhum comentário

Publicado em: 14/04/2014 às 14:17 | leituras |

Em 2013, o mercado brasileiro teve alta de 9,5%, patamar superior ao dobro da média global, que ficou em 4%. Com esta estimativa, a taxa de expansão do Brasil deve ficar, em 2014, acima do previsto para a América Latina (8,2%) e o restante do mundo (4%).

Após o Heartbleed: quatro alternativas ao OpenSSL

Publicado em: 14/04/2014 às 12:03 | leituras |

Ninguém precisa ser lembrado da gravidade do Heartbleed, o bug descoberto no OpenSSL. Em vez disso, as pessoas estão à procura de soluções: como corrigi-lo e como evitar que falhas semelhantes venham a ocorrer no futuro.

Tecnologia SDN pede um novo tipo de profissional de TI, diz especialista

Publicado em: 14/04/2014 às 11:25 | leituras |

Segundo diretor da NetBR, as redes definidas por software exigem que engenheiros de projeto e operação de data centers revisem sua forma de operar.

Demora na adoção ao software livre atrasa o Brasil frente à outros países

Publicado em: 14/04/2014 às 10:37 | leituras |

A partir da pergunta sobre os sistemas operacionais usados como plataforma tecnológica para os produtos e serviços que comercializam, concluímos que, no Brasil, 41% das empresas fizeram opção por alguma distribuição do Linux. Apenas a família de sistemas operacionais da Microsoft, usada por 78% das empresas, possui participação maior.

Concurso quer aproximar startups de grandes investidores

Publicado em: 11/04/2014 às 17:46 | leituras |

Com o objetivo de estimular o empreendedorismo, a FIESP (Federação das Indústrias do Estado de SP) abriu inscrições para o concurso Acelera Startup, que vai estimular projetos ainda em desenvolvimento e colocar 10 finalistas em contato com investidores.

Novo livro sobre história e funcionamento do Bitcoin chega ao Brasil

Publicado em: 11/04/2014 às 9:49 | leituras |

Autor defende em livro a ideia de que pagamentos baseados em registros de transações tem potencial revolucionário, sobretudo em países emergentes.

Google libera kits de desenvolvimento para smartphone modular Projeto Ara

Publicado em: 10/04/2014 às 15:51 | leituras |

Criado pela Motorola, projeto para smartphone customizável começa a sair do papel.

Esboço de documento do NetMundial vaza na Internet

Publicado em: 10/04/2014 às 13:39 | leituras |

O Net Mundial, evento que acontece nos dias 23 e 24 de abril, em São Paulo, condenará a espionagem online dos Estados Unidos, segundo o esboço do documento vazado nesta terça-feira, 08/04, pelo site WikiLeaks.

Serpro termina migração de PCs para Ubuntu em abril

Publicado em: 10/04/2014 às 11:43 | leituras |

Até o final de abril, o Serpro etima que a maior parte das estações de trabalho do Serpro já estejam migradas para o Ubuntu 12.04. Restarão apenas estações com restrições para migração, especialmente devido à incompatibilidade de softwares legados ainda em uso.

Sem mão de obra, provedores atuam pouco no gerenciamento da Internet

Publicado em: 10/04/2014 às 10:57 | leituras |

O presidente da Abranet, Eduardo Neger, admite que o Brasil - que hoje possui cerca de 4000 provedores Internet - têm poucos atuando como AS, uma vez que entre os 2450 existentes há universidades, bancos e grandes empresas, como Petrobras.

Não à pirataria, utilize Open Source!

Publicado em: 09/04/2014 às 14:15 | leituras |

A preocupação com as leis de direitos autorais e políticas anti parataria de empresas podem ser facilmente resolvidas: use Linux!


Mais notícias


whitepapers

mais whitepapers

  

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 186371 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 110313 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 103364 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 94619 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 75159 leituras

  1. Microsoft protege desenvolvimento de Código Aberto

    Publicado em 22/02/2008 às 14:43 | 6211 leituras

  1. Lançado o CentOS 5.7

    Publicado em 14/09/2011 às 15:44 | 6382 leituras

  1. Segurança: Microsoft libera atualização do Office 2008 para Mac

    Publicado em 14/12/2010 às 10:50 | 3394 leituras

  1. Adobe torna-se membro da Linux Foundation

    Publicado em 31/03/2008 às 18:03 | 3284 leituras

  1. Lançado SDK do Android 2.2, codinome "Froyo"

    Publicado em 21/06/2010 às 9:22 | 2759 leituras