Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 5452 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Tecnologia do IBM Watson auxilia cientistas em pesquisas médicas e farmacêuticas

Publicado em: 29/08/2014 às 17:40 | leituras |

O projeto Watson da IBM promete mudar e criar uma nova era de "computação cognitiva" com desenvolvimento para utilização em áreas médicas e farmacêuticas. Atualmente, o sistema é utilizado com enfoque para os games, que exigem uma melhor capacidade de gerenciamento. Porém, já era hora de vermos uma tecnologia desse porte a serviço de outras áreas.

AWSome Day Rio de Janeiro será na próxima semana

Publicado em: 28/08/2014 às 17:28 | leituras |

O evento é gratuito e terá duração de 1 dia inteiro, sendo conduzido por instrutores qualificados da equipe técnica da AWS.

A Linux Magazine convida você para o WHD.brazil 2014

Publicado em: 28/08/2014 às 11:36 | leituras |

Fornecedores do mercado internacional de hospedagem e computação em nuvem vão se encontrar na América Latina para o WHD.brazil, evento anual que sera realizado no Tivoli São Paulo Mofarrej no dia 11/09/2014. Como convidado da Linux Magazine, você vai de graça!

Brasil 4D, com Ginga, é premiado por inovação em interatividade

Publicado em: 28/08/2014 às 10:39 | leituras |

A iniciativa, da Empresa Brasil de Comunicação, EBC, já levou este ano o prêmio Frida, do Lacnic e da Internet Society, em reconhecimento pela ‘criação e desenvolvimento de capacidades e conteúdos’.

Aluguel de datacenter no exterior passa a pagar impostos

Publicado em: 18/08/2014 às 14:12 | leituras |

Publicado hoje (18) no Diário Oficial, o Ato informa que serão cobrados os seguintes impostos e contribuições no pagamento pelo aluguel de datacenter:

Novo cabo USB mais potente encaixa dos dois lados

Publicado em: 15/08/2014 às 16:28 | leituras |

Está pronta uma nova especificação para cabos USB menores, mais rápidos e com maior potência na transmissão de energia elétrica. O plug Tipo-C terá design que permite encaixá-lo de qualquer lado nos dispositivos, semelhante ao plug Lightning, da Apple.

Apple é uma das empresas mais desiguais do setor de tecnologia

Publicado em: 15/08/2014 às 10:57 | leituras |

A Apple divulgou um relatório com estatísticas sobre a diversidade de gênero e raça na empresa. Ao publicar as informações Tim Cook, o CEO da companhia, declarou-se insatisfeito com os resultados.

Crackers brasileiros e gangue europeia criam nova técnica para alterar boletos

Publicado em: 14/08/2014 às 14:16 | leituras |

Algumas das táticas mais comuns usadas por cibercriminosos é enviar e-mails em nome de instituições oficiais que, no final das contas, são verdadeiras armadilhas para usuários mais desatentos.

Homem mais procurado do mundo, Snowden diz que o pior da NSA ainda está por vir

Publicado em: 14/08/2014 às 12:12 | leituras |

As revelações feitas por Edward Snowden sobre a NSA (Agência de Segurança Nacional dos Estados Unidos) ainda repercutem em toda a imprensa mesmo um ano após o ex-técnico ter divulgado centenas de documentos secretos da entidade americana.

Pesquisadores da Dinamarca estabelecem novo recorde de transferência de dados

Publicado em: 01/08/2014 às 9:54 | leituras |

Um grupo de pesquisadores da Technical University of Denmark (DTU) anunciou nesta quinta-feira (31) que bateu o novo recorde mundial de transmissão de dados por uma única fibra óptica, que registrou uma velocidade de 43 terabits por segundo – o equivalente a 5,4 Terabytes por segundo.

Mulheres X homens no mercado de TI

Publicado em: 30/07/2014 às 12:04 | leituras |

Para qualquer um que considere uma carreira em TI, caminhos e oportunidades de emprego são abundantes. No entanto, as mulheres só contam com 24% das ocupações.

Easy Taxi recebe aporte de R$ 90 milhões

Publicado em: 29/07/2014 às 9:45 | leituras |

O aplicativo de taxis Easy Taxi recebeu aporte de R$ 90 milhões de reais de dois grupos de investimento em companhias de tecnologia iniciantes, elevando o total de injeção de recursos na empresa brasileira lançada em 2012, a R$ 145 milhões.

Startups podem ganhar até R$ 1 milhão em Concurso

Publicado em: 28/07/2014 às 12:05 | leituras |

O concurso será realizado por meio da parceria entre Confederação Nacional dos Jovens Empresários (Conaje), Anjos do Brasil, ABStartups e Brazil Innovators.

Governo usa análise de dados no combate à lavagem de dinheiro

Publicado em: 28/07/2014 às 9:53 | leituras |

Foi assinado nesta quarta-feira, 23/07, o acordo de cooperação entre Ministério da Justiça e o Ministério Público Federal (MPF) para viabilizar a instalação da 43ª unidade da Rede Nacional de Laboratórios contra Lavagem de Dinheiro (REDE-LAB) na Procuradoria-Geral da República, em Brasília.

No Brasil, maioria das empresas não tem documentação original dos mainframes

Publicado em: 28/07/2014 às 9:28 | leituras |

A maioria dos líderes de TI reconhece que o conhecimento original sobre seus aplicativos de mainframe e da estrutura de suporte de dados não pode ser recuperado nos arquivos de suas respectivas organizações. Um levantamento global mostrou que 55% dos líderes em TI têm essa percepção.

Empresa de segurança cria portal baseado em rede neural

Publicado em: 25/07/2014 às 10:32 | leituras |

A PSafe Tecnologia SA, empresa de segurança digital em nuvem, anunciou o lançamento do mais novo portal de Internet com conteúdo personalizável de acordo com a navegação de cada usuário.

Relatório faz previsões 'sombrias' sobre futuro da internet

Publicado em: 24/07/2014 às 11:45 | leituras |

Diferentes estudiosos têm feito previsões para compreender como será a internet no futuro, mas muitas acabam influenciadas principalmente pelo momento em que vivemos.

Bug em produtos da Cisco permite acesso remoto de invasores

Publicado em: 18/07/2014 às 9:15 | leituras |

Foi identificado um bug de segurança em gateways de rede residencial da Cisco que permite o acesso aos dispositivos remotamente e o sequestro deles. Uma atualização de firmware foi lançada para ISPs visando corrigir a vulnerabilidade.

Dois brasileiros estão em Comitê que vai definir futuro da Internet

Publicado em: 17/07/2014 às 11:04 | leituras |

Passado o evento NetMundial, agora, representantes de grupos setoriais trabalham juntos para formar comitê que vai elaborar uma proposta para nortear a migração dos trabalhos da Iana, sigla em inglês para Autoridade para Designação de Números da Internet, para, ao que tudo indica, uma entidade multissetorial.

Lei de Informática é prorrogada até 2029

Publicado em: 17/07/2014 às 9:27 | leituras |

O Plenário do Senado aprovou nesta quarta-feira, 16/07, o projeto (PLC 61/2014) que prorroga o prazo dos benefícios garantidos ao setor de informática pela Lei 8.248/1991, a Lei de Informática.

Em nome da segurança, 'NSA alemã' voltará a usar máquinas de escrever

Publicado em: 16/07/2014 às 14:37 | leituras |

A piada parece estar prestes a se tornar literal também na Alemanha. Patrick Sensburg, diretor de um grupo do parlamento alemão responsável por investigar o escândalo de espionagem da NSA, afirmou que a equipe pode voltar a usar máquinas de escrever como forma de evitar o vazamento de informação, seja por meio de vigilância digital de governos ou ataques hackers.

Ataques DDoS estão mais fáceis de executar, afirma Akamai

Publicado em: 16/07/2014 às 11:48 | leituras |

A empresa constatou aumento de 47% no 1º trimestre de 2014, em relação a igual período do ano passado e de 18% em relação ao trimetres anterior.

Líder em IPv4, Brasil fica para trás na adoção do IPv6

Publicado em: 16/07/2014 às 10:28 | leituras |

O Brasil liderou o crescimento de adoção de IPv4 no primeiro trimestre deste ano, com aumento de 12% - o que significa mais de 4 milhões de novos endereços - de acordo com o estudo State of The Internet,da Akamai.

Como será a rede SDN na América Latina?

Publicado em: 15/07/2014 às 12:35 | leituras |

À primeira vista, muito pouco parece estar claro sobre as Redes Definidas por Software (SDN, na sigla em inglês). Dependendo de para quem a pergunta é direcionada, haverá diversas explicações diferentes.

Amazon contrata cientista do Google responsável pelo Google Glass

Publicado em: 14/07/2014 às 12:33 | leituras |

Um dos funcionários mais inovadores do Google está deixando a empresa. De acordo com o site The Verge, o cientista iraniano-americano Babak Parviz, responsável por fundar e liderar o projeto Google X – que deu origem aos óculos de realidade aumentada Google Glass –, trocou a gigante das buscas pela Amazon.


Mais notícias


lançamento!

LM 113 | OpenStack




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 210205 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 121117 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 110770 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 103075 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 81968 leituras

  1. Microsoft faz demonstração do padrão HTML5 com temas natalinos

    Publicado em 27/12/2010 às 15:00 | 3827 leituras

  1. Roteador de bolso da Asus promete ser o menor do mundo

    Publicado em 24/01/2013 às 9:03 | 5112 leituras

  1. Tizen chega à fase beta de desenvolvimento

    Publicado em 02/03/2012 às 16:25 | 4360 leituras

  1. O crescimento dos ataques hacktivistas

    Publicado em 27/03/2012 às 9:29 | 4701 leituras

  1. Uma assistência para a Mandriva

    Publicado em 04/06/2012 às 11:31 | 3779 leituras

whitepapers

mais whitepapers