Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 7398 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Os 5 melhores sistemas de chat open source para atendimento ao cliente

Publicado em: 23/07/2015 às 12:54 | leituras |

O uso dos chats como forma de atendimento ao cliente passou a ser adotado em maior escala no momento em que os usuários passaram a preferir um atendimento personalizado online, desde que a resposta fosse mais rápida do que os tediosos atendimentos telefônicos.

Maior supercomputador da América Latina é instalado no Rio de Janeiro

Publicado em: 22/07/2015 às 16:27 | leituras |

Com a capacidade de realizar 1,1 quatrilhão de operações matemáticas por segundo, o maior computador da América Latina foi instalado no Laboratório Nacional de Computação Científica (LNCC), em Petrópolis, Rio de Janeiro.

Falha em sistema da Chrysler deixa mais de 470 mil carros vulneráveis a hackers

Publicado em: 22/07/2015 às 14:16 | leituras |

Especialistas em segurança analisaram o sistema utilizado em seus modelos e detectaram falhas que podem afetar mais de 471 mil veículos de maneira bem séria.

Supercomputador já é usado para megaprojetos de análise de dados em SP

Publicado em: 15/07/2015 às 15:56 | leituras |

Adquirido ao custo de R$ 4,5 milhões, o sistema computacional para processamento científico de alto desempenho é o mais rápido instalado em universidades no Estado de São Paulo, de acordo com os coordenadores do projeto.

Complete gratuitamente sua coleção da Linux Magazine até 31/07!

Publicado em: 15/07/2015 às 11:20 | leituras |

Promoção válida para os primeiros 50 assinantes e ex-assinantes digitais ou leitores que já tenham comprado pelo menos um exemplar digital. A PROMOÇÃO FOI ESTENDIDA ATÉ 31/07/2015! APROVEITE ANTES QUE ACABE!!!

Vulnerabilidades fazem Mozilla bloquear de vez o uso do Flash

Publicado em: 14/07/2015 às 11:58 | leituras |

Mark Schmidt, diretor de suporte da empresa, declarou que agora o Firefox bloqueará por padrão todas as versões do Flash.

Cibercriminosos brasileiros usam Trojan para dar golpe com WhatsApp

Publicado em: 08/07/2015 às 8:01 | leituras |

Os cibercriminosos criam sites falsos que dizem levar à instalação do aplicativo, mas levam à instalação de código malicioso.

Microsoft pode abandonar Windows Phone para apostar no Android

Publicado em: 01/07/2015 às 16:24 | leituras |

Um rumor, no mínimo estranho, pode ser capaz de mudar o panorama do mercado mobile caso se torne realidade. De acordo com os boatos surgidos nesta terça-feira (30), a Microsoft estaria se preparando para abandonar o Windows Phone e apostar no Android para o futuro de seu ecossistema de smartphones.

Cisco compra OpenDNS por US$ 635 milhões

Publicado em: 01/07/2015 às 11:56 | leituras |

Em um negócio que custou US$ 635 milhões, o serviço passa agora a fazer parte do portfólio de soluções da empresa especializada em redes, com foco, principalmente, nas soluções de segurança.

Morre Matti Makkonen, o pai do SMS

Publicado em: 30/06/2015 às 16:18 | leituras |

Muitas pessoas podem não conhecer o nome Matti Makkonen, mas praticamente todos já usaram uma de suas criações. Conhecido mundialmente como o "pai do SMS", Makkonen faleceu aos 63 anos de idade em decorrência de uma doença não divulgada.

Uma CEO mulher assume o comando da Microsoft Brasil

Publicado em: 29/06/2015 às 12:01 | leituras |

Paula Bellizia, que de 2002 a 2012 trabalhou na própria Microsoft, foi nomeada presidente da Microsoft Brasil a partir do próximo dia 1º de julho. Paula substitui Mariano de Beer, que assumirá uma nova posição na companhia, como presidente da subsidiária Novos Mercados América Latina, que envolve vários países na região.

Minicom rascunha Lei de Universalização da Banda Larga em regime público

Publicado em: 26/06/2015 às 13:05 | leituras |

Ao contrário da Anatel, que defende abertamente o fim das concessões de telefonia e a transição para um modelo de regulação mais leve, o Ministério das Comunicações avalia uma mudança na Lei Geral de Telecomunicações que permitiria incluir a oferta de banda larga nos contratos.

Quer trabalhar em TI? Saiba quais são os salários médios

Publicado em: 25/06/2015 às 16:08 | leituras |

Apesar da retração econômica, o setor de Tecnologia segue com salários atraentes no Brasil. Levantamento feito pela Catho, revela que, excluindo o cargo de Diretor, o maior ganho médio mensal no Brasil é o de Gerente de TI -R$ 7.610,50.

Velocidade da internet cresce 13% no 1º trimestre

Publicado em: 24/06/2015 às 16:14 | leituras |

Uma pesquisa global sobre a internet em 144 países/regiões, entre janeiro e março deste ano, revelou que a velocidade de conexão média no Brasil é de 3,4 Mbps, crescimento de 13% em relação ao trimestre anterior.

CPqD terá de aceitar mudanças para não fechar as portas

Publicado em: 10/06/2015 às 12:47 | leituras |

A saída de Hélio Graciosa; a injeção de recursos pelo governo e a intempestiva nomeação do novo presidente, Sebastião Sahão Junior, não encerram a novela da crise política aberta entre o governo e a fundação, nem resolverão os problemas estruturais da entidade após seus 38 anos de existência.

WhatsApp chega à justiça trabalhista no Brasil

Publicado em: 08/06/2015 às 11:45 | leituras |

A Justiça do Trabalho da 15ª Região (Campinas-SP) usou o OTT para promover um acordo de conciliação entre um trabalhador e uma empresa.

Facebook monta estratégia para quebrar resistência das teles ao Internet.org

Publicado em: 05/06/2015 às 12:43 | leituras |

O debate sobre a regulamentação do Marco Civil da Internet está, neste momento, bastante concentrado nos modelos de acesso gratuito – ou ‘zero rating'. A incerteza sobre a legalidade desse tipo de acesso, aliada às críticas ao projeto do Facebook nessa área parece deixar as teles no Brasil bastante cautelosas.

Tráfego em IPv6 chega a 2% no Brasil

Publicado em: 03/06/2015 às 14:41 | leituras |

O percentual ainda é pequeno, mas o ritmo é animador. Neste mês de junho o tráfego internet no Brasil chegou à marca de 2% em IPv6 – a nova versão do protocolo de Internet, que é a forma como todos os equipamentos conectados à rede mundial são reconhecidos.

Raspberry Pi destrava Playstation 4

Publicado em: 19/05/2015 às 15:52 | leituras |

Técnica de destravamnto do Playstation 4 já é utilizada por assistências técnicas brasileiras para desbloquear console.

Terceirização: Presidente do TST diz que do jeito que está, juízes terão 'm

Publicado em: 18/05/2015 às 15:04 | leituras |

O presidente do Tribunal Superior do Trabalho (TST), Antônio José de Barros Levenhagen, sustentou nesta segunda-feira, 18/05, que, se convertido em lei na forma como foi aprovado pela Câmara dos Deputados, o projeto que propõe novas regras para a terceirização aumentará o número de ações trabalhistas e, ao contrário do que tem sido dito por alguns de seus defensores, “não dará segurança jurídica às empresas”.

Lei de Acesso à Informação não 'pegou' no Brasil

Publicado em: 18/05/2015 às 10:38 | leituras |

Um levantamento feito pela Controladoria-Geral da União (CGU) aponta que 63% das cidades e dois estados tiraram nota zero em transparência pública. Esse é o resultado de um índice lançado pelo órgão nesta sexta-feira, 15/05, para lembrar os três anos de vigência da Lei de Acesso à Informação (LAI).

Usuários ignoram riscos de ameaças móveis, diz pesquisa

Publicado em: 15/05/2015 às 15:48 | leituras |

Apesar da grande popularização dos dispositivos móveis, os usuários ainda subestimam os riscos que correm ao se conectarem. Segundo uma pesquisa realizada pela Kaspersky Lab e pela B2B International, 28% deles sabem nada ou muito pouco sobre malware móvel.

Quase 30% dos usuários sabem nada sobre malware móvel

Publicado em: 12/05/2015 às 7:01 | leituras |

Apesar da grande popularização dos dispositivos móveis, os usuários ainda subestimam os riscos que correm ao se conectarem. Segundo uma pesquisa realizada pela Kaspersky Lab e pela B2B International, 28% dos usuários sabem nada ou muito pouco sobre malware móvel.

As armadilhas da nuvem: cuidado com a sua escolha

Publicado em: 01/05/2015 às 12:08 | leituras |

A próxima geração de aplicações seguem outras premissas onde a principal é a adequação para uma arquitetura de nuvem e isso exige uma escalabilidade horizontal: caso precise atender mais usuários, coloca-se mais uma instância dessa aplicação para atender o aumento da demanda.

Receita Federal rastreia IP e MAC Address e intima 80 mil contribuintes

Publicado em: 20/04/2015 às 13:49 | leituras |

A Receita Federal intimou 80 mil pessoas físicas com indícios de infrações cometidas na Declaração de Ajuste Anual do ImpostoRenda da Pessoa Física (DIRPF). As investigações são relativas às declarações de 2012, 2013 e 2014 (ano-calendário 2011, 2012 e 2013).


Mais notícias


lançamento!

LM 119 | Backup e Restauração




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 335793 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 140724 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 125055 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 117786 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 93934 leituras

  1. Tecla agora é Mandic

    Publicado em 27/03/2012 às 15:11 | 6740 leituras

  1. Cinco erros comuns para novatos em Linux

    Publicado em 15/10/2010 às 18:39 | 6366 leituras

  1. Eucalyptus volta às raízes

    Publicado em 20/06/2012 às 14:45 | 6899 leituras

  1. Ruby on Rails: vulnerabilidade SQL injection para todas as versões

    Publicado em 06/01/2013 às 12:40 | 6456 leituras

  1. ICANN reporta que bloqueio de DNS é pouco eficiente

    Publicado em 23/10/2012 às 10:02 | 5723 leituras

whitepapers

mais whitepapers