https://the-decoder.com/pika-labs-ai-video-generator-now-includes-sound-effects-and-lip-sync-voices/
지금까지 AI 동영상은 무성 영화에 불과했습니다. 하지만 이제 곧 바뀔 것입니다: Pika Labs가 새로운 제너레이티브 오디오 모델을 도입합니다.
Pika Labs는 제너레이티브 AI 동영상에 텍스트 프롬프트 기반 음향 효과 생성 기능을 도입했습니다. 이 기능을 통해 사용자는 지글거리는 베이컨, 독수리 울음소리, 엔진 굉음 등 간단한 소리를 동영상에 추가할 수 있습니다.
오디오 생성은 동영상 콘텐츠와 독립적이므로 동영상 생성을 안내하는 텍스트 프롬프트에서도 오디오를 생성한 다음 동영상에 오버레이합니다. 또는 특정 오디오 프롬프트를 입력하여 오디오 생성을 더 잘 제어할 수 있습니다. 피카 랩스는 오디오 생성을 위해 자체 모델을 훈련시켰다고 말합니다.
https://www.youtube.com/watch?v=gj6oHmRRX6Q
미래의 모델은 오디오와 비디오 생성을 한 번에 수행하여 개별 비디오 프레임 분석을 기반으로 비디오와 일치하는 소리를 자동으로 생성하고 적재적소에 삽입할 수 있습니다. GPT-4와 같은 대규모 언어 모델에서는 시각적 이해력만으로도 상세한 이미지 설명이 가능합니다.
이 새로운 기능은 현재 Pro 요금제 가입자에게만 제공되지만 곧 더 큰 규모로 출시될 예정입니다. 며칠 전, Pika Labs는 사용자가 AI로 생성된 동영상의 캐릭터에 립싱크된 목소리를 추가할 수 있는 립싱크 도구를 도입했습니다.
https://www.youtube.com/watch?v=oVEOwMkm0SM
Pika Labs는 비디오용 제너레이티브 AI에 중점을 둔 AI 스타트업입니다. 스탠포드 대학원생인 데미 구오아와 첸린 멩이 설립했습니다. 피카 랩의 제품인 피카 비디오 제너레이터를 통해 사용자는 3D 애니메이션, 애니메이션, 만화, 영화 등 다양한 스타일의 비디오를 제작하고 편집할 수 있습니다.
Pika Labs는 텍스트-투-비디오 및 이미지-투-비디오 생성 기능을 제공합니다. 후자를 사용하면 기존 이미지에 애니메이션을 적용할 수 있습니다. 이 스타트업은 첫 번째 펀딩 라운드에서 약 5,500만 달러를 모금했습니다.
[ AI 게임 / 기획 / 리뷰 대회 ' J.O.A.T ' 개최 ] 
