Fish Audio

Fish Audio源于前NVIDIANVIDIANVIDIA 是美国半导体与计算技术公司，提供图形处理器、人工智能基础设施、网络互连和计算软件，在纳斯达克以 NVDA 为代码上市。点击查看完整词条研究人员Shijia Liao的个人项目。他在NVIDIA担任研究工程师、从事视频相关工作，业余时间观看VTuber直播，并在卧室里用一块4090显卡训练语音模型，随后将其开源为Fish Speech。⁠[1][2]

首席执行官Rissa Cao写道：“Fish Speech went from a repo to a company because of game developers, anime fans, and people dubbing characters for fun.”（Fish Speech能从一个代码仓库成长为一家公司，靠的是游戏开发者、动漫爱好者和为角色配音取乐的人。）⁠[1]

2024年11月2日，Shijia Liao等七名作者在arXiv提交Fish-Speech技术报告，介绍一种多语言文本转语音框架：它采用串行快慢双自回归（Dual-AR）架构稳定基于码本的序列生成，并以大语言模型取代传统的字素到音素转换。⁠[3]

2026年3月9日，Fish Audio开源文本转语音模型S2，支持以行内标记细粒度控制韵律和情感。S2采用双自回归设计，时间轴部分约40亿参数、深度轴部分约4亿参数，训练数据超过1000万小时音频；模型权重和微调代码发布在GitHub和Hugging Face上，并配有基于SGLang的推理引擎。公司公布的Seed-TTS Eval词错误率为中文0.54%、英文0.99%，在单块H200 GPU上的首段音频延迟约100毫秒。⁠[4]

2026年7月27日，Fish Audio在成立一周年之际宣布完成5200万美元种子轮融资，由Coreline Ventures和今日资本今日资本今日资本（Capital Today）是徐新于2005年创办的中国风险投资与成长资本机构，强调专注、深度参与和长期耐心，并管理传统期限基金与常青基金。点击查看完整词条领投，359 Capital、Play TimePlay TimePlay Time是一家位于美国旧金山、面向体育、媒体和科技领域的投资控股平台，由Lionel Messi旗下Messi Group与硅谷创业者Razmig Hovaghimian于2022年建立。平台投资体育科技项目，也进行企业孵化和更广泛的科技投资；Michael Marquez在创立时担任特别顾问并参与共同领导。点击查看完整词条、HF0、645 Ventures、Parable、Carya Venture Partners及多名天使投资人参投。⁠[1][2]

联合创始人兼首席执行官Rissa Cao此前在Amazon Alexa和MetaMetaMeta（Meta Platforms, Inc.）是美国上市科技公司，2021年由 Facebook 公司更名而来，经营社交通信、数字广告、虚拟现实、智能眼镜及人工智能业务。点击查看完整词条从事语音人工智能工作多年，Shijia Liao任首席科学家。公司称，成立一年来共推出五个音频模型（四个语音生成模型和一个语音转文字模型），团队从3人增至22人，年化经常性收入达2100万美元，平台用户超过800万，社区声音模型库超过200万个。⁠[1]

Fish Audio总部位于帕洛阿尔托，四个语音生成模型中有三个开源，最新的S2.1 Pro仅通过付费API提供；公司向创作者和团队出售月度套餐，并提供企业API与平台，HeyGen和Sanas是其客户。Rissa Cao表示，开源项目加上创作者套餐在没有外部资金的情况下即可高效运转，公司融资是为了打造更先进的模型和服务企业客户；公司计划于2026年内发布音频理解模型，并在开发语音到语音模型。⁠[2]

2026年10月13日，Fish Audio团队在arXiv提交Drama 3技术报告。Drama 3是开源语音生成模型，采用总参数350亿、每个token激活30亿参数的混合专家架构，可将文本生成为有表演指导的语音，支持声音克隆、多角色场景、语音编辑和流式输出；fish-speech仓库将其列为最新旗舰模型，S2-Pro为上一代旗舰。⁠[5][6]

Fish Audio向声音被用于训练的用户付费。部分创作者指称自己的声音在未经同意的情况下被上传到平台，且DMCA下架处理缓慢；公司此后将下架流程自动化，称创作者提交声音样本或合同后三分钟内即可完成。上传本身并不会被自动阻止，声音会保留在平台上，直至权利人申请移除。⁠[2]

Fish Audio提供文本转语音、声音克隆和API服务，平台运营方为Hanabi AI Inc.。截至2026年11月4日，GitHub上的fishaudio/fish-speech仓库显示约3.35万个星标，代码和模型权重采用Fish Audio Community License，S2-Pro权重则采用Fish Audio Research License。⁠[7][6]

Fish Audio：官网：https://fish.audio/（在新窗口打开）。⁠[7]

X：公开账号：https://x.com/FishAudio（在新窗口打开）。⁠[7]

YouTubeYouTubeYouTube是Google旗下的视频分享与创作者平台，2005年由Steve Chen、Chad Hurley和Jawed Karim创办，2006年被Google收购。平台围绕视频上传、观看与创作者收益，发展出Shorts、YouTube Music、Premium、YouTube TV及儿童产品，总部位于美国加利福尼亚州San Bruno。点击查看完整词条：公开频道：https://www.youtube.com/@fishaudio（在新窗口打开）。⁠[7]