Osnovali Liang Wenfeng

Type Istraživački laboratorij

CN Kina 2023 11-50 osoba
DeepSeek

Themes

generative ainlpcoding

DeepSeek (深度求索) je kineski istraživački laboratorij za umjetnu inteligenciju osnovan 2023. godine, sa sjedištem u Hangzhouu, koji djeluje u okviru pravne osobe 杭州深度求索人工智能基础技术研究有限公司. Organizacija se usredotočuje na razvoj temeljnih tehnologija velikih jezičnih modela, a istraživanja obuhvaćaju opće razumijevanje jezika, generiranje koda, matematiku i multimodalne mogućnosti.

DeepSeek je osobito prepoznatljiv po pristupu otvorenog izvora, pri čemu javno objavljuje težine modela uz komercijalnu API platformu, čime svoje sustave čini dostupnima i istraživačima i razvojnim programerima. Njegovi vodeći modeli uključuju model za rasuđivanje DeepSeek-R1 i seriju DeepSeek-V3, kao i specijalizirane modele poput DeepSeek-Coder, DeepSeek-Math i DeepSeek-VL, usmjerene na pojedina tehnička područja.

Proizvodi namijenjeni krajnjim korisnicima uključuju web sučelje i mobilnu aplikaciju izgrađene na temeljnim modelima.

Podrijetlo i vodstvo

DeepSeek je osnovan u srpnju 2023. godine od strane Lianga Wenfenga, suosnivača kineskog hedge fonda High-Flyer. Tvrtka djeluje iz Hangzhoua, uz dodatnu prisutnost u Pekingu, te ostaje u vlasništvu High-Flyera.

Liangova pozadina u kvantitativnim financijama oblikuje pristup DeepSeeka razvoju AI-ja. Organizacija daje prednost dugoročnom istraživanju umjesto neposrednoj komercijalizaciji, svoj rad uokvirujući kao istraživanje umjetne opće inteligencije.

Početno financiranje došlo je iz prethodno postojeće zalihe Nvidia A100 i H800 GPU-ova, nabavljene prije nego što su se pooštrila izvozna ograničenja. To je omogućilo tvrtki da trenira svoje modele uz djelić troška koji se inače povezuje s projektima velikih razmjera u području AI-ja.

Filozofija otvorenog koda

DeepSeek se izdvaja predanošću objavama otvorenog koda. Svi modeli objavljeni su pod MIT licencom, čime su težine i kod javno dostupni.

Ovaj pristup razlikuje se od mnogih konkurenata koji ograničavaju pristup svojim vlasničkim sustavima. Objave tvrtke uključuju modele opće namjene, kao i specijalizirane varijante za kodiranje, matematiku i multimodalne zadatke.

  • DeepSeek-LLM: Podržava chatbote i aplikacije za korisničku podršku.
  • DeepSeek-Coder: Omogućuje funkcije dovršavanja koda u razvojnim okruženjima.
  • DeepSeek-Math: Optimiziran za matematičko rasuđivanje i rješavanje problema.
  • DeepSeek-VL: Rješava zadatke koji zahtijevaju i tekstualno i vizualno razumijevanje.

Model za rasuđivanje DeepSeek-R1, objavljen 2024., pokazao je performanse usporedive s OpenAI-jevim o1-preview na mjerilima poput AIME i MATH. Njegova otvorena dostupnost privukla je pozornost stručnjaka iz tehnološkog sektora, uključujući rizičnog kapitalista Marc Andreessen-a, koji ga je opisao kao “dubok dar svijetu”.

Tehnička učinkovitost

DeepSeekovi modeli postižu konkurentne performanse uz znatno niže računalne troškove. Primjerice, model DeepSeek-V3 treniran je pomoću manje od 6 milijuna USD vrijednih Nvidia H800 čipova.

Ta učinkovitost proizlazi iz arhitektonskih inovacija i optimizacija u treningu. Tvrtka koristi slojeve mješavine stručnjaka (MoE) i višeglavu latentnu pozornost (MLA) kako bi smanjila redundantne izračune.

  • Dinamička aktivacija težina smanjuje troškove inferencije na manje od 0,001 USD po zahtjevu.
  • Fino podešavanje specifično za domenu minimizira prekomjernu parametrizaciju za specijalizirane zadatke.
  • Učenje potkrepljenjem i inženjering nagrada poboljšavaju sposobnosti logičkog rasuđivanja.

Te tehnike omogućuju DeepSeeku komprimiranje modela s 671 milijardom parametara u manje varijante za izvođenje na rubnim uređajima. Tvrtka također koristi generiranje sintetskih podataka kako bi potaknula emergentna ponašanja rasuđivanja bez ručnog inženjeringa upita.

Tržišni utjecaj i prijem

DeepSeekovi modeli stekli su zamah i u istraživačkim i u komercijalnim primjenama. U 2024. njegov AI asistent postao je najbolje ocijenjena besplatna aplikacija na Appleovoj američkoj App Store platformi, nadmašivši OpenAI-jevu ChatGPT.

Troškovno učinkoviti pristup tvrtke utjecao je na očekivanja u industriji. Izvještaji su navodili da je DeepSeekov R1 model postigao performanse usporedive s GPT-4, ali uz 20 puta niži trošak, što je potaknulo rasprave o ekonomiji AI-ja.

Političke osobe, uključujući bivšeg američkog predsjednika Donald Trump-a, navodile su uspon DeepSeeka kao katalizator za povećani fokus na domaću konkurentnost u području AI-ja. Njegova strategija otvorenog koda također je potaknula izvedene projekte, poput SeekDeep-a, Web3 tokena izgrađenog na DeepSeekovoj platformi.

Unatoč brzom rastu, DeepSeek zadržava usmjerenost na istraživanje kao prioritet. Njegovo usvajanje u poduzećima ostaje ograničeno u usporedbi s etabliranim igračima, iako se njegovi modeli sve češće ugrađuju u aplikacije trećih strana i razvojne alate.

Izvješće

Poveznice