Nowy model językowy, nazwany Collective-1, został opracowany przez startupy Flower AI i Vana, które zastosowały innowacyjne podejście do budowy sztucznej inteligencji. Model, zbudowany przy użyciu rozproszonych zasobów obliczeniowych, ma na celu zrewolucjonizowanie sposobu, w jaki tworzone są systemy AI. Prace nad modelem trwają obecnie, a jego parametry wynoszą 7 miliardów.
- Nowy model językowy Collective-1 został opracowany przez startupy Flower AI i Vana, z innowacyjnym podejściem do budowy sztucznej inteligencji.
- Model ma 7 miliardów parametrów, co czyni go stosunkowo małym w porównaniu do najnowocześniejszych modeli AI.
- Rozproszone zasoby obliczeniowe umożliwiają trenowanie modeli AI bez konieczności łączenia danych i zasobów obliczeniowych.
- Potencjał rozwoju zakłada zwiększenie parametrów modelu do 30 miliardów, a następnie do 100 miliardów jeszcze w tym roku.
- Nowe metody mogą zmienić dynamikę rynku AI, umożliwiając mniejszym firmom i uczelniom tworzenie zaawansowanej sztucznej inteligencji.
Innowacyjne podejście do AI
Flower AI i Vana współpracują nad stworzeniem Collective-1, wykorzystując techniki umożliwiające rozproszenie treningu na setki komputerów połączonych przez internet. Flower AI opracowało technologię, która pozwala na trenowanie modeli AI bez konieczności łączenia zasobów obliczeniowych lub danych.
Parametry modelu
Collective-1 ma 7 miliardów parametrów, co czyni go stosunkowo małym w porównaniu do najnowocześniejszych modeli, które mogą mieć setki miliardów parametrów. Nic Lane, współzałożyciel Flower AI, wskazuje, że rozproszone podejście może znacznie zwiększyć skalę treningu w przyszłości.
Potencjał rozwoju
Lane planuje trenować model z 30 miliardami parametrów, a następnie model z 100 miliardami parametrów jeszcze w tym roku. „To może naprawdę zmienić sposób, w jaki wszyscy myślą o AI, więc intensywnie nad tym pracujemy” – mówi Lane.
Zmiany w dynamice rynku AI
Rozproszone podejście do budowy modeli AI może zmienić dynamikę w branży, umożliwiając mniejszym firmom i uczelniom tworzenie zaawansowanej sztucznej inteligencji. Lane podkreśla, że nowe metody mogą pozwolić na wykorzystanie zasobów w sposób bardziej elastyczny niż tradycyjne centra danych.
Współpraca z Vana
Vana, partner Flower AI, rozwija nowe sposoby umożliwiające użytkownikom dzielenie się danymi osobowymi z twórcami AI. Oprogramowanie Vana pozwala użytkownikom na wniesienie prywatnych danych do treningu modelu, co może dać im większą kontrolę nad wykorzystaniem ich informacji.
Korzyści z rozproszonego treningu
Mirco Musolesi z University College London zauważa, że kluczową korzyścią rozproszonego podejścia do treningu AI jest możliwość wykorzystania nowych rodzajów danych, w tym danych wrażliwych. „Skalowanie tego do modeli frontier pozwoliłoby branży AI na wykorzystanie ogromnych ilości zdecentralizowanych danych bez ryzyka związanego z centralizacją danych” – mówi Musolesi.